JP3855761B2 - 画像信号処理装置及び方法 - Google Patents
画像信号処理装置及び方法 Download PDFInfo
- Publication number
- JP3855761B2 JP3855761B2 JP2001380761A JP2001380761A JP3855761B2 JP 3855761 B2 JP3855761 B2 JP 3855761B2 JP 2001380761 A JP2001380761 A JP 2001380761A JP 2001380761 A JP2001380761 A JP 2001380761A JP 3855761 B2 JP3855761 B2 JP 3855761B2
- Authority
- JP
- Japan
- Prior art keywords
- field
- image signal
- image
- fields
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/11—Scanning of colour motion picture films, e.g. for telecine
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、倍速変換することにより生成された１コマが２フィールド又は４フィールドで構成される画像信号の各検出画素の位置をシフトさせる画像信号処理装置及び方法に関する。
【０００２】
【従来の技術】
テレビ放送の走査方式としては、従来から水平走査線を１本おきに飛越して走査するインタレース走査方式が最も広く採用されている。このインタレース走査方式では、奇数番目の走査線から構成されるフィールド画像と、偶数番目の走査線から構成されるフィールド画像により１枚のフレーム画像を形成し、画面全体がちらついて見える面フリッカ妨害を抑え、画面品質の劣化を防止する。
【０００３】
また、このインタレース走査方式は、世界各国のテレビジョン標準方式として採用されており、このうち例えば欧州のテレビジョン放送におけるＰＡＬ(Phase Alternation by Line)方式では、フィールド周波数が５０〔Ｈｚ〕（フレーム画像が２５フレーム／秒、フィールド画像が５０フィールド／秒）で構成される。
【０００４】
特にこのＰＡＬ方式では、更なる面フリッカ妨害の抑制を期すべく、入力画像信号を補間等の処理を行うことにより、フィールド周波数を５０Ｈｚから２倍の１００Ｈｚの画像信号に変換する、フィールド周波数倍速方式が従来より採用されている。
【０００５】
図１８は、このフィールド周波数倍速方式を適用したフィールド倍速変換回路５のブロック構成例を示している。このフィールド倍速変換回路５は、入力端子６１と、ＣＲＴ６３と、水平垂直偏向回路６２とを備えるテレビジョン受像機６に集積化される。このフィールド倍速変換回路５は、倍速変換部５１と、フレームメモリ５２とを備える。
【０００６】
倍速変換部５１は、入力端子６１から入力された、例えばＰＡＬ方式の５０フィールド／秒の画像信号を、フレームメモリ５２へ書き込む。また、この倍速変換部５１は、フレームメモリ５２へ書き込んだ画像信号を、書込み時の２倍の速度で読み出す。これにより、５０フィールド／秒の画像信号の周波数を２倍に変換し、１００フィールド／秒の画像信号を生成することができる。
【０００７】
倍速変換部５１は、倍速変換した画像信号をＣＲＴ６３へ出力する。ＣＲＴ６３は、入力された画像信号を画面上に表示する。なお、ＣＲＴ６３における画像信号の水平、垂直の偏向は、水平垂直偏向回路６２において生成された、入力画像信号の２倍の周波数の水平垂直鋸歯状波に基づいて制御する。
【０００８】
図１９は、倍速変換前後の各画像信号における各フィールドと画素位置との関係を示している。ここで横軸は時間、縦軸は画素の垂直方向の位置を示す。また、図１９(a)の白丸で示した画像信号は、倍速変換前の５０フィールド／秒のインタレース画像信号であり、図１９(b)の黒丸で示した画像信号は、倍速変換した１００フィールド／秒のインタレース画像信号である。
【０００９】
図１９(a)に示す画像信号において、フィールドｆ１とフィールドｆ２は、フィルムの同一のコマから作成された信号となり、以下同様にフィールドｆ３とフィールドｆ４も同一のコマを構成する。これらの画像信号は、インタレース画像信号であるため、隣り合うフィールド間で垂直方向の画素位置が異なる。このため、インタレース性を保ちつつ、各フィールド間に１個ずつのフィールドを新規に生成することはできない。
【００１０】
そこで、図１９(b)に示すように、フィールドｆ１とフィールドｆ２の間に、新規に２枚のフィールドｆ２´、ｆ１´を生成する。そして、フィールドｆ２とフィールドｆ３の間では、フィールドの生成を行わず、フィールドｆ３とフィールドｆ４の間に、新規に２枚のフィールドｆ４´、ｆ３´を生成する。すなわち４フィールド、２フレームで１つのコマを形成する。
【００１１】
この新規に生成したフィールドｆ１´、ｆ２´、・・・は、それぞれの画素値を、各画素の周囲３画素の中間値として、メディアン・フィルタ等を用いて求める場合もある。また、この新規に生成したフィールドｆ１´、ｆ２´、・・・は、それぞれフィールドｆ１、ｆ２、・・と同じ内容となる。
【００１２】
すなわち、フィールド倍速変換回路５は、倍速変換前の画像信号のフィールド間に２枚のフィールドを新規に生成する部分と全く生成しない部分とを交互に配置することで、単位時間当たりの画面枚数を増やすことができ、上述の面フリッカ妨害を抑えることが可能となる。
【００１３】
ところで、２４コマ/秒の静止画で構成される映画のフィルムを通常のテレビで見るためには、インターレースのテレビ信号にするために、テレビシネマ変換（以下、テレシネ変換と称する）を行う。このテレシネ変換後の画像信号において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図２０に示す。ここで横軸は画像の水平方向における位置、縦軸は時間を示している。図２０(a)に示す倍速変換前の画像信号において、フィールドｆ１、ｆ２は、同一のコマを構成するため、同じ位置に画像が表示される。この画像は、フィールドｆ３に移行すると水平方向（右方向）へ移動する。フィールドｆ４は、フィールドｆ３と同一のコマを構成するため、フィールドｆ３と同一の位置に表示される。
【００１４】
この図２０(a)に示すテレシネ変換後の画像信号をフィールド周波数倍速方式により倍速変換すると、図２０(b)に示すように、同一のコマを構成するフィールドｆ１、ｆ２´、ｆ１´、ｆ２で、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｆ３、ｆ４´、ｆ３´、ｆ４で同一位置に同一の画像が表示される。
【００１５】
また、倍速変換前のテレビジョン信号（以下、ＴＶ信号という）において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図２１(a)に示す。この図２１(a)において、フィールドｆ１、ｆ２、ｆ３・・・は、それぞれ独立したコマを形成するため、別の位置に画像が表示される。この画像は、フィールドｆ１から、ｆ２、ｆ３・・・と移行する毎に、水平方向（右方向）へ移動する。
【００１６】
この図２１(a)に示すテレビ信号の画像信号をフィールド周波数倍速方式により倍速変換すると、図２１(b)に示すように、同一のコマを構成するフィールドｆ１、ｆ２´において、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｆ１´、ｆ２において、同一位置に同一の画像が表示される。
【００１７】
【発明が解決しようとする課題】
しかしながら、図２０(b)に示すように、テレシネ変換後、倍速変換した画像信号において、画像はフィールドｆ１〜ｆ２まで同じ位置に表示される一方、ｆ２〜ｆ３に移行する場合に大きく水平方向へ移動する。同様にＴＶ信号を倍速変換した画像信号についても、図２１(b)に示すように、画像はフィールドｆ１〜ｆ２´まで同じ位置に表示される一方、ｆ２´〜ｆ１´に移行する場合に大きく水平方向へ移動する。
【００１８】
特に出力画像信号は、１／１００秒の周期で規則的に各フィールドを構成しているため、画像の動作する時間帯が画像の静止する時間帯と比較して短く、実際にＣＲＴを介して番組を視聴すると画像の動きが不連続に見えるという問題があった。
【００１９】
また、テレシネ変換した画像信号とＴＶ信号とが双方とも入力される場合においても、上述した画像の動きの不連続性を効率よく解消する必要がある。
【００２０】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、テレシネ変換した信号を倍速変換することにより生成された画像信号において、面フリッカ妨害を抑えつつ、画像の動きをスムーズにすることにより相乗的に画質を向上できる画像信号処理装置及び方法を提供することを目的とする。
【００２１】
【課題を解決するための手段】
本発明に係る画像信号処理装置は、上述の課題を解決するために、インタレース画像信号を、各フレームを構成する２つのフィールドの間に２つの新たなフィールドを配置して倍速変換すると共に、動画を表す各フレームの２つのフィールドが１つの静止した画面を形成するインタレース画像信号が入力されたときに、第３のフィールドが第1のフィールドと、第２のフィールドが最後のフィールドと同一の画像からなる４つのフィールドの変換画像を生成する倍速変換手段と、上記倍速変換手段により倍速変換することにより生成され、１つの上記画面の最初が第１のフィールドで始まり、かつ１つの上記画面が４フィールドで構成される画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから２フィールド後のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定するシーケンス検出手段と、上記現フィールドの検出画素について、上記現フィールドから４フィールド後のフィールドに対する動きベクトルを検出する動きベクトル検出手段と、上記動きベクトル検出手段により検出した上記動きベクトルに基づいて、上記動きベクトルのベクトル量の範囲内で、上記現フィールドの検出画素の位置をベクトル方向へシフトさせる画像制御手段とを備え、上記画像制御手段は、上記シーケンス検出手段により特定された上記第１のフィールドにおいて対応する動きベクトルに基づくシフト量を最小とし、当該第１のフィールドの後へフィールドが続く毎に、上記シフト量を順次増大させることを特徴とする。
【００２２】
この画像信号処理装置では、例えばテレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成される画像信号が入力され、演算した画素信号レベルの差分値に基づいて第１のフィールドを特定し、特定した第１のフィールドから後へフィールドが移行するにつれてシフト量が順次増大するように、動きベクトルのベクトル方向へ検出画素の位置をシフトさせる。
【００２３】
本発明に係る画像信号処理装置は、上述の課題を解決するために、インタレース画像信号を、各フレームを構成する２つのフィールドの間に２つの新たなフィールドを配置して倍速変換すると共に、動画を表す各フレームの２つのフィールドが１つの静止した画面を形成するインタレース画像信号が入力されたときに、第3のフィールドが第1のフィールドと、第2のフィールドが最後のフィールドと同一の画像からなる４つのフィールドの変換画像を生成する倍速変換手段と、上記倍速変換手段により倍速変換することにより生成され、１つの上記画面の最初が第１のフィールドで始まり、かつ１つの上記画面が４フィールドで構成される画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから２フィールド前のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定するシーケンス検出手段と、上記現フィールドの検出画素について、上記現フィールドから４フィールド前のフィールドを基準とした動きベクトルを検出する動きベクトル検出手段と、上記動きベクトル検出手段により検出した上記動きベクトルに基づいて、上記動きベクトルのベクトル量の範囲内で、上記現フィールドの検出画素の位置をベクトル方向と反対方向へシフトさせる画像制御手段とを備え、上記画像制御手段は、上記シーケンス検出手段により特定された上記第１のフィールドにおいて対応する動きベクトルに基づくシフト量を最大とし、当該第１のフィールドの後へフィールドが続く毎に、上記シフト量を順次減少させることを特徴とする。
【００２４】
この画像信号処理装置では、例えばテレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成される画像信号が入力され、演算した画素信号レベルの差分値に基づいて第１のフィールドを特定し、第１のフィールドから後へフィールドが続く毎にシフト量が順次減少するように、動きベクトルのベクトル方向と反対方向へ検出画素の位置をシフトさせる。
【００２５】
本発明に係る画像信号処理方法は、上述の課題を解決するために、インタレース画像信号を、各フレームを構成する２つのフィールドの間に２つの新たなフィールドを配置して倍速変換すると共に、動画を表す各フレームの２つのフィールドが１つの静止した画面を形成するインタレース画像信号が入力されたときに、第3のフィールドが第1のフィールドと、第2のフィールドが最後のフィールドと同一の画像からなる４つのフィールドの変換画像を生成し、上記倍速変換により生成され、１つの上記画面の最初が第１のフィールドで始まり、かつ１つの上記画面が４フィールドで構成される画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから２フィールド後のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定し、上記現フィールドの検出画素について、上記現フィールドから４フィールド後のフィールドに対する動きベクトルを検出し、検出した上記動きベクトルに基づいて、特定した上記第１のフィールドにおいて対応する動きベクトルに基づくシフト量を最小とし、上記第１のフィールドの後へフィールドが続く毎に上記シフト量が検出した上記動きベクトルのベクトル量の範囲内で順次増大するように、上記検出画素の位置をベクトル方向へシフトすることを特徴とする。
【００２６】
この画像信号処理方法では、例えばテレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成される画像信号が入力され、演算した画素信号レベルの差分値に基づいて第１のフィールドを特定し、第１のフィールドから後へフィールドが続く毎にシフト量が順次増大するように、動きベクトルのベクトル方向へ検出画素の位置をシフトさせる。
【００２７】
本発明に係る画像信号処理方法は、上述の課題を解決するために、インタレース画像信号を、各フレームを構成する２つのフィールドの間に２つの新たなフィールドを配置して倍速変換すると共に、動画を表す各フレームの２つのフィールドが１つの静止した画面を形成するインタレース画像信号が入力されたときに、第３のフィールドが第１のフィールドと、第２のフィールドが最後のフィールドと同一の画像からなる４つのフィールドの変換画像を生成し、上記倍速変換により生成され、１つの上記画面の最初が第１のフィールドで始まり、かつ１つの上記画面が４フィールドで構成される画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから２フィールド前のフィールドの同一箇所における検出画素と、の間で演算した画素信号レベルの差分値に基づき、上記第１のフィールドを特定し、上記現フィールドの検出画素について、上記現フィールドから４フィールド前のフィールドを基準とした動きベクトルを検出し、検出した上記動きベクトルに基づいて、特定した上記第１のフィールドにおいて対応する動きベクトルに基づくシフト量を最大とし、上記第１のフィールドの後へフィールドが続く毎に上記シフト量が検出した上記動きベクトルのベクトル量の範囲内で順次減少するように、上記検出画素の位置をベクトル方向と反対方向へシフトすることを特徴とする。
【００２８】
この画像信号処理方法では、例えばテレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成される画像信号が入力され、演算した画素信号レベルの差分値に基づいて第１のフィールドを特定し、第１のフィールドから後へフィールドが続く毎にシフト量が順次減少するように、動きベクトルのベクトル方向と反対方向へ検出画素の位置をシフトさせる。
【００４５】
【発明の実施の形態】
以下、本発明を適用した画像信号処理装置及び方法について図面を参照して詳細に説明する。
【００４６】
図１は、本発明の第１の実施の形態における画像信号処理装置１のブロック構成図である。画像信号処理装置１は、例えばＰＡＬ(Phase Alternation by Line)方式によるテレビジョン受像機に内蔵され、テレシネ変換した画像信号が入力される。またこの画像信号処理装置１は、図１に示すように、第１の画像メモリ１１と、第２の画像メモリ１２と、シーケンス検出部１３と、動きベクトル検出部１４と、画像シフト部１５とを備えている。
【００４７】
第１の画像メモリ１１は、テレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成された、例えば１００フィールド／秒のインタレース画像信号が順次供給される。
【００４８】
第１の画像メモリ１１は、供給された画像信号を、各フィールド単位で、１フレーム分格納する。すなわち、第１の画像メモリ１１から出力される画像信号は、この第１の画像メモリ１１に供給される画像信号より１フレーム後になる。
【００４９】
第２の画像メモリ１２は、第１の画像メモリ１１と同様の内部構成を有し、第１の画像メモリ１１から供給された画像信号を、各フィールド単位で、１フレーム分格納する。すなわち、第２の画像メモリ１２から出力される画像信号は、この第２の画像メモリ１２に供給される画像信号より１フレーム後になり、第１の画像メモリ１１に供給される画像信号より２フレーム後になる。この第２の画像メモリ１２に格納された画像信号は、画像シフト部１５に供給される。
【００５０】
シーケンス検出部１３は、第１の画像メモリ１１に供給される画像信号と、第１の画像メモリ１１から出力される画像信号を検出し、各画素毎に画像信号レベルを比較し、両者間で差分値を演算する。すなわち、このシーケンス検出部１３は、画面上の同一箇所における画素の画像信号レベルを、１フレーム間隔で比較する。シーケンス検出部１３は、画像信号レベルの差分値の演算結果を画像シフト部１５へ送信する。
【００５１】
動きベクトル検出部１４は、第１の画像メモリ１１に供給される画像信号と、第２の画像メモリ１２から出力される画像信号を検出し、例えばブロックマッチング法に基づき、動きベクトルを検出する。このブロックマッチング法は、画面を所定の画素からなるブロックに分割し、各ブロック単位で相似度を評価することにより動きベクトルを求める方法である。動きベクトル検出部１４は、各画素毎又は各ブロック毎に検出した動きベクトルを画像シフト部１５へ送信する。
【００５２】
画像シフト部１５は、画像信号レベルの比較結果をシーケンス検出部１３から受信する。また、画像シフト部１５は、動きベクトル検出部１４が検出した動きベクトルを受信する。更に画像シフト部１５は、第２の画像メモリ１２から供給された画像信号における各画素位置を、受信した動きベクトルのベクトル量の範囲内で、かつベクトル方向へシフトさせる。
【００５３】
画像シフト部１５は、フィールド単位で各画素位置をシフトさせた画像信号を、ＣＲＴ２へ供給する。ＣＲＴ２は、供給された画像信号を画面上に表示する。ＣＲＴ２における画像信号の水平、垂直方向の偏向は、図示しない水平垂直偏向回路に基づき、制御される場合もある。
【００５４】
なお、画像信号処理装置１には、画像信号のフィールド周波数を倍速変換するフィールド倍速変換回路３が集積される場合もある。フィールド倍速変換回路３は、解像度を向上させることにより、面フリッカ妨害を防止すべく集積されるものであり、例えば、ＰＡＬ方式において、補間等の処理を行うことにより、フィールド周波数が５０Ｈｚの画像信号を２倍の１００Ｈｚの画像信号に変換する。
【００５５】
フィールド周波数変換回路３は、図１に示すように、テレビジョン受像機に接続された入力端子３１と、倍速変換部３２と、フレームメモリ３３とを備える。
【００５６】
倍速変換部３２は、テレビジョン受像機から入力端子３１を介して入力された、テレシネ変換後のフィルム画像信号を、フレームメモリ３３へ書き込む。また、この倍速変換部３２は、フレームメモリ３３へ書き込んだフィルム画像信号を、書込み時の２倍の速度で読み出す。これにより、例えば、ＰＡＬ方式の５０フィールド／秒の画像信号の周波数を２倍に変換し、１００フィールド／秒の画像信号を生成することができる。倍速変換部３２は、この倍速変換したフィルム画像信号を画像信号処理装置１へ供給する。
【００５７】
図２は、このフィールド倍速変換回路３における倍速変換前後の各フィールドと画素位置の関係を示している。ここで横軸は時間、縦軸は画素の垂直方向の位置を示す。
【００５８】
倍速変換前のフィルム画像信号は、ＰＡＬ方式の５０フィールド／秒のインタレース画像信号であり、図２(a)に示すように、２フィールドで１つのコマを形成する。
【００５９】
一方、倍速変換後のフィルム画像信号は、１００フィールド／秒のインタレース画像信号であるため、図２(b)に示すように、フィールドｔ１とフィールドｔ２の間に、新規に２枚のフィールドｔ２´、ｔ１´を生成する。そして、フィールドｔ２とフィールドｔ３の間では、フィールドの生成を行わず、フィールドｔ３とフィールドｔ４の間に、新規に２枚のフィールドｔ４´、ｔ３´を生成する。すなわち、倍速変換後のフィルム画像信号は、４フィールドで１つのコマを形成することとなる。
【００６０】
この新規に生成したフィールドｔ１´、ｔ２´、・・・は、それぞれの画素値を、各画素の周囲３画素の中間値として、メディアン・フィルタ等を用いて求める場合もある。また、この新規に生成したフィールドｔ１´、ｔ２´、・・・は、それぞれフィールドｔ１、ｔ２、・・と同じ内容となる。これにより、４フィールドで１つのコマを形成することとなり、単位時間当たりの画面枚数を増やすことで解像度を向上させることができ、面フリッカ妨害を抑制することが可能となる。
【００６１】
次に、この第１の実施の形態に係る画像信号処理装置１の動作について説明する。
【００６２】
画像信号処理装置１は、フィールド倍速変換回路３から、テレシネ変換後、倍速変換した１コマが４フィールドで構成される画像信号が順次供給される。この画像信号の水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図３に示す。この図３において、横軸は画像の水平方向における位置、縦軸は時間を示している。既にテレシネ変換された画像は、図３に示すように、フィールドｔ１、ｔ２´、ｔ１´、ｔ２の順で、一定の時間間隔で第１の画像メモリ１１に供給され、画像は全て同一の位置に表示される。またフィールドｔ３に移行すると画像が水平方向（右方向）に移り、フィールドｔ３、ｔ４´、ｔ３´、ｔ４の順で第１の画像メモリ１１に供給される。
【００６３】
ここで、例えば、第１の画像メモリ１１に供給されるフィールド（以下、参照フィールドと称する）が、フィールドｔ３である場合には、第２の画像メモリ１２から出力される、参照フィールドより２フレーム前のフィールド（以下、２フレーム遅延フィールドと称する）は、フィールドｔ１となる。
【００６４】
動きベクトル検出部１４は、この参照フィールドと２フレーム遅延フィールド間で、各画素又は各ブロック単位で動きベクトルを検出する。図３に示す例の場合には、動きベクトルのベクトル方向は、２フレーム遅延フィールドを基準として水平方向（右方向）となり、ベクトル量はＡとなる。同様に、参照フィールドがｔ５の場合には、２フレーム遅延フィールドは、ｔ３となり、動きベクトルのベクトル量はＢとなる。この手順を繰り返すことにより、２フレーム遅延フィールドを基準とした動きベクトルのベクトル方向とベクトル量を順次求めることができる。動きベクトル検出部１４は、この求めた動きベクトルのベクトル量とベクトル方向とを画像シフト部１５へ順次送信する。
【００６５】
シーケンス検出部１３は、参照フィールドと、第１の画像メモリ１１から出力される、参照フィールドより１フレーム前のフィールド（以下、１フレーム遅延フィールドと称する）を順次検出し、同一の画素位置における画素信号レベルの差分値をそれぞれ演算する。
【００６６】
すなわち、図４に示すように、参照フィールドｔ１´と、１フレーム遅延フィールドｔ１は、同一のコマを構成するため、例えば画素位置ａ点における画素信号レベルの差分値は０になる。次に参照フィールドとしてフィールドｔ２が供給されると、１フレーム遅延フィールドはフィールドｔ２´となり、ａ点における画素信号レベルの差分値は同様に０となる。
【００６７】
次に参照フィールドとしてフィールドｔ３が供給されると、１フレーム遅延フィールドはｔ１´となり、両者はそれぞれ別のコマを形成するため、ａ点における画素信号レベルの差分値は０以外（以下、１とする）となる。次に参照フィールドとしてｔ４´が供給されると１フレーム遅延フィールドはフィールドｔ２となり、ａ点における画素信号レベルの差分値は、同様に１となる。
【００６８】
更に、参照フィールドとしてｔ３´が供給されると、１フレーム遅延フィールドは、ｔ３となり、両者は同一のコマを形成するため、ａ点における画素信号レベルの差分値は再び０になる。その後に供給される参照フィールドについても同様の傾向となり、演算した差分値は、４フィールド周期で「００１１」の順で繰り返される。従って、このシーケンスを４フィールド単位で検出することにより、各フィールドの前後関係を特定することが可能となる。
【００６９】
この傾向を１フレーム遅延フィールドにつき着目すると、差分値は、コマの最初のフィールドから「００１１」の順になる。従って、図４に示すように、最初に差分値０を算出したとき、検出した１フレーム遅延フィールドを、コマの最初のフィールド（以下、第１のフィールドと称する）として特定する。また差分値０が連続したときには、検出した１フレーム遅延フィールドを第２のフィールドとして特定する。また差分値として最初に１を算出した場合に、検出した１フレーム遅延フィールドを第３のフィールドとして特定する。また、差分値１が連続したときには、検出した１フレーム遅延フィールドを第４のフィールドとして特定する。
【００７０】
シーケンス検出部１３は、上述の各フィールドにおける前後関係の特定結果を、画像シフト部１５へ送信する。
【００７１】
画像シフト部１５は、第２の画像メモリから供給される画像信号を、シーケンス検出部１３により特定された各フィールドの前後関係に基づき、検出画素の位置をベクトル方向へシフトさせる。
【００７２】
各フィールドのシフト量は、図５に示すように、第１のフィールドにおいて最小とし、第２のフィールド、第３のフィールドと続く毎に、順次増大させる。そして第４のフィールドにおけるシフト量が最大になるようにする。画像信号が画像シフト部１５に供給されるまでに、各フィールドが第１のフィールド〜第４のフィールドのいずれに該当するか判明しているため、検出画素の位置を正確かつ容易にシフトさせることができる。
【００７３】
各フィールドにおいて画像をシフトさせた結果を図６に示す。画像は、後のフィールドに移行する毎に徐々に水平方向へ移動する。すなわち、画像シフト部１５は、動きベクトル量に相当する画像のシフト量を、各フィールドに分散することが可能となる。これにより、画像をシフトさせる前と比べて、第４のフィールドから第１のフィールドに移行する際に画像を大きく移動させることなく、画像の動きをスムーズにすることができる。
【００７４】
この第１の実施の形態に係る画像信号処理装置１を、フィールド倍速変換回路３を集積化してテレビジョン受像機に内蔵することにより、テレシネ変換後、倍速変換した画像信号特有である動きの不連続感を解消することができる。すなわち、フィールド倍速変換回路３により解像度を向上させ、面フリッカ妨害を抑制した各画像の動きを、更にスムーズにすることにより、相乗的に画質を向上させることができる。
【００７５】
従って、この画像信号処理装置１は、単独で実施する場合のみならず、フィールド倍速変換回路３と一体で実施することで顕著な効果が得られる。また、フィールド倍速変換回路が既に集積化されているテレビジョン受像機に対しても、後からこの画像信号処理装置１を内蔵することにより、バージョンアップを容易に実現することができる。
【００７６】
なお、画像シフト部１５における画像のシフト量は、例えば図７に示すように、第１のフィールドのシフト量を０とし、第１のフィールドの後へフィールドが続く毎に、シフト量を検出した動きベクトルのベクトル量の１／４倍ずつ増加させることも可能である。図７の場合には、第１のフィールドのシフト量を０とし、ベクトル量がＡの場合には、第２のフィールドをＡ×１／４、第３のフィールドをＡ×２／４、第４のフィールドをＡ×３／４だけシフトさせる。また、ベクトル量がＢの場合には、第２のフィールドをＢ×１／４、第３のフィールドをＢ×２／４、第４のフィールドをＢ×３／４だけシフトさせる。１コマが４フィールドで構成されているため、ベクトル量の１／４倍ずつ増加させることにより、シフト量を時間に対して線形に増加させることが可能となり、画像の動きを更にスムーズにすることができる。
【００７７】
なお、この第１の実施の形態に係る画像信号処理装置１は上述の構成、動作に限定されるものではない。例えば図８に示すように、動きベクトルのベクトル方向と反対方向に、画像をシフトさせることも可能である。この図８では、第４のフィールドから第１のフィールドへの移行時における画像シフト量を、後から入力されるフィールドに分散させることにより、図５に示す実施の形態と同様の効果を得ることができる。
【００７８】
各フィールドのシフト量は、図８に示すように、第１のフィールドにおいて最大とし、第２のフィールド、第３のフィールドと続く毎に、順次減少させる。そして第４のフィールドで最小とする。
【００７９】
また、各フィールドのシフト量を、第１のフィールドのシフト量を検出した動きベクトルのベクトル量の３／４倍とし、第１のフィールドの後へフィールドが続く毎に、ベクトル量の１／４倍ずつ減少させ、第４のフィールドのシフト量を０とすることも可能である。これにより、シフト量を時間に対して線形に減少させることで、画像の動きを更にスムーズにすることができる。
【００８０】
図９に、動きベクトルのベクトル方向と反対方向に画像をシフトさせる画像信号処理装置４のブロック構成例を示す。上述した図１と同一の構成要素は同一符号を付することによりその詳細な説明を省略する。
【００８１】
この画像信号処理装置４は、第１の画像メモリ１１と、第２の画像メモリ１２と、シーケンス検出部１３と、動きベクトル検出部１４と、画像逆シフト部１６とを備えている。
【００８２】
画像逆シフト部１６には、動きベクトル検出部１４から、２フレーム遅延フィールドを基準とした動きベクトルのベクトル方向と、ベクトル量が入力される。また、シーケンス検出部１３から、１フレーム遅延フィールドにおける位置関係の特定結果が入力される。
【００８３】
また、この画像逆シフト部１６には、フィールド倍速変換回路３から１コマが４フィールドで構成される画像信号が順次供給される。図１に示す実施の形態では、前に入力されたフィールドをシフトさせる必要性から、第２の画像メモリ１２から出力される、いわゆる遅延させたフィールドを直接画像シフト部１５に供給するが、この図９に示す実施の形態においては、後に入力されるフィールドをシフトさせるため、画像メモリにより遅延されていない画像信号が直接的に供給される。
【００８４】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
【００８５】
図１０は、第２の実施の形態に係る画像信号処理装置７のブロック構成図である。
【００８６】
画像信号処理装置７は、例えばＰＡＬ(Phase Alternation by Line)方式によるテレビジョン受像機に内蔵され、テレビジョン信号（以下、ＴＶ信号という）が入力される。
【００８７】
画像信号処理装置７は、図１０に示すように、第１の画像メモリ７１と、動きベクトル検出部７４と、画像シフト部１５とを備えている。なお、第１の実施の形態である画像信号処理装置１と同一の回路構成要素は、第１の実施の形態の説明を引用し、説明を省略する。
【００８８】
第１の画像メモリ７１は、ＴＶ信号を倍速変換することにより生成された１コマが２フィールドで構成された、例えば１００フィールド／秒のインタレース画像信号が順次供給される。
【００８９】
動きベクトル検出部７４は、第１の画像メモリ７１へ供給される画像信号と、第１の画像メモリ７１から出力される画像信号を検出し、例えばブロックマッチング法に基づき、動きベクトルを検出する。動きベクトル検出部７４は、各画素毎又は各ブロック毎に検出した動きベクトルを画像シフト部１５へ送信する。
【００９０】
画像シフト部１５は、動きベクトル検出部１４が検出した動きベクトルを受信する。また画像シフト部１５は、倍速変換回路３２から補正タイミング信号が供給される。この補正タイミング信号は、画像をシフトさせるフィールドが第１のフィールド又は第２のフィールドのいずれかに該当するかについての情報も含む。 なお、画像信号処理装置７には、画像信号のフィールド周波数を倍速変換するフィールド倍速変換回路３が集積される場合もある。フィールド倍速変換回路３は、解像度を向上させることにより、面フリッカ妨害を防止すべく集積されるものであり、例えば、ＰＡＬ方式において、補間等の処理を行うことにより、フィールド周波数が５０Ｈｚの画像信号を２倍の１００Ｈｚの画像信号に変換する。
【００９１】
次に、この第２の実施の形態に係る画像信号処理装置７の動作について説明する。
【００９２】
画像信号処理装置７は、フィールド倍速変換回路３から、ＴＶ信号を倍速変換した１コマが２フィールドで構成される画像信号が順次供給される。この画像信号の水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図１１に示す。この図１１において、横軸は画像の水平方向における位置、縦軸は時間を示している。入力されるテレビ信号の画像信号をフィールド周波数倍速方式により倍速変換すると、図１１に示すように、同一のコマを構成するフィールドｔ１、ｔ２´において、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｔ１´、ｔ２において、同一位置に同一の画像が表示される。
【００９３】
動きベクトル検出部７４は、参照フィールドと１フレーム遅延フィールド間で、各画素又は各ブロック単位で動きベクトルを検出する。図１１に示す例の場合には、動きベクトルのベクトル方向は、１フレーム遅延フィールドを基準として水平方向（右方向）となり、参照フィールドがｔ１´のときにベクトル量はＣとなる。同様に、参照フィールドがｔ４´の場合には、１フレーム遅延フィールドは、ｔ１´となり、動きベクトルのベクトル量はＤとなる。この手順を繰り返すことにより、１フレーム遅延フィールドを基準とした動きベクトルのベクトル方向とベクトル量を順次求めることができる。動きベクトル検出部７４は、この求めた動きベクトルのベクトル量とベクトル方向とを画像シフト部１５へ順次送信する。
【００９４】
画像シフト部１５は、第１の画像メモリ７１から供給される画像信号を、各フィールドの前後関係に基づき、検出画素の位置をベクトル方向へシフトさせる。
【００９５】
各フィールドのシフト量は、図１２に示すように、第１のフィールド＞第２のフィールド、となるように順次増大させる。なお、各フィールドが第１のフィールド又は第２のフィールドのいずれに該当するか判別するためには、２フィールド単位でのシーケンスを検出する必要があるが、フィールド倍速変換回路３により倍速変換する際に該当するフィールドは判明するため、このようなシーケンス検出の必要性は無い。
【００９６】
また、上述のように画像をシフトさせると、図１２の点線で示すことができるが、画像をシフトさせる前と比べて、第２のフィールドから第１のフィールドへ移行する際に画像を大きく移動させることなく、画像の動きをスムーズにすることができる。
【００９７】
この第２の実施の形態に係る画像信号処理装置７を、フィールド倍速変換回路３を集積化してテレビジョン受像機に内蔵することにより、ＴＶ信号を倍速変換した画像において、動きの不連続感を解消することができる。すなわち、フィールド倍速変換回路３により解像度を向上させ、面フリッカ妨害を抑制した各画像の動きを、更にスムーズにすることにより、相乗的に画質を向上させることができる。
【００９８】
従って、この画像信号処理装置７は、単独で実施する場合のみならず、フィールド倍速変換回路３と一体で実施することで顕著な効果が得られる。また、フィールド倍速変換回路が既に集積化されているテレビジョン受像機に対しても、後からこの画像信号処理装置１を内蔵することにより、バージョンアップを容易に実現することができる。
【００９９】
なお、画像シフト部１５における画像のシフト量は、例えば図１３に示すように、第１のフィールドのシフト量を０とし、第２のフィールドのシフト量を検出した動きベクトルのベクトル量の１／２倍にすることも可能である。図１３の場合には、第１のフィールドのシフト量を０とし、ベクトル量がＣの場合には、第２のフィールドをＣ×１／２だけシフトさせる。また、ベクトル量がＤの場合には、第２のフィールドをＤ×１／２だけシフトさせる。１コマが２フィールドで構成されているため、ベクトル量の１／２倍ずつ増加させることにより、シフト量を時間に対して線形に増加させることが可能となり、画像の動きを更にスムーズにすることができる。
【０１００】
なお、この第２の実施の形態に係る画像信号処理装置７は上述の構成、動作に限定されるものではない。例えば図１４に示すように、動きベクトルのベクトル方向と反対方向に、画像をシフトさせることも可能である。この図１４では、第２のフィールドから第１のフィールドへの移行時における画像シフト量を、後から入力されるフィールドに分散させることにより、図１２に示す実施の形態と同様の効果を得ることができる。
【０１０１】
各フィールドのシフト量は、第１のフィールド＞第２のフィールドとする。また、各フィールドのシフト量を、第１のフィールドのシフト量を検出した動きベクトルのベクトル量の１／２倍とし、第２のフィールドのシフト量を０とすることも可能である。これにより、シフト量を時間に対して線形に減少させることで、画像の動きを更にスムーズにすることができる。
【０１０２】
図１５に、動きベクトルのベクトル方向と反対方向に画像をシフトさせる画像信号処理装置８のブロック構成例を示す。上述した図１０と同一の構成要素は同一符号を付することによりその詳細な説明を省略する。
【０１０３】
この画像信号処理装置８は、第１の画像メモリ１１と、動きベクトル検出部７４と、画像逆シフト部８６とを備えている。
【０１０４】
画像逆シフト部８６には、動きベクトル検出部７４から、遅延フィールドを基準とした動きベクトルのベクトル方向と、ベクトル量が入力される。この画像逆シフト部８６には、フィールド倍速変換回路３から１コマが２フィールドで構成される画像信号が順次供給される。
【０１０５】
次に、本発明の第３の実施の形態について図面を参照しながら詳細に説明する。
【０１０６】
図１６は、第３の実施の形態に係る画像信号処理装置９のブロック構成図である。
【０１０７】
画像信号処理装置９は、例えばＰＡＬ方式によるテレビジョン受像機に内蔵され、テレシネ変換した画像信号、又はＴＶ信号が入力される。
【０１０８】
画像信号処理装置９は、図１６に示すように、第１の画像メモリ１１と、第２の画像メモリ１２と、シーケンス検出部１３と、動きベクトル検出部１４と、画像シフト部１５と、データ選択部９１とを備えている。なお、第１の実施の形態である画像信号処理装置１と同一の回路構成要素は、第１の実施の形態の説明を引用し、説明を省略する。
【０１０９】
シーケンス検出部１３は、第１の画像メモリ１１に供給される画像信号及び、第１の画像メモリから出力される、１フレーム遅延した画像信号が入力される。このシーケンス検出部１３は、上述の如く各フィールドの特定に加え、テレシネ変換された信号又はＴＶ信号のいずれに該当するかを判別し、当該判別結果をデータ選択部９１へ送信する。
【０１１０】
データ選択部９１は、第１の画像メモリ１１に供給される画像信号と、第１の画像メモリ１１から出力される画像信号が入力される。このデータ選択部９１は、シーケンス検出部１３から受信した判別結果に基づき、供給される画像信号のうち一方を選択する。すなわち、シーケンス検出部１３によりテレシネ変換された信号であると判別された場合には、第１の画像メモリ１１に供給される画像信号を選択する。また、シーケンス検出部１３によりＴＶ信号であると判別された場合には、第１の画像メモリ１１から出力される画像信号を選択する。
【０１１１】
データ選択部９１は、選択した画像信号Ｄ２を動きベクトル検出部１４へ出力する。動きベクトル検出部１４は、第２の画像メモリ１２から出力される画像信号Ｄ１と、データ選択部９１から出力される画像信号Ｄ２とを検出し、例えばブロックマッチング法に基づき、動きベクトルを検出する。第２の画像メモリ１２から出力される画像信号Ｄ１は、参照フィールドの２フレーム遅延フィールドであり、またデータ選択部９１から出力される画像信号Ｄ２は、参照フィールドそのもの、又は参照フィールドの１フレーム遅延フィールドである。
【０１１２】
すなわち、動きベクトル検出部１４は、画像信号Ｄ１と画像信号Ｄ２との間で動きベクトルを検出することにより、参照フィールドと、２フレーム遅延信号間で動きベクトルを検出することができ、また同様に参照フィールドの１フレーム遅延信号と、参照フィールドの２フレーム遅延信号間で動きベクトルを検出することができる。換言すれば、動きベクトルを検出するフィールド間隔をデータ検出部９１から受信した判別結果に基づき、制御することができる。
【０１１３】
また、この第３の実施の形態は、図１７に示す画像信号処理装置１０に対しても適用可能である。
【０１１４】
画像信号処理装置１０は、図１７に示すように、第１の画像メモリ１１と、第２の画像メモリ１２と、シーケンス検出部１３と、動きベクトル検出部１４と、画像シフト部１５と、データ選択部１０１とを備えている。なお、第１の実施の形態である画像信号処理装置１と同一の回路構成要素は、第１の実施の形態の説明を引用し、説明を省略する。
【０１１５】
データ選択部１０１は、第１の画像メモリ１１から出力される画像信号と、第２の画像メモリ１２から出力される画像信号が入力される。このデータ選択部１０１は、シーケンス検出部１３から受信した判別結果に基づき、供給される画像信号のうち一方を選択する。すなわち、シーケンス検出部１３によりテレシネ変換された信号であると判別された場合には、第２の画像メモリ１２から出力される画像信号を選択する。また、シーケンス検出部１３によりＴＶ信号であると判別された場合には、第１の画像メモリ１１から出力される画像信号を選択する。データ選択部１０１は、選択した画像信号を動きベクトル検出部１４へ出力する。 動きベクトル検出部１４は、第１の画像メモリ１１に供給される画像信号Ｄ３と、データ選択部１０１から出力される画像信号Ｄ４とを検出し、例えばブロックマッチング法に基づき、動きベクトルを検出する。データ選択部１０１から出力される画像信号Ｄ４は、参照フィールドの１フレーム遅延フィールド又は２フレーム遅延フィールドであり、また画像信号Ｄ３は、参照フィールドそのものである。
【０１１６】
すなわち動きベクトル検出部１４は、画像信号Ｄ３と画像信号Ｄ４との間で動きベクトルを検出することにより、参照フィールドと、１フレーム遅延信号間で動きベクトルを検出することができ、また同様に参照フィールドと、２フレーム遅延信号間で動きベクトルを検出することができる。換言すれば、動きベクトルを検出するフィールド間隔をデータ検出部９１から受信した判別結果に基づき、制御することができる。
【０１１７】
またこの第３の実施の形態は、テレシネ変換した画像信号であると判別した場合には、第１の実施の形態に記載の如き動作を行い、またＴＶ信号であると判別した場合には第２の実施の形態に記載の如き動作を行う。
【０１１８】
更に、この第３の実施の形態では、第１、２の実施の形態同様に、動きベクトルのベクトル方向と反対方向に画像をシフトさせることも可能である。
【０１１９】
すなわち、上述の構成を採用する本発明に係る第３の実施の形態では、フィールド倍速変換回路３を集積化してテレビジョン受像機に内蔵することにより、テレシネ変換後に倍速変換した画像信号特有である動きの不連続感を解消することができることに加え、ＴＶ信号の動き補正も同様に行うことができる。すなわち、フィールド倍速変換回路３により解像度を向上させ、面フリッカ妨害を抑制した各画像の動きを、この画像信号処理装置９,１０により更にスムーズにすることができ、相乗的に画質を向上させることができる。
【０１２０】
この画像信号処理装置９,１０は、更に、テレシネ変換した画像信号とＴＶ信号とが双方とも入力される場合においても、上述した画像の動きの不連続性を効率よく解消することができる。これにより、フィルム信号とＴＶ信号の双方が入力されるテレビジョン受像機に内蔵することができ、また既に販売されたテレビジョン受像機に対して新たに内蔵することにより容易にバージョンアップを図ることも可能となり、汎用性をより高めることも可能となる。
【０１２１】
なお、本発明は、ＰＡＬ方式によるテレビジョン受像機に対して適用される場合に限定されることはなく、例えば、ＮＴＳＣ(National TV System Committee)方式の６０フィールド秒（３０コマ／秒）のインタレース画像信号が入力されるテレビジョン受像機に対しても適用可能である。また、ＳＥＣＡＭ方式によるテレビジョン受像機に対しても適用可能である。
【０１２２】
また、本発明は、テレビジョン受像機に内蔵される場合のみならず、テレビジョン受像機に接続する信号変換器へも内蔵可能である。
【０１２３】
また、本発明は、インターネットで伝送されるような画像信号をＰＣなどで表示する場合や、メディアや画像フォーマットを変換するケースにも応用することができる。
【０１２４】
更に、本発明は、回路等、ハードウェアで実現する形で説明しているが、プロセッサ上でのソフトウェアとしても実現可能であることは勿論である。
【０１２５】
【発明の効果】
以上詳細に説明したように、本発明に係る画像信号処理装置及び方法は、例えば、フィルム画像をテレシネ変換することにより得られるフィルムの１コマを２フィールドで構成したテレシネ変換画像信号を倍速変換することにより生成された１コマが４フィールドで構成される画像信号が入力され、演算した画素信号レベルの差分値に基づいて第１のフィールドを特定し、特定した第１のフィールドから後へフィールドが移行するにつれてシフト量が順次増大するように、動きベクトルのベクトル方向へ検出画素の位置をシフトさせる。
【０１２６】
これにより、本発明に係る画像信号処理装置及び方法は、テレシネ変換後、倍速変換した画像信号特有の動きの不連続感を解消することができ、倍速変換により面フリッカ妨害を抑制した画像の動きを更にスムーズにすることができ、相乗的に画質を向上させることが可能となる。
【図面の簡単な説明】
【図１】画像信号処理装置の第１の実施の形態におけるブロック構成図である。
【図２】フィールド倍速変換回路における倍速変換前後の各フィールドと画素位置の関係を示した図である。
【図３】第１の実施の形態において水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図４】第１の実施の形態におけるシーケンスの検出方法について説明するための図である。
【図５】画像シフト部における画像のシフト方法について説明するための図である。
【図６】各フィールドにおいて画像をシフトさせた結果を示した図である。
【図７】シフト量を時間に対して線形に増加させる場合について説明するための図である。
【図８】第１の実施の形態において動きベクトルのベクトル方向と反対方向に画像をシフトさせる場合について示した図である。
【図９】第１の実施の形態における、動きベクトルのベクトル方向と反対方向に画像をシフトさせる画像信号処理装置のブロック構成図である。
【図１０】画像信号処理装置の第２の実施の形態におけるブロック構成図である。
【図１１】第２の実施の形態における動きベクトルの検出方法について説明するための図である。
【図１２】第２の実施の形態において画像をシフトさせた結果を示した図である。
【図１３】第２の実施の形態において、シフト量を時間に対して線形に増加させる場合について説明するための図である。
【図１４】第２の実施の形態において動きベクトルのベクトル方向と反対方向に画像をシフトさせる場合について示した図である。
【図１５】第１２実施の形態における、動きベクトルのベクトル方向と反対方向に画像をシフトさせる画像信号処理装置のブロック構成図である。
【図１６】画像信号処理装置の第３の実施の形態におけるブロック構成図である。
【図１７】第３の実施の形態における他のブロック構成を示した図である。
【図１８】フィールド周波数倍速方式を適用したフィールド倍速変換回路のブロック構成図である。
【図１９】倍速変換前後の各フィールドと画素位置の関係を示した図である。
【図２０】水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図２１】ＴＶ信号が入力される場合において、水平方向へ画像が移動するときの各フィールドと画像位置の関係を示した図である。
【符号の説明】
１,４,７,９,１０ 画像信号処理装置、２ ＣＲＴ、３ フィールド倍速変換回路、１１ 第１の画像メモリ、１２ 第２の画像メモリ、１３ シーケンス検出部、１４ 動きベクトル検出部、１５ 画像シフト部、１６ 画像逆シフト部、３１ 入力端子、３２ 倍速変換部、３３ フレームメモリ、９１,１０１ データ選択部
【発明の属する技術分野】
本発明は、倍速変換することにより生成された１コマが２フィールド又は４フィールドで構成される画像信号の各検出画素の位置をシフトさせる画像信号処理装置及び方法に関する。
【０００２】
【従来の技術】
テレビ放送の走査方式としては、従来から水平走査線を１本おきに飛越して走査するインタレース走査方式が最も広く採用されている。このインタレース走査方式では、奇数番目の走査線から構成されるフィールド画像と、偶数番目の走査線から構成されるフィールド画像により１枚のフレーム画像を形成し、画面全体がちらついて見える面フリッカ妨害を抑え、画面品質の劣化を防止する。
【０００３】
また、このインタレース走査方式は、世界各国のテレビジョン標準方式として採用されており、このうち例えば欧州のテレビジョン放送におけるＰＡＬ(Phase Alternation by Line)方式では、フィールド周波数が５０〔Ｈｚ〕（フレーム画像が２５フレーム／秒、フィールド画像が５０フィールド／秒）で構成される。
【０００４】
特にこのＰＡＬ方式では、更なる面フリッカ妨害の抑制を期すべく、入力画像信号を補間等の処理を行うことにより、フィールド周波数を５０Ｈｚから２倍の１００Ｈｚの画像信号に変換する、フィールド周波数倍速方式が従来より採用されている。
【０００５】
図１８は、このフィールド周波数倍速方式を適用したフィールド倍速変換回路５のブロック構成例を示している。このフィールド倍速変換回路５は、入力端子６１と、ＣＲＴ６３と、水平垂直偏向回路６２とを備えるテレビジョン受像機６に集積化される。このフィールド倍速変換回路５は、倍速変換部５１と、フレームメモリ５２とを備える。
【０００６】
倍速変換部５１は、入力端子６１から入力された、例えばＰＡＬ方式の５０フィールド／秒の画像信号を、フレームメモリ５２へ書き込む。また、この倍速変換部５１は、フレームメモリ５２へ書き込んだ画像信号を、書込み時の２倍の速度で読み出す。これにより、５０フィールド／秒の画像信号の周波数を２倍に変換し、１００フィールド／秒の画像信号を生成することができる。
【０００７】
倍速変換部５１は、倍速変換した画像信号をＣＲＴ６３へ出力する。ＣＲＴ６３は、入力された画像信号を画面上に表示する。なお、ＣＲＴ６３における画像信号の水平、垂直の偏向は、水平垂直偏向回路６２において生成された、入力画像信号の２倍の周波数の水平垂直鋸歯状波に基づいて制御する。
【０００８】
図１９は、倍速変換前後の各画像信号における各フィールドと画素位置との関係を示している。ここで横軸は時間、縦軸は画素の垂直方向の位置を示す。また、図１９(a)の白丸で示した画像信号は、倍速変換前の５０フィールド／秒のインタレース画像信号であり、図１９(b)の黒丸で示した画像信号は、倍速変換した１００フィールド／秒のインタレース画像信号である。
【０００９】
図１９(a)に示す画像信号において、フィールドｆ１とフィールドｆ２は、フィルムの同一のコマから作成された信号となり、以下同様にフィールドｆ３とフィールドｆ４も同一のコマを構成する。これらの画像信号は、インタレース画像信号であるため、隣り合うフィールド間で垂直方向の画素位置が異なる。このため、インタレース性を保ちつつ、各フィールド間に１個ずつのフィールドを新規に生成することはできない。
【００１０】
そこで、図１９(b)に示すように、フィールドｆ１とフィールドｆ２の間に、新規に２枚のフィールドｆ２´、ｆ１´を生成する。そして、フィールドｆ２とフィールドｆ３の間では、フィールドの生成を行わず、フィールドｆ３とフィールドｆ４の間に、新規に２枚のフィールドｆ４´、ｆ３´を生成する。すなわち４フィールド、２フレームで１つのコマを形成する。
【００１１】
この新規に生成したフィールドｆ１´、ｆ２´、・・・は、それぞれの画素値を、各画素の周囲３画素の中間値として、メディアン・フィルタ等を用いて求める場合もある。また、この新規に生成したフィールドｆ１´、ｆ２´、・・・は、それぞれフィールドｆ１、ｆ２、・・と同じ内容となる。
【００１２】
すなわち、フィールド倍速変換回路５は、倍速変換前の画像信号のフィールド間に２枚のフィールドを新規に生成する部分と全く生成しない部分とを交互に配置することで、単位時間当たりの画面枚数を増やすことができ、上述の面フリッカ妨害を抑えることが可能となる。
【００１３】
ところで、２４コマ/秒の静止画で構成される映画のフィルムを通常のテレビで見るためには、インターレースのテレビ信号にするために、テレビシネマ変換（以下、テレシネ変換と称する）を行う。このテレシネ変換後の画像信号において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図２０に示す。ここで横軸は画像の水平方向における位置、縦軸は時間を示している。図２０(a)に示す倍速変換前の画像信号において、フィールドｆ１、ｆ２は、同一のコマを構成するため、同じ位置に画像が表示される。この画像は、フィールドｆ３に移行すると水平方向（右方向）へ移動する。フィールドｆ４は、フィールドｆ３と同一のコマを構成するため、フィールドｆ３と同一の位置に表示される。
【００１４】
この図２０(a)に示すテレシネ変換後の画像信号をフィールド周波数倍速方式により倍速変換すると、図２０(b)に示すように、同一のコマを構成するフィールドｆ１、ｆ２´、ｆ１´、ｆ２で、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｆ３、ｆ４´、ｆ３´、ｆ４で同一位置に同一の画像が表示される。
【００１５】
また、倍速変換前のテレビジョン信号（以下、ＴＶ信号という）において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図２１(a)に示す。この図２１(a)において、フィールドｆ１、ｆ２、ｆ３・・・は、それぞれ独立したコマを形成するため、別の位置に画像が表示される。この画像は、フィールドｆ１から、ｆ２、ｆ３・・・と移行する毎に、水平方向（右方向）へ移動する。
【００１６】
この図２１(a)に示すテレビ信号の画像信号をフィールド周波数倍速方式により倍速変換すると、図２１(b)に示すように、同一のコマを構成するフィールドｆ１、ｆ２´において、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｆ１´、ｆ２において、同一位置に同一の画像が表示される。
【００１７】
【発明が解決しようとする課題】
しかしながら、図２０(b)に示すように、テレシネ変換後、倍速変換した画像信号において、画像はフィールドｆ１〜ｆ２まで同じ位置に表示される一方、ｆ２〜ｆ３に移行する場合に大きく水平方向へ移動する。同様にＴＶ信号を倍速変換した画像信号についても、図２１(b)に示すように、画像はフィールドｆ１〜ｆ２´まで同じ位置に表示される一方、ｆ２´〜ｆ１´に移行する場合に大きく水平方向へ移動する。
【００１８】
特に出力画像信号は、１／１００秒の周期で規則的に各フィールドを構成しているため、画像の動作する時間帯が画像の静止する時間帯と比較して短く、実際にＣＲＴを介して番組を視聴すると画像の動きが不連続に見えるという問題があった。
【００１９】
また、テレシネ変換した画像信号とＴＶ信号とが双方とも入力される場合においても、上述した画像の動きの不連続性を効率よく解消する必要がある。
【００２０】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、テレシネ変換した信号を倍速変換することにより生成された画像信号において、面フリッカ妨害を抑えつつ、画像の動きをスムーズにすることにより相乗的に画質を向上できる画像信号処理装置及び方法を提供することを目的とする。
【００２１】
【課題を解決するための手段】
本発明に係る画像信号処理装置は、上述の課題を解決するために、インタレース画像信号を、各フレームを構成する２つのフィールドの間に２つの新たなフィールドを配置して倍速変換すると共に、動画を表す各フレームの２つのフィールドが１つの静止した画面を形成するインタレース画像信号が入力されたときに、第３のフィールドが第1のフィールドと、第２のフィールドが最後のフィールドと同一の画像からなる４つのフィールドの変換画像を生成する倍速変換手段と、上記倍速変換手段により倍速変換することにより生成され、１つの上記画面の最初が第１のフィールドで始まり、かつ１つの上記画面が４フィールドで構成される画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから２フィールド後のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定するシーケンス検出手段と、上記現フィールドの検出画素について、上記現フィールドから４フィールド後のフィールドに対する動きベクトルを検出する動きベクトル検出手段と、上記動きベクトル検出手段により検出した上記動きベクトルに基づいて、上記動きベクトルのベクトル量の範囲内で、上記現フィールドの検出画素の位置をベクトル方向へシフトさせる画像制御手段とを備え、上記画像制御手段は、上記シーケンス検出手段により特定された上記第１のフィールドにおいて対応する動きベクトルに基づくシフト量を最小とし、当該第１のフィールドの後へフィールドが続く毎に、上記シフト量を順次増大させることを特徴とする。
【００２２】
この画像信号処理装置では、例えばテレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成される画像信号が入力され、演算した画素信号レベルの差分値に基づいて第１のフィールドを特定し、特定した第１のフィールドから後へフィールドが移行するにつれてシフト量が順次増大するように、動きベクトルのベクトル方向へ検出画素の位置をシフトさせる。
【００２３】
本発明に係る画像信号処理装置は、上述の課題を解決するために、インタレース画像信号を、各フレームを構成する２つのフィールドの間に２つの新たなフィールドを配置して倍速変換すると共に、動画を表す各フレームの２つのフィールドが１つの静止した画面を形成するインタレース画像信号が入力されたときに、第3のフィールドが第1のフィールドと、第2のフィールドが最後のフィールドと同一の画像からなる４つのフィールドの変換画像を生成する倍速変換手段と、上記倍速変換手段により倍速変換することにより生成され、１つの上記画面の最初が第１のフィールドで始まり、かつ１つの上記画面が４フィールドで構成される画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから２フィールド前のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定するシーケンス検出手段と、上記現フィールドの検出画素について、上記現フィールドから４フィールド前のフィールドを基準とした動きベクトルを検出する動きベクトル検出手段と、上記動きベクトル検出手段により検出した上記動きベクトルに基づいて、上記動きベクトルのベクトル量の範囲内で、上記現フィールドの検出画素の位置をベクトル方向と反対方向へシフトさせる画像制御手段とを備え、上記画像制御手段は、上記シーケンス検出手段により特定された上記第１のフィールドにおいて対応する動きベクトルに基づくシフト量を最大とし、当該第１のフィールドの後へフィールドが続く毎に、上記シフト量を順次減少させることを特徴とする。
【００２４】
この画像信号処理装置では、例えばテレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成される画像信号が入力され、演算した画素信号レベルの差分値に基づいて第１のフィールドを特定し、第１のフィールドから後へフィールドが続く毎にシフト量が順次減少するように、動きベクトルのベクトル方向と反対方向へ検出画素の位置をシフトさせる。
【００２５】
本発明に係る画像信号処理方法は、上述の課題を解決するために、インタレース画像信号を、各フレームを構成する２つのフィールドの間に２つの新たなフィールドを配置して倍速変換すると共に、動画を表す各フレームの２つのフィールドが１つの静止した画面を形成するインタレース画像信号が入力されたときに、第3のフィールドが第1のフィールドと、第2のフィールドが最後のフィールドと同一の画像からなる４つのフィールドの変換画像を生成し、上記倍速変換により生成され、１つの上記画面の最初が第１のフィールドで始まり、かつ１つの上記画面が４フィールドで構成される画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから２フィールド後のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定し、上記現フィールドの検出画素について、上記現フィールドから４フィールド後のフィールドに対する動きベクトルを検出し、検出した上記動きベクトルに基づいて、特定した上記第１のフィールドにおいて対応する動きベクトルに基づくシフト量を最小とし、上記第１のフィールドの後へフィールドが続く毎に上記シフト量が検出した上記動きベクトルのベクトル量の範囲内で順次増大するように、上記検出画素の位置をベクトル方向へシフトすることを特徴とする。
【００２６】
この画像信号処理方法では、例えばテレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成される画像信号が入力され、演算した画素信号レベルの差分値に基づいて第１のフィールドを特定し、第１のフィールドから後へフィールドが続く毎にシフト量が順次増大するように、動きベクトルのベクトル方向へ検出画素の位置をシフトさせる。
【００２７】
本発明に係る画像信号処理方法は、上述の課題を解決するために、インタレース画像信号を、各フレームを構成する２つのフィールドの間に２つの新たなフィールドを配置して倍速変換すると共に、動画を表す各フレームの２つのフィールドが１つの静止した画面を形成するインタレース画像信号が入力されたときに、第３のフィールドが第１のフィールドと、第２のフィールドが最後のフィールドと同一の画像からなる４つのフィールドの変換画像を生成し、上記倍速変換により生成され、１つの上記画面の最初が第１のフィールドで始まり、かつ１つの上記画面が４フィールドで構成される画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから２フィールド前のフィールドの同一箇所における検出画素と、の間で演算した画素信号レベルの差分値に基づき、上記第１のフィールドを特定し、上記現フィールドの検出画素について、上記現フィールドから４フィールド前のフィールドを基準とした動きベクトルを検出し、検出した上記動きベクトルに基づいて、特定した上記第１のフィールドにおいて対応する動きベクトルに基づくシフト量を最大とし、上記第１のフィールドの後へフィールドが続く毎に上記シフト量が検出した上記動きベクトルのベクトル量の範囲内で順次減少するように、上記検出画素の位置をベクトル方向と反対方向へシフトすることを特徴とする。
【００２８】
この画像信号処理方法では、例えばテレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成される画像信号が入力され、演算した画素信号レベルの差分値に基づいて第１のフィールドを特定し、第１のフィールドから後へフィールドが続く毎にシフト量が順次減少するように、動きベクトルのベクトル方向と反対方向へ検出画素の位置をシフトさせる。
【００４５】
【発明の実施の形態】
以下、本発明を適用した画像信号処理装置及び方法について図面を参照して詳細に説明する。
【００４６】
図１は、本発明の第１の実施の形態における画像信号処理装置１のブロック構成図である。画像信号処理装置１は、例えばＰＡＬ(Phase Alternation by Line)方式によるテレビジョン受像機に内蔵され、テレシネ変換した画像信号が入力される。またこの画像信号処理装置１は、図１に示すように、第１の画像メモリ１１と、第２の画像メモリ１２と、シーケンス検出部１３と、動きベクトル検出部１４と、画像シフト部１５とを備えている。
【００４７】
第１の画像メモリ１１は、テレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成された、例えば１００フィールド／秒のインタレース画像信号が順次供給される。
【００４８】
第１の画像メモリ１１は、供給された画像信号を、各フィールド単位で、１フレーム分格納する。すなわち、第１の画像メモリ１１から出力される画像信号は、この第１の画像メモリ１１に供給される画像信号より１フレーム後になる。
【００４９】
第２の画像メモリ１２は、第１の画像メモリ１１と同様の内部構成を有し、第１の画像メモリ１１から供給された画像信号を、各フィールド単位で、１フレーム分格納する。すなわち、第２の画像メモリ１２から出力される画像信号は、この第２の画像メモリ１２に供給される画像信号より１フレーム後になり、第１の画像メモリ１１に供給される画像信号より２フレーム後になる。この第２の画像メモリ１２に格納された画像信号は、画像シフト部１５に供給される。
【００５０】
シーケンス検出部１３は、第１の画像メモリ１１に供給される画像信号と、第１の画像メモリ１１から出力される画像信号を検出し、各画素毎に画像信号レベルを比較し、両者間で差分値を演算する。すなわち、このシーケンス検出部１３は、画面上の同一箇所における画素の画像信号レベルを、１フレーム間隔で比較する。シーケンス検出部１３は、画像信号レベルの差分値の演算結果を画像シフト部１５へ送信する。
【００５１】
動きベクトル検出部１４は、第１の画像メモリ１１に供給される画像信号と、第２の画像メモリ１２から出力される画像信号を検出し、例えばブロックマッチング法に基づき、動きベクトルを検出する。このブロックマッチング法は、画面を所定の画素からなるブロックに分割し、各ブロック単位で相似度を評価することにより動きベクトルを求める方法である。動きベクトル検出部１４は、各画素毎又は各ブロック毎に検出した動きベクトルを画像シフト部１５へ送信する。
【００５２】
画像シフト部１５は、画像信号レベルの比較結果をシーケンス検出部１３から受信する。また、画像シフト部１５は、動きベクトル検出部１４が検出した動きベクトルを受信する。更に画像シフト部１５は、第２の画像メモリ１２から供給された画像信号における各画素位置を、受信した動きベクトルのベクトル量の範囲内で、かつベクトル方向へシフトさせる。
【００５３】
画像シフト部１５は、フィールド単位で各画素位置をシフトさせた画像信号を、ＣＲＴ２へ供給する。ＣＲＴ２は、供給された画像信号を画面上に表示する。ＣＲＴ２における画像信号の水平、垂直方向の偏向は、図示しない水平垂直偏向回路に基づき、制御される場合もある。
【００５４】
なお、画像信号処理装置１には、画像信号のフィールド周波数を倍速変換するフィールド倍速変換回路３が集積される場合もある。フィールド倍速変換回路３は、解像度を向上させることにより、面フリッカ妨害を防止すべく集積されるものであり、例えば、ＰＡＬ方式において、補間等の処理を行うことにより、フィールド周波数が５０Ｈｚの画像信号を２倍の１００Ｈｚの画像信号に変換する。
【００５５】
フィールド周波数変換回路３は、図１に示すように、テレビジョン受像機に接続された入力端子３１と、倍速変換部３２と、フレームメモリ３３とを備える。
【００５６】
倍速変換部３２は、テレビジョン受像機から入力端子３１を介して入力された、テレシネ変換後のフィルム画像信号を、フレームメモリ３３へ書き込む。また、この倍速変換部３２は、フレームメモリ３３へ書き込んだフィルム画像信号を、書込み時の２倍の速度で読み出す。これにより、例えば、ＰＡＬ方式の５０フィールド／秒の画像信号の周波数を２倍に変換し、１００フィールド／秒の画像信号を生成することができる。倍速変換部３２は、この倍速変換したフィルム画像信号を画像信号処理装置１へ供給する。
【００５７】
図２は、このフィールド倍速変換回路３における倍速変換前後の各フィールドと画素位置の関係を示している。ここで横軸は時間、縦軸は画素の垂直方向の位置を示す。
【００５８】
倍速変換前のフィルム画像信号は、ＰＡＬ方式の５０フィールド／秒のインタレース画像信号であり、図２(a)に示すように、２フィールドで１つのコマを形成する。
【００５９】
一方、倍速変換後のフィルム画像信号は、１００フィールド／秒のインタレース画像信号であるため、図２(b)に示すように、フィールドｔ１とフィールドｔ２の間に、新規に２枚のフィールドｔ２´、ｔ１´を生成する。そして、フィールドｔ２とフィールドｔ３の間では、フィールドの生成を行わず、フィールドｔ３とフィールドｔ４の間に、新規に２枚のフィールドｔ４´、ｔ３´を生成する。すなわち、倍速変換後のフィルム画像信号は、４フィールドで１つのコマを形成することとなる。
【００６０】
この新規に生成したフィールドｔ１´、ｔ２´、・・・は、それぞれの画素値を、各画素の周囲３画素の中間値として、メディアン・フィルタ等を用いて求める場合もある。また、この新規に生成したフィールドｔ１´、ｔ２´、・・・は、それぞれフィールドｔ１、ｔ２、・・と同じ内容となる。これにより、４フィールドで１つのコマを形成することとなり、単位時間当たりの画面枚数を増やすことで解像度を向上させることができ、面フリッカ妨害を抑制することが可能となる。
【００６１】
次に、この第１の実施の形態に係る画像信号処理装置１の動作について説明する。
【００６２】
画像信号処理装置１は、フィールド倍速変換回路３から、テレシネ変換後、倍速変換した１コマが４フィールドで構成される画像信号が順次供給される。この画像信号の水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図３に示す。この図３において、横軸は画像の水平方向における位置、縦軸は時間を示している。既にテレシネ変換された画像は、図３に示すように、フィールドｔ１、ｔ２´、ｔ１´、ｔ２の順で、一定の時間間隔で第１の画像メモリ１１に供給され、画像は全て同一の位置に表示される。またフィールドｔ３に移行すると画像が水平方向（右方向）に移り、フィールドｔ３、ｔ４´、ｔ３´、ｔ４の順で第１の画像メモリ１１に供給される。
【００６３】
ここで、例えば、第１の画像メモリ１１に供給されるフィールド（以下、参照フィールドと称する）が、フィールドｔ３である場合には、第２の画像メモリ１２から出力される、参照フィールドより２フレーム前のフィールド（以下、２フレーム遅延フィールドと称する）は、フィールドｔ１となる。
【００６４】
動きベクトル検出部１４は、この参照フィールドと２フレーム遅延フィールド間で、各画素又は各ブロック単位で動きベクトルを検出する。図３に示す例の場合には、動きベクトルのベクトル方向は、２フレーム遅延フィールドを基準として水平方向（右方向）となり、ベクトル量はＡとなる。同様に、参照フィールドがｔ５の場合には、２フレーム遅延フィールドは、ｔ３となり、動きベクトルのベクトル量はＢとなる。この手順を繰り返すことにより、２フレーム遅延フィールドを基準とした動きベクトルのベクトル方向とベクトル量を順次求めることができる。動きベクトル検出部１４は、この求めた動きベクトルのベクトル量とベクトル方向とを画像シフト部１５へ順次送信する。
【００６５】
シーケンス検出部１３は、参照フィールドと、第１の画像メモリ１１から出力される、参照フィールドより１フレーム前のフィールド（以下、１フレーム遅延フィールドと称する）を順次検出し、同一の画素位置における画素信号レベルの差分値をそれぞれ演算する。
【００６６】
すなわち、図４に示すように、参照フィールドｔ１´と、１フレーム遅延フィールドｔ１は、同一のコマを構成するため、例えば画素位置ａ点における画素信号レベルの差分値は０になる。次に参照フィールドとしてフィールドｔ２が供給されると、１フレーム遅延フィールドはフィールドｔ２´となり、ａ点における画素信号レベルの差分値は同様に０となる。
【００６７】
次に参照フィールドとしてフィールドｔ３が供給されると、１フレーム遅延フィールドはｔ１´となり、両者はそれぞれ別のコマを形成するため、ａ点における画素信号レベルの差分値は０以外（以下、１とする）となる。次に参照フィールドとしてｔ４´が供給されると１フレーム遅延フィールドはフィールドｔ２となり、ａ点における画素信号レベルの差分値は、同様に１となる。
【００６８】
更に、参照フィールドとしてｔ３´が供給されると、１フレーム遅延フィールドは、ｔ３となり、両者は同一のコマを形成するため、ａ点における画素信号レベルの差分値は再び０になる。その後に供給される参照フィールドについても同様の傾向となり、演算した差分値は、４フィールド周期で「００１１」の順で繰り返される。従って、このシーケンスを４フィールド単位で検出することにより、各フィールドの前後関係を特定することが可能となる。
【００６９】
この傾向を１フレーム遅延フィールドにつき着目すると、差分値は、コマの最初のフィールドから「００１１」の順になる。従って、図４に示すように、最初に差分値０を算出したとき、検出した１フレーム遅延フィールドを、コマの最初のフィールド（以下、第１のフィールドと称する）として特定する。また差分値０が連続したときには、検出した１フレーム遅延フィールドを第２のフィールドとして特定する。また差分値として最初に１を算出した場合に、検出した１フレーム遅延フィールドを第３のフィールドとして特定する。また、差分値１が連続したときには、検出した１フレーム遅延フィールドを第４のフィールドとして特定する。
【００７０】
シーケンス検出部１３は、上述の各フィールドにおける前後関係の特定結果を、画像シフト部１５へ送信する。
【００７１】
画像シフト部１５は、第２の画像メモリから供給される画像信号を、シーケンス検出部１３により特定された各フィールドの前後関係に基づき、検出画素の位置をベクトル方向へシフトさせる。
【００７２】
各フィールドのシフト量は、図５に示すように、第１のフィールドにおいて最小とし、第２のフィールド、第３のフィールドと続く毎に、順次増大させる。そして第４のフィールドにおけるシフト量が最大になるようにする。画像信号が画像シフト部１５に供給されるまでに、各フィールドが第１のフィールド〜第４のフィールドのいずれに該当するか判明しているため、検出画素の位置を正確かつ容易にシフトさせることができる。
【００７３】
各フィールドにおいて画像をシフトさせた結果を図６に示す。画像は、後のフィールドに移行する毎に徐々に水平方向へ移動する。すなわち、画像シフト部１５は、動きベクトル量に相当する画像のシフト量を、各フィールドに分散することが可能となる。これにより、画像をシフトさせる前と比べて、第４のフィールドから第１のフィールドに移行する際に画像を大きく移動させることなく、画像の動きをスムーズにすることができる。
【００７４】
この第１の実施の形態に係る画像信号処理装置１を、フィールド倍速変換回路３を集積化してテレビジョン受像機に内蔵することにより、テレシネ変換後、倍速変換した画像信号特有である動きの不連続感を解消することができる。すなわち、フィールド倍速変換回路３により解像度を向上させ、面フリッカ妨害を抑制した各画像の動きを、更にスムーズにすることにより、相乗的に画質を向上させることができる。
【００７５】
従って、この画像信号処理装置１は、単独で実施する場合のみならず、フィールド倍速変換回路３と一体で実施することで顕著な効果が得られる。また、フィールド倍速変換回路が既に集積化されているテレビジョン受像機に対しても、後からこの画像信号処理装置１を内蔵することにより、バージョンアップを容易に実現することができる。
【００７６】
なお、画像シフト部１５における画像のシフト量は、例えば図７に示すように、第１のフィールドのシフト量を０とし、第１のフィールドの後へフィールドが続く毎に、シフト量を検出した動きベクトルのベクトル量の１／４倍ずつ増加させることも可能である。図７の場合には、第１のフィールドのシフト量を０とし、ベクトル量がＡの場合には、第２のフィールドをＡ×１／４、第３のフィールドをＡ×２／４、第４のフィールドをＡ×３／４だけシフトさせる。また、ベクトル量がＢの場合には、第２のフィールドをＢ×１／４、第３のフィールドをＢ×２／４、第４のフィールドをＢ×３／４だけシフトさせる。１コマが４フィールドで構成されているため、ベクトル量の１／４倍ずつ増加させることにより、シフト量を時間に対して線形に増加させることが可能となり、画像の動きを更にスムーズにすることができる。
【００７７】
なお、この第１の実施の形態に係る画像信号処理装置１は上述の構成、動作に限定されるものではない。例えば図８に示すように、動きベクトルのベクトル方向と反対方向に、画像をシフトさせることも可能である。この図８では、第４のフィールドから第１のフィールドへの移行時における画像シフト量を、後から入力されるフィールドに分散させることにより、図５に示す実施の形態と同様の効果を得ることができる。
【００７８】
各フィールドのシフト量は、図８に示すように、第１のフィールドにおいて最大とし、第２のフィールド、第３のフィールドと続く毎に、順次減少させる。そして第４のフィールドで最小とする。
【００７９】
また、各フィールドのシフト量を、第１のフィールドのシフト量を検出した動きベクトルのベクトル量の３／４倍とし、第１のフィールドの後へフィールドが続く毎に、ベクトル量の１／４倍ずつ減少させ、第４のフィールドのシフト量を０とすることも可能である。これにより、シフト量を時間に対して線形に減少させることで、画像の動きを更にスムーズにすることができる。
【００８０】
図９に、動きベクトルのベクトル方向と反対方向に画像をシフトさせる画像信号処理装置４のブロック構成例を示す。上述した図１と同一の構成要素は同一符号を付することによりその詳細な説明を省略する。
【００８１】
この画像信号処理装置４は、第１の画像メモリ１１と、第２の画像メモリ１２と、シーケンス検出部１３と、動きベクトル検出部１４と、画像逆シフト部１６とを備えている。
【００８２】
画像逆シフト部１６には、動きベクトル検出部１４から、２フレーム遅延フィールドを基準とした動きベクトルのベクトル方向と、ベクトル量が入力される。また、シーケンス検出部１３から、１フレーム遅延フィールドにおける位置関係の特定結果が入力される。
【００８３】
また、この画像逆シフト部１６には、フィールド倍速変換回路３から１コマが４フィールドで構成される画像信号が順次供給される。図１に示す実施の形態では、前に入力されたフィールドをシフトさせる必要性から、第２の画像メモリ１２から出力される、いわゆる遅延させたフィールドを直接画像シフト部１５に供給するが、この図９に示す実施の形態においては、後に入力されるフィールドをシフトさせるため、画像メモリにより遅延されていない画像信号が直接的に供給される。
【００８４】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
【００８５】
図１０は、第２の実施の形態に係る画像信号処理装置７のブロック構成図である。
【００８６】
画像信号処理装置７は、例えばＰＡＬ(Phase Alternation by Line)方式によるテレビジョン受像機に内蔵され、テレビジョン信号（以下、ＴＶ信号という）が入力される。
【００８７】
画像信号処理装置７は、図１０に示すように、第１の画像メモリ７１と、動きベクトル検出部７４と、画像シフト部１５とを備えている。なお、第１の実施の形態である画像信号処理装置１と同一の回路構成要素は、第１の実施の形態の説明を引用し、説明を省略する。
【００８８】
第１の画像メモリ７１は、ＴＶ信号を倍速変換することにより生成された１コマが２フィールドで構成された、例えば１００フィールド／秒のインタレース画像信号が順次供給される。
【００８９】
動きベクトル検出部７４は、第１の画像メモリ７１へ供給される画像信号と、第１の画像メモリ７１から出力される画像信号を検出し、例えばブロックマッチング法に基づき、動きベクトルを検出する。動きベクトル検出部７４は、各画素毎又は各ブロック毎に検出した動きベクトルを画像シフト部１５へ送信する。
【００９０】
画像シフト部１５は、動きベクトル検出部１４が検出した動きベクトルを受信する。また画像シフト部１５は、倍速変換回路３２から補正タイミング信号が供給される。この補正タイミング信号は、画像をシフトさせるフィールドが第１のフィールド又は第２のフィールドのいずれかに該当するかについての情報も含む。 なお、画像信号処理装置７には、画像信号のフィールド周波数を倍速変換するフィールド倍速変換回路３が集積される場合もある。フィールド倍速変換回路３は、解像度を向上させることにより、面フリッカ妨害を防止すべく集積されるものであり、例えば、ＰＡＬ方式において、補間等の処理を行うことにより、フィールド周波数が５０Ｈｚの画像信号を２倍の１００Ｈｚの画像信号に変換する。
【００９１】
次に、この第２の実施の形態に係る画像信号処理装置７の動作について説明する。
【００９２】
画像信号処理装置７は、フィールド倍速変換回路３から、ＴＶ信号を倍速変換した１コマが２フィールドで構成される画像信号が順次供給される。この画像信号の水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図１１に示す。この図１１において、横軸は画像の水平方向における位置、縦軸は時間を示している。入力されるテレビ信号の画像信号をフィールド周波数倍速方式により倍速変換すると、図１１に示すように、同一のコマを構成するフィールドｔ１、ｔ２´において、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｔ１´、ｔ２において、同一位置に同一の画像が表示される。
【００９３】
動きベクトル検出部７４は、参照フィールドと１フレーム遅延フィールド間で、各画素又は各ブロック単位で動きベクトルを検出する。図１１に示す例の場合には、動きベクトルのベクトル方向は、１フレーム遅延フィールドを基準として水平方向（右方向）となり、参照フィールドがｔ１´のときにベクトル量はＣとなる。同様に、参照フィールドがｔ４´の場合には、１フレーム遅延フィールドは、ｔ１´となり、動きベクトルのベクトル量はＤとなる。この手順を繰り返すことにより、１フレーム遅延フィールドを基準とした動きベクトルのベクトル方向とベクトル量を順次求めることができる。動きベクトル検出部７４は、この求めた動きベクトルのベクトル量とベクトル方向とを画像シフト部１５へ順次送信する。
【００９４】
画像シフト部１５は、第１の画像メモリ７１から供給される画像信号を、各フィールドの前後関係に基づき、検出画素の位置をベクトル方向へシフトさせる。
【００９５】
各フィールドのシフト量は、図１２に示すように、第１のフィールド＞第２のフィールド、となるように順次増大させる。なお、各フィールドが第１のフィールド又は第２のフィールドのいずれに該当するか判別するためには、２フィールド単位でのシーケンスを検出する必要があるが、フィールド倍速変換回路３により倍速変換する際に該当するフィールドは判明するため、このようなシーケンス検出の必要性は無い。
【００９６】
また、上述のように画像をシフトさせると、図１２の点線で示すことができるが、画像をシフトさせる前と比べて、第２のフィールドから第１のフィールドへ移行する際に画像を大きく移動させることなく、画像の動きをスムーズにすることができる。
【００９７】
この第２の実施の形態に係る画像信号処理装置７を、フィールド倍速変換回路３を集積化してテレビジョン受像機に内蔵することにより、ＴＶ信号を倍速変換した画像において、動きの不連続感を解消することができる。すなわち、フィールド倍速変換回路３により解像度を向上させ、面フリッカ妨害を抑制した各画像の動きを、更にスムーズにすることにより、相乗的に画質を向上させることができる。
【００９８】
従って、この画像信号処理装置７は、単独で実施する場合のみならず、フィールド倍速変換回路３と一体で実施することで顕著な効果が得られる。また、フィールド倍速変換回路が既に集積化されているテレビジョン受像機に対しても、後からこの画像信号処理装置１を内蔵することにより、バージョンアップを容易に実現することができる。
【００９９】
なお、画像シフト部１５における画像のシフト量は、例えば図１３に示すように、第１のフィールドのシフト量を０とし、第２のフィールドのシフト量を検出した動きベクトルのベクトル量の１／２倍にすることも可能である。図１３の場合には、第１のフィールドのシフト量を０とし、ベクトル量がＣの場合には、第２のフィールドをＣ×１／２だけシフトさせる。また、ベクトル量がＤの場合には、第２のフィールドをＤ×１／２だけシフトさせる。１コマが２フィールドで構成されているため、ベクトル量の１／２倍ずつ増加させることにより、シフト量を時間に対して線形に増加させることが可能となり、画像の動きを更にスムーズにすることができる。
【０１００】
なお、この第２の実施の形態に係る画像信号処理装置７は上述の構成、動作に限定されるものではない。例えば図１４に示すように、動きベクトルのベクトル方向と反対方向に、画像をシフトさせることも可能である。この図１４では、第２のフィールドから第１のフィールドへの移行時における画像シフト量を、後から入力されるフィールドに分散させることにより、図１２に示す実施の形態と同様の効果を得ることができる。
【０１０１】
各フィールドのシフト量は、第１のフィールド＞第２のフィールドとする。また、各フィールドのシフト量を、第１のフィールドのシフト量を検出した動きベクトルのベクトル量の１／２倍とし、第２のフィールドのシフト量を０とすることも可能である。これにより、シフト量を時間に対して線形に減少させることで、画像の動きを更にスムーズにすることができる。
【０１０２】
図１５に、動きベクトルのベクトル方向と反対方向に画像をシフトさせる画像信号処理装置８のブロック構成例を示す。上述した図１０と同一の構成要素は同一符号を付することによりその詳細な説明を省略する。
【０１０３】
この画像信号処理装置８は、第１の画像メモリ１１と、動きベクトル検出部７４と、画像逆シフト部８６とを備えている。
【０１０４】
画像逆シフト部８６には、動きベクトル検出部７４から、遅延フィールドを基準とした動きベクトルのベクトル方向と、ベクトル量が入力される。この画像逆シフト部８６には、フィールド倍速変換回路３から１コマが２フィールドで構成される画像信号が順次供給される。
【０１０５】
次に、本発明の第３の実施の形態について図面を参照しながら詳細に説明する。
【０１０６】
図１６は、第３の実施の形態に係る画像信号処理装置９のブロック構成図である。
【０１０７】
画像信号処理装置９は、例えばＰＡＬ方式によるテレビジョン受像機に内蔵され、テレシネ変換した画像信号、又はＴＶ信号が入力される。
【０１０８】
画像信号処理装置９は、図１６に示すように、第１の画像メモリ１１と、第２の画像メモリ１２と、シーケンス検出部１３と、動きベクトル検出部１４と、画像シフト部１５と、データ選択部９１とを備えている。なお、第１の実施の形態である画像信号処理装置１と同一の回路構成要素は、第１の実施の形態の説明を引用し、説明を省略する。
【０１０９】
シーケンス検出部１３は、第１の画像メモリ１１に供給される画像信号及び、第１の画像メモリから出力される、１フレーム遅延した画像信号が入力される。このシーケンス検出部１３は、上述の如く各フィールドの特定に加え、テレシネ変換された信号又はＴＶ信号のいずれに該当するかを判別し、当該判別結果をデータ選択部９１へ送信する。
【０１１０】
データ選択部９１は、第１の画像メモリ１１に供給される画像信号と、第１の画像メモリ１１から出力される画像信号が入力される。このデータ選択部９１は、シーケンス検出部１３から受信した判別結果に基づき、供給される画像信号のうち一方を選択する。すなわち、シーケンス検出部１３によりテレシネ変換された信号であると判別された場合には、第１の画像メモリ１１に供給される画像信号を選択する。また、シーケンス検出部１３によりＴＶ信号であると判別された場合には、第１の画像メモリ１１から出力される画像信号を選択する。
【０１１１】
データ選択部９１は、選択した画像信号Ｄ２を動きベクトル検出部１４へ出力する。動きベクトル検出部１４は、第２の画像メモリ１２から出力される画像信号Ｄ１と、データ選択部９１から出力される画像信号Ｄ２とを検出し、例えばブロックマッチング法に基づき、動きベクトルを検出する。第２の画像メモリ１２から出力される画像信号Ｄ１は、参照フィールドの２フレーム遅延フィールドであり、またデータ選択部９１から出力される画像信号Ｄ２は、参照フィールドそのもの、又は参照フィールドの１フレーム遅延フィールドである。
【０１１２】
すなわち、動きベクトル検出部１４は、画像信号Ｄ１と画像信号Ｄ２との間で動きベクトルを検出することにより、参照フィールドと、２フレーム遅延信号間で動きベクトルを検出することができ、また同様に参照フィールドの１フレーム遅延信号と、参照フィールドの２フレーム遅延信号間で動きベクトルを検出することができる。換言すれば、動きベクトルを検出するフィールド間隔をデータ検出部９１から受信した判別結果に基づき、制御することができる。
【０１１３】
また、この第３の実施の形態は、図１７に示す画像信号処理装置１０に対しても適用可能である。
【０１１４】
画像信号処理装置１０は、図１７に示すように、第１の画像メモリ１１と、第２の画像メモリ１２と、シーケンス検出部１３と、動きベクトル検出部１４と、画像シフト部１５と、データ選択部１０１とを備えている。なお、第１の実施の形態である画像信号処理装置１と同一の回路構成要素は、第１の実施の形態の説明を引用し、説明を省略する。
【０１１５】
データ選択部１０１は、第１の画像メモリ１１から出力される画像信号と、第２の画像メモリ１２から出力される画像信号が入力される。このデータ選択部１０１は、シーケンス検出部１３から受信した判別結果に基づき、供給される画像信号のうち一方を選択する。すなわち、シーケンス検出部１３によりテレシネ変換された信号であると判別された場合には、第２の画像メモリ１２から出力される画像信号を選択する。また、シーケンス検出部１３によりＴＶ信号であると判別された場合には、第１の画像メモリ１１から出力される画像信号を選択する。データ選択部１０１は、選択した画像信号を動きベクトル検出部１４へ出力する。 動きベクトル検出部１４は、第１の画像メモリ１１に供給される画像信号Ｄ３と、データ選択部１０１から出力される画像信号Ｄ４とを検出し、例えばブロックマッチング法に基づき、動きベクトルを検出する。データ選択部１０１から出力される画像信号Ｄ４は、参照フィールドの１フレーム遅延フィールド又は２フレーム遅延フィールドであり、また画像信号Ｄ３は、参照フィールドそのものである。
【０１１６】
すなわち動きベクトル検出部１４は、画像信号Ｄ３と画像信号Ｄ４との間で動きベクトルを検出することにより、参照フィールドと、１フレーム遅延信号間で動きベクトルを検出することができ、また同様に参照フィールドと、２フレーム遅延信号間で動きベクトルを検出することができる。換言すれば、動きベクトルを検出するフィールド間隔をデータ検出部９１から受信した判別結果に基づき、制御することができる。
【０１１７】
またこの第３の実施の形態は、テレシネ変換した画像信号であると判別した場合には、第１の実施の形態に記載の如き動作を行い、またＴＶ信号であると判別した場合には第２の実施の形態に記載の如き動作を行う。
【０１１８】
更に、この第３の実施の形態では、第１、２の実施の形態同様に、動きベクトルのベクトル方向と反対方向に画像をシフトさせることも可能である。
【０１１９】
すなわち、上述の構成を採用する本発明に係る第３の実施の形態では、フィールド倍速変換回路３を集積化してテレビジョン受像機に内蔵することにより、テレシネ変換後に倍速変換した画像信号特有である動きの不連続感を解消することができることに加え、ＴＶ信号の動き補正も同様に行うことができる。すなわち、フィールド倍速変換回路３により解像度を向上させ、面フリッカ妨害を抑制した各画像の動きを、この画像信号処理装置９,１０により更にスムーズにすることができ、相乗的に画質を向上させることができる。
【０１２０】
この画像信号処理装置９,１０は、更に、テレシネ変換した画像信号とＴＶ信号とが双方とも入力される場合においても、上述した画像の動きの不連続性を効率よく解消することができる。これにより、フィルム信号とＴＶ信号の双方が入力されるテレビジョン受像機に内蔵することができ、また既に販売されたテレビジョン受像機に対して新たに内蔵することにより容易にバージョンアップを図ることも可能となり、汎用性をより高めることも可能となる。
【０１２１】
なお、本発明は、ＰＡＬ方式によるテレビジョン受像機に対して適用される場合に限定されることはなく、例えば、ＮＴＳＣ(National TV System Committee)方式の６０フィールド秒（３０コマ／秒）のインタレース画像信号が入力されるテレビジョン受像機に対しても適用可能である。また、ＳＥＣＡＭ方式によるテレビジョン受像機に対しても適用可能である。
【０１２２】
また、本発明は、テレビジョン受像機に内蔵される場合のみならず、テレビジョン受像機に接続する信号変換器へも内蔵可能である。
【０１２３】
また、本発明は、インターネットで伝送されるような画像信号をＰＣなどで表示する場合や、メディアや画像フォーマットを変換するケースにも応用することができる。
【０１２４】
更に、本発明は、回路等、ハードウェアで実現する形で説明しているが、プロセッサ上でのソフトウェアとしても実現可能であることは勿論である。
【０１２５】
【発明の効果】
以上詳細に説明したように、本発明に係る画像信号処理装置及び方法は、例えば、フィルム画像をテレシネ変換することにより得られるフィルムの１コマを２フィールドで構成したテレシネ変換画像信号を倍速変換することにより生成された１コマが４フィールドで構成される画像信号が入力され、演算した画素信号レベルの差分値に基づいて第１のフィールドを特定し、特定した第１のフィールドから後へフィールドが移行するにつれてシフト量が順次増大するように、動きベクトルのベクトル方向へ検出画素の位置をシフトさせる。
【０１２６】
これにより、本発明に係る画像信号処理装置及び方法は、テレシネ変換後、倍速変換した画像信号特有の動きの不連続感を解消することができ、倍速変換により面フリッカ妨害を抑制した画像の動きを更にスムーズにすることができ、相乗的に画質を向上させることが可能となる。
【図面の簡単な説明】
【図１】画像信号処理装置の第１の実施の形態におけるブロック構成図である。
【図２】フィールド倍速変換回路における倍速変換前後の各フィールドと画素位置の関係を示した図である。
【図３】第１の実施の形態において水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図４】第１の実施の形態におけるシーケンスの検出方法について説明するための図である。
【図５】画像シフト部における画像のシフト方法について説明するための図である。
【図６】各フィールドにおいて画像をシフトさせた結果を示した図である。
【図７】シフト量を時間に対して線形に増加させる場合について説明するための図である。
【図８】第１の実施の形態において動きベクトルのベクトル方向と反対方向に画像をシフトさせる場合について示した図である。
【図９】第１の実施の形態における、動きベクトルのベクトル方向と反対方向に画像をシフトさせる画像信号処理装置のブロック構成図である。
【図１０】画像信号処理装置の第２の実施の形態におけるブロック構成図である。
【図１１】第２の実施の形態における動きベクトルの検出方法について説明するための図である。
【図１２】第２の実施の形態において画像をシフトさせた結果を示した図である。
【図１３】第２の実施の形態において、シフト量を時間に対して線形に増加させる場合について説明するための図である。
【図１４】第２の実施の形態において動きベクトルのベクトル方向と反対方向に画像をシフトさせる場合について示した図である。
【図１５】第１２実施の形態における、動きベクトルのベクトル方向と反対方向に画像をシフトさせる画像信号処理装置のブロック構成図である。
【図１６】画像信号処理装置の第３の実施の形態におけるブロック構成図である。
【図１７】第３の実施の形態における他のブロック構成を示した図である。
【図１８】フィールド周波数倍速方式を適用したフィールド倍速変換回路のブロック構成図である。
【図１９】倍速変換前後の各フィールドと画素位置の関係を示した図である。
【図２０】水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図２１】ＴＶ信号が入力される場合において、水平方向へ画像が移動するときの各フィールドと画像位置の関係を示した図である。
【符号の説明】
１,４,７,９,１０ 画像信号処理装置、２ ＣＲＴ、３ フィールド倍速変換回路、１１ 第１の画像メモリ、１２ 第２の画像メモリ、１３ シーケンス検出部、１４ 動きベクトル検出部、１５ 画像シフト部、１６ 画像逆シフト部、３１ 入力端子、３２ 倍速変換部、３３ フレームメモリ、９１,１０１ データ選択部
Claims (26)
- インタレース画像信号を、各フレームを構成する２つのフィールドの間に２つの新たなフィールドを配置して倍速変換すると共に、動画を表す各フレームの２つのフィールドが１つの静止した画面を形成するインタレース画像信号が入力されたときに、第３のフィールドが第 1 のフィールドと、第２のフィールドが最後のフィールドと同一の画像からなる４つのフィールドの変換画像を生成する倍速変換手段と、
上記倍速変換手段により倍速変換することにより生成され、１つの上記画面の最初が第１のフィールドで始まり、かつ１つの上記画面が４フィールドで構成される画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから２フィールド後のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定するシーケンス検出手段と、
上記現フィールドの検出画素について、上記現フィールドから４フィールド後のフィールドに対する動きベクトルを検出する動きベクトル検出手段と、
上記動きベクトル検出手段により検出した上記動きベクトルに基づいて、上記動きベクトルのベクトル量の範囲内で、上記現フィールドの検出画素の位置をベクトル方向へシフトさせる画像制御手段とを備え、
上記画像制御手段は、上記シーケンス検出手段により特定された上記第１のフィールドにおいて対応する動きベクトルに基づくシフト量を最小とし、当該第１のフィールドの後へフィールドが続く毎に、上記シフト量を順次増大させることを特徴とする画像信号処理装置。 - 上記シーケンス検出手段は、上記差分値が連続して０になる場合に、先に入力された現フィールドを、第１のフィールドとして特定することを特徴とする請求項１記載の画像信号処理装置。
- 上記画像制御手段は、上記第１のフィールドのシフト量を０にすることを特徴とする請求項１記載の画像信号処理装置。
- 上記画像制御手段は、上記第１のフィールドの後へフィールドが続く毎に、上記シフト量を、検出した上記動きベクトルのベクトル量の１／４倍ずつ増加させることを特徴とする請求項３記載の画像信号処理装置。
- 上記動きベクトル検出手段は、所定の画素数からなるブロック毎に、ブロックマッチング法に基づいて上記動きベクトルを検出することを特徴とする請求項１記載の画像信号処理装置。
- 上記倍速変換手段は、フィルム画像をテレシネ変換することにより得られるフィルムの１コマを２フィールドで構成したテレシネ変換画像信号を倍速変換することにより、１コマが４フィールドで構成される画像信号を生成して上記シーケンス検出手段に入力することを特徴とする請求項１記載の画像信号処理装置。
- 上記入力された画像信号は、ＰＡＬ方式のインタレース画像信号であることを特徴とする請求項１記載の画像信号処理装置。
- 上記シーケンス検出手段は、上記差分値に基づき、入力された画像信号が上記２つのフィールドにより１つの静止した画面を形成するインタレース画像信号を倍速変換した静止画面の変換画像信号であるか否かを判別する機能を有し、
倍速変換後の上記変換画像が供給され、上記シーケンス検出手段の判別結果に基づき上 記動きベクトルを検出するためのフィールドを選択し上記動きベクトル検出手段に出力する選択手段を備え、
上記シーケンス検出手段の判別結果が上記静止画面の変換画像信号である場合に、上記現フィールドと４フィールド後のフィールドが上記動きベクトル検出手段に供給されるように上記選択手段がフィールドを選択することを特徴とする請求項１に記載の画像信号処理装置。 - インタレース画像信号を、各フレームを構成する２つのフィールドの間に２つの新たなフィールドを配置して倍速変換すると共に、動画を表す各フレームの２つのフィールドが１つの静止した画面を形成するインタレース画像信号が入力されたときに、第３のフィールドが第１のフィールドと、第２のフィールドが最後のフィールドと同一の画像からなる４つのフィールドの変換画像を生成する倍速変換手段と、
上記倍速変換手段により倍速変換することにより生成され、１つの上記画面の最初が第１のフィールドで始まり、かつ１つの上記画面が４フィールドで構成される画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから２フィールド前のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定するシーケンス検出手段と、
上記現フィールドの検出画素について、上記現フィールドから４フィールド前のフィールドを基準とした動きベクトルを検出する動きベクトル検出手段と、
上記動きベクトル検出手段により検出した上記動きベクトルに基づいて、上記動きベクトルのベクトル量の範囲内で、上記現フィールドの検出画素の位置をベクトル方向と反対方向へシフトさせる画像制御手段とを備え、
上記画像制御手段は、上記シーケンス検出手段により特定された上記第１のフィールドにおいて対応する動きベクトルに基づくシフト量を最大とし、当該第１のフィールドの後へフィールドが続く毎に、上記シフト量を順次減少させることを特徴とする画像信号処理装置。 - 上記シーケンス検出手段は、上記差分値が連続して０になる場合に、先に入力された現フィールドを、第１のフィールドとして特定することを特徴とする請求項９記載の画像信号処理装置。
- 上記画像制御手段は、上記第１のフィールドのシフト量を上記ベクトル量の３／４倍とし、上記第１のフィールドから後へフィールドが移動する毎に、上記シフト量を、上記ベクトル量の１／４倍ずつ順次減少させることを特徴とする請求項９記載の画像信号処理装置。
- 上記倍速変換手段は、フィルム画像をテレシネ変換することにより得られるフィルムの１コマを２フィールドで構成したテレシネ変換画像信号を倍速変換することにより、１コマが４フィールドで構成される画像信号を生成して上記シーケンス検出手段に入力することを特徴とする請求項９記載の画像信号処理装置。
- 上記シーケンス検出手段は、上記差分値に基づき、入力された画像信号が上記２つのフィールドにより１つの静止した画面を形成するインタレース画像信号を倍速変換した静止画面の変換画像信号であるか否かを判別する機能を有し、
倍速変換後の上記変換画像が供給され、上記シーケンス検出手段の判別結果に基づき上記動きベクトルを検出するためのフィールドを選択し上記動きベクトル検出手段に出力する選択手段を備え、
上記シーケンス検出手段の判別結果が上記静止画面の変換画像信号である場合に、上記現フィールドと４フィールド前のフィールドが上記動きベクトル検出手段に供給されるよ うに上記選択手段がフィールドを選択することを特徴とする請求項９に記載の画像信号処理装置。 - インタレース画像信号を、各フレームを構成する２つのフィールドの間に２つの新たなフィールドを配置して倍速変換すると共に、動画を表す各フレームの２つのフィールドが１つの静止した画面を形成するインタレース画像信号が入力されたときに、第３のフィールドが第１のフィールドと、第２のフィールドが最後のフィールドと同一の画像からなる４つのフィールドの変換画像を生成し、
上記倍速変換により生成され、１つの上記画面の最初が第１のフィールドで始まり、かつ１つの上記画面が４フィールドで構成される画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから２フィールド後のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定し、
上記現フィールドの検出画素について、上記現フィールドから４フィールド後のフィールドに対する動きベクトルを検出し、
検出した上記動きベクトルに基づいて、特定した上記第１のフィールドにおいて対応する動きベクトルに基づくシフト量を最小とし、上記第１のフィールドの後へフィールドが続く毎に上記シフト量が検出した上記動きベクトルのベクトル量の範囲内で順次増大するように、上記検出画素の位置をベクトル方向へシフトすることを特徴とする画像信号処理方法。 - 上記差分値が連続して０になる場合に、先に入力された現フィールドを、第１のフィールドとして特定することを特徴とする請求項１４記載の画像信号処理方法。
- 上記第１のフィールドのシフト量を０にすることを特徴とする請求項１４記載の画像信号処理方法。
- 上記第１のフィールドの後へフィールドが続く毎に、上記シフト量を、検出した上記動きベクトルのベクトル量の１／４倍ずつ増加させることを特徴とする請求項１６記載の画像信号処理方法。
- 上記動きベクトルを、所定の画素数からなるブロック毎に、ブロックマッチング法に基づいて検出することを特徴とする請求項１４記載の画像信号処理方法。
- フィルム画像をテレシネ変換することにより得られるフィルムの１コマを２フィールドで構成したテレシネ変換画像信号を倍速変換することにより、１コマが４フィールドで構成される画像信号を生成することを特徴とする請求項１４記載の画像信号処理方法。
- 上記入力画像信号として、フィールド周波数を５０フィールド／秒から１００フィールド／秒へ２倍に変換したＰＡＬ方式のインタレース画像信号が入力されることを特徴とする請求項１４記載の画像信号処理方法。
- 演算された上記差分値に基づき、上記倍速変換により生成された画像信号が上記２つのフィールドにより１つの静止した画面を形成するインタレース画像信号を倍速変換した静止画面の変換画像信号であるか否かを判別し、
上記静止画の変換画像信号であるか否かの判別結果に基づき、倍速変換後の上記変換画像から、上記動きベクトルを検出するためのフィールドを選択すると共に、上記静止画の変換画像信号である場合に、上記現フィールドと４フィールド後のフィールドにより上記動きベクトルが検出されるようにフィールドを選択することを特徴とする請求項１４に記載の画像信号処理方法。 - インタレース画像信号を、各フレームを構成する２つのフィールドの間に２つの新たなフィールドを配置して倍速変換すると共に、動画を表す各フレームの２つのフィールドが１つの静止した画面を形成するインタレース画像信号が入力されたときに、第３のフィールドが第１のフィールドと、第２のフィールドが最後のフィールドと同一の画像からなる４つのフィールドの変換画像を生成し、
上記倍速変換により生成され、１つの上記画面の最初が第１のフィールドで始まり、かつ１つの上記画面が４フィールドで構成される画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから２フィールド前のフィールドの同一箇所における検出画素と、の間で演算した画素信号レベルの差分値に基づき、上記第１のフィールドを特定し、
上記現フィールドの検出画素について、上記現フィールドから４フィールド前のフィールドを基準とした動きベクトルを検出し、
検出した上記動きベクトルに基づいて、特定した上記第１のフィールドにおいて対応する動きベクトルに基づくシフト量を最大とし、上記第１のフィールドの後へフィールドが続く毎に上記シフト量が検出した上記動きベクトルのベクトル量の範囲内で順次減少するように、上記検出画素の位置をベクトル方向と反対方向へシフトすることを特徴とする画像信号処理方法。 - 上記差分値が連続して０になる場合に、先に入力された現フィールドを、第１のフィールドとして特定することを特徴とする請求項２２記載の画像信号処理方法。
- 上記第１のフィールドのシフト量を上記ベクトル量の３／４倍とし、上記第１のフィールドから後へフィールドが移動する毎に、上記シフト量を、上記ベクトル量の１／４倍ずつ順次減少させることを特徴とする請求項２２記載の画像信号処理方法。
- フィルム画像をテレシネ変換することにより得られるフィルムの１コマを２フィールドで構成したテレシネ変換画像信号を倍速変換することにより、１コマが４フィールドで構成される画像信号を生成することを特徴とする請求項２２記載の画像信号処理方法。
- 演算された上記差分値に基づき、上記倍速変換により生成された画像信号が上記２つのフィールドにより１つの静止した画面を形成するインタレース画像信号を倍速変換した静止画面の変換画像信号であるか否かを判別し、
上記静止画の変換画像信号であるか否かの判別結果に基づき、倍速変換後の上記変換画像から、上記動きベクトルを検出するためのフィールドを選択すると共に、上記静止画の変換画像信号である場合に、上記現フィールドと４フィールド前のフィールドにより上記動きベクトルが検出されるようにフィールドを選択することを特徴とする請求項２２に記載の画像信号処理方法。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001380761A JP3855761B2 (ja) | 2001-10-09 | 2001-12-13 | 画像信号処理装置及び方法 |
| DE60208292T DE60208292T2 (de) | 2001-10-09 | 2002-10-08 | Verfahren und Vorrichtung zum Verarbeiten eines Bildsignals |
| EP02256939A EP1303136B1 (en) | 2001-10-09 | 2002-10-08 | Image signal processing apparatus and method |
| US10/266,468 US6947094B2 (en) | 2001-10-09 | 2002-10-08 | Image signal processing apparatus and method |
| CNB021515638A CN1225918C (zh) | 2001-10-09 | 2002-10-09 | 图像信号处理装置以及方法 |
| KR1020020061390A KR100927281B1 (ko) | 2001-10-09 | 2002-10-09 | 화상 신호 처리 장치 및 방법 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-311983 | 2001-10-09 | ||
| JP2001311983 | 2001-10-09 | ||
| JP2001380761A JP3855761B2 (ja) | 2001-10-09 | 2001-12-13 | 画像信号処理装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003189257A JP2003189257A (ja) | 2003-07-04 |
| JP3855761B2 true JP3855761B2 (ja) | 2006-12-13 |
Family
ID=26623823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001380761A Expired - Fee Related JP3855761B2 (ja) | 2001-10-09 | 2001-12-13 | 画像信号処理装置及び方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6947094B2 (ja) |
| EP (1) | EP1303136B1 (ja) |
| JP (1) | JP3855761B2 (ja) |
| KR (1) | KR100927281B1 (ja) |
| CN (1) | CN1225918C (ja) |
| DE (1) | DE60208292T2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2151996A2 (en) | 2008-08-07 | 2010-02-10 | Sony Corporation | Image signal processing unit and method of processing image signal |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3855761B2 (ja) * | 2001-10-09 | 2006-12-13 | ソニー株式会社 | 画像信号処理装置及び方法 |
| JP3596521B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
| JP3596519B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
| JP3596520B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
| JP2003339029A (ja) * | 2002-05-20 | 2003-11-28 | Sony Corp | 動きベクトル補正回路及び方法 |
| US7098936B2 (en) * | 2003-03-11 | 2006-08-29 | Hewlett-Packard Development Company, L.P. | Image display system and method including optical scaling |
| EP1513344A4 (en) | 2003-05-16 | 2009-10-28 | Sony Corp | DEVICE AND METHOD FOR MOTION CORRECTION |
| US20070052695A1 (en) * | 2005-09-07 | 2007-03-08 | Barnes Ted W | Generating and displaying spatially offset sub-frames |
| US20070171280A1 (en) * | 2005-10-24 | 2007-07-26 | Qualcomm Incorporated | Inverse telecine algorithm based on state machine |
| JP5001684B2 (ja) * | 2006-09-13 | 2012-08-15 | 富士通株式会社 | 走査変換装置 |
| GB2444529A (en) * | 2006-12-06 | 2008-06-11 | Sony Uk Ltd | Motion adaptive image processing |
| WO2008102827A1 (ja) | 2007-02-20 | 2008-08-28 | Sony Corporation | 画像表示装置、映像信号処理装置および映像信号処理方法 |
| KR20090037084A (ko) | 2007-10-11 | 2009-04-15 | 삼성전자주식회사 | 영상신호처리장치 및 그의 영상신호처리방법 |
| US20110001874A1 (en) * | 2008-02-29 | 2011-01-06 | Yoshihito Ohta | Frame rate conversion device and frame rate conversion method |
| JP4964197B2 (ja) | 2008-07-18 | 2012-06-27 | 株式会社Ｊｖｃケンウッド | 映像信号処理装置及び映像信号処理方法 |
| JP4626779B2 (ja) | 2008-08-26 | 2011-02-09 | ソニー株式会社 | 映像信号処理装置、画像表示装置および映像信号処理方法 |
| JP5538849B2 (ja) * | 2009-12-08 | 2014-07-02 | キヤノン株式会社 | 画像表示装置、画像表示方法 |
| KR101107360B1 (ko) * | 2010-05-14 | 2012-01-19 | 엘지이노텍 주식회사 | 엘이디 백라이트용 전원 공급 장치 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4663665A (en) | 1985-01-07 | 1987-05-05 | Nippon Hoso Kyokai | TV system conversion apparatus |
| US5410356A (en) * | 1991-04-19 | 1995-04-25 | Matsushita Electric Industrial Co., Ltd. | Scanning-line interpolation apparatus |
| DE4213551A1 (de) | 1992-04-24 | 1993-10-28 | Thomson Brandt Gmbh | Verfahren und Vorrichtung zur Film-Mode-Detektion |
| US5398071A (en) * | 1993-11-02 | 1995-03-14 | Texas Instruments Incorporated | Film-to-video format detection for digital television |
| DE69510851T2 (de) * | 1994-03-30 | 1999-12-02 | Thomson Multimedia Sa | Verfahren und Gerät zur Reduzierung von Umwandlungsartefakten |
| JP3495485B2 (ja) * | 1995-12-19 | 2004-02-09 | 日本放送協会 | 画像変換装置 |
| JPH11331782A (ja) * | 1998-05-15 | 1999-11-30 | Mitsubishi Electric Corp | 信号変換装置 |
| JP2000244877A (ja) * | 1999-02-24 | 2000-09-08 | Hitachi Ltd | 画像信号の動き補正倍速変換回路及びテレビジョン装置 |
| JP3893227B2 (ja) * | 1999-03-24 | 2007-03-14 | パイオニア株式会社 | 走査線補間装置、及び走査線補間方法 |
| JP3855761B2 (ja) * | 2001-10-09 | 2006-12-13 | ソニー株式会社 | 画像信号処理装置及び方法 |
| KR100467157B1 (ko) * | 2002-09-19 | 2005-01-24 | 주식회사 유일전자 | 휴대폰용 키패드 제조방법 및 장치 |
-
2001
- 2001-12-13 JP JP2001380761A patent/JP3855761B2/ja not_active Expired - Fee Related
-
2002
- 2002-10-08 EP EP02256939A patent/EP1303136B1/en not_active Expired - Fee Related
- 2002-10-08 US US10/266,468 patent/US6947094B2/en not_active Expired - Fee Related
- 2002-10-08 DE DE60208292T patent/DE60208292T2/de not_active Expired - Lifetime
- 2002-10-09 KR KR1020020061390A patent/KR100927281B1/ko not_active IP Right Cessation
- 2002-10-09 CN CNB021515638A patent/CN1225918C/zh not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2151996A2 (en) | 2008-08-07 | 2010-02-10 | Sony Corporation | Image signal processing unit and method of processing image signal |
| JP2010041538A (ja) * | 2008-08-07 | 2010-02-18 | Sony Corp | 画像信号処理装置および方法 |
| JP4513913B2 (ja) * | 2008-08-07 | 2010-07-28 | ソニー株式会社 | 画像信号処理装置および方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1303136B1 (en) | 2005-12-28 |
| DE60208292D1 (de) | 2006-02-02 |
| EP1303136A3 (en) | 2003-11-12 |
| CN1225918C (zh) | 2005-11-02 |
| JP2003189257A (ja) | 2003-07-04 |
| EP1303136A2 (en) | 2003-04-16 |
| KR20030030911A (ko) | 2003-04-18 |
| US6947094B2 (en) | 2005-09-20 |
| DE60208292T2 (de) | 2006-09-07 |
| KR100927281B1 (ko) | 2009-11-18 |
| US20030107672A1 (en) | 2003-06-12 |
| CN1424856A (zh) | 2003-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3855761B2 (ja) | 画像信号処理装置及び方法 | |
| KR100303728B1 (ko) | 격행주사 영상의 디인터레이싱 방법 | |
| KR100403364B1 (ko) | 영상 신호의 디인터레이스 방법 및 장치 | |
| EP1646228B1 (en) | Image processing apparatus and method | |
| JP3596521B2 (ja) | 画像信号処理装置及び方法 | |
| JP3596520B2 (ja) | 画像信号処理装置及び方法 | |
| JP2000253365A (ja) | 解像度変換方法および解像度変換装置 | |
| JP3596519B2 (ja) | 画像信号処理装置及び方法 | |
| JP2009164729A (ja) | 合成映像検出装置 | |
| KR100692597B1 (ko) | 필드 선택이 가능한 영상처리 장치 및 그 방법 | |
| JP2004023673A (ja) | 動きベクトル検出装置及び方法、動き補正装置及び方法 | |
| JP2003289511A (ja) | 画像走査変換方法及び装置 | |
| JP2005026885A (ja) | テレビジョン受信装置及びその制御方法 | |
| KR920008628B1 (ko) | 영상신호의 라인간 보간신호 발생방법 및 회로 | |
| JPH11308550A (ja) | テレビジョン受信機 | |
| KR20030067158A (ko) | 부분 인터레이스 동영상 재생 방법 및 그 장치 | |
| JP2001103433A (ja) | 走査倍速信号出力方法 | |
| JP2000341583A (ja) | 映像信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050909 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060904 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130922 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |