JP3596519B2 - 画像信号処理装置及び方法 - Google Patents
画像信号処理装置及び方法 Download PDFInfo
- Publication number
- JP3596519B2 JP3596519B2 JP2001380760A JP2001380760A JP3596519B2 JP 3596519 B2 JP3596519 B2 JP 3596519B2 JP 2001380760 A JP2001380760 A JP 2001380760A JP 2001380760 A JP2001380760 A JP 2001380760A JP 3596519 B2 JP3596519 B2 JP 3596519B2
- Authority
- JP
- Japan
- Prior art keywords
- field
- pixel
- image signal
- motion vector
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、倍速変換することにより生成された画像信号の各検出画素の位置をシフトさせる画像信号処理装置及び方法に関する。
【０００２】
【従来の技術】
テレビ放送の走査方式としては、従来から水平走査線を１本おきに飛越して走査するインタレース走査方式が最も広く採用されている。このインタレース走査方式では、奇数番目の走査線から構成されるフィールド画像と、偶数番目の走査線から構成されるフィールド画像により１枚のフレーム画像を形成し、画面全体がちらついて見える面フリッカ妨害を抑え、画面品質の劣化を防止する。
【０００３】
また、このインタレース走査方式は、世界各国のテレビジョン標準方式として採用されており、このうち例えば欧州のテレビジョン放送におけるＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ）方式では、フィールド周波数が５０〔Ｈｚ〕（フレーム画像が２５フレーム／秒、フィールド画像が５０フィールド／秒）で構成される。
【０００４】
特にこのＰＡＬ方式では、更なる面フリッカ妨害の抑制を期すべく、入力画像信号を補間等の処理を行うことにより、フィールド周波数を５０Ｈｚから２倍の１００Ｈｚの画像信号に変換する、フィールド周波数倍速方式が従来より採用されている。
【０００５】
図１０は、このフィールド周波数倍速方式を適用したフィールド倍速変換回路５のブロック構成例を示している。このフィールド倍速変換回路５は、入力端子６１と、ＣＲＴ６３と、水平垂直偏向回路６２とを備えるテレビジョン受像機６に集積化される。このフィールド倍速変換回路５は、倍速変換部５１と、フレームメモリ５２とを備える。
【０００６】
倍速変換部５１は、入力端子６１から入力された、例えばＰＡＬ方式の５０フィールド／秒の画像信号を、フレームメモリ５２へ書き込む。また、この倍速変換部５１は、フレームメモリ５２へ書き込んだ画像信号を、書込み時の２倍の速度で読み出す。これにより、５０フィールド／秒の画像信号の周波数を２倍に変換し、１００フィールド／秒の画像信号を生成することができる。
【０００７】
倍速変換部５１は、倍速変換した画像信号をＣＲＴ６３へ出力する。ＣＲＴ６３は、入力された画像信号を画面上に表示する。なお、ＣＲＴ６３における画像信号の水平、垂直の偏向は、水平垂直偏向回路６２において生成された、入力画像信号の２倍の周波数の水平垂直鋸歯状波に基づいて制御する。
【０００８】
図１１は、倍速変換前後の各画像信号における各フィールドと画素位置との関係を示している。ここで横軸は時間、縦軸は画素の垂直方向の位置を示す。また、図１１（ａ）の白丸で示した画像信号は、倍速変換前の５０フィールド／秒のインタレース画像信号であり、図１１（ｂ）の黒丸で示した画像信号は、倍速変換した１００フィールド／秒のインタレース画像信号である。
【０００９】
図１１（ａ）に示す画像信号において、フィールドｆ１とフィールドｆ２は、フィルムの同一のコマから作成された信号となり、以下同様にフィールドｆ３とフィールドｆ４も同一のコマを構成する。これらの画像信号は、インタレース画像信号であるため、隣り合うフィールド間で垂直方向の画素位置が異なる。このため、インタレース性を保ちつつ、各フィールド間に１個ずつのフィールドを新規に生成することはできない。
【００１０】
そこで、図１１（ｂ）に示すように、フィールドｆ１とフィールドｆ２の間に、新規に２枚のフィールドｆ２´、ｆ１´を生成する。そして、フィールドｆ２とフィールドｆ３の間では、フィールドの生成を行わず、フィールドｆ３とフィールドｆ４の間に、新規に２枚のフィールドｆ４´、ｆ３´を生成する。すなわち４フィールド、２フレームで１つのコマを形成する。
【００１１】
この新規に生成したフィールドｆ１´、ｆ２´、・・・は、それぞれの画素値を、各画素の周囲３画素の中間値として、メディアン・フィルタ等を用いて求める場合もある。また、この新規に生成したフィールドｆ１´、ｆ２´、・・・は、それぞれフィールドｆ１、ｆ２、・・と同じ内容となる。
【００１２】
すなわち、フィールド倍速変換回路５は、倍速変換前の画像信号のフィールド間に２枚のフィールドを新規に生成する部分と全く生成しない部分とを交互に配置することで、単位時間当たりの画面枚数を増やすことができ、上述の面フリッカ妨害を抑えることが可能となる。
【００１３】
ところで、２４コマ／秒の静止画で構成される映画のフィルムを通常のテレビで見るためには、インターレースのテレビ信号にするために、テレビシネマ変換（以下、テレシネ変換と称する）を行う。このテレシネ変換後の画像信号において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図１２に示す。ここで横軸は画像の水平方向における位置、縦軸は時間を示している。図１２（ａ）に示す倍速変換前の画像信号において、フィールドｆ１、ｆ２は、同一のコマを構成するため、同じ位置に画像が表示される。この画像は、フィールドｆ３に移行すると水平方向（右方向）へ移動する。フィールドｆ４は、フィールドｆ３と同一のコマを構成するため、フィールドｆ３と同一の位置に表示される。
【００１４】
この図１２（ａ）に示すテレシネ変換後の画像信号をフィールド周波数倍速方式により倍速変換すると、図１２（ｂ）に示すように、同一のコマを構成するフィールドｆ１、ｆ２´、ｆ１´、ｆ２で、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｆ３、ｆ４´、ｆ３´、ｆ４で同一位置に同一の画像が表示される。
【００１５】
また、倍速変換前のテレビジョン信号（以下、ＴＶ信号という）において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図１３（ａ）に示す。この図１３（ａ）において、フィールドｆ１、ｆ２、ｆ３・・・は、それぞれ独立したコマを形成するため、別の位置に画像が表示される。この画像は、フィールドｆ１から、ｆ２、ｆ３・・・と移行する毎に、水平方向（右方向）へ移動する。
【００１６】
この図１３（ａ）に示すテレビ信号の画像信号をフィールド周波数倍速方式により倍速変換すると、図１３（ｂ）に示すように、同一のコマを構成するフィールドｆ１、ｆ２´において、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｆ１´、ｆ２において、同一位置に同一の画像が表示される。
【００１７】
【発明が解決しようとする課題】
しかしながら、図１２（ｂ）に示すように、テレシネ変換後、倍速変換した画像信号において、画像はフィールドｆ１〜ｆ２まで同じ位置に表示される一方、ｆ２〜ｆ３に移行する場合に大きく水平方向へ移動する。同様にＴＶ信号を倍速変換した画像信号についても、図１３（ｂ）に示すように、画像はフィールドｆ１〜ｆ２´まで同じ位置に表示される一方、ｆ２´〜ｆ１´に移行する場合に大きく水平方向へ移動する。
【００１８】
特に出力画像信号は、１／１００秒の周期で規則的に各フィールドを構成しているため、画像の動作する時間帯が画像の静止する時間帯と比較して短く、実際にＣＲＴを介して番組を視聴すると画像の動きが不連続に見えるという問題があった。
【００１９】
更に、例えば水平方向へ画像が移動しながら画素値が変化するような、様々な画像のバリエーションにおいても、画像の動きの不連続性を効率よく解消する必要がある。
【００２０】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、倍速変換することにより生成された画像信号において、特に様々な画像のバリエーションにおいても、面フリッカ妨害を抑えつつ、画像の動きをスムーズにすることにより相乗的に画質を向上できる画像信号処理装置及び方法を提供することを目的とする。
【００２１】
【課題を解決するための手段】
本発明者は、上述した課題を解決するために、コマの最初が第１のフィールドで始まり、かつ倍速変換された信号が入力され、演算した画素信号レベルの差分値に基づいて第１のフィールドを特定し、各検出画素について補間画素データを算出し、特定した第１のフィールドから後へフィールドが移行するにつれてシフト量が順次増大するように、動きベクトルのベクトル方向へ検出画素の位置をシフトさせた画素位置に補間画素データを書き込む画像信号処理装置及び方法を発明した。
【００２２】
すなわち、本発明を適用した画像信号処理装置は、コマの最初が第１のフィールドで始まる、倍速変換された画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから１フレーム後のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定するシーケンス検出手段と、上記現フィールドの検出画素について、上記現フィールドから１フレーム又は２フレーム後のフィールドに対する動きベクトルを検出する動きベクトル検出手段と、上記現フィールドの検出画素の画素データ、及び上記現フィールドから１フレーム又は２フレーム後のフィールドにおける各画素の画素データに基づき、当該検出画素についての補間画素データを算出するデータ演算手段と、上記第１のフィールドから後へ続くフィールドにおいて、上記現フィールドの検出画素の位置から上記動きベクトルのベクトル方向へシフトさせた画素位置に上記補間画素データを書き込む画像制御手段とを備え、上記画像制御手段は、上記第１のフィールドから後へフィールドが続く毎に、検出した上記動きベクトルのベクトル量の範囲内で、上記シフトさせる量を順次増大させることを特徴とする。
【００２３】
また、本発明を適用した画像信号処理方法は、コマの最初が第１のフィールドで始まる、倍速変換された画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから１フレーム後のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定し、上記現フィールドの検出画素について、上記現フィールドから１フレーム又は２フレーム後のフィールドに対する動きベクトルを検出し、上記現フィールドの検出画素の画素データ、及び上記現フィールドから１フレーム又は２フレーム後のフィールドにおける各画素の画素データに基づき、当該検出画素についての補間画素データを算出し、上記第１のフィールドから後へ続くフィールドにおいて、上記現フィールドの検出画素の位置から上記動きベクトルのベクトル方向へシフトさせた画素位置に上記補間画素データを書き込み、上記画像制御手段は、上記第１のフィールドから後へフィールドが続く毎に、検出した上記動きベクトルのベクトル量の範囲内で、上記シフトさせる量を順次増大させることを特徴とする。
【００２４】
【発明の実施の形態】
以下、本発明を適用した画像信号処理装置及び方法について図面を参照して詳細に説明する。
【００２５】
図１は、本発明の第１の実施の形態における画像信号処理装置１のブロック構成図である。画像信号処理装置１は、例えばＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ）方式によるテレビジョン受像機に内蔵され、テレシネ変換した画像信号やテレビジョン信号（以下、ＴＶ信号という）が入力される。またこの画像信号処理装置１は、図１に示すように、第１の画像メモリ１１と、第２の画像メモリ１２と、シーケンス検出部１３と、データ選択部１４と、動きベクトル検出部１５と、画像シフト部１６を備えている。
【００２６】
第１の画像メモリ１１は、テレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成された、例えば１００フィールド／秒のインタレース画像データが順次供給される。また、この第１の画像メモリ１１は、ＴＶ信号を倍速変換することにより生成された１コマが２フィールドで構成された、例えば１００フィールド／秒のインタレース画像信号が順次供給される。
【００２７】
第１の画像メモリ１１は、供給された画像データを、各フィールド単位で、１フレーム分格納する。すなわち、第１の画像メモリ１１から出力される画像データは、この第１の画像メモリ１１に供給される画像信号より１フレーム後になる。
【００２８】
第２の画像メモリ１２は、第１の画像メモリ１１と同様の内部構成を有し、第１の画像メモリ１１から供給された画像データを、各フィールド単位で、１フレーム分格納する。すなわち、第２の画像メモリ１２から出力される画像データは、この第２の画像メモリ１２に供給される画像データより１フレーム後になり、第１の画像メモリ１１に供給される画像データより２フレーム後になる。この第２の画像メモリ１２に格納された画像データＤ１は、動きベクトル検出部１５及び画像シフト部１６に供給される。
【００２９】
シーケンス検出部１３は、第１の画像メモリ１１に供給される画像データと、第１の画像メモリ１１から出力される画像データを検出し、各画素毎に画像信号レベルを比較し、両者間で差分値を演算する。すなわち、このシーケンス検出部１３は、画面上の同一箇所における画素の画像信号レベルを、１フレーム間隔で比較する。シーケンス検出部１３は、画像信号レベルの差分値の演算結果を画像シフト部１５へ送信する。シーケンス検出部１３は、上述の如く各フィールドの特定に加え、テレシネ変換された信号か、ＴＶ信号かを判別し、当該判別結果を移動量情報として画像シフト部１６等へ送信する。
【００３０】
データ選択部１４は、第１の画像メモリ１１に供給される画像データと、第１の画像メモリ１１から出力される画像データが入力される。このデータ選択部１４は、シーケンス検出部１３から受信した判別結果に基づき、供給される画像データのうち一方を選択する。すなわち、シーケンス検出部１３によりテレシネ変換された信号であると判別された場合には、第１の画像メモリ１１に供給される画像データを選択する。また、シーケンス検出部１３によりＴＶ信号であると判別された場合には、第１の画像メモリ１１から出力される画像データを選択する。データ選択部１４により選択された画像データを以下、画像データＤ２と称する。データ選択部１４は、選択した画像データＤ２を動きベクトル検出部１５へ出力する。
【００３１】
なお、データ選択部１４として、第１の画像メモリ１１から出力される画像データと、第２の画像メモリ１２から出力される画像データのどちらか一方を選択する接続形態にも適用可能である。
【００３２】
動きベクトル検出部１５は、画像データＤ１と、画像データＤ２とを検出し、例えばブロックマッチング法に基づき、動きベクトルを検出する。このブロックマッチング法は、画面を所定の画素からなるブロックに分割し、各ブロック単位で相似度を評価することにより動きベクトルを求める方法である。第２の画像メモリ１２から出力される画像データＤ１は、参照フィールドの２フレーム遅延フィールドであり、またデータ選択部１４から出力される画像データＤ２は、参照フィールドそのもの、又は参照フィールドの１フレーム遅延フィールドである。
【００３３】
すなわち、動きベクトル検出部１５は、画像データＤ１と画像データＤ２との間で動きベクトルを検出することにより、参照フィールドと、２フレーム遅延信号間で動きベクトルを検出することができ、また同様に参照フィールドの１フレーム遅延信号と、参照フィールドの２フレーム遅延信号間で動きベクトルを検出することができる。換言すれば、動きベクトルを検出するフィールド間隔をシーケンス検出部１３から受信した判別結果に基づき、制御することができる。
【００３４】
画像シフト部１６は、画像信号レベルの比較結果を含む移動量情報を、シーケンス検出部１３から受信する。また、画像シフト部１６は、動きベクトル検出部１５が検出した動きベクトルを受信する。更に画像シフト部１６は、第２の画像メモリ１２から画像データＤ１が供給され、またデータ選択部１４から画像データＤ２が供給される。この画像シフト部１６は、供給された画像信号における各画素位置を、受信した上記動きベクトルのベクトル量の範囲内で、かつベクトル方向へシフトさせる。この画像シフト部１６の内部構成例の詳細については後述する。
【００３５】
なお、画像信号処理装置１には、画像信号のフィールド周波数を倍速変換するフィールド倍速変換回路３が集積される場合もある。フィールド倍速変換回路３は、解像度を向上させることにより、面フリッカ妨害を防止すべく集積されるものであり、例えば、ＰＡＬ方式において、補間等の処理を行うことにより、フィールド周波数が５０Ｈｚの画像データを２倍の１００Ｈｚの画像データに変換する。
【００３６】
フィールド周波数変換回路３は、図１に示すように、テレビジョン受像機に接続された入力端子３１と、倍速変換部３２と、フレームメモリ３３とを備える。
【００３７】
倍速変換部３２は、テレビジョン受像機から入力端子３１を介して入力された、テレシネ変換後の画像データ、またはテレビジョン信号を、フレームメモリ３３へ書き込む。また、この倍速変換部３２は、フレームメモリ３３へ書き込んだ画像データを、書込み時の２倍の速度で読み出す。これにより、例えば、ＰＡＬ方式の５０フィールド／秒の画像信号の周波数を２倍に変換し、１００フィールド／秒の画像データを生成することができる。倍速変換部３２は、この倍速変換した画像データを画像信号処理装置１へ供給する。
【００３８】
次に画像シフト部１６の詳細な内部構成例について図２を用いて説明する。画像シフト部１６はデータ処理部１６ａとデータシフト部１６ｂに分割して構成されている。
【００３９】
データ処理部１６ａは、データバッファ読出制御部１６１と、第１のバッファ１６２と、第２のバッファ１６３と、データ演算部１６４と、フラグ演算部１６５とを備える。
【００４０】
データバッファ読出制御部１６１は、動きベクトル検出部１５において検出された動きベクトルが入力される。データバッファ読出制御部１６１は、この入力された動きベクトルに基づき、バッファ制御信号Ｓ１１及びバッファ制御信号Ｓ１２を演算する。これらの各バッファ制御信号Ｓ１１、Ｓ１２は、シーケンシャルにデータを読み出すためのアドレス信号と、イネーブル信号から構成される。例えば、第１のバッファ１６２、及び第２のバッファ１６３がフレームメモリ等で実現される場合において、データバッファ読出し制御部１６１は、Ｘ座標、Ｙ座標の各アドレス信号を絶対座標として計算する。一方、第１のバッファ１６２、及び第２のバッファ１６３がラインメモリ等の必要最小限のメモリで実現される場合において、データバッファ読出し制御部１６１は、Ｘ座標、Ｙ座標の各アドレス信号を相対座標として計算する。
【００４１】
ここでバッファ制御信号Ｓ１１のアドレスにおいてＸ座標、Ｙ座標がそれぞれ（ＡＸ１、ＡＹ１）であり、また、供給された動きベクトルにおいて、Ｘ座標、Ｙ座標がそれぞれ（ＶＸ、ＶＹ）であるときに、バッファ制御信号Ｓ１２のアドレス（ＡＸ２、ＡＹ２）は以下の式で表される。
ＡＸ２＝ＡＸ１＋ＶＸ （１．１）
ＡＹ２＝ＡＹ１＋ＶＹ （１．２）
データバッファ読出制御部１６１は、これらの計算したアドレス信号を含むバッファ制御信号Ｓ１１を第１のバッファ１６２に供給する。またデータバッファ読出制御部１６１は、同様に計算したアドレス信号を含むバッファ制御信号Ｓ１２を第２のバッファ１６３に供給する。
【００４２】
第１のバッファ１６２は、第２の画像メモリ１２から送信された画像データＤ１を順次蓄積する。また第１のバッファ１６２は、供給されたバッファ制御信号Ｓ１１に応じて蓄積した画像データＤ１を読み出す。すなわち、この第１のバッファ１６２は、供給されたバッファ制御信号Ｓ１１のイネーブルが有効な時に、当該バッファ制御信号Ｓ１１に含まれるアドレス値に従って、第１のバッファ１６２に蓄積した画像データＤ１を読み出す。この読み出された画像データＤ１を以下、シフトデータＳＤ１と称する。第１のバッファ１６２は、シフトデータＳＤ１をデータ演算部１６４とフラグ演算部１６５へ送信する。
【００４３】
この第１のバッファ１６２は、１フレーム分のデータを蓄積するフレームメモリであっても良いし、また動きベクトルの取りうる範囲に従ったラインメモリ等、必要最小限のメモリで構成しても良い。更にこの第１のバッファでは、データの読出しをシーケンシャルに行うため、ＦＩＦ０メモリ等で実現しても良い。
【００４４】
第２のバッファ１６３は、データ選択部１４から送信された画像データＤ２を順次蓄積する。また第２のバッファ１６３は、供給されたバッファ制御信号Ｓ１２に応じて、蓄積した画像データＤ２を読み出す。すなわち、この第２のバッファ１６３は、供給されたバッファ制御信号Ｓ１２のイネーブルが有効な時に、当該バッファ制御信号Ｓ１２に含まれるアドレス値に従って、第２のバッファ１６３に蓄積した画像データＤ２を読み出す。この読み出された画像データＤ２を、以下シフトデータＳＤ２と称する。第２のバッファ１６３は、シフトデータＳＤ２をデータ演算部１６４及びフラグ演算部１６５へ送信する。
【００４５】
この第２のバッファ１６３は、１フレーム分のデータを蓄積するフレームメモリであっても良いし、また動きベクトルの取りうる範囲に従ったラインメモリ等、必要最小限のメモリで構成しても良い。かかる場合には、ランダムに与えられるアドレス値に対応してランダムにデータを読み出すシステムが構築される。
【００４６】
データ演算部１６４は、供給されたシフトデータＳＤ１と、シフトデータＳＤ２に基づき、移動データＭ１を演算する。このデータ演算部１６４は、演算した移動データＭ１を順次データシフト部１６ｂへ供給する。
【００４７】
なお、この移動データＭ１は、シフトデータＳＤ１やシフトデータＳＤ２をそのまま出力することによって算出しても良いし、シフトデータＳＤ１とシフトデータＳＤ２の平均値としても良い。更には、動きベクトル等の値を用いて重み付け平均をとる形で移動データＭ１を算出しても良い。
【００４８】
フラグ演算部１６５では、シフトデータＳＤ１とシフトデータＳＤ２が供給され、検出した動きベクトルの誤差情報を含むフラグＦ１を算出する。このフラグＦ１は、シフトデータＳＤ１とシフトデータＳＤ２との絶対差分値の大きさで表される場合もあり、また、動きベクトルの誤差に基づき算出される場合もある。更には、動きベクトルに付随するフラグ情報をそのままフラグＦ１として算出される場合もある。フラグ演算部１６５は、算出したフラグＦ１をデータシフト部１６ｂへ供給する。
【００４９】
データシフト部１６ｂは、シフトバッファ読出制御部１６６と、シフトバッファ書込制御部１６７と、シフトバッファ１６８とを備える。
【００５０】
シフトバッファ読出制御部１６６は、動きベクトル検出部１５から動きベクトルが送信され、シーケンス検出部１３から各信号の判別結果を含む移動量情報が送信される。シフトバッファ読出制御部１６６は、動きベクトルと、移動量情報及び内蔵されたアドレス計算用カウンタに基づき、シフトバッファ読出制御信号ＲＳ１を生成する。このシフトバッファ読出制御信号ＲＳ１は、シーケンシャルにデータを読み出すためのアドレス信号と、イネーブル信号から構成される。例えば、シフトバッファ１６８がフレームメモリ等で実現される場合において、シフトバッファ読出制御部１６６は、Ｘ座標、Ｙ座標の各アドレス信号を絶対座標として計算する。一方、シフトバッファ１６８がラインメモリ等の必要最小限のメモリで実現される場合において、シフトバッファ読出制御部１６６は、Ｘ座標、Ｙ座標の各アドレス信号を相対座標として計算する。
【００５１】
ここで内蔵されたアドレス計算用カウンタ値においてＸ座標、Ｙ座標がそれぞれ（ＣＸ１、ＣＹ１）であり、また供給された動きベクトルにおいて、Ｘ座標、Ｙ座標がそれぞれ（ＶＸ、ＶＹ）であるときに、シフトバッファ読出制御信号ＲＳ１のアドレスの番号（ＳＸ、ＳＹ）は、以下の式で表される。
ＳＸ＝ＣＸ１＋（ＶＸ×α） （２．１）
ＳＹ＝ＣＹ１＋（ＶＹ×α） （２．２）
ここでαは移動量情報であり、０以上かつ１以下の数で表現される。このαは、第１のフィールドで最小とし、その後フィールドが続く毎に順次増大する。このαは、テレシネ変換された信号が入力された場合に、第１のフィールドから第４のフィールドまで０，１／４，２／４，３／４と、またＴＶ信号が入力された場合にも、第１のフィールドから０，１／２と、線形に増加させていくことも可能である。
【００５２】
シフトバッファ読出制御部１６６は、生成したシフトバッファ読出制御信号ＲＳ１をシフトバッファ書込制御部１６７及びシフトバッファ１６８へ供給する。
【００５３】
シフトバッファ書込制御部１６７は、フラグ演算部１６５からフラグＦ１が供給され、またシフトバッファ１６８からフラグＦ´が供給され、シフトバッファ読出制御部１６６から、シフトバッファ読出制御信号ＲＳ１が供給される。このシフトバッファ１６７は、フラグＦとフラグＦ´の大小に基づき、書き込み時の優先順位を判定する。さらにこのシフトバッファ書込制御部１６７は、供給されるシフトバッファ読出制御信号ＲＳ１に基づき、書き込みアドレスを求め、当該書き込みアドレスと上述の通り判定した優先順位とを、シフトバッファ書込制御信号ＲＳ２として、シフトバッファ１６８へ供給する。
【００５４】
シフトバッファ１６８は、データ用バッファとフラグ用バッファから構成される。データ用バッファは、データを蓄積・供給するためのバッファであり、フラグ用バッファは、フラグを蓄積・供給するためのバッファである。これらのバッファは、同一の制御信号に基づき、書き込みや読み出しが行われる。また、これらのバッファは、１フレーム分のデータを蓄積するフレームメモリであっても良いし、また動きベクトルの取りうる範囲に従ったラインメモリ等、必要最小限のメモリで構成しても良い。
【００５５】
シフトバッファ１６８は、先ずフラグ用バッファの初期化を行う。フラグ用バッファに書き込まれるフラグには、データが書き込まれたか否かを示すマーク情報をも含む。マーク情報は、”ＮＭ”と”ＯＫ”の２種類で表され、”ＮＭ”は初期化時にデータの書込みが行われていないことを示し、”ＯＫ”は、データが既に書き込まれていることを示す。
【００５６】
またシフトバッファ１６８は、シフトバッファ読出制御信号ＲＳ１のイネーブルが有効である場合に、アドレスに対応させてシフトバッファ書込制御部１６７へフラグＦ´を送信する。またシフトバッファ１６８は、シフトバッファ書込制御信号ＲＳ２のイネーブルが有効な場合に、当該シフトバッファ書込制御信号ＲＳ２のアドレス値に従って、移動データＭ１、フラグＦ１をそれぞれデータ用バッファ、フラグ用バッファに書き込む。更に、このシフトバッファ１６８は、格納した画素値を番号順に整理して移動データＭ２とし、またシフトフラグＦ２を順次読み出し、それぞれを後処理部１６９へ供給する。
【００５７】
後処理部１６９は、シフトバッファ１６８から入力されたシフトフラグＦ２に応じて、移動データＭ２を再加工し、補正データＨ１としてＣＲＴ２へ出力する。
【００５８】
次に、本発明に係る画像信号処理装置１の動作について説明する。
【００５９】
図３は、フィールド倍速変換回路３における倍速変換前後の各フィールドと画素位置の関係を示している。ここで横軸は時間、縦軸は画素の垂直方向の位置を示す。
【００６０】
倍速変換前の画像データは、ＰＡＬ方式の５０フィールド／秒のインタレース画像であり、図３（ａ）に示すように、２フィールドで１つのコマを形成する。
【００６１】
一方、倍速変換後の画像データは、１００フィールド／秒のインタレース画像であるため、図３（ｂ）に示すように、フィールドｔ１とフィールドｔ２の間に、新規に２枚のフィールドｔ２´、ｔ１´を生成する。そして、フィールドｔ２とフィールドｔ３の間では、フィールドの生成を行わず、フィールドｔ３とフィールドｔ４の間に、新規に２枚のフィールドｔ４´、ｔ３´を生成する。すなわち、画像データは、４フィールドで１つのコマを形成することとなる。
【００６２】
この新規に生成したフィールドｔ１´、ｔ２´、・・・は、それぞれの画素値を、各画素の周囲３画素の中間値として、メディアン・フィルタ等を用いて求める場合もある。また、この新規に生成したフィールドｔ１´、ｔ２´、・・・は、それぞれフィールドｔ１、ｔ２、・・と同じ内容となる。これにより、４フィールドで１つのコマを形成することとなり、単位時間当たりの画面枚数を増やすことで解像度を向上させることができ、面フリッカ妨害を抑制することが可能となる。
【００６３】
テレシネ変換後、上述の如き倍速変換された画像データにおいて、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図４に示す。この図４において、横軸は画像の水平方向における位置、縦軸は時間を表している。既にテレシネ変換された画像は、図４に示すように、フィールドｔ１、ｔ２´、ｔ１´、ｔ２の順で、一定の時間間隔で第１の画像メモリ１１に供給され、これらの画像は同一の位置に表示される。またフィールドｔ３に移行すると画像が水平方向（右方向）に移り、フィールドｔ３、ｔ４´、ｔ３´、ｔ４の順で第１の画像メモリに供給される。
【００６４】
ここで、例えば、第１の画像メモリに供給されるフィールド（以下、参照フィールドと称する）が、フィールドｔ３である場合には、第２の画像メモリ１２から出力される、参照フィールドより２フレーム前のフィールド（以下、２フレーム遅延フィールドと称する）は、フィールドｔ１となる。
【００６５】
また、ＴＶ信号を倍速変換した画像データにおいて、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図５に示す。同一のコマを構成するフィールドｔ１、ｔ２´において、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｔ１´、ｔ２において、同一位置に同一の画像が表示される。
【００６６】
動きベクトル検出部１４は、図４に示すテレシネ変換後、倍速変換された信号につき、参照フィールドと２フレーム遅延フィールド間で、各画素又は各ブロック単位で動きベクトルを検出する。図４に示す例の場合には、動きベクトルのベクトル方向は、２フレーム遅延フィールドを基準として水平方向（右方向）となり、ベクトル量はＡとなる。同様に、参照フィールドがｔ５の場合には、２フレーム遅延フィールドは、ｔ３となり、動きベクトルのベクトル量はＢとなる。この手順を繰り返すことにより、２フレーム遅延フィールドを基準とした動きベクトルのベクトル方向とベクトル量を順次求めることができる。動きベクトル検出部１４は、この求めた動きベクトルのベクトル量とベクトル方向とを画像シフト部１５へ順次送信する。
【００６７】
また、動きベクトル検出部は図５に示すＴＶ信号を倍速変換された信号につき、参照フィールドと１フレーム遅延フィールド間で、各画素又は各ブロック単位で動きベクトルを検出する。図５に示す例の場合には、動きベクトルのベクトル方向は、１フレーム遅延フィールドを基準として水平方向（右方向）となり、参照フィールドがｔ１´のときにベクトル量はＣとなる。同様に、参照フィールドがｔ４´の場合には、１フレーム遅延フィールドは、ｔ１´となり、動きベクトルのベクトル量はＤとなる。この手順を繰り返すことにより、１フレーム遅延フィールドを基準とした動きベクトルのベクトル方向とベクトル量を順次求めることができる。動きベクトル検出部７４は、この求めた動きベクトルのベクトル量とベクトル方向とを画像シフト部１５へ順次送信する。
【００６８】
シーケンス検出部１３は、参照フィールドと、第１の画像メモリ１１から出力される、参照フィールドより１フレーム前のフィールド（以下、１フレーム遅延フィールドと称する）を順次検出し、同一の画素位置における画素信号レベルの差分値をそれぞれ演算する。
【００６９】
すなわち、図６に示すように、テレシネ変換画像の場合には、参照フィールドｔ１´と、１フレーム遅延フィールドｔ１は、同一のコマを構成するため、例えば画素位置ａ点における画素信号レベルの差分値は０になる。次に参照フィールドとしてフィールドｔ２が供給されると、１フレーム遅延フィールドはフィールドｔ２´となり、ａ点における画素信号レベルの差分値は同様に０となる。
【００７０】
次に参照フィールドとしてフィールドｔ３が供給されると、１フレーム遅延フィールドはｔ１´となり、両者はそれぞれ別のコマを形成するため、ａ点における画素信号レベルの差分値は０以外（以下、１とする）となる。次に参照フィールドとしてｔ４´が供給されると１フレーム遅延フィールドはフィールドｔ２となり、ａ点における画素信号レベルの差分値は、同様に１となる。
【００７１】
更に、参照フィールドとしてｔ３´が供給されると、１フレーム遅延フィールドは、ｔ３となり、両者は同一のコマを形成するため、ａ点における画素信号レベルの差分値は再び０になる。その後に供給される参照フィールドについても同様の傾向となり、演算した差分値は、４フィールド周期で「００１１」の順で繰り返される。従って、このシーケンスを４フィールド単位で検出することにより、各フィールドの前後関係を特定することが可能となる。
【００７２】
この傾向を１フレーム遅延フィールドにつき着目すると、差分値は、コマの最初のフィールドから「００１１」の順になる。従って、最初に差分値０を算出したとき、検出した１フレーム遅延フィールドを、コマの最初のフィールド（以下、第１のフィールドと称する）として特定する。また差分値０が連続したときには、検出した１フレーム遅延フィールドを第２のフィールドとして特定する。また差分値として最初に１を算出した場合に、検出した１フレーム遅延フィールドを第３のフィールドとして特定する。また、差分値１が連続したときには、検出した１フレーム遅延フィールドを第４のフィールドとして特定する。
【００７３】
なお、ＴＶ信号が入力された場合においても、各フィールドが第１のフィールド又は第２のフィールドのいずれに該当するか判別する必要あるが、フィールド倍速変換回路３により倍速変換する際に該当するフィールドは判明するため、上述のようなシーケンス検出の必要性は無い。すなわち、倍速変換回路３から画像信号が入力される際には、第１のフィールドと、第２のフィールドが特定されていることになる。
【００７４】
図７（ａ）は、１コマ２フィールドで構成されるＴＶ信号が入力された場合における画像シフト部１６の具体的な動作例を一次元のグラフで示している。この図７に示す動作例では、ＴＶ信号が入力された場合のものであり、画像データＤ１は第１のフィールドであり、また画像データＤ２は、画像データＤ１よりも１フレーム後の第１のフィールドである。この図７において、０から始まる番号は、画素位置を示すアドレスであり、また縦軸は画素値（＝画素信号レベル）を表している。
【００７５】
本発明では、図７（ｂ）に示すように、この時間的に異なる画像データＤ１と画像データＤ２の中間に位置する第２のフィールド（以下、書込フィールドという）において、動きがスムーズに見えるように補正データを書き込む。すなわち、この図７（ａ）に示す例において、左側に凸部がある画像データＤ１から、中央になだらかな凸部がある画像データＤ２へ移り変わる際に、全体の動きがスムーズに見えるような画像を上述の書込フィールドにおいて生成する。
【００７６】
図８は、図７（ａ）に示す画像シフト部１６の具体的な動作例を、画素値で表示したものである。図８（ａ）は、画像シフト部１６に入力される画像データＤ１と画像データＤ２を表したものであり、番号は、画素位置を示すアドレスである。各画素毎に輝度があることから、供給される画像データＤ１には、番号ごとに画素値が割り振られる。
【００７７】
すなわち、図８（ａ）に示す動作例において、画像データＤ１は、番号０〜１１のアドレスにおいて、順に１００、１００、２００、・・・・と続く画素値で表される。
【００７８】
画像データＤ１より後に位置する画像データＤ２は、番号０〜１１のアドレスにおいて、順に１００、１００、１００、・・・・と続く画素値で表される。
【００７９】
図８（ａ）に示されている動きベクトルは、この画像データＤ１と、画像データＤ２との間で、各画素毎の画像データＤ１を基準としたベクトル量を表したものである。例えば、画像データＤ１において番号１のアドレスにある画素値１００の画素は、１フィールド後に位置する画像データＤ２においても番号１のアドレスに位置している。従って動きベクトルは０である。また、例えば画像データＤ１において番号２のアドレスにある画素値２００の画素は、画像データＤ２において、番号４のアドレスに移動する。従って動きベクトルは４−２＝２より、２となる。ちなみに図７（ａ）に示す矢印は、この各画素毎の動きベクトルを示したものである。
【００８０】
第１のバッファ１６２、第２のバッファ１６３は、それぞれ画像データＤ１、画像データＤ２における各画素値を、アドレスの番号に対応付けて格納する。例えば画像データＤ１が供給された後の第１のバッファには、図８（ａ）に示す番号のアドレスと画素値が対応付けされて格納されている。
【００８１】
図８（ｂ）は、データバッファ読出制御部１６１の処理について示したものである。データバッファ読出制御部１６４は、上述の式（１．１）〜（１．２）に基づき、バッファ制御信号Ｓ１２を作り出す。例えばバッファ制御信号Ｓ１１を上述のアドレスに対応する番号としたとき、番号１のアドレスにおいて、動きベクトルは、図８（ａ）に示すように０であるため、バッファ制御信号Ｓ１２の番号も１となる。また、例えば、バッファ制御信号Ｓ１１において、番号２のアドレスであるときには、動きベクトルは２となるため、バッファ制御信号Ｓ１２の番号は４となる。
【００８２】
このバッファ制御信号Ｓ１１が第１のバッファ１６２に供給され、バッファ制御信号Ｓ１１の番号に対応するアドレスの画素値が、第１のバッファ１６２から読み出される。読み出された画素値は、シフトデータＳＤ１としてアドレスに対応付けられ、データ演算部１６４等に供給されることとなる。
【００８３】
同様にバッファ制御信号Ｓ１２が第２のバッファ１６３に供給され、バッファ制御信号Ｓ１２の番号に対応するアドレスの画素値が第２のバッファ１６３から読み出される。読み出された画素値は、シフトデータＳＤ２としてアドレスに対応付けられ、データ演算部１６４等に供給されることとなる。
【００８４】
図８（ｂ）最下段は、移動データＭ１を、シフトデータＳＤ１とシフトデータＳＤ２の平均値とした場合について示している。この移動データＭ１は、画像データＤ１と画像データＤ２の中間に位置するフィールドに対して書き込む画素値の原型である。またフラグＦ１として、このシフトデータＳＤ１とシフトデータＳＤ２の差分絶対値とした場合について示している。差分絶対値が０以外になる場合には、画像データＤ１と画像データＤ２との間で、当該アドレスの画素につき、画素信号レベルが変化したものとみなされる。すなわち、画像データＤ２に至る時間までに当該アドレスの画素において、画素信号レベルの誤差が生じたことを示している。
【００８５】
図８（ｃ）は、シフトバッファ読出制御信号ＲＳ１について示している。この図８（ｃ）に示した例では、図示しないアドレス計算カウンタから、０，１，２、・・・と、０から１ずつプラスにシフトさせた値を、式（２．１），（２．２）におけるＣＸ１とし、また移動量情報αを１／２とした場合について示している。なお、アドレス計算カウンタの数値は、画像データＤ１のアドレスを示す番号に対応させて出力している。
【００８６】
このシフトバッファ制御信号ＲＳ１を生成する際において、例えば、アドレス計算カウンタの番号が２である場合には、図８（ａ）に基づき、番号２に対応する画素位置の動きベクトルは２であるので、式（２．１）に基づき、２＋２×１／２＝３より、シフトバッファ読出制御信号ＲＳ１の番号は３となる。同様にアドレス計算カウンタの番号が３の場合には、図８（ａ）に基づき、番号３に対応する動きベクトルは２であるので、式（２．１）に代入して３＋２×１／２＝４より、シフトバッファ読出制御信号ＲＳ１の番号は４となる。
【００８７】
すなわち、この生成されたシフトバッファ読出制御信号ＲＳ１の番号は、書込フィールドにおいて、補正データを書き込むアドレスの番号を示している。このためシフトバッファ制御信号ＲＳ１のアドレスの番号について、シフトバッファ１６８への書き込み状況を検知すべく、シフトバッファ１６８に格納されているフラグＦ´を読み出す。このフラグＦ´は、シフトバッファ１６８にアクセスされたアドレスにおいて、データが書き込まれていない場合には、”ＮＭ”が返される。一方、データが既に書き込まれたアドレスに対しては、差分絶対値の値が返される。
【００８８】
例えば図８（ｃ）に示す例において、シフトバッファ読出制御信号ＲＳ１の番号０〜８のアドレスでは、シフトバッファ１６８からフラグＦ´を介して、データが書き込まれていない旨が表示される。一方、番号９のアドレスでは、最初はデータが書き込まれていない旨の”ＮＭ”が返され、次回では差分絶対値が、フラグＦ´として返されている。すなわち、シフトバッファ１６８の番号のアドレスには複数の画素値が書き込まれることを意味している。これは、図７（ａ）で示されるように、画像データＤ２における番号９のアドレスには、画像データＤ１における番号６、並びに番号９に基づく動きベクトルが集中していることからも示される。
【００８９】
ここで、フラグＦ´が”ＮＭ”で返されたシフトバッファ１６８のアドレスには、当該アドレスの番号に応じて移動データＭ１が順次書き込まれる。また、フラグＦ´が数値を持つ場合には、フラグＦ´と当該アドレスの番号に相当するフラグＦとを比較し、数値が小さい方を有効とする。これにより、画像データＤ１から画像データＤ２へ移行するまでに、誤差の少ない動きベクトルに基づく画素値を書き込むことが可能となり、単一の画素位置に複数の動きベクトルがかかるような様々なバリエーションの画像についても高精度に動き補正することが可能となる。
【００９０】
シフトバッファ書込制御部１６２は、供給されるフラグＦ´に基づき、移動データＭ１をシフトバッファ上に書き込むアドレスを決定する。図８（ｃ）に示すシフトバッファ書込制御信号ＲＳ２は、この決定したアドレスに対応する番号を示すものである。このシフトバッファ書込制御信号ＲＳ２に対応する移動データＭ１をシフトバッファ１６８に書き込む。例えば番号９では、フラグＦは、１０であり、またフラグＦ´は、０である。数値の小さいフラグＦ´を優先するため、番号９では、当初に書き込まれた番号６のアドレスに基づく画素値”１００”がそのままシフトバッファ１６８に格納され続ける。
【００９１】
シフトバッファ１６８に格納された移動データＭ２をアドレス番号順に再度整理した結果を図８（ｃ）に示す。シフトフラグＦ２は、マーク情報を示している。このシフトフラグＦ２において”ＯＫ”が出力されている場合には、当該番号のアドレスにデータが書き込まれていることを示し、また”ＮＭ”が出力されている場合には、当該番号のアドレスにデータが書き込まれていないことを示している。ちなみに番号２のアドレスには、データが書き込まれていないため、シフトフラグとして”ＮＭ”が出力される。
【００９２】
図８（ｄ）では、シフトバッファ１６８から供給される移動データＭ２に後処理を施した補正データＨ１を示している。データが書き込まれていない番号２に後処理が施され、新たにデータが書き込まれる。この後処理では、例えば、番号２の左側に位置する番号１のアドレスのデータをそのまま書込んだり、また周辺のアドレスのデータの平均値を求める等の方法が考えられる。
【００９３】
この図８（ｄ）に示す補正データＨ１を、画像データＤ１と画像データＤ２の中間に位置する第２のフィールドに書き込むことにより、図７（ａ）に示すように、全体の動きがスムーズに見えるような画像になる。
【００９４】
すなわち、本発明に係る画像信号処理装置１は、時間的に異なる画像データ間において、画像の動きをスムーズにできる最適な補正データを中間に位置するフィールドに書き込むため、例えば画像が水平方向へ移動しながら、画素値が変化する場合においても、画像の動きの不連続性を効率よく解消することができる。また、この画像信号処理装置１は、テレシネ変換した画像信号とＴＶ信号とが双方とも入力される場合において、画像の様々なバリエーションに対応させて、動きの不連続性を効率よく解消することができる。これにより、フィルム信号とＴＶ信号の双方が入力されるテレビジョン受像機に内蔵することができ、また既に販売されたテレビジョン受像機に対して新たに内蔵することにより容易にバージョンアップを図ることも可能となり、汎用性をより高めることも可能となる。
【００９５】
なお、本発明は上述した実施の形態に限定されるものではない。例えば、図９に示すように、フラグ演算部１６５、シフトバッファ読出制御部１６６を除去した画像シフト部２６を備える場合においても適用可能である。この画像シフト部２６では、シフトバッファ読出制御信号ＲＳ１と、フラグＦと、フラグＦ´を省略し、書き込み時の優先順位を判定しない方式を採用する。この画像シフト部において、アドレスに書き込むデータが重複する場合には、時間的に後に計算されたデータが、既に書き込まれているデータ上に上書きされることになるが、フラグの読み出し時の制御が不必要になるため、回路を簡略化することができる。
【００９６】
また、本発明は、ＰＡＬ方式によるテレビジョン受像機に対して適用される場合に限定されることはなく、例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ ＴＶ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）方式の６０フィールド秒（３０コマ／秒）のインタレース画像信号が入力されるテレビジョン受像機に対しても適用可能である。また、ＳＥＣＡＭ方式によるテレビジョン受像機に対しても適用可能である。
【００９７】
また、本発明は、テレビジョン受像機に内蔵される場合のみならず、テレビジョン受像機に接続する信号変換器へも内蔵可能である。
【００９８】
また、本発明は、インターネットで伝送されるような画像信号をＰＣなどで表示する場合や、メディアや画像フォーマットを変換するケースにも応用することができる。
【００９９】
更に、本発明は、回路等、ハードウェアで実現する形で説明しているが、プロセッサ上でのソフトウェアとしても実現可能であることは勿論である。
【０１００】
【発明の効果】
以上詳細に説明したように、本発明に係る画像信号処理装置及び方法は、コマの最初が第１のフィールドで始まり、かつ倍速変換された信号が入力され、演算した画素信号レベルの差分値に基づいて第１のフィールドを特定し、各検出画素について補間画素データを算出し、特定した第１のフィールドから後へフィールドが移行するにつれてシフト量が順次増大するように、動きベクトルのベクトル方向へ検出画素の位置をシフトさせた画素位置に、補間画素データを書き込む。
【０１０１】
これにより、本発明に係る画像信号処理装置及び方法は、様々な画像のバリエーションにおいても、面フリッカ妨害を抑えつつ、画像の動きをスムーズにすることにより相乗的に画質を向上できる
【図面の簡単な説明】
【図１】本発明を適用した画像信号処理装置のブロック構成図である。
【図２】画像シフト部のブロック構成を示した図である。
【図３】フィールド倍速変換回路における倍速変換前後の各フィールドと画素位置の関係を示した図である。
【図４】テレシネ変換された画像において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図５】ＴＶ信号の画像において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図６】シーケンスの検出方法について説明するための図である。
【図７】画像シフト部の動作処理過程を１次元で表示した図である。
【図８】画像シフト部の具体的な動作例を、画素値で表示した図である。
【図９】書き込み時に優先順位判定を行わない画像シフト部のブロック構成を示した図である。
【図１０】フィールド周波数倍速方式を適用したフィールド倍速変換回路のブロック構成図である。
【図１１】倍速変換前後の各フィールドと画素位置の関係を示した図である。
【図１２】水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図１３】ＴＶ信号が入力される場合において、水平方向へ画像が移動するときの各フィールドと画像位置の関係を示した図である。
【符号の説明】
１ 画像信号処理装置、２ ＣＲＴ、３ フィールド倍速変換回路、１１ 第１の画像メモリ、１２ 第２の画像メモリ、１３ シーケンス検出部、１４ データ選択部、１５ 動きベクトル検出部、１６ 画像シフト部、３１ 入力端子、３２ 倍速変換部、３３ フレームメモリ、１６１ データバッファ読出制御部、１６２ 第１のバッファ、１６３ 第２のバッファ、１６４ データ演算部、１６５ フラグ演算部、１６６ シフトバッファ読出制御部、１６７ シフトバッファ書込制御部、１６８ シフトバッファ、１６９ 後処理部
【発明の属する技術分野】
本発明は、倍速変換することにより生成された画像信号の各検出画素の位置をシフトさせる画像信号処理装置及び方法に関する。
【０００２】
【従来の技術】
テレビ放送の走査方式としては、従来から水平走査線を１本おきに飛越して走査するインタレース走査方式が最も広く採用されている。このインタレース走査方式では、奇数番目の走査線から構成されるフィールド画像と、偶数番目の走査線から構成されるフィールド画像により１枚のフレーム画像を形成し、画面全体がちらついて見える面フリッカ妨害を抑え、画面品質の劣化を防止する。
【０００３】
また、このインタレース走査方式は、世界各国のテレビジョン標準方式として採用されており、このうち例えば欧州のテレビジョン放送におけるＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ）方式では、フィールド周波数が５０〔Ｈｚ〕（フレーム画像が２５フレーム／秒、フィールド画像が５０フィールド／秒）で構成される。
【０００４】
特にこのＰＡＬ方式では、更なる面フリッカ妨害の抑制を期すべく、入力画像信号を補間等の処理を行うことにより、フィールド周波数を５０Ｈｚから２倍の１００Ｈｚの画像信号に変換する、フィールド周波数倍速方式が従来より採用されている。
【０００５】
図１０は、このフィールド周波数倍速方式を適用したフィールド倍速変換回路５のブロック構成例を示している。このフィールド倍速変換回路５は、入力端子６１と、ＣＲＴ６３と、水平垂直偏向回路６２とを備えるテレビジョン受像機６に集積化される。このフィールド倍速変換回路５は、倍速変換部５１と、フレームメモリ５２とを備える。
【０００６】
倍速変換部５１は、入力端子６１から入力された、例えばＰＡＬ方式の５０フィールド／秒の画像信号を、フレームメモリ５２へ書き込む。また、この倍速変換部５１は、フレームメモリ５２へ書き込んだ画像信号を、書込み時の２倍の速度で読み出す。これにより、５０フィールド／秒の画像信号の周波数を２倍に変換し、１００フィールド／秒の画像信号を生成することができる。
【０００７】
倍速変換部５１は、倍速変換した画像信号をＣＲＴ６３へ出力する。ＣＲＴ６３は、入力された画像信号を画面上に表示する。なお、ＣＲＴ６３における画像信号の水平、垂直の偏向は、水平垂直偏向回路６２において生成された、入力画像信号の２倍の周波数の水平垂直鋸歯状波に基づいて制御する。
【０００８】
図１１は、倍速変換前後の各画像信号における各フィールドと画素位置との関係を示している。ここで横軸は時間、縦軸は画素の垂直方向の位置を示す。また、図１１（ａ）の白丸で示した画像信号は、倍速変換前の５０フィールド／秒のインタレース画像信号であり、図１１（ｂ）の黒丸で示した画像信号は、倍速変換した１００フィールド／秒のインタレース画像信号である。
【０００９】
図１１（ａ）に示す画像信号において、フィールドｆ１とフィールドｆ２は、フィルムの同一のコマから作成された信号となり、以下同様にフィールドｆ３とフィールドｆ４も同一のコマを構成する。これらの画像信号は、インタレース画像信号であるため、隣り合うフィールド間で垂直方向の画素位置が異なる。このため、インタレース性を保ちつつ、各フィールド間に１個ずつのフィールドを新規に生成することはできない。
【００１０】
そこで、図１１（ｂ）に示すように、フィールドｆ１とフィールドｆ２の間に、新規に２枚のフィールドｆ２´、ｆ１´を生成する。そして、フィールドｆ２とフィールドｆ３の間では、フィールドの生成を行わず、フィールドｆ３とフィールドｆ４の間に、新規に２枚のフィールドｆ４´、ｆ３´を生成する。すなわち４フィールド、２フレームで１つのコマを形成する。
【００１１】
この新規に生成したフィールドｆ１´、ｆ２´、・・・は、それぞれの画素値を、各画素の周囲３画素の中間値として、メディアン・フィルタ等を用いて求める場合もある。また、この新規に生成したフィールドｆ１´、ｆ２´、・・・は、それぞれフィールドｆ１、ｆ２、・・と同じ内容となる。
【００１２】
すなわち、フィールド倍速変換回路５は、倍速変換前の画像信号のフィールド間に２枚のフィールドを新規に生成する部分と全く生成しない部分とを交互に配置することで、単位時間当たりの画面枚数を増やすことができ、上述の面フリッカ妨害を抑えることが可能となる。
【００１３】
ところで、２４コマ／秒の静止画で構成される映画のフィルムを通常のテレビで見るためには、インターレースのテレビ信号にするために、テレビシネマ変換（以下、テレシネ変換と称する）を行う。このテレシネ変換後の画像信号において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図１２に示す。ここで横軸は画像の水平方向における位置、縦軸は時間を示している。図１２（ａ）に示す倍速変換前の画像信号において、フィールドｆ１、ｆ２は、同一のコマを構成するため、同じ位置に画像が表示される。この画像は、フィールドｆ３に移行すると水平方向（右方向）へ移動する。フィールドｆ４は、フィールドｆ３と同一のコマを構成するため、フィールドｆ３と同一の位置に表示される。
【００１４】
この図１２（ａ）に示すテレシネ変換後の画像信号をフィールド周波数倍速方式により倍速変換すると、図１２（ｂ）に示すように、同一のコマを構成するフィールドｆ１、ｆ２´、ｆ１´、ｆ２で、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｆ３、ｆ４´、ｆ３´、ｆ４で同一位置に同一の画像が表示される。
【００１５】
また、倍速変換前のテレビジョン信号（以下、ＴＶ信号という）において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図１３（ａ）に示す。この図１３（ａ）において、フィールドｆ１、ｆ２、ｆ３・・・は、それぞれ独立したコマを形成するため、別の位置に画像が表示される。この画像は、フィールドｆ１から、ｆ２、ｆ３・・・と移行する毎に、水平方向（右方向）へ移動する。
【００１６】
この図１３（ａ）に示すテレビ信号の画像信号をフィールド周波数倍速方式により倍速変換すると、図１３（ｂ）に示すように、同一のコマを構成するフィールドｆ１、ｆ２´において、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｆ１´、ｆ２において、同一位置に同一の画像が表示される。
【００１７】
【発明が解決しようとする課題】
しかしながら、図１２（ｂ）に示すように、テレシネ変換後、倍速変換した画像信号において、画像はフィールドｆ１〜ｆ２まで同じ位置に表示される一方、ｆ２〜ｆ３に移行する場合に大きく水平方向へ移動する。同様にＴＶ信号を倍速変換した画像信号についても、図１３（ｂ）に示すように、画像はフィールドｆ１〜ｆ２´まで同じ位置に表示される一方、ｆ２´〜ｆ１´に移行する場合に大きく水平方向へ移動する。
【００１８】
特に出力画像信号は、１／１００秒の周期で規則的に各フィールドを構成しているため、画像の動作する時間帯が画像の静止する時間帯と比較して短く、実際にＣＲＴを介して番組を視聴すると画像の動きが不連続に見えるという問題があった。
【００１９】
更に、例えば水平方向へ画像が移動しながら画素値が変化するような、様々な画像のバリエーションにおいても、画像の動きの不連続性を効率よく解消する必要がある。
【００２０】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、倍速変換することにより生成された画像信号において、特に様々な画像のバリエーションにおいても、面フリッカ妨害を抑えつつ、画像の動きをスムーズにすることにより相乗的に画質を向上できる画像信号処理装置及び方法を提供することを目的とする。
【００２１】
【課題を解決するための手段】
本発明者は、上述した課題を解決するために、コマの最初が第１のフィールドで始まり、かつ倍速変換された信号が入力され、演算した画素信号レベルの差分値に基づいて第１のフィールドを特定し、各検出画素について補間画素データを算出し、特定した第１のフィールドから後へフィールドが移行するにつれてシフト量が順次増大するように、動きベクトルのベクトル方向へ検出画素の位置をシフトさせた画素位置に補間画素データを書き込む画像信号処理装置及び方法を発明した。
【００２２】
すなわち、本発明を適用した画像信号処理装置は、コマの最初が第１のフィールドで始まる、倍速変換された画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから１フレーム後のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定するシーケンス検出手段と、上記現フィールドの検出画素について、上記現フィールドから１フレーム又は２フレーム後のフィールドに対する動きベクトルを検出する動きベクトル検出手段と、上記現フィールドの検出画素の画素データ、及び上記現フィールドから１フレーム又は２フレーム後のフィールドにおける各画素の画素データに基づき、当該検出画素についての補間画素データを算出するデータ演算手段と、上記第１のフィールドから後へ続くフィールドにおいて、上記現フィールドの検出画素の位置から上記動きベクトルのベクトル方向へシフトさせた画素位置に上記補間画素データを書き込む画像制御手段とを備え、上記画像制御手段は、上記第１のフィールドから後へフィールドが続く毎に、検出した上記動きベクトルのベクトル量の範囲内で、上記シフトさせる量を順次増大させることを特徴とする。
【００２３】
また、本発明を適用した画像信号処理方法は、コマの最初が第１のフィールドで始まる、倍速変換された画像信号が入力され、入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから１フレーム後のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定し、上記現フィールドの検出画素について、上記現フィールドから１フレーム又は２フレーム後のフィールドに対する動きベクトルを検出し、上記現フィールドの検出画素の画素データ、及び上記現フィールドから１フレーム又は２フレーム後のフィールドにおける各画素の画素データに基づき、当該検出画素についての補間画素データを算出し、上記第１のフィールドから後へ続くフィールドにおいて、上記現フィールドの検出画素の位置から上記動きベクトルのベクトル方向へシフトさせた画素位置に上記補間画素データを書き込み、上記画像制御手段は、上記第１のフィールドから後へフィールドが続く毎に、検出した上記動きベクトルのベクトル量の範囲内で、上記シフトさせる量を順次増大させることを特徴とする。
【００２４】
【発明の実施の形態】
以下、本発明を適用した画像信号処理装置及び方法について図面を参照して詳細に説明する。
【００２５】
図１は、本発明の第１の実施の形態における画像信号処理装置１のブロック構成図である。画像信号処理装置１は、例えばＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ）方式によるテレビジョン受像機に内蔵され、テレシネ変換した画像信号やテレビジョン信号（以下、ＴＶ信号という）が入力される。またこの画像信号処理装置１は、図１に示すように、第１の画像メモリ１１と、第２の画像メモリ１２と、シーケンス検出部１３と、データ選択部１４と、動きベクトル検出部１５と、画像シフト部１６を備えている。
【００２６】
第１の画像メモリ１１は、テレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成された、例えば１００フィールド／秒のインタレース画像データが順次供給される。また、この第１の画像メモリ１１は、ＴＶ信号を倍速変換することにより生成された１コマが２フィールドで構成された、例えば１００フィールド／秒のインタレース画像信号が順次供給される。
【００２７】
第１の画像メモリ１１は、供給された画像データを、各フィールド単位で、１フレーム分格納する。すなわち、第１の画像メモリ１１から出力される画像データは、この第１の画像メモリ１１に供給される画像信号より１フレーム後になる。
【００２８】
第２の画像メモリ１２は、第１の画像メモリ１１と同様の内部構成を有し、第１の画像メモリ１１から供給された画像データを、各フィールド単位で、１フレーム分格納する。すなわち、第２の画像メモリ１２から出力される画像データは、この第２の画像メモリ１２に供給される画像データより１フレーム後になり、第１の画像メモリ１１に供給される画像データより２フレーム後になる。この第２の画像メモリ１２に格納された画像データＤ１は、動きベクトル検出部１５及び画像シフト部１６に供給される。
【００２９】
シーケンス検出部１３は、第１の画像メモリ１１に供給される画像データと、第１の画像メモリ１１から出力される画像データを検出し、各画素毎に画像信号レベルを比較し、両者間で差分値を演算する。すなわち、このシーケンス検出部１３は、画面上の同一箇所における画素の画像信号レベルを、１フレーム間隔で比較する。シーケンス検出部１３は、画像信号レベルの差分値の演算結果を画像シフト部１５へ送信する。シーケンス検出部１３は、上述の如く各フィールドの特定に加え、テレシネ変換された信号か、ＴＶ信号かを判別し、当該判別結果を移動量情報として画像シフト部１６等へ送信する。
【００３０】
データ選択部１４は、第１の画像メモリ１１に供給される画像データと、第１の画像メモリ１１から出力される画像データが入力される。このデータ選択部１４は、シーケンス検出部１３から受信した判別結果に基づき、供給される画像データのうち一方を選択する。すなわち、シーケンス検出部１３によりテレシネ変換された信号であると判別された場合には、第１の画像メモリ１１に供給される画像データを選択する。また、シーケンス検出部１３によりＴＶ信号であると判別された場合には、第１の画像メモリ１１から出力される画像データを選択する。データ選択部１４により選択された画像データを以下、画像データＤ２と称する。データ選択部１４は、選択した画像データＤ２を動きベクトル検出部１５へ出力する。
【００３１】
なお、データ選択部１４として、第１の画像メモリ１１から出力される画像データと、第２の画像メモリ１２から出力される画像データのどちらか一方を選択する接続形態にも適用可能である。
【００３２】
動きベクトル検出部１５は、画像データＤ１と、画像データＤ２とを検出し、例えばブロックマッチング法に基づき、動きベクトルを検出する。このブロックマッチング法は、画面を所定の画素からなるブロックに分割し、各ブロック単位で相似度を評価することにより動きベクトルを求める方法である。第２の画像メモリ１２から出力される画像データＤ１は、参照フィールドの２フレーム遅延フィールドであり、またデータ選択部１４から出力される画像データＤ２は、参照フィールドそのもの、又は参照フィールドの１フレーム遅延フィールドである。
【００３３】
すなわち、動きベクトル検出部１５は、画像データＤ１と画像データＤ２との間で動きベクトルを検出することにより、参照フィールドと、２フレーム遅延信号間で動きベクトルを検出することができ、また同様に参照フィールドの１フレーム遅延信号と、参照フィールドの２フレーム遅延信号間で動きベクトルを検出することができる。換言すれば、動きベクトルを検出するフィールド間隔をシーケンス検出部１３から受信した判別結果に基づき、制御することができる。
【００３４】
画像シフト部１６は、画像信号レベルの比較結果を含む移動量情報を、シーケンス検出部１３から受信する。また、画像シフト部１６は、動きベクトル検出部１５が検出した動きベクトルを受信する。更に画像シフト部１６は、第２の画像メモリ１２から画像データＤ１が供給され、またデータ選択部１４から画像データＤ２が供給される。この画像シフト部１６は、供給された画像信号における各画素位置を、受信した上記動きベクトルのベクトル量の範囲内で、かつベクトル方向へシフトさせる。この画像シフト部１６の内部構成例の詳細については後述する。
【００３５】
なお、画像信号処理装置１には、画像信号のフィールド周波数を倍速変換するフィールド倍速変換回路３が集積される場合もある。フィールド倍速変換回路３は、解像度を向上させることにより、面フリッカ妨害を防止すべく集積されるものであり、例えば、ＰＡＬ方式において、補間等の処理を行うことにより、フィールド周波数が５０Ｈｚの画像データを２倍の１００Ｈｚの画像データに変換する。
【００３６】
フィールド周波数変換回路３は、図１に示すように、テレビジョン受像機に接続された入力端子３１と、倍速変換部３２と、フレームメモリ３３とを備える。
【００３７】
倍速変換部３２は、テレビジョン受像機から入力端子３１を介して入力された、テレシネ変換後の画像データ、またはテレビジョン信号を、フレームメモリ３３へ書き込む。また、この倍速変換部３２は、フレームメモリ３３へ書き込んだ画像データを、書込み時の２倍の速度で読み出す。これにより、例えば、ＰＡＬ方式の５０フィールド／秒の画像信号の周波数を２倍に変換し、１００フィールド／秒の画像データを生成することができる。倍速変換部３２は、この倍速変換した画像データを画像信号処理装置１へ供給する。
【００３８】
次に画像シフト部１６の詳細な内部構成例について図２を用いて説明する。画像シフト部１６はデータ処理部１６ａとデータシフト部１６ｂに分割して構成されている。
【００３９】
データ処理部１６ａは、データバッファ読出制御部１６１と、第１のバッファ１６２と、第２のバッファ１６３と、データ演算部１６４と、フラグ演算部１６５とを備える。
【００４０】
データバッファ読出制御部１６１は、動きベクトル検出部１５において検出された動きベクトルが入力される。データバッファ読出制御部１６１は、この入力された動きベクトルに基づき、バッファ制御信号Ｓ１１及びバッファ制御信号Ｓ１２を演算する。これらの各バッファ制御信号Ｓ１１、Ｓ１２は、シーケンシャルにデータを読み出すためのアドレス信号と、イネーブル信号から構成される。例えば、第１のバッファ１６２、及び第２のバッファ１６３がフレームメモリ等で実現される場合において、データバッファ読出し制御部１６１は、Ｘ座標、Ｙ座標の各アドレス信号を絶対座標として計算する。一方、第１のバッファ１６２、及び第２のバッファ１６３がラインメモリ等の必要最小限のメモリで実現される場合において、データバッファ読出し制御部１６１は、Ｘ座標、Ｙ座標の各アドレス信号を相対座標として計算する。
【００４１】
ここでバッファ制御信号Ｓ１１のアドレスにおいてＸ座標、Ｙ座標がそれぞれ（ＡＸ１、ＡＹ１）であり、また、供給された動きベクトルにおいて、Ｘ座標、Ｙ座標がそれぞれ（ＶＸ、ＶＹ）であるときに、バッファ制御信号Ｓ１２のアドレス（ＡＸ２、ＡＹ２）は以下の式で表される。
ＡＸ２＝ＡＸ１＋ＶＸ （１．１）
ＡＹ２＝ＡＹ１＋ＶＹ （１．２）
データバッファ読出制御部１６１は、これらの計算したアドレス信号を含むバッファ制御信号Ｓ１１を第１のバッファ１６２に供給する。またデータバッファ読出制御部１６１は、同様に計算したアドレス信号を含むバッファ制御信号Ｓ１２を第２のバッファ１６３に供給する。
【００４２】
第１のバッファ１６２は、第２の画像メモリ１２から送信された画像データＤ１を順次蓄積する。また第１のバッファ１６２は、供給されたバッファ制御信号Ｓ１１に応じて蓄積した画像データＤ１を読み出す。すなわち、この第１のバッファ１６２は、供給されたバッファ制御信号Ｓ１１のイネーブルが有効な時に、当該バッファ制御信号Ｓ１１に含まれるアドレス値に従って、第１のバッファ１６２に蓄積した画像データＤ１を読み出す。この読み出された画像データＤ１を以下、シフトデータＳＤ１と称する。第１のバッファ１６２は、シフトデータＳＤ１をデータ演算部１６４とフラグ演算部１６５へ送信する。
【００４３】
この第１のバッファ１６２は、１フレーム分のデータを蓄積するフレームメモリであっても良いし、また動きベクトルの取りうる範囲に従ったラインメモリ等、必要最小限のメモリで構成しても良い。更にこの第１のバッファでは、データの読出しをシーケンシャルに行うため、ＦＩＦ０メモリ等で実現しても良い。
【００４４】
第２のバッファ１６３は、データ選択部１４から送信された画像データＤ２を順次蓄積する。また第２のバッファ１６３は、供給されたバッファ制御信号Ｓ１２に応じて、蓄積した画像データＤ２を読み出す。すなわち、この第２のバッファ１６３は、供給されたバッファ制御信号Ｓ１２のイネーブルが有効な時に、当該バッファ制御信号Ｓ１２に含まれるアドレス値に従って、第２のバッファ１６３に蓄積した画像データＤ２を読み出す。この読み出された画像データＤ２を、以下シフトデータＳＤ２と称する。第２のバッファ１６３は、シフトデータＳＤ２をデータ演算部１６４及びフラグ演算部１６５へ送信する。
【００４５】
この第２のバッファ１６３は、１フレーム分のデータを蓄積するフレームメモリであっても良いし、また動きベクトルの取りうる範囲に従ったラインメモリ等、必要最小限のメモリで構成しても良い。かかる場合には、ランダムに与えられるアドレス値に対応してランダムにデータを読み出すシステムが構築される。
【００４６】
データ演算部１６４は、供給されたシフトデータＳＤ１と、シフトデータＳＤ２に基づき、移動データＭ１を演算する。このデータ演算部１６４は、演算した移動データＭ１を順次データシフト部１６ｂへ供給する。
【００４７】
なお、この移動データＭ１は、シフトデータＳＤ１やシフトデータＳＤ２をそのまま出力することによって算出しても良いし、シフトデータＳＤ１とシフトデータＳＤ２の平均値としても良い。更には、動きベクトル等の値を用いて重み付け平均をとる形で移動データＭ１を算出しても良い。
【００４８】
フラグ演算部１６５では、シフトデータＳＤ１とシフトデータＳＤ２が供給され、検出した動きベクトルの誤差情報を含むフラグＦ１を算出する。このフラグＦ１は、シフトデータＳＤ１とシフトデータＳＤ２との絶対差分値の大きさで表される場合もあり、また、動きベクトルの誤差に基づき算出される場合もある。更には、動きベクトルに付随するフラグ情報をそのままフラグＦ１として算出される場合もある。フラグ演算部１６５は、算出したフラグＦ１をデータシフト部１６ｂへ供給する。
【００４９】
データシフト部１６ｂは、シフトバッファ読出制御部１６６と、シフトバッファ書込制御部１６７と、シフトバッファ１６８とを備える。
【００５０】
シフトバッファ読出制御部１６６は、動きベクトル検出部１５から動きベクトルが送信され、シーケンス検出部１３から各信号の判別結果を含む移動量情報が送信される。シフトバッファ読出制御部１６６は、動きベクトルと、移動量情報及び内蔵されたアドレス計算用カウンタに基づき、シフトバッファ読出制御信号ＲＳ１を生成する。このシフトバッファ読出制御信号ＲＳ１は、シーケンシャルにデータを読み出すためのアドレス信号と、イネーブル信号から構成される。例えば、シフトバッファ１６８がフレームメモリ等で実現される場合において、シフトバッファ読出制御部１６６は、Ｘ座標、Ｙ座標の各アドレス信号を絶対座標として計算する。一方、シフトバッファ１６８がラインメモリ等の必要最小限のメモリで実現される場合において、シフトバッファ読出制御部１６６は、Ｘ座標、Ｙ座標の各アドレス信号を相対座標として計算する。
【００５１】
ここで内蔵されたアドレス計算用カウンタ値においてＸ座標、Ｙ座標がそれぞれ（ＣＸ１、ＣＹ１）であり、また供給された動きベクトルにおいて、Ｘ座標、Ｙ座標がそれぞれ（ＶＸ、ＶＹ）であるときに、シフトバッファ読出制御信号ＲＳ１のアドレスの番号（ＳＸ、ＳＹ）は、以下の式で表される。
ＳＸ＝ＣＸ１＋（ＶＸ×α） （２．１）
ＳＹ＝ＣＹ１＋（ＶＹ×α） （２．２）
ここでαは移動量情報であり、０以上かつ１以下の数で表現される。このαは、第１のフィールドで最小とし、その後フィールドが続く毎に順次増大する。このαは、テレシネ変換された信号が入力された場合に、第１のフィールドから第４のフィールドまで０，１／４，２／４，３／４と、またＴＶ信号が入力された場合にも、第１のフィールドから０，１／２と、線形に増加させていくことも可能である。
【００５２】
シフトバッファ読出制御部１６６は、生成したシフトバッファ読出制御信号ＲＳ１をシフトバッファ書込制御部１６７及びシフトバッファ１６８へ供給する。
【００５３】
シフトバッファ書込制御部１６７は、フラグ演算部１６５からフラグＦ１が供給され、またシフトバッファ１６８からフラグＦ´が供給され、シフトバッファ読出制御部１６６から、シフトバッファ読出制御信号ＲＳ１が供給される。このシフトバッファ１６７は、フラグＦとフラグＦ´の大小に基づき、書き込み時の優先順位を判定する。さらにこのシフトバッファ書込制御部１６７は、供給されるシフトバッファ読出制御信号ＲＳ１に基づき、書き込みアドレスを求め、当該書き込みアドレスと上述の通り判定した優先順位とを、シフトバッファ書込制御信号ＲＳ２として、シフトバッファ１６８へ供給する。
【００５４】
シフトバッファ１６８は、データ用バッファとフラグ用バッファから構成される。データ用バッファは、データを蓄積・供給するためのバッファであり、フラグ用バッファは、フラグを蓄積・供給するためのバッファである。これらのバッファは、同一の制御信号に基づき、書き込みや読み出しが行われる。また、これらのバッファは、１フレーム分のデータを蓄積するフレームメモリであっても良いし、また動きベクトルの取りうる範囲に従ったラインメモリ等、必要最小限のメモリで構成しても良い。
【００５５】
シフトバッファ１６８は、先ずフラグ用バッファの初期化を行う。フラグ用バッファに書き込まれるフラグには、データが書き込まれたか否かを示すマーク情報をも含む。マーク情報は、”ＮＭ”と”ＯＫ”の２種類で表され、”ＮＭ”は初期化時にデータの書込みが行われていないことを示し、”ＯＫ”は、データが既に書き込まれていることを示す。
【００５６】
またシフトバッファ１６８は、シフトバッファ読出制御信号ＲＳ１のイネーブルが有効である場合に、アドレスに対応させてシフトバッファ書込制御部１６７へフラグＦ´を送信する。またシフトバッファ１６８は、シフトバッファ書込制御信号ＲＳ２のイネーブルが有効な場合に、当該シフトバッファ書込制御信号ＲＳ２のアドレス値に従って、移動データＭ１、フラグＦ１をそれぞれデータ用バッファ、フラグ用バッファに書き込む。更に、このシフトバッファ１６８は、格納した画素値を番号順に整理して移動データＭ２とし、またシフトフラグＦ２を順次読み出し、それぞれを後処理部１６９へ供給する。
【００５７】
後処理部１６９は、シフトバッファ１６８から入力されたシフトフラグＦ２に応じて、移動データＭ２を再加工し、補正データＨ１としてＣＲＴ２へ出力する。
【００５８】
次に、本発明に係る画像信号処理装置１の動作について説明する。
【００５９】
図３は、フィールド倍速変換回路３における倍速変換前後の各フィールドと画素位置の関係を示している。ここで横軸は時間、縦軸は画素の垂直方向の位置を示す。
【００６０】
倍速変換前の画像データは、ＰＡＬ方式の５０フィールド／秒のインタレース画像であり、図３（ａ）に示すように、２フィールドで１つのコマを形成する。
【００６１】
一方、倍速変換後の画像データは、１００フィールド／秒のインタレース画像であるため、図３（ｂ）に示すように、フィールドｔ１とフィールドｔ２の間に、新規に２枚のフィールドｔ２´、ｔ１´を生成する。そして、フィールドｔ２とフィールドｔ３の間では、フィールドの生成を行わず、フィールドｔ３とフィールドｔ４の間に、新規に２枚のフィールドｔ４´、ｔ３´を生成する。すなわち、画像データは、４フィールドで１つのコマを形成することとなる。
【００６２】
この新規に生成したフィールドｔ１´、ｔ２´、・・・は、それぞれの画素値を、各画素の周囲３画素の中間値として、メディアン・フィルタ等を用いて求める場合もある。また、この新規に生成したフィールドｔ１´、ｔ２´、・・・は、それぞれフィールドｔ１、ｔ２、・・と同じ内容となる。これにより、４フィールドで１つのコマを形成することとなり、単位時間当たりの画面枚数を増やすことで解像度を向上させることができ、面フリッカ妨害を抑制することが可能となる。
【００６３】
テレシネ変換後、上述の如き倍速変換された画像データにおいて、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図４に示す。この図４において、横軸は画像の水平方向における位置、縦軸は時間を表している。既にテレシネ変換された画像は、図４に示すように、フィールドｔ１、ｔ２´、ｔ１´、ｔ２の順で、一定の時間間隔で第１の画像メモリ１１に供給され、これらの画像は同一の位置に表示される。またフィールドｔ３に移行すると画像が水平方向（右方向）に移り、フィールドｔ３、ｔ４´、ｔ３´、ｔ４の順で第１の画像メモリに供給される。
【００６４】
ここで、例えば、第１の画像メモリに供給されるフィールド（以下、参照フィールドと称する）が、フィールドｔ３である場合には、第２の画像メモリ１２から出力される、参照フィールドより２フレーム前のフィールド（以下、２フレーム遅延フィールドと称する）は、フィールドｔ１となる。
【００６５】
また、ＴＶ信号を倍速変換した画像データにおいて、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図５に示す。同一のコマを構成するフィールドｔ１、ｔ２´において、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｔ１´、ｔ２において、同一位置に同一の画像が表示される。
【００６６】
動きベクトル検出部１４は、図４に示すテレシネ変換後、倍速変換された信号につき、参照フィールドと２フレーム遅延フィールド間で、各画素又は各ブロック単位で動きベクトルを検出する。図４に示す例の場合には、動きベクトルのベクトル方向は、２フレーム遅延フィールドを基準として水平方向（右方向）となり、ベクトル量はＡとなる。同様に、参照フィールドがｔ５の場合には、２フレーム遅延フィールドは、ｔ３となり、動きベクトルのベクトル量はＢとなる。この手順を繰り返すことにより、２フレーム遅延フィールドを基準とした動きベクトルのベクトル方向とベクトル量を順次求めることができる。動きベクトル検出部１４は、この求めた動きベクトルのベクトル量とベクトル方向とを画像シフト部１５へ順次送信する。
【００６７】
また、動きベクトル検出部は図５に示すＴＶ信号を倍速変換された信号につき、参照フィールドと１フレーム遅延フィールド間で、各画素又は各ブロック単位で動きベクトルを検出する。図５に示す例の場合には、動きベクトルのベクトル方向は、１フレーム遅延フィールドを基準として水平方向（右方向）となり、参照フィールドがｔ１´のときにベクトル量はＣとなる。同様に、参照フィールドがｔ４´の場合には、１フレーム遅延フィールドは、ｔ１´となり、動きベクトルのベクトル量はＤとなる。この手順を繰り返すことにより、１フレーム遅延フィールドを基準とした動きベクトルのベクトル方向とベクトル量を順次求めることができる。動きベクトル検出部７４は、この求めた動きベクトルのベクトル量とベクトル方向とを画像シフト部１５へ順次送信する。
【００６８】
シーケンス検出部１３は、参照フィールドと、第１の画像メモリ１１から出力される、参照フィールドより１フレーム前のフィールド（以下、１フレーム遅延フィールドと称する）を順次検出し、同一の画素位置における画素信号レベルの差分値をそれぞれ演算する。
【００６９】
すなわち、図６に示すように、テレシネ変換画像の場合には、参照フィールドｔ１´と、１フレーム遅延フィールドｔ１は、同一のコマを構成するため、例えば画素位置ａ点における画素信号レベルの差分値は０になる。次に参照フィールドとしてフィールドｔ２が供給されると、１フレーム遅延フィールドはフィールドｔ２´となり、ａ点における画素信号レベルの差分値は同様に０となる。
【００７０】
次に参照フィールドとしてフィールドｔ３が供給されると、１フレーム遅延フィールドはｔ１´となり、両者はそれぞれ別のコマを形成するため、ａ点における画素信号レベルの差分値は０以外（以下、１とする）となる。次に参照フィールドとしてｔ４´が供給されると１フレーム遅延フィールドはフィールドｔ２となり、ａ点における画素信号レベルの差分値は、同様に１となる。
【００７１】
更に、参照フィールドとしてｔ３´が供給されると、１フレーム遅延フィールドは、ｔ３となり、両者は同一のコマを形成するため、ａ点における画素信号レベルの差分値は再び０になる。その後に供給される参照フィールドについても同様の傾向となり、演算した差分値は、４フィールド周期で「００１１」の順で繰り返される。従って、このシーケンスを４フィールド単位で検出することにより、各フィールドの前後関係を特定することが可能となる。
【００７２】
この傾向を１フレーム遅延フィールドにつき着目すると、差分値は、コマの最初のフィールドから「００１１」の順になる。従って、最初に差分値０を算出したとき、検出した１フレーム遅延フィールドを、コマの最初のフィールド（以下、第１のフィールドと称する）として特定する。また差分値０が連続したときには、検出した１フレーム遅延フィールドを第２のフィールドとして特定する。また差分値として最初に１を算出した場合に、検出した１フレーム遅延フィールドを第３のフィールドとして特定する。また、差分値１が連続したときには、検出した１フレーム遅延フィールドを第４のフィールドとして特定する。
【００７３】
なお、ＴＶ信号が入力された場合においても、各フィールドが第１のフィールド又は第２のフィールドのいずれに該当するか判別する必要あるが、フィールド倍速変換回路３により倍速変換する際に該当するフィールドは判明するため、上述のようなシーケンス検出の必要性は無い。すなわち、倍速変換回路３から画像信号が入力される際には、第１のフィールドと、第２のフィールドが特定されていることになる。
【００７４】
図７（ａ）は、１コマ２フィールドで構成されるＴＶ信号が入力された場合における画像シフト部１６の具体的な動作例を一次元のグラフで示している。この図７に示す動作例では、ＴＶ信号が入力された場合のものであり、画像データＤ１は第１のフィールドであり、また画像データＤ２は、画像データＤ１よりも１フレーム後の第１のフィールドである。この図７において、０から始まる番号は、画素位置を示すアドレスであり、また縦軸は画素値（＝画素信号レベル）を表している。
【００７５】
本発明では、図７（ｂ）に示すように、この時間的に異なる画像データＤ１と画像データＤ２の中間に位置する第２のフィールド（以下、書込フィールドという）において、動きがスムーズに見えるように補正データを書き込む。すなわち、この図７（ａ）に示す例において、左側に凸部がある画像データＤ１から、中央になだらかな凸部がある画像データＤ２へ移り変わる際に、全体の動きがスムーズに見えるような画像を上述の書込フィールドにおいて生成する。
【００７６】
図８は、図７（ａ）に示す画像シフト部１６の具体的な動作例を、画素値で表示したものである。図８（ａ）は、画像シフト部１６に入力される画像データＤ１と画像データＤ２を表したものであり、番号は、画素位置を示すアドレスである。各画素毎に輝度があることから、供給される画像データＤ１には、番号ごとに画素値が割り振られる。
【００７７】
すなわち、図８（ａ）に示す動作例において、画像データＤ１は、番号０〜１１のアドレスにおいて、順に１００、１００、２００、・・・・と続く画素値で表される。
【００７８】
画像データＤ１より後に位置する画像データＤ２は、番号０〜１１のアドレスにおいて、順に１００、１００、１００、・・・・と続く画素値で表される。
【００７９】
図８（ａ）に示されている動きベクトルは、この画像データＤ１と、画像データＤ２との間で、各画素毎の画像データＤ１を基準としたベクトル量を表したものである。例えば、画像データＤ１において番号１のアドレスにある画素値１００の画素は、１フィールド後に位置する画像データＤ２においても番号１のアドレスに位置している。従って動きベクトルは０である。また、例えば画像データＤ１において番号２のアドレスにある画素値２００の画素は、画像データＤ２において、番号４のアドレスに移動する。従って動きベクトルは４−２＝２より、２となる。ちなみに図７（ａ）に示す矢印は、この各画素毎の動きベクトルを示したものである。
【００８０】
第１のバッファ１６２、第２のバッファ１６３は、それぞれ画像データＤ１、画像データＤ２における各画素値を、アドレスの番号に対応付けて格納する。例えば画像データＤ１が供給された後の第１のバッファには、図８（ａ）に示す番号のアドレスと画素値が対応付けされて格納されている。
【００８１】
図８（ｂ）は、データバッファ読出制御部１６１の処理について示したものである。データバッファ読出制御部１６４は、上述の式（１．１）〜（１．２）に基づき、バッファ制御信号Ｓ１２を作り出す。例えばバッファ制御信号Ｓ１１を上述のアドレスに対応する番号としたとき、番号１のアドレスにおいて、動きベクトルは、図８（ａ）に示すように０であるため、バッファ制御信号Ｓ１２の番号も１となる。また、例えば、バッファ制御信号Ｓ１１において、番号２のアドレスであるときには、動きベクトルは２となるため、バッファ制御信号Ｓ１２の番号は４となる。
【００８２】
このバッファ制御信号Ｓ１１が第１のバッファ１６２に供給され、バッファ制御信号Ｓ１１の番号に対応するアドレスの画素値が、第１のバッファ１６２から読み出される。読み出された画素値は、シフトデータＳＤ１としてアドレスに対応付けられ、データ演算部１６４等に供給されることとなる。
【００８３】
同様にバッファ制御信号Ｓ１２が第２のバッファ１６３に供給され、バッファ制御信号Ｓ１２の番号に対応するアドレスの画素値が第２のバッファ１６３から読み出される。読み出された画素値は、シフトデータＳＤ２としてアドレスに対応付けられ、データ演算部１６４等に供給されることとなる。
【００８４】
図８（ｂ）最下段は、移動データＭ１を、シフトデータＳＤ１とシフトデータＳＤ２の平均値とした場合について示している。この移動データＭ１は、画像データＤ１と画像データＤ２の中間に位置するフィールドに対して書き込む画素値の原型である。またフラグＦ１として、このシフトデータＳＤ１とシフトデータＳＤ２の差分絶対値とした場合について示している。差分絶対値が０以外になる場合には、画像データＤ１と画像データＤ２との間で、当該アドレスの画素につき、画素信号レベルが変化したものとみなされる。すなわち、画像データＤ２に至る時間までに当該アドレスの画素において、画素信号レベルの誤差が生じたことを示している。
【００８５】
図８（ｃ）は、シフトバッファ読出制御信号ＲＳ１について示している。この図８（ｃ）に示した例では、図示しないアドレス計算カウンタから、０，１，２、・・・と、０から１ずつプラスにシフトさせた値を、式（２．１），（２．２）におけるＣＸ１とし、また移動量情報αを１／２とした場合について示している。なお、アドレス計算カウンタの数値は、画像データＤ１のアドレスを示す番号に対応させて出力している。
【００８６】
このシフトバッファ制御信号ＲＳ１を生成する際において、例えば、アドレス計算カウンタの番号が２である場合には、図８（ａ）に基づき、番号２に対応する画素位置の動きベクトルは２であるので、式（２．１）に基づき、２＋２×１／２＝３より、シフトバッファ読出制御信号ＲＳ１の番号は３となる。同様にアドレス計算カウンタの番号が３の場合には、図８（ａ）に基づき、番号３に対応する動きベクトルは２であるので、式（２．１）に代入して３＋２×１／２＝４より、シフトバッファ読出制御信号ＲＳ１の番号は４となる。
【００８７】
すなわち、この生成されたシフトバッファ読出制御信号ＲＳ１の番号は、書込フィールドにおいて、補正データを書き込むアドレスの番号を示している。このためシフトバッファ制御信号ＲＳ１のアドレスの番号について、シフトバッファ１６８への書き込み状況を検知すべく、シフトバッファ１６８に格納されているフラグＦ´を読み出す。このフラグＦ´は、シフトバッファ１６８にアクセスされたアドレスにおいて、データが書き込まれていない場合には、”ＮＭ”が返される。一方、データが既に書き込まれたアドレスに対しては、差分絶対値の値が返される。
【００８８】
例えば図８（ｃ）に示す例において、シフトバッファ読出制御信号ＲＳ１の番号０〜８のアドレスでは、シフトバッファ１６８からフラグＦ´を介して、データが書き込まれていない旨が表示される。一方、番号９のアドレスでは、最初はデータが書き込まれていない旨の”ＮＭ”が返され、次回では差分絶対値が、フラグＦ´として返されている。すなわち、シフトバッファ１６８の番号のアドレスには複数の画素値が書き込まれることを意味している。これは、図７（ａ）で示されるように、画像データＤ２における番号９のアドレスには、画像データＤ１における番号６、並びに番号９に基づく動きベクトルが集中していることからも示される。
【００８９】
ここで、フラグＦ´が”ＮＭ”で返されたシフトバッファ１６８のアドレスには、当該アドレスの番号に応じて移動データＭ１が順次書き込まれる。また、フラグＦ´が数値を持つ場合には、フラグＦ´と当該アドレスの番号に相当するフラグＦとを比較し、数値が小さい方を有効とする。これにより、画像データＤ１から画像データＤ２へ移行するまでに、誤差の少ない動きベクトルに基づく画素値を書き込むことが可能となり、単一の画素位置に複数の動きベクトルがかかるような様々なバリエーションの画像についても高精度に動き補正することが可能となる。
【００９０】
シフトバッファ書込制御部１６２は、供給されるフラグＦ´に基づき、移動データＭ１をシフトバッファ上に書き込むアドレスを決定する。図８（ｃ）に示すシフトバッファ書込制御信号ＲＳ２は、この決定したアドレスに対応する番号を示すものである。このシフトバッファ書込制御信号ＲＳ２に対応する移動データＭ１をシフトバッファ１６８に書き込む。例えば番号９では、フラグＦは、１０であり、またフラグＦ´は、０である。数値の小さいフラグＦ´を優先するため、番号９では、当初に書き込まれた番号６のアドレスに基づく画素値”１００”がそのままシフトバッファ１６８に格納され続ける。
【００９１】
シフトバッファ１６８に格納された移動データＭ２をアドレス番号順に再度整理した結果を図８（ｃ）に示す。シフトフラグＦ２は、マーク情報を示している。このシフトフラグＦ２において”ＯＫ”が出力されている場合には、当該番号のアドレスにデータが書き込まれていることを示し、また”ＮＭ”が出力されている場合には、当該番号のアドレスにデータが書き込まれていないことを示している。ちなみに番号２のアドレスには、データが書き込まれていないため、シフトフラグとして”ＮＭ”が出力される。
【００９２】
図８（ｄ）では、シフトバッファ１６８から供給される移動データＭ２に後処理を施した補正データＨ１を示している。データが書き込まれていない番号２に後処理が施され、新たにデータが書き込まれる。この後処理では、例えば、番号２の左側に位置する番号１のアドレスのデータをそのまま書込んだり、また周辺のアドレスのデータの平均値を求める等の方法が考えられる。
【００９３】
この図８（ｄ）に示す補正データＨ１を、画像データＤ１と画像データＤ２の中間に位置する第２のフィールドに書き込むことにより、図７（ａ）に示すように、全体の動きがスムーズに見えるような画像になる。
【００９４】
すなわち、本発明に係る画像信号処理装置１は、時間的に異なる画像データ間において、画像の動きをスムーズにできる最適な補正データを中間に位置するフィールドに書き込むため、例えば画像が水平方向へ移動しながら、画素値が変化する場合においても、画像の動きの不連続性を効率よく解消することができる。また、この画像信号処理装置１は、テレシネ変換した画像信号とＴＶ信号とが双方とも入力される場合において、画像の様々なバリエーションに対応させて、動きの不連続性を効率よく解消することができる。これにより、フィルム信号とＴＶ信号の双方が入力されるテレビジョン受像機に内蔵することができ、また既に販売されたテレビジョン受像機に対して新たに内蔵することにより容易にバージョンアップを図ることも可能となり、汎用性をより高めることも可能となる。
【００９５】
なお、本発明は上述した実施の形態に限定されるものではない。例えば、図９に示すように、フラグ演算部１６５、シフトバッファ読出制御部１６６を除去した画像シフト部２６を備える場合においても適用可能である。この画像シフト部２６では、シフトバッファ読出制御信号ＲＳ１と、フラグＦと、フラグＦ´を省略し、書き込み時の優先順位を判定しない方式を採用する。この画像シフト部において、アドレスに書き込むデータが重複する場合には、時間的に後に計算されたデータが、既に書き込まれているデータ上に上書きされることになるが、フラグの読み出し時の制御が不必要になるため、回路を簡略化することができる。
【００９６】
また、本発明は、ＰＡＬ方式によるテレビジョン受像機に対して適用される場合に限定されることはなく、例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ ＴＶ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）方式の６０フィールド秒（３０コマ／秒）のインタレース画像信号が入力されるテレビジョン受像機に対しても適用可能である。また、ＳＥＣＡＭ方式によるテレビジョン受像機に対しても適用可能である。
【００９７】
また、本発明は、テレビジョン受像機に内蔵される場合のみならず、テレビジョン受像機に接続する信号変換器へも内蔵可能である。
【００９８】
また、本発明は、インターネットで伝送されるような画像信号をＰＣなどで表示する場合や、メディアや画像フォーマットを変換するケースにも応用することができる。
【００９９】
更に、本発明は、回路等、ハードウェアで実現する形で説明しているが、プロセッサ上でのソフトウェアとしても実現可能であることは勿論である。
【０１００】
【発明の効果】
以上詳細に説明したように、本発明に係る画像信号処理装置及び方法は、コマの最初が第１のフィールドで始まり、かつ倍速変換された信号が入力され、演算した画素信号レベルの差分値に基づいて第１のフィールドを特定し、各検出画素について補間画素データを算出し、特定した第１のフィールドから後へフィールドが移行するにつれてシフト量が順次増大するように、動きベクトルのベクトル方向へ検出画素の位置をシフトさせた画素位置に、補間画素データを書き込む。
【０１０１】
これにより、本発明に係る画像信号処理装置及び方法は、様々な画像のバリエーションにおいても、面フリッカ妨害を抑えつつ、画像の動きをスムーズにすることにより相乗的に画質を向上できる
【図面の簡単な説明】
【図１】本発明を適用した画像信号処理装置のブロック構成図である。
【図２】画像シフト部のブロック構成を示した図である。
【図３】フィールド倍速変換回路における倍速変換前後の各フィールドと画素位置の関係を示した図である。
【図４】テレシネ変換された画像において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図５】ＴＶ信号の画像において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図６】シーケンスの検出方法について説明するための図である。
【図７】画像シフト部の動作処理過程を１次元で表示した図である。
【図８】画像シフト部の具体的な動作例を、画素値で表示した図である。
【図９】書き込み時に優先順位判定を行わない画像シフト部のブロック構成を示した図である。
【図１０】フィールド周波数倍速方式を適用したフィールド倍速変換回路のブロック構成図である。
【図１１】倍速変換前後の各フィールドと画素位置の関係を示した図である。
【図１２】水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図１３】ＴＶ信号が入力される場合において、水平方向へ画像が移動するときの各フィールドと画像位置の関係を示した図である。
【符号の説明】
１ 画像信号処理装置、２ ＣＲＴ、３ フィールド倍速変換回路、１１ 第１の画像メモリ、１２ 第２の画像メモリ、１３ シーケンス検出部、１４ データ選択部、１５ 動きベクトル検出部、１６ 画像シフト部、３１ 入力端子、３２ 倍速変換部、３３ フレームメモリ、１６１ データバッファ読出制御部、１６２ 第１のバッファ、１６３ 第２のバッファ、１６４ データ演算部、１６５ フラグ演算部、１６６ シフトバッファ読出制御部、１６７ シフトバッファ書込制御部、１６８ シフトバッファ、１６９ 後処理部
Claims (22)
- コマの最初が第１のフィールドで始まる、倍速変換された画像信号について、現フィールドの検出画素と、上記現フィールドから１フレーム後のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定するシーケンス検出手段と、
上記現フィールドの検出画素について、上記現フィールドから１フレーム又は２フレーム後のフィールドに対する動きベクトルを検出する動きベクトル検出手段と、
上記現フィールドの検出画素の画素データ、及び上記現フィールドから１フレーム又は２フレーム後のフィールドにおける各画素の画素データに基づき、当該検出画素についての補間画素データを算出するデータ演算手段と、
上記第１のフィールドの後へ続くフィールドにおいて、上記現フィールドの検出画素の位置から上記動きベクトルのベクトル方向へシフトさせた画素位置に上記補間画素データを書き込む画像制御手段とを備え、
上記画像制御手段は、上記第１のフィールドから後へフィールドが続く毎に、検出した上記動きベクトルのベクトル量の範囲内で、上記シフトさせる量を順次増大させること
を特徴とする画像信号処理装置。 - 上記データ演算手段は、上記現フィールドの検出画素の画素データ、及び上記現フィールドから１フレーム又は２フレーム後のフィールドにおいて当該検出画素の画素位置から上記動きベクトルのベクトル方向へベクトル量シフトさせた画素位置の画素データ、のどちらか一方、又はこれらの平均、又は上記動きベクトルのベクトル量に応じた重み付け平均、を上記補間画素データとすること
を特徴とする請求項１記載の画像信号処理装置。 - 検出した上記動きベクトルの誤差情報を含むフラグを算出するフラグ演算手段を備え、
上記画像制御手段は、上記補間画素データを書き込む際の優先順位を、算出した上記フラグに基づき決定すること
を特徴とする請求項１記載の画像信号処理装置。 - 上記フラグ演算手段は、上記現フィールドの検出画素の画素データと、上記現フィールドから１フレーム又は２フレーム後のフィールドにおいて当該検出画素の画素位置から上記動きベクトルのベクトル方向へベクトル量だけシフトさせた画素位置の画素データと、の差分絶対値を上記フラグとして算出すること
を特徴とする請求項３記載の画像信号処理装置。 - 上記第１のフィールドから後へ続くフィールドにおいて、上記補間画素データが書き込まれなかった画素は、当該画素周辺の画素位置に書き込まれた補間画素データに基づき、補間画素データを決定すること
を特徴とする請求項１記載の画像信号処理装置。 - 上記画像制御手段は、コマを構成するフィールド数に応じて上記シフト量を変化させること
を特徴とする請求項１記載の画像信号処理装置。 - テレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成される画像信号、又はテレビジョン信号を倍速変換することにより生成された１コマが２フィールドで構成される画像信号が入力され、
上記動きベクトル検出手段は、
上記差分値が少なくとも０を含む場合には、上記現フィールドから２フレーム後のフィールドに対する動きベクトルを検出し、
上記差分値が０を含まない場合には、上記現フィールドから１フレーム後のフィールドに対する動きベクトルを検出すること
を特徴とする請求項１記載の画像信号処理装置。 - 上記シーケンス検出手段は、上記差分値が少なくとも０を含む場合において上記差分値が連続して０になるとき、先に入力された現フィールドを、第１のフィールドとして特定すること
を特徴とする請求項１記載の画像信号処理装置。 - 上記画像制御手段は、上記第１のフィールドの後へフィールドが続く毎に、上記シフトさせる量を、検出した上記動きベクトルのベクトル量から、コマを構成するフィールド数を割った量ずつ増加させること
を特徴とする請求項１記載の画像信号処理装置。 - 上記動きベクトル検出手段は、所定の画素数からなるブロック毎に、ブロックマッチング法に基づいて上記動きベクトルを検出すること
を特徴とする請求項１記載の画像信号処理装置。 - 上記入力された画像信号は、ＰＡＬ方式のインターレース画像信号であること
を特徴とする請求項１記載の画像信号処理装置。 - コマの最初が第１のフィールドで始まる、倍速変換された画像信号が入力され、
入力された上記画像信号において、現フィールドの検出画素と、上記現フィールドから１フレーム後のフィールドの同一箇所における検出画素との間で、画素信号レベルの差分値を演算し、当該差分値に基づき上記第１のフィールドを特定し、
上記現フィールドの検出画素について、上記現フィールドから１フレーム又は２フレーム後のフィールドに対する動きベクトルを検出し、
上記現フィールドの検出画素の画素データ、及び上記現フィールドから１フレーム又は２フレーム後のフィールドにおける各画素の画素データに基づき、当該検出画素についての補間画素データを算出し、
上記第１のフィールドの後へ続くフィールドにおいて、上記現フィールドの検出画素の位置から上記動きベクトルのベクトル方向へシフトさせた画素位置に上記補間画素データを書き込み、
上記第１のフィールドから後へフィールドが続く毎に、検出した上記動きベクトルのベクトル量の範囲内で、上記シフトさせる量を順次増大させること
を特徴とする画像信号処理方法。 - 上記現フィールドの検出画素の画素データ、及び上記現フィールドから１フレーム又は２フレーム後のフィールドにおいて当該検出画素の画素位置から上記動きベクトルのベクトル方向へベクトル量シフトさせた画素位置の画素データ、のどちらか一方、又はこれらの平均、又は上記動きベクトルのベクトル量に応じた重み付け平均、を上記補間画素データとすること
を特徴とする請求項１２記載の画像信号処理方法。 - 検出した上記動きベクトルの誤差情報を含むフラグを算出し、 上記補間画素データを書き込む際の優先順位を、算出した上記フラグに基づき決定すること
を特徴とする請求項１２記載の画像信号処理方法。 - 上記現フィールドの検出画素の画素データと、上記現フィールドから１フレーム又は２フレーム後のフィールドにおいて当該検出画素の画素位置から上記動きベクトルのベクトル方向へベクトル量だけシフトさせた画素位置の画素データと、の差分絶対値を上記フラグとして算出すること
を特徴とする請求項１４記載の画像信号処理方法。 - 上記第１のフィールドから後へ続くフィールドにおいて、上記補間画素データが書き込まれなかった画素は、当該画素周辺の画素位置に書き込まれた補間画素データに基づき、補間画素データを決定すること
を特徴とする請求項１２記載の画像信号処理方法。 - コマを構成するフィールド数に応じて上記シフト量を変化させること
を特徴とする請求項１２記載の画像信号処理方法。 - テレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成される画像信号、又はテレビジョン信号を倍速変換することにより生成された１コマが２フィールドで構成される画像信号が入力され、
演算した上記差分値が少なくとも０を含む場合には、上記現フィールドから２フレーム後のフィールドに対する動きベクトルを検出し、
演算した上記差分値が０を含まない場合には、上記現フィールドから１フレーム後のフィールドに対する動きベクトルを検出すること
を特徴とする請求項１２記載の画像信号処理方法。 - 演算した上記差分値が少なくとも０を含む場合において上記差分値が連続して０になるとき、先に入力された現フィールドを、第１のフィールドとして特定すること
を特徴とする請求項１２記載の画像信号処理方法。 - 上記第１のフィールドの後へフィールドが続く毎に、上記シフト量を、検出した上記動きベクトルのベクトル量から、コマを構成するフィールド数を割った量ずつ増加させること
を特徴とする請求項１２記載の画像信号処理方法。 - 所定の画素数からなるブロック毎に、ブロックマッチング法に基づいて上記動きベクトルを検出すること
を特徴とする請求項１２記載の画像信号処理方法。 - 上記入力された画像信号は、ＰＡＬ方式のインターレース画像信号であること
を特徴とする請求項１２記載の画像信号処理方法。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001380760A JP3596519B2 (ja) | 2001-12-13 | 2001-12-13 | 画像信号処理装置及び方法 |
| US10/498,204 US7327397B2 (en) | 2001-12-13 | 2002-12-13 | Image processing with pixel interpolation |
| EP02790757.5A EP1460846B1 (en) | 2001-12-13 | 2002-12-13 | Image signal processing apparatus and processing method |
| KR1020047009065A KR100930758B1 (ko) | 2001-12-13 | 2002-12-13 | 화상 신호 처리 장치 및 처리 방법 |
| PCT/JP2002/013100 WO2003055212A1 (en) | 2001-12-13 | 2002-12-13 | Image signal processing apparatus and processing method |
| CNB028250559A CN100373939C (zh) | 2001-12-13 | 2002-12-13 | 影像信号处理装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001380760A JP3596519B2 (ja) | 2001-12-13 | 2001-12-13 | 画像信号処理装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003189256A JP2003189256A (ja) | 2003-07-04 |
| JP3596519B2 true JP3596519B2 (ja) | 2004-12-02 |
Family
ID=19187250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001380760A Expired - Fee Related JP3596519B2 (ja) | 2001-12-13 | 2001-12-13 | 画像信号処理装置及び方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7327397B2 (ja) |
| EP (1) | EP1460846B1 (ja) |
| JP (1) | JP3596519B2 (ja) |
| KR (1) | KR100930758B1 (ja) |
| CN (1) | CN100373939C (ja) |
| WO (1) | WO2003055212A1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3596519B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
| JP3596520B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
| JP3596521B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
| JP2004234069A (ja) * | 2003-01-28 | 2004-08-19 | Konica Minolta Holdings Inc | 画像処理方法、画像処理装置、及びプログラム |
| EP1513344A4 (en) * | 2003-05-16 | 2009-10-28 | Sony Corp | DEVICE AND METHOD FOR MOTION CORRECTION |
| KR100688382B1 (ko) * | 2004-08-13 | 2007-03-02 | 경희대학교 산학협력단 | 환형 영상의 참조 화소 보간 방법, 그 장치, 환형 영상부호화 방법, 그 장치 및 환형 영상 복호화 방법 및 그장치 |
| KR100732683B1 (ko) | 2005-05-06 | 2007-06-27 | 삼성전자주식회사 | 움직임 보상을 수행하는 영상변환장치 및 움직임 보상방법 |
| US20070052695A1 (en) * | 2005-09-07 | 2007-03-08 | Barnes Ted W | Generating and displaying spatially offset sub-frames |
| KR101270167B1 (ko) * | 2006-08-17 | 2013-05-31 | 삼성전자주식회사 | 저복잡도의 이미지 압축 방법 및 장치, 저복잡도의 이미지복원 방법 및 장치 |
| KR100748625B1 (ko) | 2006-09-06 | 2007-08-13 | 삼성전자주식회사 | 프레임 레이트 변환장치 및 프레임 레이트 변환방법 |
| WO2008136116A1 (ja) * | 2007-04-26 | 2008-11-13 | Pioneer Corporation | 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体 |
| US20110001874A1 (en) * | 2008-02-29 | 2011-01-06 | Yoshihito Ohta | Frame rate conversion device and frame rate conversion method |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6126382A (ja) * | 1984-07-17 | 1986-02-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動き量を用いた動画像フレ−ムレ−ト変換方式 |
| GB8713455D0 (en) * | 1987-06-09 | 1987-07-15 | Sony Corp | Television standards converters |
| GB8713454D0 (en) * | 1987-06-09 | 1987-07-15 | Sony Corp | Television standards converters |
| FR2650718B1 (fr) * | 1989-08-04 | 1991-10-04 | Europ Rech Electr Lab | Dispositif de transformation d'une information de mouvement en un signal de detection de mouvement a la frequence trame et au nombre de lignes souhaites pour un recepteur de television haute definition |
| JPH04227181A (ja) * | 1990-09-03 | 1992-08-17 | Philips Gloeilampenfab:Nv | 縁部検出装置 |
| US5428399A (en) * | 1991-04-15 | 1995-06-27 | Vistek Electronics Limited | Method and apparatus for image translation with improved motion compensation |
| FR2678464A1 (fr) * | 1991-06-27 | 1992-12-31 | Thomson Csf | Procede de conversion du rythme temporel d'une sequence d'images animees. |
| JPH05137122A (ja) * | 1991-11-14 | 1993-06-01 | Hitachi Ltd | 映像信号の信号処理方法及び回路 |
| US5398071A (en) * | 1993-11-02 | 1995-03-14 | Texas Instruments Incorporated | Film-to-video format detection for digital television |
| DE69510851T2 (de) * | 1994-03-30 | 1999-12-02 | Thomson Multimedia Sa | Verfahren und Gerät zur Reduzierung von Umwandlungsartefakten |
| EP0735746B1 (en) * | 1995-03-31 | 1999-09-08 | THOMSON multimedia | Method and apparatus for motion compensated frame rate upconversion |
| JP3905922B2 (ja) * | 1995-04-11 | 2007-04-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像信号処理方法及び装置 |
| JPH09307857A (ja) * | 1996-05-17 | 1997-11-28 | Sony Corp | 画像信号処理装置及び画像信号処理方法 |
| US5978424A (en) * | 1996-11-18 | 1999-11-02 | Zenith Electronics Corporation | Frame identification system |
| MY119346A (en) * | 1996-12-24 | 2005-05-31 | Sony Corp | Picture processing apparatus and method |
| EP0874523B1 (en) * | 1997-04-24 | 2004-03-03 | STMicroelectronics S.r.l. | Method for motion-estimated and compensated field rate up-conversion (FRU) for video applications, and device for actuating such a method |
| JPH11196383A (ja) * | 1998-01-06 | 1999-07-21 | Sony Corp | 映像信号処理装置 |
| JP4092773B2 (ja) * | 1998-04-14 | 2008-05-28 | 株式会社日立製作所 | 画像信号のフレーム数変換方法および装置 |
| KR100297776B1 (ko) * | 1998-06-23 | 2001-10-26 | 윤종용 | 영상신호복호시의움직임정보를이용한3차원신호처리장치 |
| KR100327395B1 (ko) * | 1999-09-03 | 2002-03-13 | 구자홍 | 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법 |
| JP2001169252A (ja) * | 1999-12-06 | 2001-06-22 | Victor Co Of Japan Ltd | 順次走査変換装置及び方法 |
| CA2398688A1 (en) * | 2000-01-28 | 2001-08-02 | Fujitsu General Limited | Scanning conversion circuit |
| EP1279111A4 (en) * | 2000-04-07 | 2005-03-23 | Dolby Lab Licensing Corp | IMPROVED TIME AND RESOLUTION STRUCTURE FOR ADVANCED TELEVISION |
| JP3611507B2 (ja) * | 2000-05-30 | 2005-01-19 | 松下電器産業株式会社 | 動きベクトル検出装置 |
| US7116372B2 (en) * | 2000-10-20 | 2006-10-03 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for deinterlacing |
| JP3855761B2 (ja) * | 2001-10-09 | 2006-12-13 | ソニー株式会社 | 画像信号処理装置及び方法 |
| JP3596519B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
| JP3596520B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
| JP3596521B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
| US7788556B2 (en) * | 2002-11-13 | 2010-08-31 | Fujitsu Limited | System and method for evaluating an erroneous state associated with a target circuit |
-
2001
- 2001-12-13 JP JP2001380760A patent/JP3596519B2/ja not_active Expired - Fee Related
-
2002
- 2002-12-13 US US10/498,204 patent/US7327397B2/en active Active
- 2002-12-13 EP EP02790757.5A patent/EP1460846B1/en not_active Expired - Fee Related
- 2002-12-13 WO PCT/JP2002/013100 patent/WO2003055212A1/ja active Application Filing
- 2002-12-13 CN CNB028250559A patent/CN100373939C/zh not_active Expired - Fee Related
- 2002-12-13 KR KR1020047009065A patent/KR100930758B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| US7327397B2 (en) | 2008-02-05 |
| KR20040065255A (ko) | 2004-07-21 |
| EP1460846A1 (en) | 2004-09-22 |
| CN100373939C (zh) | 2008-03-05 |
| US20050012856A1 (en) | 2005-01-20 |
| JP2003189256A (ja) | 2003-07-04 |
| KR100930758B1 (ko) | 2009-12-09 |
| EP1460846B1 (en) | 2016-08-24 |
| EP1460846A4 (en) | 2009-12-09 |
| CN1605198A (zh) | 2005-04-06 |
| WO2003055212A1 (en) | 2003-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3855761B2 (ja) | 画像信号処理装置及び方法 | |
| JP2006165602A (ja) | フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法 | |
| JP3596520B2 (ja) | 画像信号処理装置及び方法 | |
| JP3596519B2 (ja) | 画像信号処理装置及び方法 | |
| US8325811B2 (en) | Method and apparatus for motion compensated frame interpolation of covered and uncovered areas | |
| JP3596521B2 (ja) | 画像信号処理装置及び方法 | |
| JP4565339B2 (ja) | 動き補正装置及び方法 | |
| JP4119360B2 (ja) | 映像フォーマットの変換装置及びその方法 | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP5241632B2 (ja) | 画像処理回路および画像処理方法 | |
| US6417887B1 (en) | Image display processing apparatus and method for converting an image signal from an interlaced system to a progressive system | |
| JP5114274B2 (ja) | テレビジョン受信機及びそのフレームレート変換方法 | |
| JP4470323B2 (ja) | 画像変換装置および方法 | |
| JP2004023673A (ja) | 動きベクトル検出装置及び方法、動き補正装置及び方法 | |
| JP2007288483A (ja) | 画像変換装置 | |
| WO2000067480A1 (fr) | Dispositif et procede de conversion d'un signal d'image | |
| JPH08186802A (ja) | 飛び越し走査画像の補間画素作成方法 | |
| JP2003309822A (ja) | 動き補正回路及び方法 | |
| JPH09258707A (ja) | 映像表示方式 | |
| JPH02148978A (ja) | 画面拡大装置 | |
| JP2004173182A (ja) | 画像表示装置及び走査線変換表示方法 | |
| JPH1023328A (ja) | 静止画表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040817 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040830 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3596519 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |