JP5372721B2 - 映像信号処理装置、方法及びプログラム - Google Patents

Description

本発明は、映像信号処理装置、方法及びプログラムに関し、特に、入力される映像信号について動き推定及び動き補償を行う映像信号処理装置、方法及びプログラムに関する。

特許文献１は、動き補償型のフレームレート変換（ＦＲＣ：Frame Rate Converter）に関する技術が開示されている。フレームレート変換は、動画における一のフレームと、この一のフレームより後に表示されるべき別のフレームとに基づいてこれらのフレームの間に表示される補間フレームを生成する技術である。このフレームレート変換では補間フレームを生成して挿入することで、表示される動画が対象の動きをより滑らかに表現できるという効果を得ることができる。ここで、この特許文献１には、当該動き補償型のフレームレート変換処理に起因して、画面端部などの有効画像端部近傍で発生する内挿画像の乱れや歪みを抑制するための画像表示装置等に関する技術が開示されている。特許文献１にかかる画像表示装置は、入力画像信号の動きベクトルを検出する動きベクトル検出回路と、動きベクトルの検出を行う位置が有効画像端部近傍であるかどうかを判断する有効画像端部判定回路と、有効画像端部判定回路の判定結果に従ってベクトルを切り換えるベクトル切り換え回路とを備える。ベクトル切り換え回路は、動きベクトルの検出を行う位置が有効画像端部近傍である場合、０ベクトルに固定するとともに、それ以外の領域である場合は、動きベクトル検出回路で検出された動きベクトルを内挿ベクトル割付回路へ出力する。

特許文献２には、滑らかな再生画像が得られるフレームレート変換処理装置に関する技術が開示されている。特許文献２にかかるフレームレート変換処理装置は、動画像の各フレーム毎に、動き検出手段によって検出された画像の動きに関する情報に基づいて、パンまたはチルト状態での画像であるか否かを判定するパン・チルト判定手段、パン・チルト判定手段によってパンまたはチルト状態での画像ではないと判定されたフレームについては画像の動き量を０に設定し、パンまたはチルト状態での画像であると判定されたフレームについては、動き検出手段によって検出された画像の動きに関する情報から画像の動き量を求め、得られた動き量を画像の動き量として設定する動き量設定手段、ならびに動き量設定手段によってフレーム毎に設定された画像の動き量に基づいて、フレームレート変換に必要な予測画像を生成する予測画像生成手段を備えている。

テレビやモニタ等の表示装置の表示方式には、プログレッシブ及びインタレースがある。また、これらの表示方式に対応した映像信号フォーマットには、プログレッシブ信号及びインタレース信号がある。尚、本願出願時は未公開であるが、ＩＰ（Interlace - Progressive）変換に関する関連出願として特願２００８−２９５４７２号がある。

特開２００８−１１８５０５号公報 特開２００６−３０４２６６号公報

特許文献１及び２にかかるフレームレート変換では、入力された映像信号が過去に不正な変換が行われたものである場合に、当該映像信号に対して動き補償を行うと、却って、不正な変換による影響が拡大するという問題がある。フレームレート変換は、入力された映像信号が含まれる複数のフレームに基づいて、当該複数のフレームの間に挿入すべき補間フレームを生成するものである。より詳細には、フレームレート変換では、参照する複数のフレームのそれぞれを形成する画素のそれぞれを動きベクトルによって対応づけ、動きベクトルによって対応づけされた画素のそれぞれを用いて補間フレームを形成する画素を生成することを基本とする。そうすると、補間フレームを生成する際に参照する複数のフレームが、フレームレート変換を行う前の段階の何らかの処理の影響で、本来備えているべき画素の情報（例えば、特定の画素の輝度等の値）とは異なる画素の情報を備えてしまっているとすれば、フレームレート変換で生成する補間フレームの画素も誤った画素が生成される可能性が出てくる。これは、本来、参照しているフレームに含まれているべき画素とは異なる画素が当該参照しているフレームに含まれているため、動きベクトルによって参照しているフレームのそれぞれを形成する画素同士を対応付けたとしても、そもそもこの動きベクトルによる画素の対応付けが誤っている可能性があるためである。これでは、補間フレームに正しい画素が形成されず、補間フレームを含めて表示される動画は、誤った画像をより多く表示することになる。結果として、表示される対象の動きをより滑らかにするというフレームレート変換の効果を得られないばかりか、かえって本来の動画の質を悪化させてしまうことになりかねない。

特許文献１及び２にかかるフレームレート変換では、入力された映像信号をそのままフレームレート変換する。そのため、過去に不正な変換が行われた映像信号が入力される場合、その変換結果である補間映像信号にその不正な状態が継承されてしまう。特に、入力信号がインタレース信号からＩＰ変換した結果のプログレッシブ信号に対してフレームレート変換により補間を行った場合、過去のＩＰ変換に起因する不正な状態がより拡大してしまうことが多い。つまり、ＩＰ変換とは、例えば、一のフレームの奇数ラインに含まれる画素又は偶数ラインに含まれる画素のみが順次送信されている（インタレース信号）場合に、受信したフレームの中で欠落しているラインに含まれる画素を補間して、当該補間が行われたフレームの先頭のラインに含まれる画素から順次に出力する（プログレッシブ信号）技術である。ところが、このＩＰ変換による補間は、常に正しく行われるとは限らない。例えば、ある一のラインの一の画素を補間するために、欠落していないラインに含まれる画素の情報を参照する場合には、参照する画素が有する情報によっては、補間される画素が正しい画素とは異なる情報（輝度信号や色差信号の値）を有する画素に変換されてしまう場合がある。フレームレート変換を行う際に参照するフレームに、ＩＰ変換によって誤って補間された画素を含むフレームが含まれていると、フレームレート変換によって生成される補間フレームは、誤った画素に基づいて生成された画素を含むことになる。このような補間フレームは、本来表示すべき対象とは異なる対象の動きを補間するフレームである。この場合に表示される動画は、本来表示すべき対象とは異なる対象の動きを表示するフレームをより多く含んでしまうことになる。結果として、フレームレート変換によって表示する対象の動きを滑らかにするどころか、かえって表示される動画の質を悪化させてしまう。

尚、上述した課題は、フレームレート変換に限らず、動き補償処理の他の手法であるＭＪＣ（Movie Judder Cancellation）システムにおいても同様に発生し得る。

本発明の第１の態様にかかる映像信号処理装置は、第１の時刻に表示されるべき第１のフレームが前記第１のフレームに含まれているべき画素と異なっている画素を含む場合には、前記第１のフレームに含まれているべき画素と異なっている画素が前記第１のフレームに含まれているべき画素となるよう補正を行うと共に、前記第１の時刻より前の第２の時刻に表示されるべき第２のフレームが前記第２のフレームに含まれているべき画素と異なっている画素を含む場合に、前記第２のフレームに含まれているべき画素と異なっている画素が前記第２のフレームに含まれているべき画素となるよう補正を行う補正部と、前記第１及び第２のフレームのそれぞれを参照して、前記第１及び第２の時刻の間の時刻に表示されるべき補間フレームを生成する動き補償部と、を備える。

本発明の第２の態様にかかる映像信号処理方法は、第１の時刻に表示されるべき第１のフレームが前記第１のフレームに含まれているべき画素と異なっている画素を含む場合には、前記第１のフレームに含まれているべき画素と異なっている画素が前記第１のフレームに含まれているべき画素となるよう補正を行うステップと、前記第１の時刻より前の第２の時刻に表示されるべき第２のフレームが前記第２のフレームに含まれているべき画素と異なっている画素を含む場合には、前記第２のフレームに含まれているべき画素と異なっている画素が前記第２のフレームに含まれているべき画素となる補正を行うステップと、前記第１及び第２のフレームのそれぞれを参照して、前記第１及び第２の時刻の間の時刻に表示されるべき補間フレームを生成するステップと、を備える。

本発明の第３の態様にかかる映像信号処理プログラムは、第１の時刻に表示されるべき第１のフレームが前記第１のフレームに含まれているべき画素と異なっている画素を含む場合には、前記第１のフレームに含まれているべき画素と異なっている画素が前記第１のフレームに含まれているべき画素となるよう補正を行う処理と、前記第１の時刻より前の第２の時刻に表示されるべき第２のフレームが前記第２のフレームに含まれているべき画素と異なっている画素を含む場合には、前記第２のフレームに含まれているべき画素と異なっている画素が前記第２のフレームに含まれているべき画素となる補正を行う処理と、前記第１及び第２のフレームに基づいて、前記第１及び第２の時刻の間の時刻に表示されるべき補間フレームを生成する処理と、をコンピュータに実行させる。

本発明の第１乃至第３の態様のそれぞれによれば、補間フレームを生成するために参照される少なくとも二つのフレームである第１および第２のフレームが、本来含んでいるべき画素とは異なっている画素を含んでいる場合、その画素が本来含んでいるべき画素となるような補正を行う。したがって、補間フレームを形成する際に参照されるフレームは正しい画素から形成されることになり、補間フレームを形成する画素が適切に生成され、本発明の第１乃至第３の態様は従来技術による上記した課題を解決することができる。

本発明により、適切な補間フレームを生成することができる映像信号処理装置、方法及びプログラムを提供することができる。

本発明の実施の形態１にかかる映像信号処理装置の構成を示すブロック図である。 本発明の実施の形態１にかかる映像信号処理方法の流れを示すフローチャート図である。 本発明の実施の形態２にかかる映像信号処理システムの構成を示すブロック図である。 本発明の実施の形態２にかかるＦＲＣシステムの構成を示すブロック図である。 本発明の実施の形態２にかかるフレームバッファとラインバッファの関係を説明する図である。 本発明の実施の形態２にかかるＩＰＣ用の補正の概念を説明する図である。 本発明の実施の形態２にかかるＦＲＣ用の動き補償の概念を説明する図である。 本発明の実施の形態２にかかる映像信号処理方法の流れを示すフローチャート図である。 ＦＲＣシステムにおける映像出力と再生の原理を説明する図である。 本発明の実施の形態２にかかるＦＲＣシステムにおける映像出力と再生の例を説明する図である。 ＭＪＣシステムにおける映像出力と再生の原理を説明する図である。 本発明の実施の形態３にかかるＭＪＣシステムにおける映像出力と再生の例を説明する図である。

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。

＜発明の実施の形態１＞
図１は、本発明の実施の形態１にかかる映像信号処理装置１の構成を示すブロック図である。映像信号処理装置１は、検出部１１と、動き情報生成部１２と、補正部１３と、動き補償部１４とを備える。

検出部１１は、入力された映像信号である入力信号２１における入力前の変換の精度２２を検出する。具体的には、入力信号２１は、複数のフレームを連続して順次に表示することにより表示すべき対象の動きを示す動画である。そして、それぞれのフレームが順次、検出部１１に入力される。その後、検出部１１は、一のフレームに対する処理単位（例えば、複数ラインや一のフレーム全体）ごとに、変換の精度を検出する。ここで、変換の精度の一例としては、検出部１１の前段で行われた変換によって、本来の画素とは異なる誤った画素が当該処理単位の全体の画素の内でどの程度含まれているかの割合である。誤った画素であるかどうかを判断する手法には、検出部１１に入力された一のフレームが含む画素の輝度信号の周波数成分を周囲の画素の輝度信号の周波数成分と比較して、それらの類似性や相関に基づいて判断する手法があるが、その他にも技術的にはさまざまな手法がある。

動き情報生成部１２は、入力信号２１から画像の動きに関する動き情報２３を生成する。この動き情報２３は、具体的な例のひとつとしては動きベクトルである。例えば、動き情報生成部１２に入力された一のフレームの一の画素が、当該一のフレームの前に動き情報生成部１２に入力されるフレームの内、どの画素に対応するかが決定された場合に、それらの画素の座標を結ぶベクトルを動きベクトルとする。例えば、この動きベクトルは、二つのフレームのそれぞれから、対応する処理単位（例えば複数ライン）に含まれる画素をそれぞれ取り出し、取り出された画素のそれぞれの範囲内で決定される。なお、動きベクトルを決定するにあたっては、必ずしも一のフレームに含まれる一の画素と別のフレームの一の画素を直接、一対一に対応付けられるわけではない。そこで、技術的には、あるフレームの中の一の画素によって定義され、この画素を含む複数の画素からなるブロックを、別のフレームの中の一の画素によって定義され、この別のフレームの当該一の画素を含む複数の画素からなるブロックに対応付ける。そして対応付けられたこれらのブロックを定義する特定画素のそれぞれの座標を始点と終点とする動きベクトルを決定する。なお、動きベクトルは、全ての画素に対して定めることができるわけではなく、動きベクトルが定まらない画素も存在する（例えば、対象物が動いた結果、新しく画面に表示される背景画像を現す画素は、前のフレームが含む画素とは対応付けがとれないため、動きベクトルを定めることができない）。また、検出部１１の説明で述べたように、検出部１１の前段で何らかの変換が入力されるフレームに施されている場合には、動きベクトルの始点あるいは終点に対応する画素が、正しい画素とは異なる誤った画素となることもある。その場合、このような動きベクトルは、後段の処理部である動き補償部１４や補正部１３で使用する情報としては不適切となる。したがって、動き情報生成部１２は、この動きベクトルがどの程度、補正部１３や動き補償部１４で使用するに値するかをベクトル信頼度として出力する。このベクトル信頼度も、動き情報生成部１２が出力する動き情報２３の一例である。

補正部１３は、検出部１１により検出された精度２２に応じて、動き情報２３を用いて入力信号２１を補正して、補正信号２４を出力する。具体的な例としては、まず、入力信号２１として、例えば一のフレームの内の上述した処理単位に含まれる画素が補正部１３に入力される。例えば、補正部１３は、一のフレームの複数ラインに含まれる画素を入力する。そして、入力された画素の中に、本来、この一のフレームが含むべき画素とは異なる画素がある場合には、補正部１３はこの一のフレームが含むべき画素とは異なる画素が、当該一のフレームが含むべき画素となるよう補正を行う。具体的には、補正部１３は、入力された画素のそれぞれの動きベクトルに基づいて、当該一のフレームとは別のフレームの対応する処理単位に含まれる画素と、入力された画素のそれぞれとを、検出部１１が出力する精度２２に基づいて重み付け平均する（すなわち補正する）。ここで、補正部１３は、当該別のフレームが含む画素に対しても必要な補正を行っている。具体的には、当該別のフレームが、本来当該別のフレームが含むべき画素とは異なる画素を含む場合には、補正部１３は、この別のフレームが含むべき画素とは異なる画素が、当該別のフレームが含むべき画素となるよう補正を行っている。なお、具体的な重み付け平均される情報としては、重み付け平均の対象となる画素のそれぞれの輝度信号又は色差信号の値など、その画素を特徴づけるための信号の値がある。これにより、補正部１３に入力された画素が、正しい画素の情報によって、重み付け平均の実行前に比べて正しい画素になる。また、補正部１３は、精度２２だけでなく、動き情報１２が出力する動き情報２３の一例であるベクトル信頼度に基づいて、又は、精度２２とベクトル信頼度の双方に基づいて、上記の重み付け平均を行ってもよい。なお、動きベクトルが定まらない画素に対しては、重み付け平均は行わない。また、精度２２の値によっては、補正部１３は、上記した補正を行わなくてもよい。

そして、動き補償部１４は、動き情報２３を用いて、補正信号２４に対して動き補償を行い、出力信号２５を出力する。具体的には、動き補償部１４は、上記一のフレームの上述した処理単位に含まれる画素と上記した当該一のフレームとは別のフレームが処理単位に含む画素とを、補正部１３から補正信号２４として受け取る。ここで、動き情報生成部１２は、上記一のフレームに対して補正部１３が前記した補正を行っている場合には、当該一のフレームを形成する画素のそれぞれと当該別のフレームを形成する画素のそれぞれとを対応付ける動きベクトルを、再度算出する。これは、補正部１３が当該一のフレームに対して補正を行っている場合においては、動き情報生成部１２が生成した動きベクトルは正しく画素の対応付けを行えていない、信頼度の低い動きベクトルである可能性があるからである。このような信頼度の低い動きベクトルを用いると、補間フレームを形成する画素を正しく生成することができなくなる恐れがあるため、再度、動き情報生成部１２は動きベクトルを算出するのである。そして、動き補償部１４は、受け取った画素のそれぞれと、動きベクトルによって対応付けられており、かつ、当該一のフレームとは別のフレームの対応する処理単位に含まれている画素のそれぞれとに基づいて、これらのフレームの間に表示されるべき補間フレームに含まれる画素を生成する。この補間フレームに含まれる画素を出力信号２５として生成する。

以上の処理を、検出部１１、動き情報処理部１２、補正部１３及び動き補償部１４は、一フレーム内で定義される処理単位ごとに繰り返す。したがって、一フレームの全ての画素に対して、上述の処理が行われることになる。これにより、最終的に、動き補償部１３は、一のフレームと、当該一のフレームとは別のフレーム（例えば、一つ前のフレームなど）の間に表示すべき補間フレームを形成する画素を全て生成して出力することになる。

図２は、本発明の実施の形態１にかかる映像信号処理方法の流れを示すフローチャート図である。まず、検出部１１は、入力信号２１について、入力前の変換の精度２２を検出する（Ｓ１１）。また、動き情報生成部１２は、動き情報２３を生成する（Ｓ１２）。尚、ステップＳ１１及びＳ１２は、いずれのステップが先に実行されても構わない。

続いて、補正部１３は、精度２２に応じて、動き情報２３を用いて映像信号を補正する（Ｓ１３）。そして、動き補償部１４は、動き情報２３を用いて補正された映像信号に対して動き補償する（Ｓ１４）。

これにより、入力信号２１に不正な変換が行われていた場合であっても、精度２２を検出することにより、補正信号２４を生成することができる。そのため、補正信号２４に対して動き補償することで、出力信号２５の精度を向上させることができる。

＜発明の実施の形態２＞
図３は、本発明の実施の形態２にかかる映像信号処理システム３の構成を示すブロック図である。映像信号処理システム３は、外部機器（不図示）から入力映像信号４１を入力し、所定の変換処理を行い、表示装置４に対して出力映像信号４９を出力する。入力映像信号４１は、例えば、対象の動きを連続する複数のフレームを順次に表示することで表現する動画である。そして、複数のフレームが順次、映像処理システム３に入力される。映像信号処理システム３は、入力端子（不図示）に対して様々な外部機器からの映像信号を受け付けることが可能である。ここでは、映像信号処理システム３は、インタレース信号又はプログレッシブ信号のいずれも受け付けることが可能である。インタレース信号とは、フレームの各ラインに含まれる画素が、例えば、奇数ライン又は偶数ラインに分けて送信される信号のことである。また、プログレッシブ信号とは、フレームの各ラインに含まれる画素が、先頭のラインに含まれる先頭の画素から最終のラインに含まれる最終の画素まで、順次に送信される信号のことである。また、入力されるプログレッシブ信号には、外部機器により予めＩＰ変換されたものを含むものとする。また、映像信号処理システム３は、出力映像信号４９としてプログレッシブ信号を出力するものとする。なお、画素が送信されるとは、ある画素を定義するための信号の値が送信されることを意味する。ある画素を定義する信号の値とは、例えばＹ、Ｃｂ、Ｃｒ（輝度信号、色差信号）といった信号の値であり、あるいはＲ，Ｇ、Ｂといった、色成分そのものを示す信号の値であってもよい。

映像信号処理システム３は、ＶＤＥＣ（Video Decoder）３１と、ＩＰ変換部３２と、セレクタ３３と、ＦＲＣシステム３４と、メモリ３５と、ＤＳＰ（Digital Signal Processor）３６とを備える。尚、映像信号処理システム３の構成はこれに限定されない。但し、映像信号処理システム３は、少なくともＦＲＣシステム３４を含むものである。

ＶＤＥＣ３１は、入力映像信号４１を入力し、入力映像信号４１の属性を解析し、インタレース信号又はプログレッシブ信号のいずれであるかを判定する。具体的には、入力映像信号４１がアナログ信号である場合、ＶＤＥＣ３１は、同期信号を解析することにより、入力映像信号がインタレース信号であるかプログレッシブ信号であるかを判定する。また、入力映像信号４１がデジタル信号である場合、ＶＤＥＣ３１は、入力映像信号４１の中に含まれるヘッダの情報を参照することにより、入力映像信号４１がインタレース信号であるかプログレッシブ信号であるかを判定する。そして、入力映像信号４１がインタレース信号であると判定した場合、ＶＤＥＣ３１は、インタレース信号４２をＩＰ変換部３２へ出力する。一方、入力映像信号４１がプログレッシブ信号であると判定した場合、ＶＤＥＣ３１は、プログレッシブ信号４３をセレクタ３３へ出力する。

ＩＰ変換部３２は、入力されるインタレース信号４２をプログレッシブ信号４４へ変換し、セレクタ３３へ出力する。具体的には、ＩＰ変換部３２は、入力されるインタレース信号４２が含む画素で形成される一のフレームの内、欠落しているラインの画素を補間した後、補間の結果として欠落したラインがなくなったフレームの画素のそれぞれを先頭のラインに含まれる画素から順次に出力する（すなわちプログレッシブ信号として出力する）。また、ＩＰ変換部３２は、インタレースフラグ４５をＦＲＣシステム３４へ出力する。インタレースフラグ４５は、インタレース信号４２を含む画素で形成されるフレームをＩＰ変換して、ＩＰ変換によって形成されたフレームに含まれる画素をプログレッシブ信号４４として出力したことを示す信号である。すなわち、インタレースフラグ４５は、ＩＰ変換部３２がインタレース信号４２をプログレッシブ信号４４へＩＰ変換した旨を通知するための情報である。例えば、ＩＰ変換部３２は、ＩＰ変換を行った場合に、インタレースフラグ４５を立てる。

セレクタ３３は、プログレッシブ信号４３及びプログレッシブ信号４４のいずれかを選択し、プログレッシブ信号４６としてＦＲＣシステム３４へ出力する。

ＦＲＣシステム３４は、インタレースフラグ４５及びプログレッシブ信号４６を入力し、所定の変換を行い、出力映像信号４７をメモリ３５へ出力する。尚、ＦＲＣシステム３４の構成及び処理の詳細は、図４を用いて後述する。

メモリ３５は、出力映像信号４７を格納する記憶装置である。メモリ３５は、例えば、ＲＡＭ（Random Access Memory）やフラッシュメモリ等であるとよい。ＤＳＰ３６は、メモリ３５に格納された変換済みの映像信号を出力映像信号４８として読み出し、出力映像信号４９として表示装置４へ出力する。

また、表示装置４は、映像信号処理システム３からの出力映像信号４９を画面等の出力装置に表示させる。

図４は、本発明の実施の形態２にかかるＦＲＣシステム３４の構成を示すブロック図である。ＦＲＣシステム３４は、インタレースフラグ４５及びプログレッシブ信号４６を入力し、所定の変換を行い、出力映像信号４７ａ及び４７ｂとして出力する。ＦＲＣシステム３４は、フレームバッファ５１及び５２と、ラインバッファ５３と、インタレース検出部５４と、ＩＰＣ用動き補償部５５と、動き推定部５６と、ＦＲＣ用動き補償部５７とを備える。なお、フレームバッファ５１と５２がそれぞれ設けられているのは、後述するＦＲＣ用動き補償部５７がフレームレート変換を行う際に参照するフレームの数を２枚のフレームではなく３枚のフレームとすることを可能にするためである。最も簡単な説明としては、ＦＲＣ用動き補償部５７が２枚のフレームを参照してフレームレート変換を行うことであるため、以下では２枚のフレームを参照してフレームレート変換を行うことを具体例として用いて説明する。なお、本発明の実施の形態２において、インタレース検出部５４は、上述した実施の形態１における検出部１１に対応する。また、動き推定部５６は、実施の形態１における動き情報生成部１２に対応する。そして、ＩＰＣ用動き補償部５５は、実施の形態１の補正部１３に対応する。また、ＦＲＣ用動き補償部５７は、実施の形態１における動き補償部１４に対応する。

まず、ＦＲＣシステム３４に、プログレッシブ信号４６として、一のフレームに含まれる画素が入力される（具体的には、その画素を特徴付ける信号の値、例えば、輝度信号や色差信号の値が入力される）。現在、プログレッシブ信号４６で画素が入力されるフレームをフレームＦＢとし、このフレームＦＢの一つ前にＦＲＣシステム３４にプログレッシブ信号４６として画素が入力されたフレームをフレームＦＡとする。後述するように、フレームＦＡを形成する画素のそれぞれは、必要があれば、ＩＰＣ用動き補償部５５によって補正が施されている。ここで、フレームバッファ５１には、フレームＦＡを形成する画素を表す信号の情報が格納されている。まず、フレームＦＢの先頭ラインに含まれる画素の情報から、所定のラインまでの画素の情報が、順次にＦＲＣシステム３４に入力される。この先頭ラインから所定のラインまでのライン数が、このＦＲＣシステム３４の処理単位である。例えば、この実施の形態の説明としては、この処理単位は複数ラインとする。この処理単位のラインに含まれる画素は、ラインバッファ５３に格納される。

一方、フレームＦＡを形成する画素が、フレームバッファ５１から出力されラインバッファ５３に格納される。具体的には、フレームＦＡが含む画素の内、ラインバッファ５３に格納されたフレームＦＢの画素に対応する画素がラインバッファに５３に書き込まれる。ここで、ラインバッファ５３に格納されるフレームＦＡとＦＢの画素とラインの関係を説明するために図５を参照する。図５は、フレームＦＡとＦＢのそれぞれが、仮想的に、例えば複数のラインからなる４つのライングループを有していることを示している。具体的には、フレームＦＡはＬＡ１、ＬＡ２、ＬＡ３及びＬＡ４の４つのライングループを有し、フレームＦＢはＬＢ１，ＬＢ２、ＬＢ３及びＬＢ４の４つのライングループを有する。また、例えば、フレームＦＡのライングループＬＡ２には、ある一の画素範囲ＲＡ２１が定義されている。フレームＦＡとＦＢは動画であるので、フレームＦＡの画素範囲ＲＡ２１が次のフレームＦＢでは、画素範囲ＲＢ２１に移動しているというケースが考えられる。ここで、本実施の形態では、あくまでひとつの例であるが、フレームＦＡ及びＦＢのライングループのそれぞれに含まれるラインの数は、２０から６０ラインである。また、本実施の形態では、例えば、ライングループＬＡ１及びＬＢ１は、同数のラインを有する。同様に、ライングループＬＡ２及びＬＢ２、ライングループＬＡ３及びＬＢ３、ライングループＬＡ４及びＬＢ４のそれぞれは、同数のラインを有する。そして、ライングループＬＡ１乃至ＬＡ４のそれぞれ、ライングループＬＢ１乃至ＬＢ４のそれぞれも同数のラインを有するとしてもよい。ここで、プログレッシブ信号４６として、例えばフレームＦＢが有するライングループＬＢ１に属するラインに存在する画素が、プログレッシブ信号としてラインバッファ５３に書き込まれたとする。具体的には、図５において、ライングループＬＢ１内において、図面最上部に位置するラインに含まれる左端の画素から右端の画素まで順番にラインバッファ５３に書き込まれ、次に、当該最上部のラインの一つ下に位置するラインに含まれる左端の画素から右端の画素までが順番にラインバッファ５３に書き込まれる。同様にこれを繰り返してライングループＬＢ１に含まれる画素がラインバッファ５３に書き込まれる。この場合、フレームバッファ５１からフレームＦＡのライングループＬＡ１に属するラインに存在する画素が出力されラインバッファ５３に書き込まれる。

なお、フレームＦＢの残りの画素も、後述するＦＲＣシステム３４の処理の進行に応じてラインバッファ５３に上書きされていく。また、フレームバッファ５１が記憶しているフレームＦＡの残り画素についても、後述するＦＲＣシステム３４の処理の進行に応じてフレームバッファ５１からラインバッファ５３に順次書き込まれ、上書きされていく。具体的に説明すると、後述するようにＦＲＣ用動き補償部５７によって、フレームレート変換において補間フレームを形成する画素の生成にすでに用いられた画素は、ラインバッファ５３に記憶しておく必要がなくなる。例えば、ＦＲＣ用動き補償部５７は、詳細は後述するが、ＩＰＣ用動き補償部５５によって後述する補正が行われた画素を含む補正後のライングループＬＢ１と、ライングループＬＡ１の間で補間フレームに必要な画素を生成する。この処理の進行に応じて、ライングループＬＢ１とライングループＬＡ１の画素が、次々とラインバッファ５３に記憶しておく必要がなくなっていく。例えば、ライングループＬＢ１の最上部のラインの左端にある画素から右端の画素に向かって順番に、動きベクトルで決定されたライングループＬＡ１の画素を用いて補間フレームの画素を生成する。次に、この最上部のラインの一つ下のラインについて同様に処理する。そして、順次これを繰り返していくとすれば、ライングループＬＢ１の画素は、最上部のラインに含まれる画素から下側のライン含まれる画素に向かって順番に、ラインバッファ５３に記憶しておく必要がなくなっていく。

一方で、フレームＦＢの各画素は、プログレッシブ信号としてＦＲＣシステム３４に入力されている。したがって、ライングループＬＢ２の最上部に位置するラインの左端の画素から順番に、ライングループＬＢ２に属する画素がラインバッファ５３に入力されていくことになる。そして、ラインバッファ５３におけるライングループＬＢ１の最上部のラインの左端の画素から順番に、ライングループＬＢ１に属する記憶不要となった画素が、入力されたライングループＬＢ２に属する画素で順次上書きされていく。

また、フレームレート変換によって補間フレームを生成する場合、ライングループＬＢ１の画素に対応するライングループＬＡ１の画素も使用され、ライングループＬＡ１に属する画素も、次々とラインバッファ５３に記憶しておく必要がなくなっていく。ライングループＬＢ１の画素を用いた補間フレームの画素の生成が完了する時点では、ラインバッファ５３に記憶されたライングループＬＡ１の画素は、全て不要となっていることになる。具体的には、まず、動きベクトルによって決定される必要なライングループＬＡ１の画素は、すべて使用されたことになり当然、記憶不要となる。また、動きベクトルは、ライングループＬＡ１とライングループＬＢ１の中の全ての画素の間で一対一に定まるわけではないため、補間フレームの形成に用いられない残りの画素も記憶不要となる。すなわち、ライングループＬＢ１の画素を用いた補間フレームの画素の生成が完了する時点では、ラインバッファ５３に記憶されたライングループＬＡ１の画素は、全て不要となっていることになる。

そこで、ライングループＬＢ１の画素を用いた補間フレームの画素の生成が完了するまでに、ラインバッファ５３に記憶されているが、すでに不要となったライングループＬＡ１の画素を、適宜、ライングループＬＡ２に含まれる画素で上書きしていく。そして、ライングループＬＢ１の画素を用いた補間フレームの画素の生成が完了した時点では、ライングループＬＡ２に含まれる画素が全てラインバッファ５３に、ライングループＬＡ１に含まれる画素に変わって書き込まれているようにすればよい。

そうすると、その後、ラインバッファ５３に、ライングループＬＢ２に属する画素が全てラインバッファ５３に記憶され、ライングループＬＡ２に属する画素も全てラインバッファ５３に記憶されているという状況になる。

また、後述するように、フレームバッファ５１から一度、ラインバッファ５３に書き込まれたフレームＦＡの画素は、それ以降でフレームバッファ５１に格納しておく必要がない。そのため、フレームバッファ５１から読み出されたライングループが書き込まれている記憶領域に、プログレッシブ信号４６として受信されているフレームＦＢの画素が上書きされる。具体的に図５の例を用いて説明すれば、まず、フレームＦＢのライングループＬＢ１に属する画素が先頭ラインから順次、ラインバッファ５３に書き込まれていくのに応じて、フレームバッファ５１のライングループＬＡ１に属する画素も、順次、先頭ラインからラインバッファ５３に書き込まれていく。そのため、フレームバッファ５１に記憶されたライングループＬＡ１に属する画素は、先頭ラインから順次、記憶不要となっていく。したがって、フレームＦＢのライングループＬＢ１のラインバッファ５３に書き込まれた画素は、それと同時にフレームバッファ５１に記憶されたライングループＬＡ１に属する画素の内、記憶不要となった画素を上書きしていく。また、上述したように、ライングループＬＡ２に属する画素が、後述するＦＲＣ用動き補償部５７による補間フレームの形成の処理の進行に応じてフレームバッファ５１からラインバッファ５３に順次出力され書き込まれるため、フレームバッファ５１のライングループＬＡ２に属する画素は、順次、フレームバッファ５１に記憶しておく必要がなくなる。そして、フレームＦＢのライングループＬＢ２の先頭ラインの画素をフレームバッファ５１に書き込もうとする頃には、フレームバッファ５１のライングループＬＡ２の先頭ライン付近の画素は全て記憶不要となっており、上書きしても構わない状況になっている。フレームレート変換における補間フレームの画素の形成は、ライングループＬＢ１の画素の先頭ラインの画素から順次用いて行っており、動きベクトルで決定されるライングループＬＡ１の画素も、対象の動きの連続性から、ライングループＬＡ１の先頭ラインの近傍の画素に対応することが多い。そのため、フレームバッファ５１に記憶されたライングループＬＡ２の画素も、ライングループＬＡ２における先頭ライン近傍の画素から順次、ラインバッファ５３に出力され、ライングループＬＡ１の先頭ライン近傍の画素を順次上書きするからである。したがって、フレームＦＢのライングループＬＢ２に属する画素が先頭のラインから順次、フレームバッファ５１のライングループＬＡ２の画素に上書きされていく。

このようにして、画素がラインバッファ５３、フレームバッファ５１の間で動いていく。以上はフレームＦＡ及びＦＢのライングループＬＡ１、ＬＡ２、ＬＢ１及びＬＢ２を例にとっての説明であったが、以降も同様であり、それぞれのフレームの画素が、処理状況に応じて、順次、動いていく。

なお、上述したように、フレームバッファ５２は、ＦＲＣ用動き補償部５７が、３枚のフレームのそれぞれを形成する画素のそれぞれを参照してフレームレート変換を行う際に必要となるものであり、ＦＲＣ動き補償部５７が３枚のフレームのそれぞれを形成する画素のそれぞれを参照する場合においては、フレームバッファ５２には、フレームＦＡよりもさらに前（例えばひとつ前）のフレームＦＣを形成する画素が格納されている。そして、例えば、フレームＦＣも複数のラインからなるライングループを備えており、フレームＦＢのライングループＬＢ１に対応するライングループに属する画素がフレームバッファ５２からラインバッファ５３に出力され、ラインバッファ５３に書き込まれる。なお、ＦＲＣ用動き補償部５７が３枚のフレームを参照してフレームレート変換を行うこのケースでは、現在、ＦＲＣシステム３４に入力されているフレームＦＢの画素は、このフレームＦＢの二つ前のフレームＦＣを記憶しているフレームバッファ５２に書き込まれることになる。こうすることで、入力されるフレームと、フレームバッファ５１及び５２に記憶されているフレームのそれぞれとで、常に３時刻分のフレームが形成されるため、ＦＲＣ用動き補償部５７は、３枚のフレームを参照してフレームレート変換を行うことができる。

また、上述した２枚のフレームを用いてフレームレート変換を行う場合でも、上述したように、フレームバッファ５１とラインバッファ５３の書き込み、読み出しの制御は非常に複雑となり、読み出しと書き込みのタイミングの制御が困難となることも考えられる。その場合には、２枚のフレームを用いてフレームレート変換を行う場合にもフレームバッファ５２を導入して、読み出しと書き込みの制御を簡易にすることも考えられる。例えば、フレームバッファ５１にフレームＦＡが記憶されている場合、フレームバッファ５１からラインバッファ５３に画素の出力が行われるが、フレームＦＢの画素の書き込みは、フレームバッファ５２に行うようにする。つまり、フレームＦＢがＦＲＣシステム３４に入力されているフレームである場合、フレームバッファ５１を読み出し専用のバッファとし、フレームバッファ５２を書き込み専用のバッファとする。こうすることで、上述したような、ラインバッファ５３とフレームバッファ５１の間で求められる複雑な読み出しと書き込みのタイミング制御を避けることができる。

以上は、具体的な説明として、処理単位であるライングループの内、フレームＦＢのライングループＬＢ１に属する画素がラインバッファ５３にプログレッシブ信号として書き込まれた場合である。その後、後述するＩＰＣ用動き補償部５５によってフレームＦＢのライングループＬＢ１に属する画素が補正され、フレームバッファ５１に格納されたライングループＬＢ１の画素のそれぞれに対して補正後の画素が上書きされる。また、ＩＰＣ用動き補償部５５によって補正されたフレームＦＢのライングループＬＢ１の画素は、ラインバッファ５３に格納されているライングループＬＢ１の画素に対して上書きされ、その後、後述するＦＲＣ用動き補償部５７によって読み出されて使用される。ＦＲＣ用動き補償部５７は、フレームレート変換を行うために、併せて、ラインバッファ５３に格納されたライングループＬＡ１に属する画素も、ラインバッファ５３から読み出して使用する。以降は、上述の詳細な説明の内容にしたがって、フレームバッファ５１とラインバッファ５３の記憶する画素が更新され、フレームＦＢの全ての画素に対して、フレームＦＡの画素を用いて処理が行われる。

以上を繰り返して、フレームＦＢの全てのラインに対して本発明の実施の形態に係る処理が行われていく。フレームバッファ５１に関して言えば、最初はフレームＦＡが記憶されているが、その後、徐々にフレームＦＢの画素が書き込まれ、最終的にはフレームＦＢを記憶することになる。

このように、ラインバッファ５３は、フレームの一部のラインに存在する画素のそれぞれを特徴付ける輝度信号などの値のそれぞれを格納するためのバッファである。ラインバッファ５３は、処理対象のフレームの内、補正処理単位である複数のラインである補正対象ラインに対応する画素データを取得し、格納する。補正対象ラインとは、上述したように例えば、２０〜６０ラインであるが、これに限定されない。ここでは、ラインバッファ５３は、プログレッシブ信号４６から補正対象ラインに該当する画素データを取得し、格納する。同時に、ラインバッファ５３は、フレームバッファ５１から、又はＦＲＣ用動き補償部５７の参照するフレームの数によってはフレームバッファ５１及び５２のそれぞれから、それぞれ補正対象ラインに該当する画素データであるラインデータ６２及び６３を取得し、格納する。

図４に戻り、インタレース検出部５４は、ラインバッファ５３から取得したラインデータ６４を解析し、インタレース信号から変換されているか否かを検出する。上述の具体例に即して説明すると、まず、インタレース検出部５４は、ラインバッファ５３からフレームＦＢのライングループＬＢ１に属する画素の情報を読み出して取得する。そして、ライングループＬＢ１に属する画素の情報から、ＦＲＣシステム３４より前の段階でフレームＦＢに対して行われたＩＰ変換の精度を検出する。そのために、インタレース検出部５４は、入力されたライングループＬＢ１の画素の内、ＩＰ変換の結果として補間された一の画素の輝度信号の周波数成分と、もともと送信されており、かつ、欠落していないオリジナルの画素であって、前記一の画素の周囲に存在する画素のそれぞれの輝度信号の周波数成分との類似性や相関から、ＩＰ変換によって補間された当該一の画素が、正しい画素として補間されているか否かを解析する。なお、輝度信号だけでなく、色差信号の周波数を解析すれば、解析の精度はさらに上がるが、回路規模や処理時間が増大する。このような解析は他にもさまざまな例があり、本発明がこの手法に限定されないことは、当業者が理解するところである。

インタレース検出部５４は、同様の処理をＩＰ変換の結果として補間された他の画素の全てに対して行う。そして、インタレース検出部５４は、処理単位であるライングループＬＢ１の全体の画素の内、どの程度の割合で誤って補間された画素が含まれているかを算出する。そして、インタレース検出部５４は、その割合を、ＩＰ変換の精度として出力する。例えば、当該割合が高いほど、フレームＦＢのＬＢ１の画素に対して行われたＩＰ変換の精度は低いことを示す。逆に、当該割合が高ければ、係るＩＰ変換の精度は高いことを示す。インタレース検出部５４は、このＩＰ変換の精度を、変換強度情報６５としてＩＰＣ用動き補償部５５に出力する。変換強度情報６５の具体的な形態としてはさまざまな例が考えられるが、例えば、２ビットの値としてもよい。このとき、ＩＰ変換の精度が高い又はプログレッシブ信号４６が元からプログレッシブ信号であるなどにより補正が不要な場合、変換強度情報６５を"００"とし、ＩＰ変換の精度が低いために補正が必要な場合、精度の低さに応じて、変換強度情報６５を"０１"、"１０"、"１１"の順番で対応付けて設定しても構わない。尚、変換強度情報６５の表現方法がこれに限定されないことは勿論である。

また、インタレース検出部５４は、後述する動き推定部５６がベクトル信頼度というパラメータを算出するために必要な情報として、ライングループＬＢ１の画素の内、誤ってＩＰ変換された画素がどの程度誤っているかを定量的に示す情報を算出する。この情報は、例えば、誤ってＩＰ変換された画素の輝度信号の周波数成分が、当該画素の周囲にあり、補間されていないオリジナルの画素の輝度信号の周波数成分と、どの程度の相関があるかに基づいて算出するなど、さまざまな手法が考えられる。

以上はフレームＦＢのライングループＬＢ１に存在する画素に対する説明であったが、以降にラインバッファ５３に入力されるライングループＬＢ２、ＬＢ３及びＬＢ４に属する画素に対しても同様の処理を行う。

以上はフレームＦＢのライングループＬＢ１の画素を例にした説明であったが、一般的にまとめると、インタレース検出部５４は、入力された映像信号を解析して補間エラーの度合いを入力前の変換の精度として検出するとよい。例えば、インタレース検出部５４は、フレーム内の複数のラインを比較することにより補間エラーの度合いを入力前の変換の精度として検出する。より具体的には、インタレース検出部５４は、オリジナルラインと補間ラインとの周波数を解析し、波形の類似性及び相関性等から補間エラーの度合を検出し、検出した度合に応じて強度を設定してもよい。または、インタレース検出部５４は、複数のフレームを比較することにより補間エラーの度合いを入力前の変換の精度として検出してもよい。または、インタレース検出部５４は、複数のフレームの輝度信号から周波数を解析し、類似度を判定することにより、波形の類似性又は相関性等から補間エラーの度合を検出し、検出した補間エラーの度合に応じて強度を判定し、変換強度情報６５を設定してもよい。言い換えると、インタレース検出部５４は、入力されたプログレッシブ信号におけるＩＰ変換の精度に応じて、入力されたプログレッシブ信号の補正を行うか否かを判定する判定手段といえる。

また、インタレース検出部５４は、入力された映像信号がインタレース信号から変換されたことを示す信号に基づき、入力前の変換の精度を検出することが望ましい。ここでは、インタレース検出部５４は、インタレースフラグ４５を入力する。そして、インタレースフラグ４５が立っている場合、変換強度情報６５をＩＰ変換の精度が高いことを示す値に設定してＩＰＣ用動き補償部５５へ出力する。尚、インタレースフラグ４５が立っている場合、インタレース検出部５４は、ラインデータ６４を解析しなくても構わない。映像信号処理システム３が内蔵するＩＰ変換部３２によりＩＰ変換が行われたことを示すため、変換精度が保障されるためである。

動き推定部５６は、ラインデータ６６から動き推定処理を行う。具体的には、動き推定部５６は、ＩＰＣ動き補償部５５による補正の前は、ＩＰＣ動き補償部５５に対して処理の結果である動きベクトルとベクトル信頼度を動き情報６７として出力する。動き推定部５６は、ＩＰＣ動き補償部５５による補正の後は、フレームレート変換の実行にあたり、精度のよい動きベクトルを供給すべく、補正後の画素を用いて再度、動きベクトルを決定し、動き情報６８としてＦＲＣ用動き補償部５７に出力する。以下、具体的に説明する。わかりやすく説明するため、フレームＦＡとフレームＦＢの例を用いて説明を行う。まず、ラインバッファ５３には、フレームＦＡのライングループＬＡ１に属する画素と、フレームＦＢのライングループＬＢ１に属する画素が格納されている。動き推定部５６は、ライングループＬＢ１に属する画素のそれぞれと、ライングループＬＡ１に属する画素のそれぞれをラインバッファ５６から読み出す。そして、動き推定部５６は、読み出した画素のそれぞれに対して動きベクトルの決定を行う。例えば、ライングループＬＡ１に属する一の画素がライングループＬＢ１に属する画素の内のどの画素に移動しているのかを決定することができれば、それぞれの画素の座標を結ぶベクトルを動きベクトルとして決定できる。このときの動きベクトルの始点は、ライングループＬＡ１に属する当該一の画素であり、終点はライングループＬＢ１に属する一の画素である。一方で、第１の実施の形態でも説明したように、動きベクトルは画素ごとの対応付けを行うだけでは、一つに決定できないことも多々ある。これは、ライングループＬＡ１に属する一の画素の移動先の画素の候補が、ライングループＬＢ１に属する画素の中に複数、見出されることも多々あるためである。その場合には、ライングループＬＡ１に属する一の画素と、この一の画素の周囲の画素で形成される一定範囲のブロックが、ライングループＬＢ１の画素の内のどのブロックに対応するかを解析することが行われる。ライングループＬＢ１の画素の中で対応するブロックを見つけることができれば、ライングループＬＢ１の当該ブロック内の一の画素を動きベクトルの終点とすることができる。このようにすれば、ライングループＬＡ１の係る画素の移動先をライングループＬＢ１の画素の内からひとつに絞りやすくなり、ライングループＬＡ１とライングループＬＢ１の一画素ごとにひとつの動きベクトルが決定できることが多くなる。動き推定部５６は、このようにして、ライングループＬＡ１の画素の全てに対してライングループＬＢ１の画素のいずれかを終点とする動きベクトルを決定しようと試みる。決定することができた動きベクトルの座標の値は、ＩＰＣ用動き補償部５５に出力され、後述の補正に用いられる。一方、動きベクトルが決定できなかった画素に対しては、動きベクトルの座標を出力しない。

さらに、動き推定部５６は、下記に説明するように、ベクトル信頼度という情報も算出する。ベクトル信頼度は、決定された一の動きベクトルが、どの程度正しく、画素の動きを特定しているかを示す値である。本実施の形態では、決定された動きベクトルの終点は、まだ現段階で誤ってＩＰ変換されているにも関わらず、ＩＰＣ用動き補償部５５によって補正されていない画素である可能性がある。終点が誤ってＩＰ変換されており、かつ補正も行われていない画素である動きベクトルは、正しく画素の動きを特定できていない可能性がある。そこで、本実施の形態の動き推定部５６は、決定した動きベクトルのそれぞれに対してベクトル信頼度を算出する。まず、動き推定部５６は、前述したインタレース検出部５４が算出した情報、すなわち、フレームＦＢのライングループＬＢ１に属する画素の内、誤ってＩＰ変換された画素がどの程度誤っているかを示す情報を、インタレース検出部５４から取得する。あるいは、インタレース検出部５４がこの情報を算出しない場合には、動き推定部５６がこの情報を算出するようにしてもよい。そして、動き推定部５６は、決定された動きベクトルの終点の座標に対応する画素が、誤ってＩＰ変換された画素である場合に、その画素がどの程度誤っているかの定量的な情報に基づいて、当該動きベクトルの信頼度を示すベクトル信頼度の値を設定する。例えば、動きベクトルの終点の画素の輝度等の信号値が、周囲のオリジナル画素と比べて相関がないほど、その画素は大きく誤っており、当該画素を終点とする動きベクトルの信頼度は低くなるとすることができる。動き推定部５６は、決定した動きベクトルのそれぞれに対してこのベクトル信頼度の値を設定して、ＩＰＣ用動き補償部５５に動き情報６７として出力する。

以上は、ライングループＬＡ１に属する画素のそれぞれと、ライングループＬＢ１に属する画素のそれぞれとを用いて動きベクトルを決定する場合であるが、その後、ライングループＬＡ２、ＬＢ２、ＬＡ３及びＬＢ３等、以降のライングループに対しても動き推定部５６は同様の処理を行って動きベクトルおよびベクトル信頼度を決定する。なお、上記の処理で決定した動きベクトルやベクトル信頼度は、ＩＰＣ用動き補償部５５が以下に示す補正を行うために必要な情報である。また、ＦＲＣ用動き補償部５７は、より精度のよいフレームレート変換を行う必要があるので、補正後の画素を用いて決定された動きベクトルを用いる必要がある。また、上記処理において、動きベクトルの始点に関しては、ベクトル信頼度の算出において考慮していないが、これは始点となる画素は、すでにＩＣＰ用動き補償部５５が補正を行っているからである。

ＩＰＣ用動き補償部５５は、インタレース検出部５４により検出された変換強度情報６５と、動き推定部５６から受け取った動きベクトル及びベクトル信頼度である動き情報６７に基づいて映像信号、すなわちラインバッファ５３から入力された画素を補正する。なお、簡易的にはベクトル信頼度は考慮せず、少なくとも動きベクトルと変換強度情報６５とに基づいて、ラインバッファ５３から入力された画素を補正することもできるが、以下では、上記変換強度情報６５、動きベクトル及びベクトル信頼度を用いる例を説明する。なお、ＩＰＣ用動き補償部５５は、補正された画素を補正信号６９として出力すると共に、出力映像信号４７ａとしても出力し、メモリ３５に格納する。

ここで、動き補償とは、フレーム間予測においてこれらの動きを補うものである。具体的には、現在のフレーム（補間位置のフレーム）を予測する場合に、現在のフレームにおける時間の前後のフレームを用いて予測するものである。動き補償を行うためには、画像の動き量を推定する動きベクトル探索（ME: Motion Estimation）により求まる動きベクトルが必要となる。つまり、動き補償とは、現在の時間の前後のフレームを動きベクトルに応じて補間し、現在のフレームに対して、補償を行うことである。本発明の実施の形態２にかかるＩＰＣ用動き補償部５５及び後述のＦＲＣ用動き補償部５７は、動き推定部５６により出力された動き情報６７及び６８を上述の動きベクトルとして用いることにより動き補償処理を実現する。以下、これをこれまでのように、フレームＦＡとＦＢの具体例を用いて説明する。

まず、ＩＰＣ用動き補償部５５は、ラインバッファ５３に格納されたフレームＦＡのライングループＬＡ１に属する画素のそれぞれの情報と、フレームＦＢのライングループＬＢ１に属する画素のそれぞれの情報をラインバッファ５３から読み出して取得する。また、ＩＰＣ用動き補償部５５は、上述したように、動き推定部５６からライングループＬＡ１の画素のそれぞれを始点とし、ライングループＬＢ１の画素のいずれかを終点とする動きベクトルを、座標情報として受けとっている。また、それぞれの動きベクトルに対するベクトル信頼度の値も取得している。

ＩＰＣ動き補償部５５の処理を具体的に説明するために、図６を参照する。図６は、本発明の実施の形態２にかかるＩＰＣ用の補正の概念を説明する図である。横軸は、時間の流れを示す。ここでは、時刻ｔ+１のフレームはフレームＦＢであり、現在の処理対象のフレームである。時刻ｔにおけるフレームはフレームＦＡであり、フレームＦＡを形成する画素はすでに必要な補正が行われている。なお、図６におけるフレームＦＡの画素ＲＡとフレームＦＢの画素ＲＢは、図面におけるｙ方向に大きく位置がずれているが、これは作図上で動きベクトルＭＶ（ｔ＋１）を図面上にわかりやすく示すためであり、実際にはフレームＦＡの画素ＲＡはライングループＬＡ１に属している一の画素であり、フレームＦＢの画素ＲＢはライングループＬＢ１に属しているものとする。この動きベクトルＭＶ（ｔ＋１）は、上述した動き推定部５６により生成された動きベクトルである。繰り返しになるが、フレームＦＡは、施されたＩＰ変換の精度が高いため、補正の必要がないフレームであってもよく、すでに補正済みのフレームであってもよい。フレームＦＢは、施されたＩＰ変換の精度が低いため、補正の必要があるものとする。尚、フレームＦＡが補正済みの場合、補正フレームＦＡｄを用いるものとする。

ここで、まず、ＩＰＣ用動き補償部５５は、変換強度情報６５を補正係数αに変換する。例えば、変換強度情報６５から補正係数α（例えば０以上１以下の値）への変換表を予め定義しておくと良い。変換表では、例えば、変換強度情報６５が"００"の場合補正係数αを"０"、"０１"の場合"０．３"、"１０"の場合"０．６"、"１１"の場合"１．０"等と対応付けても良い。例えば、フレームＦＢの変換強度情報６５を"１０"とした場合、補正係数αは、"０．６"となる。ここで、動き推定部５４から受け取ったベクトル信頼度βとする。ＩＰＣ用動き補償部５５はさらに、図６のフレームＦＡの画素ＲＡとフレームＦＢの画素ＲＢとを結ぶ動きベクトルＭＶ（ｔ+１）のベクトル信頼度の値を動き推定部５６から受け取ったベクトル信頼度の値の中から抽出する。ここで、フレームＦＡの画素ＲＡを示す信号値（例えば輝度信号や色差信号の値）をＰＡ、フレームＦＢの画素ＲＢを示す信号値をＰＢとすると、ＩＰＣ用動き補償部５５は、下記の（１）式で示す演算を行う。
ＰＢ'＝（１−αβ）ＰＢ＋αβＰＡ・・・（１）

（１）式のＰＢ'は、図６のフレームＦＢｄ、すなわちフレームＦＢの補正後のフレームに属している画素を示す値である。つまり、ＰＢ'は、フレームＦＢの画素ＲＢを（１）式で補正した結果、得られる画素ＲＢｄの値ということになる。

ＩＰＣ用動き補償部５５は、（１）式で示す処理を、フレームＦＡのライングループＬＡ１とフレームＦＢ１のライングループＬＢ１に含まれる画素のそれぞれのうちで、動きベクトルで特定される全ての画素に対して行う。そして、ＩＰＣ用動き補償部５５は、得られたライングループＬＢ１に属する補正後の画素を示す信号値を、ラインバッファ５３に格納されたライングループＬＢ１の画素に上書きする。同様に、ＩＰＣ用動き補償部５５は、フレームバッファ５１に格納されたライングループＬＢ１の画素に、補正後の画素を示す信号値を上書きする。また、ＩＰＣ用動き補償部５５は、補正された画素を含むライングループＬＢ１の画素を、出力映像信号４７aとして出力する。出力された画素は、図３のメモリ３５に書き込まれる。

以上は、ライングループＬＡ１とライングループＬＢ１の画素を用いて具体的にＩＰＣ用動き補償部５５が行う動作を説明したものであるが、ライングループＬＡ２及びＬＢ２、ライングループＬＡ３及びＬＢ３、ライングループＬＡ４及びＬＢ４についても同様である。このように処理を繰り返して、フレームＦＢの全ラインの画素に対して、必要な補正が施される。その結果、フレームバッファ５１には、補正後のフレームＦＢｄが格納されることになる。

次に、ＦＲＣ用動き補償部５７の動作を説明する。ＦＲＣ用動き補償部５７は、フレームレート変換を実行する処理部である。ここでも、まず、フレームＦＡやライングループＬＡ１といった具体的な表現を用いて動作を説明する。最初に、ＦＲＣ用動き補償部５７は、ラインバッファ５３から、フレームＦＡのライングループＬＡ１に属する画素のそれぞれと、ＩＰＣ用動き補償部５５によって補正され、ラインバッファ５３に上書きされた、補正後のライングループＬＢ１に属する画素のそれぞれを取得する。また、このときに、動き推定部５６もライングループＬＡ１に属する画素のそれぞれと、補正後のライングループＬＢ１に属する画素のそれぞれを読み出す。ここで、フレームレート変換には動きベクトルが必要である。ところが、上述した動き推定部５６が決定した動きベクトルのそれぞれは、ライングループＬＢ１の画素に必要な補正が施されていない状態で決定されたものである。そのため、そのような動きベクトルの中には、ベクトル信頼度の低いものもあり、フレームレート変換に信頼度が低い動きベクトルを用いることは好ましくない。なぜならば、正しく画素の動きを特定できていない動きベクトルを用いて補間フレームの画素を形成することになる可能性が高くなり、結果として、正しい補間フレームを形成できない可能性が高くなるからである。そこで、動き推定部５６は、ライングループＬＡ１の画素のそれぞれと補正後のライングループＬＢ１の画素のそれぞれに対して、上述した処理と同様にして、再度、動きベクトルを決定する。そして決定した動きベクトルを示す情報、例えばベクトルの始点と終点の座標をＦＲＣ用動き補償部５７に出力する。

ＦＲＣ用動き補償部５７は、動き推定部５６がライングループＬＡ１に属する画素のそれぞれと補正後のライングループＬＢ１に属する画素のそれぞれに対して決定した動きベクトルを用いてフレームレート変換を実行する。具体的には、まず、ＦＲＣ動き補償部５７は、一の動きベクトルから、ライングループＬＡ１に属する一の画素と補正後のライングループＬＢ１に属する一の画素を特定する。そして、特定されたライングループＬＡ１に属する一の画素の座標と、補正後のライングループＬＢ１に属する一の画素の座標と、を結ぶ線分上のいずれかの座標に、補間画素を生成する。補間画素の座標の代表的な例は、二つの画素を結ぶ線分の中点が考えられる。補間画素を生成するにあたっては、動きベクトルによって特定された二つの画素を示す信号値のどちらか一方の値をそのまま補間画素を示す信号の値として使ってもよいし、二つの画素を示す信号値の平均をとるなどをしてもよい。なお、上記のように補間画素の座標として、動きベクトルによって特定される二つの画素の中点を採用する場合には、フレームＦＡの表示時刻と補正後のフレームＦＢの表示時刻の中間の時刻に表示されるフレームを補間フレームとして生成することになる。ＦＲＣ動き補償部５７は、以上の画素単位の処理を、ライングループＬＡ１と補正後のライングループＬＢ１との間で決定された動きベクトルの全てに基づき特定される画素に対して行う。

なお、動きベクトルはフレームＦＡとＦＢのそれぞれの画素の全てを一対一に対応付けて決定できるわけではないので、補間フレームを形成する全ての画素を上記の処理で生成できるわけではない。上記の処理では生成できない画素は、例えば参照するフレームの内のどちらかのフレームの所定の画素をコピーすることで生成することなどが考えられる。

同様にライングループＬＡ２と補正後のライングループＬＢ２等、以降のライングループについても、順次処理が行われ、最終的には全ラインに対して上記と同様の処理が行われる。ＦＲＣ用動き補償部５７は、上記のように処理した画素を出力映像信号４７ｂとして出力し、メモリ３５に格納する。その結果、フレームＦＡと補正後のフレームＦＢの間に補間される補間フレームが生成され、メモリ３５に記憶されることになる。

このように、フレームレート変換では動きベクトルによって始点と終点の画素を特定する必要がある。従来技術では、この動きベクトルが、誤ってＩＰ変換された画素を終点あるいは始点として定義されていたため、このような動きベクトルに基づいて補間画素を生成し、その結果補間フレームが生成されても、補間フレームが表示する画像は正しい補間結果とは異なる可能性があった。しかし、本願発明によれば、誤ってＩＰ変換が行われた画素を補正して得られるフレーム同士で動きベクトルを決定するため、従来技術と比べて精度の高い動きベクトルを決定することができる。これは、フレームレート変換で生成される補間フレームが表示する画像が正しい補間結果となる可能性を高めることにほかならない。すなわち、従来技術の問題点を解決することができる。

図７は、本発明の実施の形態２にかかるＦＲＣ用の動き補償の概念を説明する図である。横軸は、時間の流れを示す。ここでは、現在の処理対象のフレームが時刻ｔ＋１の補正フレームＦＢｄである場合、時刻ｔ＋１の直前のフレームは、時刻ｔにおける補正フレームＦＡｄであるものとする。そして、補正フレームＦＡｄと補正フレームＦＢｄとを合成する比率を差分時間Δｔとする。尚、差分時間Δｔは、ＦＲＣの場合、例えば、"０．５"とするとよい。このとき、動きベクトルＭＶに応じた時刻ｔ＋１における補正フレームをＦｄｍｖ（ｔ＋１）、動きベクトルＭＶに応じた時刻ｔにおける補正フレームをＦｄｍｖ（ｔ）と表した場合、ＦＲＣ用動き補償部５７による動き補償後のフレームであるＦｃ（t）は、以下の（２）式により算出できる。
Ｆｃ（ｔ＋Δｔ）＝（１−Δｔ）×Ｆｄｍｖ（ｔ−１）＋Δｔ×Ｆｄｍｖ（ｔ） ・・・（２）

式（２）のＦｃ（ｔ＋Δｔ）は、図７の例では、補正フレームＦＡｄＢｄとなる。つまり、補正フレームＦＡｄの画素ＲＡｄと、補正フレームＦＢｄの画素ＲＢｄとに基づき、補正フレームＦＡｄＢｄの画素ＲＡｄＢｄが定まる。

尚、一般に、動き推定部５６の処理コストは高い。ここでいう処理コストとは、回路規模や処理時間のことである。例えば、本発明の実施の形態２では、ＩＰＣ用動き補償部５５が必要とする動きベクトルと、ＦＲＣ用動き補償部５７が必要とする動きベクトルを、動き推定部５６が共通して出力することで、処理コストのひとつである回路規模の増加を抑えることができる。

尚、プログレッシブ信号４６がＩＰ変換されていない場合、ＩＰＣ用動き補償部５５は、ラインデータ６６に対して補正を行わないようにしてもよい。元々、高精度なプログレッシブ信号であるため、補正を行わないことで処理コストのひとつである処理時間を抑えることができる。また、プログレッシブ信号４６が精度の高いＩＰ変換がされていた場合、同様に、ＩＰＣ用動き補償部５５は、ラインデータ６６に対して補正を行わないようにしてもよい。これらの場合、ＩＰＣ用動き補償部５５は、そのままプログレッシブ信号４６を出力映像信号４７ａとして出力する。

また、ＩＰＣ用動き補償部５５が補正を行わなかった場合、ＦＲＣ用動き補償部５７は、ラインデータ６６として入力時点の映像信号を入力し、動き補償を行う。この場合、出力映像信号４７ｂの精度は、通常通り、高いものとすることができる。

さらに、ＩＰＣ用動き補償部５５及びＦＲＣ用動き補償部５７は、時分割により処理を切り替える同一の回路により実現しても構わない。これにより、回路規模を抑えることができる。

このように、本発明の実施の形態２にかかるインタレース検出部５４は、入力映像信号がインタレース信号からＩＰ変換されたものか否かを、外部からの情報又は入力映像信号の解析結果により判定する。そして、ＩＰＣ用動き補償部５５は、ＩＰ変換による破綻領域を検出することにより、動き推定部５６により既に生成された動きベクトルに応じて、入力されたプログレッシブ信号に対して高精度な補正を行うことができる。また、ＦＲＣ用動き補償部５７は、補正した映像信号に対して動き補償を行うことにより、ＦＲＣシステム３４が出力するフレーム全体の画質を改善することができる。

図８は、本発明の実施の形態２にかかる映像信号処理方法の流れを示すフローチャート図である。まず、ＦＲＣシステム３４は、１フレーム分の入力映像信号をフレームバッファ５１に保存する（Ｓ２１）。次に、ＦＲＣシステム３４は、入力映像信号のフレームと直前のフレームとにおける補正対象ラインをラインバッファに保存する（Ｓ２２）。そして、動き推定部５６は、動き推定により動きベクトルを生成する（Ｓ２３）。

また、インタレース検出部５４は、入力映像信号の変換の精度を検出する（Ｓ２４）。尚、ステップＳ２３及びＳ２４の順序はこれに限定されない。そして、インタレース検出部５４は、入力映像信号がＩＰ変換済みであるか否かを判定する（Ｓ２５）。入力映像信号がＩＰ変換済みであると判定した場合、ＩＰＣ用動き補償部５５は、動きベクトルを用いてラインバッファから読み出した入力映像信号について補正する（Ｓ２６）。そして、ＩＰＣ用動き補償部５５は、補正した入力映像信号をフレームバッファ及びラインバッファへ保存する（Ｓ２７）。そして、ＩＰＣ用動き補償部５５は、補正した入力映像信号を出力する（Ｓ２８）。

一方、ステップＳ２５において入力映像信号がＩＰ変換済みであると判定した場合、又は、ステップＳ２７の後、ＦＲＣ用動き補償部５７は、動きベクトルを用いてラインバッファから読み出した映像信号に対して動き補償する（Ｓ２９）。そして、ＦＲＣ用動き補償部５７は、動き補償された映像信号を出力する（Ｓ３０）。

図９は、ＦＲＣシステムにおける映像出力と再生の原理を説明する図である。図９に示すＦＲＣシステム９１は、入力される映像信号を２倍速にする例である。例えば、特許文献１等で用いられるものである。ＦＲＣシステム９１は、フレームＦＩＡ、ＦＩＢ及びＦＩＣの順番で映像信号を入力し、フレームレート変換を行った結果、補正フレームＦＯＡＢ及びＦＯＢＣの順番で出力する。そして、フレームＦＩＡ、ＦＩＢ及びＦＩＣは、ＦＲＣシステム９１への入力とは別に、変換せずに、フレームＦＯＡ、ＦＯＢ及びＦＯＣとしてそのままの順番で出力する。そして、再生順序は、フレームＦＯＡ、ＦＯＡＢ、ＦＯＢ、ＦＯＢＣ及びＦＯＣとなる。このとき、入力映像信号であるフレームＦＩＢが不正なＩＰ変換をされたものである場合、ＦＲＣシステム９１は、不正な状態を含んだまま、補正フレームＦＯＡＢ及びＦＯＢＣを動き補償する。そのため、再生時には、上記５フレームの内、３フレームが不正なフレームとなり、不正な状態が拡大してしまう。

図１０は、本発明の実施の形態２にかかるＦＲＣシステム３４における映像出力と再生の例を説明する図である。ＦＲＣシステム３４は、フレームＦＩＡ、ＦＩＢ及びＦＩＣの順番で映像信号を入力し、上述した所定の変換処理を行う。まず、ＩＰＣ用動き補償部５５は、フレームＦＩＡ、ＦＩＢ及びＦＩＣを補正して補正フレームＦＯＡｄ、ＦＯＢｄ及びＦＯＣｄの順番で出力する。また、ＦＲＣ用動き補償部５７は、補正フレームＦＯＡｄ、ＦＯＢｄ及びＦＯＣｄに対して動き補償を行い、補正フレームＦＯＡｄＢｄ及びＦＯＢｄＣｄの順番で出力する。そして、再生順序は、フレームＦＯＡｄ、ＦＯＡｄＢｄ、ＦＯＢｄ、ＦＯＢｄＣｄ及びＦＯＣｄとなる。このとき、このとき、入力映像信号であるフレームＦＩＢが不正なＩＰ変換をされたものである場合、インタレース検出部５４は、その不正を検出し、ＩＰＣ用動き補償部５５は、フレームＦＩＢを補正して補正フレームＦＯＢｄとして出力する。また、ＦＲＣ用動き補償部５７は、不正が補正された補正フレームＦＯＢｄを用いて補正フレームＦＯＡｄＢｄ及びＦＯＢｄＣｄを合成する。そのため、ＦＲＣシステム３４による出力においては、不正が補正済みとなる。そのため、図１０においては、入力された３フレームに対して、精度を向上させることができる。

本発明の実施の形態２により、動き検出演算量は増加しない。その理由は、ＦＲＣシステム３４が備える動き推定部５６は、ＦＲＣシステム９１等が備えるものと同等のもので良く、追加が不要なためである。また、本発明の実施の形態２により、少ない追加コストでＩＰ変換の破綻の抑制と、ＩＰ変換結果を参照するＦＲＣの補間画質の改善を両立することができる。

＜発明の実施の形態３＞
本発明の実施の形態３は、上述した発明の実施の形態２にかかるＦＲＣシステム３４が備えるＦＲＣ用動き補償部５７をＭＪＣ（Movie Judder Cancellation）用動き補償部５７ａに置き換えたものである。ここで、ＭＪＣとは、動き補償の一種であり、例えば、１秒間に２４枚の映画フィルムの画像を１秒間に１２０枚表示することで、カクカクとした独特の動きをスムーズに表示することを実現する技術である。尚、本発明の実施の形態３における構成及び動作については、本発明の実施の形態２と同等なもので実現可能であるため、詳細な説明及び図示を省略する。

図１１は、ＭＪＣシステムにおける映像出力と再生の原理を説明する図である。図１１に示すＭＪＣシステム９２は、入力される映像信号にＭＪＣによる処理を行う例である。ＭＪＣシステム９２は、フレームＦＩＡ、ＦＩＢ及びＦＩＣの順番で映像信号を入力し、ＭＪＣによる処理を行った結果、補正フレームＦＯＡＡＢ、ＦＯＡＢＢ、ＦＯＢＢＣ及びＦＯＢＣＣの順番で出力する。そして、フレームＦＩＡ、ＦＩＢ及びＦＩＣは、ＭＪＣシステム９２への入力とは別に、変換せずに、フレームＦＯＡ、ＦＯＢ及びＦＯＣとしてそのままの順番で出力する。そして、再生順序は、フレームＦＯＡ、ＦＯＡＡＢ、ＦＯＡＢＢ、ＦＯＢＢＣ、ＦＯＢＣＣ及びＦＯＣとなる。このとき、入力映像信号であるフレームＦＩＢが不正なＩＰ変換をされたものである場合、ＭＪＣシステム９２は、不正な状態を含んだまま、補正フレームＦＯＡＡＢ、ＦＯＡＢＢ、ＦＯＢＢＣ及びＦＯＢＣＣを動き補償する。そのため、再生時には、上記６フレームの内、４フレームが不正なフレームとなり、不正な状態が拡大してしまう。

図１２は、本発明の実施の形態３にかかるＭＪＣシステム３４ａにおける映像出力と再生の例を説明する図である。ＭＪＣシステム３４ａは、フレームＦＩＡ、ＦＩＢ及びＦＩＣの順番で映像信号を入力し、上述した所定の変換処理の内、ＦＲＣ処理をＭＪＣ処理に置き換えたものを実行する。まず、ＩＰＣ用動き補償部５５は、フレームＦＩＡ、ＦＩＢ及びＦＩＣを補正して補正フレームＦＯＡｄ、ＦＯＢｄ及びＦＯＣｄの順番で出力する。また、ＭＪＣ用動き補償部５７ａは、補正フレームＦＯＡｄ、ＦＯＢｄ及びＦＯＣｄに対して動き補償を行う。このとき、差分時間Δｔを０．４、０．８、１．２及び１．６と変化させる。そのため、ＭＪＣ用動き補償部５７ａは、補正フレームＦＯＡｄＡｄＢｄ、ＦＯＡｄＢｄＢｄ、ＦＯＢｄＢｄＣｄ及びＦＯＢｄＣｄＣｄの順番で出力する。そして、再生順序は、フレームＦＯＡｄ、ＦＯＡｄＡｄＢｄ、ＦＯＡｄＢｄＢｄ、ＦＯＢｄＢｄＣｄ、ＦＯＢｄＣｄＣｄ及びＦＯＣｄとなる。このとき、このとき、入力映像信号であるフレームＦＩＢが不正なＩＰ変換をされたものである場合、インタレース検出部５４は、その不正を検出し、ＩＰＣ用動き補償部５５は、フレームＦＩＢを補正して補正フレームＦＯＢｄとして出力する。また、ＭＪＣ用動き補償部５７ａは、不正が補正された補正フレームＦＯＢｄを用いて補正フレームＦＯＡｄＡｄＢｄ、ＦＯＡｄＢｄＢｄ、ＦＯＢｄＢｄＣｄ及びＦＯＢｄＣｄＣｄを合成する。そのため、ＭＪＣシステム３４ａによる出力においては、不正が補正済みとなる。そのため、図１２においては、入力された３フレームに対して、精度を向上させることができる。

＜その他の発明の実施の形態＞
一般に、フレームレート変換処理を行うＦＲＣシステムにおいては、入力信号がプログレッシブ信号である。そのため、インタレース信号を当該ＦＲＣシステムにより処理させるために、予め前処理としてＩＰ変換によりプログレッシブ信号に変換することが多い。

しかし、当該ＩＰ変換は、当該ＦＲＣシステムの範囲外であるため、ＩＰ変換の性能は保障されない。前処理によりＩＰ変換されたプログレッシブ信号は、例えば、Ｆｌｉｃｋｅｒ、Ｃｏｍｂ又は孤立点などの補間エラーを含む場合がある。

特に、前処理に用いられるＩＰ変換がコストのより低いＭＡ型ＩＰ変換である場合、ＩＰ変換による補間エラーがより発生しやすい。逆に、ＩＰ変換の補間エラーは低減させるために、前処理に用いられるＩＰ変換に動き補償型を用いると、コストが高い。

また、ＩＰ変換の補間エラー又は転送経路のノイズが入っている映像に対して、ＦＲＣシステムで動きベクトル検出処理を行うと、検出される動きベクトルが不正確となる。その結果として、ＦＲＣシステムの補間結果は、より不正確となるという問題がある。

そこで、本発明の実施の形態１乃至３では、不正を補正した上で動き補償を行うため、不正な状態を抑制すると共に、精度を向上させることができる。

さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。また、記録媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＢＤ(Blu-ray(登録商標) Disc)、ＲＯＭ（Read Only Memory）カートリッジ、バッテリバックアップ付きＲＡＭ（Random Access Memory）メモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等が含まれる。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等が含まれる。

さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

１ 映像信号処理装置
１１ 検出部
１２ 動き情報生成部
１３ 補正部
１４ 動き補償部
２１ 入力信号
２２ 精度
２３ 動き情報
２４ 補正信号
２５ 出力信号
３ 映像信号処理システム
３１ ＶＤＥＣ
３２ ＩＰ変換部
３３ セレクタ
３４ ＦＲＣシステム
３４ａ ＭＪＣシステム
３５ メモリ
３６ ＤＳＰ
４ 表示装置
４１ 入力映像信号
４２ インタレース信号
４３ プログレッシブ信号
４４ プログレッシブ信号
４５ インタレースフラグ
４６ プログレッシブ信号
４７ 出力映像信号
４７ａ 出力映像信号
４７ｂ 出力映像信号
４８ 出力映像信号
４９ 出力映像信号
５１ フレームバッファ
５２ フレームバッファ
５３ ラインバッファ
５４ インタレース検出部
５５ ＩＰＣ用動き補償部
５６ 動き推定部
５７ ＦＲＣ用動き補償部
５７ａ ＦＲＣ用動き補償部
６１ フレームデータ
６２ ラインデータ
６３ ラインデータ
６４ ラインデータ
６５ 変換強度情報
６６ ラインデータ
６７ 動き情報
６８ 動き情報
６９ 補正信号
９１ ＦＲＣシステム
９２ ＭＪＣシステム
ＦＡ フレーム
ＦＢ フレーム
ＦＡｄ 補正フレーム
ＦＡｄＢｄ 補正フレーム
ＦＢｄ 補正フレーム
ＦＩＡ フレーム
ＦＩＢ フレーム
ＦＩＣ フレーム
ＦＯＡ フレーム
ＦＯＢ フレーム
ＦＯＣ フレーム
ＦＯＡＢ 補正フレーム
ＦＯＢＣ 補正フレーム
ＦＯＡｄ 補正フレーム
ＦＯＢｄ 補正フレーム
ＦＯＣｄ 補正フレーム
ＦＯＡｄＢｄ 補正フレーム
ＦＯＢｄＣｄ 補正フレーム
ＦＯＡＡＢ 補正フレーム
ＦＯＡＢＢ 補正フレーム
ＦＯＢＢＣ 補正フレーム
ＦＯＢＣＣ 補正フレーム
ＦＯＡｄＡｄＢｄ 補正フレーム
ＦＯＡｄＢｄＢｄ 補正フレーム
ＦＯＢｄＢｄＣｄ 補正フレーム
ＦＯＢｄＣｄＣｄ 補正フレーム
ＬＡ１ ラインデータ
ＬＡ２ ラインデータ
ＬＡ３ ラインデータ
ＬＡ４ ラインデータ
ＬＢ１ ラインデータ
ＬＢ２ ラインデータ
ＬＢ３ ラインデータ
ＬＢ４ ラインデータ
ＭＶ 動きベクトル
ＲＡ 画素
ＲＡｄ 画素
ＲＡｄＢｄ 画素
ＲＡ２１ 着目点画素
ＲＢ 画素
ＲＢｄ 画素
ＲＢ２１ 着目点画素
ｔ 時刻
ｔ−１ 時刻
Δｔ 差分時間
α 補正係数

Claims (14)

1. 第１の時刻に表示されるべき第１のフレーム及び前記第１の時刻より前の第２の時刻に表示されるべき第２のフレームのそれぞれにおける入力前の変換の精度を検出する検出部と、
   前記第１のフレームにおける前記入力前の変換の精度が所定値より低い場合、当該第１のフレームに含まれる画素と、前記入力前の変換の精度が所定値以上のフレーム、補正済みのフレーム又は入力前に前記変換がされていないフレームのいずれかであり、かつ、当該第１のフレームとは異なるフレームに含まれる画素であって当該第１のフレームに含まれる画素に対応する画素とを用いて、前記第１のフレームにおける前記入力前の変換の精度に基づく重み付け平均により当該第１のフレームの補正を行うと共に、前記第２のフレームにおける前記入力前の変換の精度が所定値より低い場合、当該第２のフレームに含まれる画素と、前記入力前の変換の精度が所定値以上のフレーム、補正済みのフレーム又は入力前に前記変換がされていないフレームのいずれかであり、かつ、当該第２のフレームとは異なるフレームに含まれる画素であって当該第２のフレームに含まれる画素に対応する画素とを用いて、前記第２のフレームにおける前記入力前の変換の精度に基づく重み付け平均により当該第２のフレームの補正を行う補正部と、
   前記補正後の第１のフレーム及び前記補正後の第２のフレームのそれぞれを参照して、前記第１及び第２の時刻の間の時刻に表示されるべき補間フレームを生成する動き補償部と、
   を有することを特徴とする映像信号処理装置。
2. 前記検出部は、前記第１のフレームを解析して補間エラーの度合いを前記入力前の変換の精度として検出することを特徴とする請求項１に記載の映像信号処理装置。
3. 前記第１のフレームを形成する画素に対応する画素が前記第２のフレームを形成する画素の内のどの画素であるかを特定する動きベクトルと、特定された前記動きベクトルの信頼度を示すベクトル信頼度を算出して前記補正部に出力する動き情報生成部をさらに有し、
   前記補正部は、さらに、前記動きベクトル及び前記ベクトル信頼度に基づいて前記第１のフレームに含まれる画素に対して前記補正を行うことを特徴とする請求項２に記載の映像信号処理装置。
4. 前記補正部は、前記第１のフレームを形成する一の画素を示す信号値と前記動きベクトルによって前記一の画素と対応付けられた前記第２のフレームを形成する一の画素を示す信号値とを、前記入力前の変換の精度及び前記ベクトル信頼度に基づいて重み付け平均することを特徴とする請求項３に記載の映像信号処理装置。
5. 前記動き情報生成部は、さらに、前記補正部によって補正された画素を含んだ前記第１のフレームを形成する画素に対応する画素が前記第２のフレームを形成する画素の内のどの画素であるかを特定する動きベクトルを算出して前記動き補償部に出力することを特徴とする請求項３に記載の映像信号処理装置。
6. 前記補正部は、前記第２のフレームを補正した場合、前記第１のフレームに含まれる画素と、当該補正後の前記第２のフレームに含まれる画素であって当該第１のフレームに含まれる画素に対応する画素とを用いて、前記第１のフレームの補正を行う
   ことを特徴とする請求項１乃至５のいずれか１項に記載の映像信号処理装置。
7. 第１の時刻に表示されるべき第１のフレームにおける入力前の変換の精度を検出する第１の検出ステップと、
   前記第１のフレームにおける前記入力前の変換の精度が所定値より低い場合、当該第１のフレームに含まれる画素と、前記入力前の変換の精度が所定値以上のフレーム、補正済みのフレーム又は入力前に前記変換がされていないフレームのいずれかであり、かつ、当該第１のフレームとは異なるフレームに含まれる画素であって当該第１のフレームに含まれる画素に対応する画素とを用いて、前記第１のフレームにおける前記入力前の変換の精度に基づく重み付け平均により当該第１のフレームの補正を行うステップと、
   前記第１の時刻より後の第２の時刻に表示されるべき第２のフレームにおける前記入力前の変換の精度を検出する第２の検出ステップと、
   前記第２のフレームにおける前記入力前の変換の精度が所定値より低い場合、当該第２のフレームに含まれる画素と、前記入力前の変換の精度が所定値以上のフレーム、補正済みのフレーム又は入力前に前記変換がされていないフレームのいずれかであり、かつ、当該第２のフレームとは異なるフレームに含まれる画素であって当該第２のフレームに含まれる画素に対応する画素とを用いて、前記第２のフレームにおける前記入力前の変換の精度に基づく重み付け平均により当該第２のフレームの補正を行うステップと、
   前記補正後の第１のフレーム及び前記補正後の第２のフレームのそれぞれを参照して、前記第１及び第２の時刻の間の時刻に表示されるべき補間フレームを生成するステップと、
   を有することを特徴とする映像信号処理方法。
8. 前記第２のフレームを形成する画素に対応する画素が前記第１のフレームを形成する画素の内のどの画素であるかを特定する第１の動きベクトルを算出するステップと
   前記第２のフレームが含む画素に対して前記補正が行われた場合に、前記第２のフレームを形成する画素に対応する画素が前記第１のフレームを形成する画素の内のどの画素であるかを特定する第２の動きベクトルを算出するステップと、
   をさらに有することを特徴とする請求項７に記載の映像信号処理方法。
9. 前記補間フレームは、前記第２の動きベクトルを用いて生成されることを特徴とする請求項８に記載の映像信号処理方法。
10. 前記第２の検出ステップは、
    前記第２のフレームを解析して補間エラーの度合いを前記入力前の変換の精度として検出することを特徴とする請求項７に記載の映像信号処理方法。
11. 前記第１の動きベクトルの信頼度を算出するステップをさらに有することを特徴とする請求項８に記載の映像信号処理方法。
12. 前記第２のフレームの補正を行うステップは、
    前記第１のフレームの補正を行うステップにより前記第１のフレームが補正された場合、前記第２のフレームに含まれる画素と、当該補正後の前記第１のフレームに含まれる画素であって当該第２のフレームに含まれる画素に対応する画素とを用いて、前記第２のフレームの補正を行う
    ことを特徴とする請求項７乃至１１のいずれか１項に記載の映像信号処理方法。
13. 第１の時刻に表示されるべき第１のフレームにおける入力前の変換の精度を検出する検出処理と、
    前記第１のフレームにおける前記入力前の変換の精度が所定値より低い場合、当該第１のフレームに含まれる画素と、前記入力前の変換の精度が所定値以上のフレーム、補正済みのフレーム又は入力前に前記変換がされていないフレームのいずれかであり、かつ、当該第１のフレームとは異なるフレームに含まれる画素であって当該第１のフレームに含まれる画素に対応する画素とを用いて、前記第１のフレームにおける前記入力前の変換の精度に基づく重み付け平均により当該第１のフレームの補正を行う処理と、
    前記第１の時刻より後の第２の時刻に表示されるべき第２のフレームにおける前記入力前の変換の精度を検出する検出処理と、
    前記第２のフレームにおける前記入力前の変換の精度が所定値より低い場合、当該第２のフレームに含まれる画素と、前記入力前の変換の精度が所定値以上のフレーム、補正済みのフレーム又は入力前に前記変換がされていないフレームのいずれかであり、かつ、当該第２のフレームとは異なるフレームに含まれる画素であって当該第２のフレームに含まれる画素に対応する画素とを用いて、前記第２のフレームにおける前記入力前の変換の精度に基づく重み付け平均により当該第２のフレームの補正を行う処理と、
    前記補正後の第１のフレーム及び前記補正後の第２のフレームに基づいて、前記第１及び第２の時刻の間の時刻に表示されるべき補間フレームを生成する処理と、をコンピュータに実行させる映像信号処理プログラム。
14. 入力されたフレームにおける入力前の変換の精度を検出する検出部と、
    前記入力されたフレームにおける前記入力前の変換の精度が所定値より低い場合、当該フレームに含まれる画素と、前記入力前の変換の精度が所定値以上のフレーム、補正済みのフレーム又は入力前に前記変換がされていないフレームのいずれかであり、かつ、当該フレームとは異なる他のフレームに含まれる画素であって当該フレームに含まれる画素に対応する画素とを用いて、当該フレームにおける前記入力前の変換の精度に基づく重み付け平均により当該フレームの補正を行う補正部と、
    第１の時刻に表示されるべき第１のフレームに対する前記補正部による補正後のフレームと、当該第１の時刻より前の第２の時刻に表示されるべき第２のフレームに対する前記補正部による補正後のフレームとを参照して、前記第１及び第２の時刻の間の時刻に表示されるべき補間フレームを生成する動き補償部と、
    を有することを特徴とする映像信号処理装置。

Images