JP4031390B2 - 画像変換装置および画像変換方法 - Google Patents
画像変換装置および画像変換方法 Download PDFInfo
- Publication number
- JP4031390B2 JP4031390B2 JP2003107140A JP2003107140A JP4031390B2 JP 4031390 B2 JP4031390 B2 JP 4031390B2 JP 2003107140 A JP2003107140 A JP 2003107140A JP 2003107140 A JP2003107140 A JP 2003107140A JP 4031390 B2 JP4031390 B2 JP 4031390B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- progressive
- circuit
- video signal
- interlaced video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、インタレース映像信号をプログレッシブ映像信号に変換する画像変換装置および画像変換方法に関する。
【0002】
【従来の技術】
従来、インタレース映像信号をプログレッシブ映像信号に変換するために、動き適応型プログレッシブ変換装置が用いられていた(例えば、特許文献1参照)。
【0003】
図14は、インタレース映像信号の一例を示す。1フレームのインタレース映像信号は、2フィールドの画像として伝送される。例えば、Lがある偶数の値の場合において、NフィールドでLライン、L+2ライン、L+4ライン、L+6ライン、L+8ライン等の偶数番目のラインの信号が伝送される。続いて、N+1フィールドでは、L+1ライン、L+3ライン、L+5ライン、L+7ライン等の奇数番目のラインの信号が伝送される。さらに次のN+2フィールドでは、Nフィールドと同じ偶数番目のラインの信号が伝送される。
【0004】
このように、インタレース映像信号は、2フィールドに分けて伝送され、これらの2フィールドの走査線によって1フレームの映像が表示される。
【0005】
各フィールドにおいて伝送されていないラインの信号は、時間的に前後のフィールドまたは現フィールドの信号(例えば上下のラインの信号)から生成される。その信号と伝送される信号とが合成されることにより、プログレッシブ映像信号が形成される。
【0006】
以下、現フィールドで実際に送られているラインを現ラインと呼び、時間的に前後の複数のフィールドから、または、現フィールドの信号から生成されたラインを補間ラインと呼ぶ。
【0007】
図15は、従来の動き適応型プログレッシブ変換装置の一構成例を示す。図15に示すように、動き適応型プログレッシブ変換装置は、1フィールド遅延回路J1,J2、動き検出回路J3、フレーム間補間回路J4、フィールド内補間回路J5、切り換え回路J6を備える。インタレース映像信号J0は、1フィールド遅延回路J1および1フィールド遅延回路J2でそれぞれ1フィールドずつ遅延される。
【0008】
動き検出回路J3は、時間的に2フィールド前または後のフィールド同士の間(以下、これをフレーム間と呼ぶ)の同一ライン上の対応する画素の比較を行う。動き検出回路J3は、比較した画素の値の差が小さい場合はそれらの画素を「静止画」と判定し、比較した画素の値の差が大きい場合はそれらの画素を「動画」と判定する。
【0009】
フレーム間補間回路J4は、フレーム間の同一ライン上の画素から対応する画素を生成する。例えば、図14において、N+1フィールドのL+4ラインの画素Xを補間する場合は、フレーム間補間回路J4は、NフィールドのL+4ラインの画素AとN+2フィールドのL+4ラインの画素Bとから、例えば「X=(A+B)/2」(A,Bは画素の信号の明るさのレベルを示す)という演算によって画素Xを生成する。
【0010】
フィールド内補間回路J5は、同一フィールド内の隣接するラインの画素から対応する画素を生成する。例えば、図14において、N+1フィールドのL+4ラインの画素Xを補間する場合は、フィールド内補間回路J5は、N+1フィールドのL+3ラインの画素CとN+1フィールドのL+5ラインの画素Dとから、例えば「X=(C+D)/2」(C,Dは画素の信号の明るさのレベルを示す)という演算によって画素Xを生成する。
【0011】
切り換え回路J6は、1フィールド遅延回路J1の出力が現ラインである場合には、この現ライン信号を選択してプログレッシブ映像信号J7として出力する。切り換え回路J6は、動き検出回路J3が注目画素を「静止画」と判定すればフレーム間補間回路J4から与えられる信号をプログレッシブ映像信号J7として出力し、動き検出回路J3が注目画素を「動画」と判定すればフィールド内補間回路J5から与えられる生成信号をプログレッシブ映像信号J7として出力する。
【0012】
このような構成の装置であれば、フレーム間で相関の大きい静止画については、フレーム間補間(時間的に2つ前または後のフィールドからなされる補間)によって生成されたプログレッシブ映像信号が出力される。一方、フレーム間で相関性の小さい動画については、フィールド内補間によって生成されたプログレッシブ映像信号が出力される。したがって、この方法によれば、理論上は、画像の動きにほぼ合致した補間処理が可能となるはずである。
【0013】
【特許文献1】
特開平10−112845号公報
【0014】
【発明が解決しようとする課題】
しかしながら、従来例のような方法では垂直方向に大きな輝度差を持つ画像がゆっくり動いたときに正確な判定ができないことから、静止画に適したフレーム間補間処理と動画に適したフィールド内補間処理がうまく行われずに画像が劣化する場合がある。
【0015】
このような場合の例を以下に示す。図16は、インタレース映像信号に変換される前の元となる映像信号を示す。この映像信号は、正弦波的に明るさの度合い(輝度)が変化する。縦軸は輝度を表し、横軸はラインの番号を表している。黒の輝度は最低の値「0」とし、白の輝度は最大の値「255」として表示されている。図中の数値はサンプリング後のサンプル値を示す。
【0016】
元となる映像信号の輝度は、Lラインで値「218」となり、LラインとL+1ラインとの間で値「255」の最大輝度となり、L+1ラインで値「218」となり、L+1ラインとL+2ラインの間で値「128」となり、L+2ラインで値「37」となり、L+2ラインとL+3との間で値「0」の最小輝度となり、L+3ラインで値「37」となり、L+3ラインとL+4ラインの間で値「128」となり、L+4ラインで値「218」となる。以下、同様にL+5ライン以降も変化している。この画像がインタレース映像信号として伝送された場合は、図17のようになる。つまり、あるフィールドでは黒丸の値が伝送され、次のフィールドでは白丸の値が伝送される。
【0017】
図18は、このようなインタレース映像信号が1フィールドごとに1/2ラインずつ動いたときの映像信号を重ねたものである。すなわち、f1フィールドでは、Lラインとして値「218」、L+2ラインとして値「37」、L+4ラインとして値「218」、L+6ラインとして値「37」のそれぞれの輝度が伝送される。
【0018】
続いて、f2フィールドでは元の映像信号の波形が1/2ラインずつ動いているため、L+1ラインとして値「255」、L+3ラインとして値「0」、L+5ラインとして値「255」、L+7ラインとして値「0」が伝送される。以下、f3フィールド、f4フィールド、f5フィールドおよびf6フィールドではそれぞれ図のように映像信号の輝度値が伝送される。このような各フィールドでのラインとサンプル値の関係を表1に示す。
【0019】
【表1】
【0020】
表1(a)は、各フィールドにおいてインタレース映像信号としてサンプリングされる前の元となる映像信号の輝度値を示し、表1(b)はインタレース映像信号としてサンプリングされた後の映像信号の輝度値を示している。このインタレース映像信号をうけた受信機側で補間信号処理されて伝送されないライン、すなわち表1(b)の「−」欄の輝度値が求められ、プログレッシブ映像信号に変換される。
【0021】
このようなインタレース映像信号が図15に示す従来の動き適応型プログレッシブ変換装置で処理される場合の動作について説明する。従来の動き適応型プログレッシブ変換装置では、動き検出回路J3は、あるフィールドのインタレース映像信号の輝度値と時間的に2フィールド後または前のフィールドのインタレース映像信号との輝度値の差により、注目画素が「静止画」であるか「動画」であるかを判定する。その判定結果は切り換え回路J6へ送られる。
【0022】
切り換え回路J6は、動き検出回路J3による判定結果が「静止画」であればフレーム間補間回路J4から与えられる信号をプログレッシブ映像信号J7として出力する。また、動き検出回路J3による判定結果が「動画」であればフィールド内補間回路J5から与えられる信号をプログレッシブ映像信号J7として出力する。
【0023】
まず、動き検出回路J3の動作を表2(a)、表2(b)を用いて説明する。
【0024】
【表2】
【0025】
表2(a)は、あるフィールドのインタレース映像信号の輝度値と2フィールド後または前のフィールドのインタレース映像信号の輝度値との差を示している。表2(a)の値は動き検出回路J3によって演算されたものである。例えば、f2フィールドのLラインの輝度値は、f1フィールドのLラインの値「218」とf3フィールドのLラインの値「37」との差をとって値「181」となっている。同様に各フィールドの各ラインの輝度値が演算されている。
【0026】
表2(b)は、表2(a)の輝度値をもとにして動き検出回路J3が注目画素が「動画」であるかまたは「静止画」であるかを判定した結果である。ここでは、動画と静止画の明るさの閾値を値「20」とする。閾値「20」以上の場合は動き検出回路J3は注目画素を「動画」と判定し、「19」以下の場合は動き検出回路J3は注目画素を「静止画」と判定する。
【0027】
次に、フレーム間補間回路J4およびフィールド内補間回路J5の動作を説明する。
【0028】
【表3】
【0029】
表3(a)はフレーム間補間回路J4の出力値を示したものである。例えば、映像入力がf2フィールドのLラインにおいては、インタレース映像信号では実際には伝送されず、フレーム間での補間信号処理により求められる。そこでフレーム間補間回路J4でのf2フィールドのLラインの輝度値は、表1(b)のf1フィールドのLラインの値「218」とf3フィールドのLラインの値「37」とで平均をとり、つまり「(218+37)/2=128」として計算されている。表3(a)のその他の輝度値も同様にしてフレーム間の輝度値の平均として算出されている。
【0030】
一方、表3(b)はフィールド内補間回路J5の出力値を示したものである。例えばf1フィールドのL+1ラインの輝度値をフィールド間での補間処理を行う場合、表1(b)のf1フィールドのLラインの値「218」と同じf1フィールドのL+2ラインの値「37」から平均が求められ、「(218+37)/2=128」と計算されている。表3(b)のその他の輝度値も同様にして、フィールド内の上下ラインの値の平均として算出されている。
【0031】
次に、切り換え回路J6の動作を説明する。切り換え回路J6には、フレーム間補間回路J4から与えられる信号と、フィールド内補間回路J5から与えられる信号と、現ライン信号と、さらに動き検出回路J3から与えられる信号とが与えられる。
【0032】
次の表4は、切り換え回路J6から出力されるプログレッシブ映像信号J7の信号の輝度値を示すものである。
【0033】
【表4】
【0034】
表4(a)は、表2(b)の動き検出回路J3の判定結果によって、フレーム間補間信号とフィールド内補間信号を切り換えて出力した結果を示している。動き検出回路J3が注目画素を「静止画」と判定すればフレーム間補間回路J4が生成した信号を出力し、動き検出回路J3が注目画素を「動画」と判定すればフィールド内補間回路J5が生成した信号を出力する。
【0035】
表4(a)においてハッチングがなされている部分が「動画」と判定された部分である。なお、表4(a)の「−」の箇所は、現ラインのインタレース映像信号が出力されていることを示す。
【0036】
表4(b)は、補間ラインで出力された信号の輝度値と、表1(a)のインタレースされる前の元となる映像信号の輝度値との差を示したものである。この表4(b)からわかるようにf3フィールドおよびf5フィールドにおいて、その輝度の差が値「90」であり、非常に大きくなっていることが判る。これらの信号の最大値が値「255」であるのに対して、値「90」という値は非常に大きく、プログレッシブ変換されたプログレッシブ映像信号を見ても大きなノイズとなってしまい、顕著な画質劣化として認識される。
【0037】
このように、従来の動き適応型プログレッシブ変換装置では、画像がゆっくりとライン方向に対して垂直に動いたときには動き検出回路J3が注目画素を「動画」と判定しやすく、画質が劣化しやすいという課題があった。
【0038】
本発明の目的は、垂直方向に大きな輝度差を持つ画像がゆっくり動いたときにおいても、正確な動き判定を行い、インタレース映像信号を安定で解像度の高いプログレッシブ映像信号に変換する画像変換装置を提供することである。
【0039】
【課題を解決するための手段】
第1の発明に係る画像変換装置は、入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換装置であって、入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、入力されたインタレース映像信号における画素および補間画素を含む補間信号を出力する補間回路と、補間回路から出力される補間信号に基づいて画像の垂直方向の動き量を算出する動き算出回路と、入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成する静止画処理回路と、入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成する動画処理回路と、動き算出回路により算出された垂直方向の動き量が第1の値より小さい場合に静止画処理回路により出力される静止画プログレッシブ信号をプログレッシブ映像信号として出力する出力回路とを備え、補間回路は、入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するインタレース生成回路と、インタレース生成回路により生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するプログレッシブ生成回路と、プログレッシブ生成回路により生成されたプログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、プログレッシブ信号における画素および補間画素を含む補間信号を出力する画素形成回路とを含み、動き算出回路は、画素形成回路から出力される補間信号に基づいて画像の垂直方向の動き量を算出し、出力回路は、動き量がライン間の間隔以下である場合に静止画プログレッシブ信号の割合を0.5以上にするものである。
第2の発明に係る画像変換装置は、入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換装置であって、入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、入力されたインタレース映像信号における画素および補間画素を含む補間信号を出力する補間回路と、補間回路から出力される補間信号に基づいて画像の垂直方向の動き量を算出する動き算出回路と、入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成する静止画処理回路と、入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成する動画処理回路と、動き算出回路により算出された動き量が第1の値より小さい場合に静止画処理回路により出力される静止画プログレッシブ信号をプログレッシブ映像信号として出力する出力回路とを備え、補間回路は、入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するインタレース生成回路と、インタレース生成回路により生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するプログレッシブ生成回路と、プログレッシブ生成回路により生成されたプログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、プログレッシブ信号における画素および補間画素を含む補間信号を出力する画素形成回路とを含み、動き算出回路は、画素形成回路から出力される補間信号に基づいて動き量を算出し、出力回路は、動き量がライン間の間隔の0.75倍以下である場合に静止画プログレッシブ信号の割合を0.5以上にするものである。
第3の発明に係る画像変換装置は、入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換装置であって、入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、入力されたインタレース映像信号における画素および補間画素を含む補間信号を出力する補間回路と、補間回路から出力される補間信号に基づいて画像の垂直方向の動き量を算出する動き算出回路と、入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成する静止画処理回路と、入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成する動画処理回路と、動き算出回路により算出された動き量が第1の値より小さい場合に静止画処理回路により出力される静止画プログレッシブ信号をプログレッシブ映像信号として出力する出力回路とを備え、補間回路は、入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するインタレース生成回路と、インタレース生成回路により生成された複数のインタレース映像信号 に基づいてプログレッシブ信号を生成するプログレッシブ生成回路と、プログレッシブ生成回路により生成されたプログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、プログレッシブ信号における画素および補間画素を含む補間信号を出力する画素形成回路とを含み、動き算出回路は、画素形成回路から出力される補間信号に基づいて動き量を算出し、出力回路は、動き量がライン間の間隔の0.5倍以下である場合に静止画プログレッシブ信号の割合を0.5以上にするものである。
第4の発明に係る画像変換装置は、入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換装置であって、入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、入力されたインタレース映像信号における画素および補間画素を含む補間信号を出力する補間回路と、補間回路から出力される補間信号に基づいて画像の垂直方向の動き量を算出する動き算出回路と、入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成する静止画処理回路と、入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成する動画処理回路と、動き算出回路により算出された動き量が第1の値より小さい場合に静止画処理回路により出力される静止画プログレッシブ信号をプログレッシブ映像信号として出力する出力回路と、複数のフィールドに対応する複数のインタレース映像信号における注目画素およびその周辺の画素の値の平均値をそれぞれ算出し、算出された平均値に基づいて静止画プログレッシブ信号の適用または非適用を判定する判定回路とを備え、補間回路は、入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するインタレース生成回路と、インタレース生成回路により生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するプログレッシブ生成回路と、プログレッシブ生成回路により生成されたプログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、プログレッシブ信号における画素および補間画素を含む補間信号を出力する画素形成回路とを含み、動き算出回路は、画素形成回路から出力される補間信号に基づいて動き量を算出し、出力回路は、判定回路の判定結果が非適用の場合に動画プログレッシブ信号をプログレッシブ映像信号として出力し、判定回路は、複数のフィールドに対応する複数のインタレース映像信号の注目画素およびその周辺の画素の値の最大値および最小値をそれぞれ算出し、算出された平均値、最大値および最小値に基づいて静止画プログレッシブ信号の適用または非適用を判定するものである。
第5の発明に係る画像変換装置は、入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換装置であって、入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、入力されたインタレース映像信号における画素および補間画素を含む補間信号を出力する補間回路と、補間回路から出力される補間信号に基づいて画像の垂直方向の動き量を算出する動き算出回路と、入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成する静止画処理回路と、入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成する動画処理回路と、動き算出回路により算出された動き量が第1の値より小さい場合に静止画処理回路により出力される静止画プログレッシブ信号をプログレッシブ映像信号として出力する出力回路と、複数のフィールドに対応する複数のインタレース映像信号における注目画素およびその周辺の画素の値の平均値をそれぞれ算出し、算出された平均値に基づいて静止画プログレッシブ信号の適用または非適用を判定する判定回路とを備え、補間回路は、入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するインタレース生成回路と、インタレース生成回路により生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するプログレッシブ生成回路と、プログレッシブ生成回路により生成されたプログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、プログレッシブ信号における画素および補間画素を含む補間信号を出力する画素形成回路とを含み、動き算出回路は、画素形成回路から出力される補間信号に基づいて動き量を算出し、出力回路は、判定回路の判定結果が非適用の場合に動画プログレッシブ信号をプログレッシブ映像信号とし て出力し、判定回路は、算出された平均値のそれぞれの差が所定値より大きく、算出された同一フィールドの最大値と最小値との差のそれぞれの値が所定値より小さい場合に静止画プログレッシブ信号を非適用と判定するものである。
【0040】
本発明に係る画像変換装置においては、入力されたインタレース映像信号に基づいて、補間回路によりライン間の補間画素が生成され、インタレース映像信号における画素および補間画素を含む補間信号が出力され、出力された補間信号に基づいて動き算出回路により画像の垂直方向の動き量が算出される。また、入力されたインタレース映像信号から静止画処理回路の静止画処理により静止画プログレッシブ信号が生成され、入力されたインタレース映像信号から動画処理回路の動画処理によって動画プログレッシブ信号が生成される。動き算出回路により算出された垂直方向の動き量が第1の値より小さい場合に静止画処理回路により出力される静止画プログレッシブ信号がプログレッシブ映像信号として出力回路から出力される。
【0041】
したがって、精度の高い動き検出が可能になり、画質劣化の少ない、解像度の高いプログレッシブ映像信号を生成することが可能となる。その結果、正確な動き検出を行うことができ、垂直方向に輝度差を持つ画像がゆっくり動いたときにおいても、正確な動き判定を行い、インタレース映像信号を安定で解像度の高いプログレッシブ映像に変換することができる。
【0043】
また、入力されたインタレース映像信号に基づいて、インタレース生成回路により連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号が生成され、生成された複数のインタレース映像信号に基づいてプログレッシブ生成回路によりプログレッシブ信号が生成される。画素形成回路により生成されたプログレッシブ信号を用いた補間処理によりライン間の補間画素が生成されるとともにプログレッシブ信号における画素および補間画素を含む補間信号が出力され、出力された補間信号に基づいて動き算出回路により画像の垂直方向の動き量が算出される。
【0044】
したがって、より精度の高い動き検出が可能になり、画質劣化の少ない、解像度の高いプログレッシブ映像信号を生成することが可能となる。その結果、正確な動き検出を行うことができ、垂直方向に大きな輝度差を持つ画像がゆっくり動いたときにおいても、正確な動き判定を行い、インタレース映像信号を安定で解像度の高いプログレッシブ映像に変換することができる。
第1の発明に係る画像変換装置では、動きの大きい画像に対しての誤動作を防止することができ、画質劣化の少ないプログレッシブ映像信号を生成することができる。第2の発明に係る画像変換装置では、動きの少し大きい画像に対しての誤動作を防止することができ、より画質劣化の少ないプログレッシブ映像信号を生成することができる。第3の発明に係る画像変換装置では、動きの小さい画像に対しても誤動作を防止することができ、より画質劣化の少ないプログレッシブ映像信号を生成することができる。
第4および第5の発明に係る画像変換装置では、複数のフィールドに対応する複数のインタレース映像信号における注目画素およびその周辺の画素の値の平均値に基づいて判定回路により静止画プログレッシブ信号の適用または非適用が判定され、判定回路の判定結果が非適用の場合に動画プログレッシブ信号がプログレッシブ映像信号として出力される。
したがって、フリッカ性の画像、例えば連続したカメラのフラッシュ等が含まれる画像に対しても、誤って静止画処理をしないようにすることができ、より精度の高いプログレッシブ映像信号を生成することができる。
また、判定回路は、複数のフィールドに対応する複数のインタレース映像信号における注目画素およびその周辺の画素の信号の値の平均値を検出している。その結果、回路規模を比較的小さくすることができる。
第4の発明に係る画像変換装置では、複数のフィールドに対応する複数のインタレース映像信号の注目画素およびその周辺の画素の値の平均値、最大値および最小値に基づいて静止画プログレッシブ信号の適用または非適用が判定される。したがって、より正確に静止画プログレッシブ信号の適用または非適用が判定される。
第5の発明に係る画像変換装置では、算出された平均値のそれぞれの差が所定値より大きく、算出された同一フィールドの最大値と最小値との差のそれぞれの値が所定値より小さい場合に静止画プログレッシブ信号が非適用と判定される。したがって、より正確に静止画プログレッシブ信号の適用または非適用が判定される。
【0045】
第1の値はライン間の間隔以下の値であってもよい。この場合、動き算出回路により算出された垂直方向の動き量がライン間の間隔以下の場合に静止画プログレッシブ信号がプログレッシブ映像信号として出力される。したがって、垂直方向に大きな輝度差を持つ画像がゆっくり動いたときにおいても、正確な動き判定を行い、インタレース映像信号を安定で解像度の高いプログレッシブ映像に変換することができる。
【0046】
動き算出回路は、ライン間の間隔よりも小さい単位で垂直方向の動き量を算出してもよい。この場合、正確な動き検出を行うことができ、垂直方向の大きな輝度差を持つ画像がゆっくり動いたときにおいても、正確な動き判定を行い、インタレース映像信号を安定で解像度の高いプログレッシブ映像信号に変換することができる。
【0047】
プログレッシブ生成回路は、インタレース生成回路により生成された複数のインタレース映像信号のうち第1の組み合わせの複数のインタレース映像信号に基づいて第1のプログレッシブ信号を生成する第1のプログレッシブ生成回路と、インタレース生成回路により生成された複数のインタレース映像信号のうち第1の組み合わせと異なる第2の組み合わせの複数のインタレース映像信号に基づいて第2のプログレッシブ信号を生成する第2のプログレッシブ生成回路とを含み、画素形成回路は、第1のプログレッシブ生成回路により生成された第1のプログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、第1のプログレッシブ信号における画素および補間画素を含む第1の補間信号を出力する第1の画素形成回路と、第2のプログレッシブ生成回路により生成された第2のプログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、第2のプログレッシブ信号における画素および補間画素を含む第2の補間信号を出力する第2の画素形成回路とを含み、動き算出回路は、第1の画素形成回路から出力される第1の補間信号および第2の画素形成回路から出力される第2の補間信号に基づいて前記動き量を算出してもよい。
【0048】
この場合、第1のプログレッシブ生成回路により第1の組み合わせの複数のインタレース映像信号に基づいて第1のプログレッシブ信号が生成され、第2のプログレッシブ生成回路により第2の組み合わせの複数のインタレース映像信号に基づいて第2のプログレッシブ信号が生成される。
【0049】
また、第1の画素形成回路により第1のプログレッシブ信号における画素および補間画素を含む第1の補間信号が出力され、第2の画素形成回路により第2のプログレッシブ信号における画素および補間画素を含む第2の補間信号が出力され、動き算出回路により第1の補間信号および第2の補間信号から動き量が算出される。
【0050】
したがって、インタレース信号をプログレッシブ映像信号に変換する際に、より厳しい変換精度を要求される垂直方向における精度を上げることができ、水平方向において新たに画素を生成する回路を省略できるので、回路規模の増大を低く抑えることができ、低コストに高精度のプログレッシブ映像に変換することができる。
【0051】
出力回路は、動き量が第2の値より大きい場合に動画プログレッシブ信号をプログレッシブ映像信号として出力してもよい。この場合、動き算出回路により算出された垂直方向の動き量が第2の値より大きい場合に動画処理回路により出力される動画プログレッシブ信号がプログレッシブ映像信号として出力回路から出力される。
【0052】
したがって、垂直方向に大きな輝度差を持つ画像がゆっくり動いたときにおいても、正確な動き判定を行い、インタレース映像信号を安定で解像度の高いプログレッシブ映像に変換することができる。
【0053】
出力回路は、動き量が第1の値と第2の値との間にある場合、動き量に基づく割合で動画プログレッシブ信号と静止画プログレッシブ信号とを合成し、合成された信号をプログレッシブ映像信号として出力してもよい。
【0054】
この場合、動き量に応じて動画プログレッシブ信号と静止画プログレッシブ信号とからプログレッシブ映像信号が生成されるので、画質劣化の少ない、解像度の高いプログレッシブ映像信号を生成することが可能である。
【0058】
複数のインタレース映像信号は、連続する第1〜第4のフィールドに対応する第1〜第4のインタレース映像信号を含み、第1の組み合わせの複数のインタレース映像信号は、第1〜第3のインタレース映像信号を含み、第2の組み合わせの複数のインタレース映像信号は、第2〜第4のインタレース映像信号を含んでもよい。
【0059】
この場合、より正確な動き検出をすることができ、垂直方向に大きな輝度差を持つ画像がゆっくり動いたときにおいても、正確な動き判定をすることができ、安定で解像度の高い映像を提供することができる。
【0068】
第6の発明に係る画像変換方法は、入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換方法であって、入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、補間画素を含む補間信号を出力するステップと、出力される補間信号に基づいて画像の垂直方向の動き量を算出するステップと、入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成するステップと、入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成するステップと、算出された動き量が第1の値より小さい場合に出力される静止画プログレッシブ信号をプログレッシブ映像信号として出力するステップとを備え、補間画素を形成するステップは、入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するステップと、生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するステップと、生成されたプログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、プログレッシブ信号における画素および補間画素を含む補間信号を出力するステップとを含み、動き量を算出するステップは、出力される補間信号に基づいて動き量を算出するステップを含み、出力するステップは、動き量がライン間の間隔以下である場合に静止画プログレッシブ信号の割合を0.5以上にするものである。
第7の発明に係る画像変換方法は、入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換方法であって、入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、補間画素を含む補間信号を出力するステップと、出力される補間信号に基づいて画像の垂直方向の動き量を算出するステップと、入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成するステップと、入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成するステップと、算出された動き量が第1の値より小さい場合に出力される静止画プログレッシブ信号をプログレッシブ映像信号として出力するステップとを備え、補間画素を形成するステップは、入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するステップと、生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するステップと、生成されたプログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、プログレッシブ信号における画素および補間画素を含む補間信号を出力するステップとを含み、動き量を算出するステップは、出力される補間信号に基づいて動き量を算出するステップを含み、出力するステップは、動き量がライン間の間隔の0.75倍以下である場合に静止画プログレッシブ信号の割合を0.5以上にするものである。
第8の発明に係る画像変換方法は、入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換方法であって、入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、補間画素を含む補間信号を出力するステップと、出力される補間信号に基づいて画像の垂直方向の動き量を算出するステップと、入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成するステップと、入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成するステップと、算出された動き量が第1の値より小さい場合に出力される静止画プログレッシブ信号をプログレッシブ映像信号として出力するステップとを備え、補間画素を形成するステップは、入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するステップと、生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するステップと、生成されたプログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、プログレッシブ信号における画素および補間画素を含む補間信号を出力するステップとを含み、動き量を算出するステップは、出力される補間信号に基づいて動き量を算出するステップを含み、出力するステップは、動き量がライン間の間隔の0.5倍以下である場合に静止画プログレッシブ信号の割合を0.5以上にするものである。
第9の発明に係る画像変換方法は、入力されたインタレース映像信号をプログレッシブ 映像信号に変換する画像変換方法であって、入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、補間画素を含む補間信号を出力するステップと、出力される補間信号に基づいて画像の垂直方向の動き量を算出するステップと、入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成するステップと、入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成するステップと、算出された動き量が第1の値より小さい場合に出力される静止画プログレッシブ信号をプログレッシブ映像信号として出力するステップと、複数のフィールドに対応する複数のインタレース映像信号における注目画素およびその周辺の画素の値の平均値をそれぞれ算出し、算出された平均値に基づいて静止画プログレッシブ信号の適用または非適用を判定するステップとを備え、補間画素を形成するステップは、入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するステップと、生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するステップと、生成されたプログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、プログレッシブ信号における画素および補間画素を含む補間信号を出力するステップとを含み、動き量を算出するステップは、出力される補間信号に基づいて動き量を算出するステップを含み、出力するステップは、判定結果が非適用の場合に動画プログレッシブ信号をプログレッシブ映像信号として出力し、判定するステップは、複数のフィールドに対応する複数のインタレース映像信号の注目画素およびその周辺の画素の値の最大値および最小値をそれぞれ算出し、算出された平均値、最大値および最小値に基づいて静止画プログレッシブ信号の適用または非適用を判定するものである。
第10の発明に係る画像変換方法は、入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換方法であって、入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、補間画素を含む補間信号を出力するステップと、出力される補間信号に基づいて画像の垂直方向の動き量を算出するステップと、入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成するステップと、入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成するステップと、算出された動き量が第1の値より小さい場合に出力される静止画プログレッシブ信号をプログレッシブ映像信号として出力するステップと、複数のフィールドに対応する複数のインタレース映像信号における注目画素およびその周辺の画素の値の平均値をそれぞれ算出し、算出された平均値に基づいて静止画プログレッシブ信号の適用または非適用を判定するステップとを備え、補間画素を形成するステップは、入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するステップと、生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するステップと、生成されたプログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、プログレッシブ信号における画素および補間画素を含む補間信号を出力するステップとを含み、動き量を算出するステップは、出力される補間信号に基づいて動き量を算出するステップを含み、出力するステップは、判定結果が非適用の場合に動画プログレッシブ信号をプログレッシブ映像信号として出力し、判定するステップは、算出された平均値のそれぞれの差が所定値より大きく、算出された同一フィールドの最大値と最小値との差のそれぞれの値が所定値より小さい場合に静止画プログレッシブ信号を非適用と判定するものである。
【0069】
第6〜第10の発明に係る画像変換方法においては、入力されたインタレース映像信号に基づいて、ライン間の補間画素が形成され、補間画素を含む補間信号が出力され、出力された補間信号に基づいて画像の垂直方向の動き量が算出される。また、入力されたインタレース映像信号から静止画処理により静止画プログレッシブ信号が生成され、入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号が生成される。算出された垂直方向の動き量が第1の値より小さい場合に静止画プログレッシブ信号がプログレッシブ映像信号として出力回路から出力される。
【0070】
したがって、精度の高い動き検出が可能になり、画質劣化の少ない、解像度の高いプログレッシブ映像信号を生成することが可能となる。その結果、正確な動き検出を行うことができ、垂直方向に輝度差を持つ画像がゆっくり動いたときにおいても、正確な動き判定を行い、インタレース映像信号を安定で解像度の高いプログレッシブ映像信号に変換することができる。
【0072】
また、入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号が生成され、生成された複数のインタレース映像信号に基づいてプログレッシブ信号が生成される。生成されたプログレッシブ信号を用いた補間処理によりライン間の補間画素が生成されるとともにプログレッシブ信号における画素および補間画素を含む補間信号が出力され、出力された補間信号に基づいて画像の垂直方向の動き量が算出される。
【0073】
したがって、より精度の高い動き検出が可能になり、画質劣化の少ない、解像度の高いプログレッシブ映像信号を生成することが可能となる。その結果、正確な動き検出を行うことができ、垂直方向に大きな輝度差を持つ画像がゆっくり動いたときにおいても、正確な動き判定を行い、インタレース映像信号を安定で解像度の高いプログレッシブ映像信号に変換することができる。
【0074】
【発明の実施の形態】
以下、本発明に係る画像変換装置について説明する。なお、以下の説明では、映像信号を輝度信号に対応させて説明するが、色信号に対しても同様の処理を行うこともできる。また、この例に限らず、カラー表示を行う場合にも各色ごとに以下と同様に処理することにより、RGB信号に対しても同様の効果を得ることができる。
【0075】
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係る画像変換装置100を示すブロック図である。図1に示す画像変換装置100は、第1の1フィールド遅延回路1、第2の1フィールド遅延回路2、第3の1フィールド遅延回路3、第1のプログレッシブ映像生成回路4、第2のプログレッシブ映像生成回路5、比較回路6、フレーム間補間回路7、フィールド内補間回路8および出力回路9を備える。また、図示していないが、画像変換装置100は、インタレース映像信号V1の同期信号、またはそれに対応する信号を受けてこれらの各ブロックに必要なタイミング信号を発生するタイミング発生回路を備えている。
【0076】
画像変換装置100の動作について以下に説明する。まず、インタレース映像信号V1は、連続して接続された第1の1フィールド遅延回路1、第2の1フィールド遅延回路2および第3の1フィールド遅延回路3により順々に遅延される。それにより、1フィールド遅れのインタレース映像信号a、2フィールド遅れのインタレース映像信号bおよび3フィールド遅れのインタレース映像信号cがそれぞれ生成される。したがって、1フィールドずつ連続して遅延した4つのインタレース映像信号が生成されることになる。
【0077】
これらの4つのインタレース映像信号のそれぞれは、第1のオッドフィールド信号、第1のイーブンフィールド信号、第2のオッドフィールド信号および第2のイーブンフィールド信号によって構成されるか、または、第1のイーブンフィールド信号、第1のオッドフィールド信号、第2のイーブンフィールド信号および第2のオッドフィールド信号によって構成されることになる。なお、インタレース映像信号は2フィールドで画面の全走査線を構成するので、ここではその一方のフィールドをオッドフィールドと呼び、他方をイーブンフィールドと呼んでいる。
【0078】
第1のプログレッシブ映像生成回路4にはインタレース映像信号a,b,cが与えられる。第1のプログレッシブ映像生成回路4はそれらの信号からプログレッシブ映像フィールド信号P1を生成し、比較回路6に与える。また、第2のプログレッシブ映像生成回路5にはインタレース映像信号V1,a,bが与えられる。第2のプログレッシブ映像生成回路5はそれらの信号からプログレッシブ映像フィールド信号P2を生成し、比較回路6に与える。
【0079】
比較回路6は、プログレッシブ映像フィールド信号P1とプログレッシブ映像フィールド信号P2とを比較して動き量情報Mを演算し、出力回路9に与える。
【0080】
また、インタレース映像信号V1およびインタレース映像信号bはフレーム間補間回路7に与えられる。フレーム間補間回路7は、時間的に2フィールド前後のフィールド間で補間処理するフレーム間補間によってフレーム間補間信号F1を生成し、出力回路9に与える。
【0081】
また、インタレース映像信号aはフィールド内補間回路8に与えられる。フィールド内補間回路8は、インタレース映像信号aからフィールド内補間によってフィールド内補間信号F2を生成し、出力回路9に与える。
【0082】
出力回路9は、動き量情報Mに応じてフレーム間補間信号F1およびフィールド内補間信号F2を画素ごとに割合を変えて生成したプログレッシブ映像信号V2を出力する。動き量情報Mが小さい場合には静止画の確率が高くなるので、出力回路9は、フレーム間補間信号F1の割合が多くなるようにプログレッシブ映像信号V2を生成する。
【0083】
本実施の形態に係る画像変換装置100は、1フィールドずつ連続して遅延した4つのインタレース映像信号のうち1〜3番目のインタレース映像信号からプログレッシブ映像フィールド信号P2を生成し、2〜4番目のインタレース映像信号からプログレッシブ映像フィールド信号P1を生成する。
【0084】
次に、画像変換装置100は、このプログレッシブ映像フィールド信号P1とプログレッシブ映像フィールド信号P2とを比較し、その比較結果を動き量情報Mとして出力することができる。それにより、画像変換装置100は、正確な動き判定を行うことができる。したがって、垂直方向の大きな輝度差を持つ画像がゆっくり動いたときなどにおいても、正確な動き判定をすることができ、安定で解像度の高いプログレッシブ映像信号を提供することができる。
【0085】
以下、本発明の効果を、従来例で画質劣化が生じた図16に示す垂直方向に正弦波的に輝度が変化する画像が図18に示すように垂直方向にゆっくり動いたときの動作の例を用いて説明する。
【0086】
元となる映像信号の値とインタレース映像信号としてサンプリングされた後の映像信号の値とは表5(a)および表5(b)に従来例の表1(a)および表1(b)と同様に示される。表5(a)および表5(b)は、f1フィールドからf9フィールドまでの9フィールド分を示している。
【0087】
【表5】
【0088】
表5(a)には元となる映像信号の各フィールドの各ラインの値が示され、表5(b)にはインタレース映像信号としてサンプリングされた後の信号の各フィールドの各ラインの値が示されている。一般的に表5(b)に示すインタレース映像信号がフィールドごとに順番に伝送されている。図1においても表5(b)に示されるインタレース映像信号が、フィールド毎に順番に画像変換装置100にインタレース映像信号V1として与えられる。
【0089】
インタレース映像信号V1は、第1の1フィールド遅延回路1、第2の1フィールド遅延回路2および第3の1フィールド遅延回路3に与えられる。第1のプログレッシブ映像生成回路4および第2のプログレッシブ映像生成回路5はそれぞれが補間処理によりプログレッシブ映像フィールド信号P1およびプログレッシブ映像フィールド信号P2を生成する。その動作を以下に詳しく説明する。
【0090】
図2(a)は、第2のプログレッシブ映像生成回路5の内部の構成例を示し、図2(b)は、第1のプログレッシブ映像生成回路4の内部の構成例を示す。
【0091】
図2(a)の入力端子501には図1のインタレース映像入力V1が与えられ、入力端子502にはインタレース映像信号aが与えられ、入力端子503にはインタレース映像信号bが与えられる。
【0092】
図2(b)の入力端子401には図1のインタレース映像信号aが与えられ、入力端子402にはインタレース映像信号bが与えられ、入力端子403にはインタレース映像信号cが与えられる。
【0093】
図2(a)の第2のプログレッシブ映像生成回路5は、1クロックの遅延回路504〜508、乗算回路509〜514、加算回路515および切り換え回路516を備える。
【0094】
図2(b)の第1のプログレッシブ映像生成回路4は、1クロックの遅延回路404〜408、乗算回路409〜414、加算回路415および切り換え回路416を備える。
【0095】
乗算回路409、411、412、414、509、511、512、514ではそれぞれ1/8の乗算が行われ、乗算回路410、413、510、513では1/4の乗算が行われる。
【0096】
加算回路415では乗算回路409〜414から出力された信号が加算される。同様に加算回路515では乗算回路509〜514から出力された信号が加算される。
【0097】
このような構成により、第1のプログレッシブ映像生成回路4では、インタレース映像信号a,cがそれぞれ水平方向にフィルタリングされた後に平均化され、加算回路415に与えられる。
【0098】
切り換え回路416は、タイミング発生回路(図示せず)から与えられる信号K1に基づいて、インタレース映像信号bが現ラインの信号であれば1クロック遅延回路406で1フィールド遅延されたインタレース映像信号bを出力し、インタレース映像信号bが補間ラインの信号であれば加算回路415で生成された信号を出力する。
【0099】
また、同様に第2のプログレッシブ映像生成回路5では、インタレース映像信号V1およびインタレース映像信号bがそれぞれ水平方向にフィルタリングされた後に平均化されて、加算回路515に与えられる。
【0100】
切り換え回路516は、タイミング発生回路(図示せず)から与えられる信号K2に基づいて、インタレース映像信号aが現ラインの信号であれば1クロック遅延回路506でインタレース映像信号aを1フィールド遅延した信号を出力し、インタレース映像信号aが補間ラインの信号であれば加算回路515で生成された信号を出力する。
【0101】
また、第1のプログレッシブ映像生成回路4、第2のプログレッシブ映像生成回路5の内部で行われているフィルタ処理(フィルタリング)および加算処理が、補間ラインに対する第1のフィールドおよび第3のフィールドの対応する画素とその周辺の画素の演算、または、第2のフィールドおよび第4のフィールドの対応する画素とその周辺の画素の演算に相当している。特にこの場合、平均値が算出されている。
【0102】
平均値を用いれば複雑な演算を簡略化することができ、回路の規模を削減することができるが、これに限らなくてもよい。例えば、フィールド間の重みの大小を考慮して、各フィールドの寄与する大きさを変えて補間処理を行うことも可能である。
【0103】
表6(a)および表6(b)は、このような動作によって、第1のプログレッシブ映像生成回路4および第2のプログレッシブ映像生成回路5から出力された信号をそれぞれ示す。
【0104】
【表6】
【0105】
表6(a)および表6(b)において、ハッチングの部分が補間ラインとして演算によって求められた部分である。また、この演算の例については、水平方向に同じ値の信号が続いているとして、水平方向の影響はないものとしている。
【0106】
もちろん、実際の装置については水平方向のフィルタ演算を行うことによってノイズ等の影響を低減できる。
【0107】
表6(a)のf4フィールドのLラインの値は、以下のようにして算出される。例えば、インタレース映像信号V1としてf4フィールドの信号が画像変換装置100に与えられた場合を説明する。表5(b)に示すように、f4フィールドのLラインは信号が伝送されていないので、補間処理を行う必要がある。インタレース映像信号V1としてf4フィールドの信号が入力されたときには、第3の1フィールド遅延回路3からはf1フィールドの信号が出力され、第2の1フィールド遅延回路2からはf2フィールドの信号が出力され、第1の1フィールド遅延回路1からはf3フィールドの信号が出力される。
【0108】
このとき、プログレッシブ映像フィールド信号P1の補間ラインは、第3の1フィールド遅延回路3から出力されるf1フィールドと第1の1フィールド遅延回路1のf3フィールドのそれぞれの現ラインの値から演算される。この場合は平均値(または平均値に近い値)が演算される。
【0109】
したがって、表5(a)より、f4フィールドのLラインの値は、f1フィールドのLラインの値「218」とf3フィールドのLラインの値「37」の平均値「(218+37)/2=127.5」を近傍の整数値として四捨五入により求めた値「128」となる。同様にして、それぞれの補間ラインの信号が求められる。なお、表6(a)において「−」と記された欄は表5(b)だけでは値が求まらないので表示を省略している。
【0110】
また、表6(b)のf3フィールドのLラインの値は、以下のようにして算出される。インタレース映像信号V1としてf3フィールドが画像変換装置100に与えられた場合には、第2の1フィールド遅延回路2からはf1フィールドが出力され、第1の1フィールド遅延回路1からはf2フィールドが出力される。
【0111】
このとき、プログレッシブ映像フィールド信号P2の補間ラインは、第2の1フィールド遅延回路2の出力のf1フィールドの現ラインの値とインタレース映像信号V1の信号であるf3フィールドの現ラインの値とから演算される。この場合は平均値(または平均値に近い値)が演算される。したがって、f4フィールドのLラインの値は、表5(a)に示すf1フィールドのLラインの値「218」とf3フィールドのLラインの値「37」の平均値「(218+37)/2=127.5」を近傍の整数値として四捨五入により求めた値「128」となる。同様にして、それぞれの補間ラインの信号が求められる。
【0112】
次に、比較回路6の動作について詳しく説明する。図3は、比較回路6の内部の構成例を示す。
【0113】
図3に示すように、入力端子601にはプログレッシブ映像フィールド信号P2が与えられ、入力端子602にはプログレッシブ映像フィールド信号P1が与えられる。
【0114】
比較回路6は、1ライン遅延回路603〜605、乗算回路606〜608、加算回路609,610、減算回路611〜613および最小値選択回路614を備える。
【0115】
入力端子601に与えられたプログレッシブ映像フィールド信号P2は1ライン遅延回路603に与えられる。入力端子602に与えられたプログレッシブ映像フィールド信号P1は1ライン遅延回路604に与えられる。この1ライン遅延回路604から出力される信号は1ライン遅延回路605に与えられる。
【0116】
乗算回路606は1ライン遅延回路605から出力された信号を1/2倍し、乗算回路607は1ライン遅延回路604から出力された信号を1/2倍し、乗算回路608はプログレッシブ映像フィールド信号P1を1/2倍する。
【0117】
加算回路609は乗算回路606,607から出力された信号を加算し、加算回路610は乗算回路607,608から出力された信号を加算する。
【0118】
減算回路611は、1ライン遅延回路603から出力された信号と加算回路609から出力された信号とを減算した値を求め、その値の絶対値を出力する。減算回路612は、1ライン遅延回路603から出力された信号と1ライン遅延回路604から出力された信号とを減算した値を求め、その値の絶対値を出力する。減算回路613は、1ライン遅延回路603から出力された信号と加算回路610から出力された信号とを減算した値を求め、その値の絶対値を出力する。
【0119】
最小値選択回路614は、減算回路611〜613から出力された信号の最小値を選択する。最小値選択回路614から出力された信号は、比較回路6からの出力信号として出力端子615から出力される。
【0120】
この動作は、入力端子601に第2のプログレッシブ映像生成回路5が生成する補間ラインが与えられたときに、その補間ラインの画素と入力端子602に与えられたプログレッシブ映像フィールド信号P1の対応する画素との間で行われる。すなわち、この動作は、プログレッシブ映像フィールド信号P1およびプログレッシブ映像フィールド信号P2の対応する画素間の比較と対応する画素およびその周辺の画素の値の画素ごとの比較とにより、その結果を動き量情報Mとして出力することに相当している。
【0121】
この比較演算の結果を表7(a)に示す。なお表7において、縦のラインの欄および横のフィールドの欄は第1の1フィールド遅延回路1から出力されるインタレース映像信号aのタイミングである。
【0122】
【表7】
【0123】
例えば、f4フィールドのL+2ラインが比較回路6に与えられる場合の演算は下記のようになる。この場合の減算回路611には、プログレッシブ映像フィールド信号P2のf4フィールドのL+1ラインの値である値「191」が入力される。
【0124】
また、プログレッシブ映像フィールド信号P1のf4フィールドのLラインの値「128」とL+1ラインの値「255」との平均値「191.5」が乗算回路607,608および加算回路610から求められ、その近傍の整数値「191」が減算回路611に与えられる。したがって、減算回路611は、減算値の絶対値「0」を出力する。
【0125】
また、減算回路612には、プログレッシブ映像フィールド信号P2のf4フィールドのL+1ラインの値「191」とプログレッシブ映像フィールド信号P1のf4フィールドのL+1ラインの値「255」とが与えられる。したがって、減算回路612は、減算値の絶対値「64」を出力する。
【0126】
また、減算回路613には、プログレッシブ映像フィールド信号P2のf4フィールドのL+1ラインの値「191」が与えられる。また、減算回路613には、プログレッシブ映像フィールド信号P1のf4フィールドのL+1ラインの値「255」とL+2の値である値「128」との平均値「191」が与えられる。したがって、減算回路613は、減算値の絶対値「0」を出力する。
【0127】
この3つの演算結果が表7(a)のf4フィールドのL+1ラインの欄に値「0」、「64」および「0」として記載されている。同様にして表7(a)のハッチングのある補間ラインの欄には、減算回路611〜613からの演算結果の値が表示されている。
【0128】
表7(b)は、この減算回路611〜613与えられる値の最小値を示している。例えば、f4フィールドのL+1ラインでは、減算回路611〜613からの出力信号である値「0」、「64」および「0」のなかの最小値である値「0」が選択されて表示されている。
【0129】
このように、比較回路6の動作として上述したような演算の例を示したが、比較回路6の演算は上記に限定されるものではない。例えば、さらに周辺のラインの値を加味して演算してもよい。その場合、さらに周辺の画素との演算が可能となるので、より精度の高い比較が可能となり、またノイズ等にも強い構成とすることができる。
【0130】
また、本実施の形態に係る画像変換装置100は、プログレッシブ映像フィールド信号P2の補間ラインの画素について、プログレッシブ映像フィールド信号P1の現ラインの対応する画素の信号の値と現ラインの画素の上下の補間ラインの画素の値との差を演算することによって動き量情報Mを求めている。しかしながら、これとは反対に、プログレッシブ映像フィールド信号P1の補間ラインの画素について、プログレッシブ映像フィールド信号P2の現ラインの対応する画素の信号の値と現ラインの画素の上下の補間ラインの画素の値との差を演算することによって動き量情報Mを求めてもよく、また、この両者を組み合わせる構成としてもよい。
【0131】
次に、フレーム間補間回路7およびフィールド内補間回路8の動作について詳しく説明する。
【0132】
図4は、フレーム間補間回路7の内部の構成例を示し、図5は、フィールド内補間回路8の構成例を示す。
【0133】
図4に示すように、フレーム間補間回路7は1/2乗算回路703,704、加算回路705を備える。フレーム間補間回路7の入力端子701には、図1のインタレース映像入力信号V1が与えられる。入力端子702には、インタレース映像信号bが与えられる。
【0134】
フレーム間補間回路7に与えられたインタレース映像信号V1,bは、それぞれ乗算回路703、704でそれぞれ1/2に乗算された後に加算回路705で加算され、フレーム間補間信号F1として出力706より出力される。
【0135】
また、フレーム間補間回路7は、図示していないタイミング発生回路からの信号によりタイミング制御され、注目するフィールドの補間ラインの演算を行うように動作する。
【0136】
図5に示すように、フィールド内補間回路8は、1ライン遅延回路802、1/2乗算回路803,804および加算回路805を備える。
【0137】
フィールド内補間回路8の入力端子801には、図1のインタレース映像信号aが与えられる。インタレース映像信号aは、1ライン遅延回路802および乗算回路804に与えられる。乗算回路803は、与えられた信号に1/2を乗算した後、加算回路805に与える。乗算回路804は、与えられた信号に1/2を乗算した後に加算回路805に与える。
【0138】
加算回路805は与えられた信号を加算し、出力端子806からフレーム間補間信号F2として出力する。
【0139】
また、フレーム間補間回路7と同様に、フィールド内補間回路8は、図示していないタイミング発生回路からの信号でタイミング制御され、注目するフィールドの補間ラインの演算を行うように動作する。
【0140】
フレーム間補間回路7およびフィールド内補間回路8の出力信号の一例を、それぞれ下記に示す。
【0141】
【表8】
【0142】
表8(a)は、フレーム間補間回路7から出力された信号を示し、表8(b)は、フィールド内補間回路8から出力された信号を示す。この表においてハッチングがある部分が、注目フィールドの補間ラインの信号であり、これらの値が演算される。なお、表8は、インタレース映像信号aのタイミングにおける補間処理の値を表示している。
【0143】
例えば、表8(a)においてf3フィールドのLラインの欄の値は以下の通りとなる。つまり、インタレース映像信号aがf3フィールドのLラインの場合の値を下記の通りに求められる。
【0144】
この場合、フレーム間補間回路7の入力端子701にはインタレース映像信号V1のf3フィールドのLラインの値「37」(表5(b)参照)が与えられる。また、フレーム間補間回路7の入力端子702にはインタレース映像信号bのf1フィールドのLラインの値「218」が与えられる。フレーム間補間回路7は、与えられた値を乗算回路703,704のそれぞれで1/2に乗算し、加算回路705においてそれぞれの値を加算した値「127.5」の近傍の整数値「128」を求める。同様にして、その他のハッチングされた部分の値も演算される。
【0145】
次に、フィールド内補間回路8から出力されるフィールド内補間信号F2の一例については表8(b)に示す。表8(b)も、インタレース映像信号aのタイミングにおける補間処理の値を示している。一例として、インタレース映像信号aがf3フィールドのL+1ラインにおける補間処理した値について以下に説明する。
【0146】
f3フィールドのL+1ラインがインタレース映像信号aである場合には、フィールド内補間回路8には第1の1フィールド遅延回路1からの出力であるf2フィールドのL+3ラインの値が入力される。このとき1ライン遅延回路802からは1ライン以上前の値、すなわちf2フィールドのL+1ラインの値「255」が出力されて乗算回路803で1/2に乗算される。また乗算回路804ではf2フィールドのL+3ラインの値である「0」が1/2に乗算されて出力されている。
【0147】
フィールド内補間回路8は、乗算回路803,804から与えられた信号を加算回路805で加算し、その値「127.5」の近傍値である「128」をフィールド内補間した値として求める。同様にして、その他のハッチングされた部分の数値が演算される。
【0148】
次に、出力回路9の動作について詳しく説明する。図6は、出力回路9の内部の構成例を示す。
【0149】
図6に示すように、出力回路9は、割合演算回路905、乗算回路906,907、加算回路908および切り換え回路909を備える。ここで、αは割合演算回路905により演算される割合値であり、0以上1以下の数値である。乗算回路907はα倍の乗算回路であり、乗算回路906は(1−α)倍の乗算回路である。
【0150】
入力端子901にはフレーム間補間信号F1が与えられ、入力端子902にはフィールド内補間信号F2が与えられる。また、入力端子904にはインタレース映像信号aが与えられ、入力端子903には動き量情報Mに応じた値が与えられる。
【0151】
割合演算回路905は、入力端子903から与えられる動き量情報Mに応じて出力回路9から出力する静止画と動画の割合を演算する割合演算回路である。
【0152】
割合演算回路905は、入力端子903から与えられた動き量情報Mにより、フレーム間補間信号F1とフィールド内補間信号F2との割合を決める係数である割合値αを特定する。例えば、比較回路6から出力される動き量情報Mについて、0≦M<10のときは「α=0」とし、10≦M<20のときは「α=0.2」とし、20≦M<30のときは「α=0.5」とし、30≦Mのときは「α=1」とするように決める。このように、出力回路9は、動き量情報Mが小さいほど割合値αが小さくなるように制御する。
【0153】
乗算回路906,907は、入力端子901,902からそれぞれ入力されたフレーム間補間回路7から出力された信号、フィールド内補間回路8からの出力信号をそれぞれ乗算し、加算回路908で加算する。
【0154】
このようにすれば、動き量情報Mが小さいほどフレーム間補間回路7の出力の割合が高くなるように制御することができる。
【0155】
切り換え回路909は、入力端子904に与えられたインタレース映像信号aと加算回路908から与えられた信号とを切り換える。切り換え回路909は、図示していないタイミング発生回路によって、注目するフィールドの信号が現ラインであればインタレース映像信号aを出力し、補間ラインであれば加算回路908から出力される信号を出力するように切り換えることができる。
【0156】
切り換え回路9の入力端子903には、表7(b)に示されている動き量情報Mが入力される。例えば、f4フィールド、f5フィールドおよびf8フィールドの動き量情報Mは「0」であるので、割合演算回路905から出力される割合値αは「0」と演算される。
【0157】
f6フィールド、f7フィールドおよびf9フィールドの動き量情報Mは「19」または「13」であるので、割合演算回路905から出力される割合値αは「0.2」と演算される。この割合値αは表7(b)のカッコ内に示されている。
【0158】
このように、出力回路9が割合値αの大小によって演算動作を行った結果を表9に示す。
【0159】
【表9】
【0160】
表9(a)において、例えば、f4フィールドのL+1ラインの値は、動き量情報Mから求められる割合値αが値「0.0」(表7(b)参照)であるので、フレーム間補間回路7の出力値は値「191」(表8(a)参照)となる。また、例えばf6フィールドのL+1ラインの値は、動き量情報Mから求められる割合値αが値「0.2」(表7(b)参照)であるので、フレーム間補間回路7の出力値は「64」(表8(a)参照)に「0.8」(=1−0.2)を乗じた値「51.2」と、フィールド内補間回路8の出力値である値「128」(表8(b)参照)に値「0.2」を乗じた値「25.6」とを加えた値「76.8」の近傍値である値「77」となる。
【0161】
このように、ハッチングされている補間ラインの値と、ハッチングのない現ラインの値が表9(a)に示すように演算される。
【0162】
表9(b)に、表9(a)に示される出力回路9から出力される値と元の映像信号との差の絶対値を示したものを示す。表9(b)は、画像変換装置100での遅延分である1フィールドの時間差を加味して、以下のように差が計算されている。
【0163】
例えば、元の映像信号ではf5フィールドの+3ラインの値「218」はインタレース映像信号では伝送されないラインであるが、1フィールド分の遅延を加味して、出力回路9からは、f6フィールドのL+3ラインの値として値「179」が出力されている。このf5フィールドのL+3ラインの値「218」と出力されているf6フィールドのL+3ラインの値「179」との差の絶対値として値「39」が計算される。このようにして、補間ラインでの元の映像信号の値と出力回路9から出力された値との差が、表9(b)のように計算される。
【0164】
表9(b)に示されるように、本発明の第1の実施の形態に係る画像変換装置100によれば、補間ラインでの現信号との明るさの差を、値「40」以下に抑えることができる。この値は、表4(b)に示される従来例の補間ラインでの現信号との差である値「90」に比べて、大幅に小さくすることが実現できている。
【0165】
つまり、本実施の形態によれば画像がゆっくりと垂直方向に動いたときに動画処理となりやすく、画質が劣化しやすいという従来例での課題を大幅に軽減することが可能となっている。
【0166】
このように本実施の形態による画像変換装置100は、基になるフィールドが異なるプログレッシブ映像フィールド信号P1とプログレッシブ映像フィールド信号P2とを比較し、その比較結果を動き量情報Mとして出力することができるので、正確な動き検出を行うことができる。また、画像変換装置100は、垂直方向の大きな輝度差を持つ画像がゆっくり動いたときなどにおいても、正確な動き判定をすることができ、安定で解像度の高い映像を提供することができる。
【0167】
また、本実施の形態では、1フィールドずつ連続して遅延した4つのインタレース映像信号V1,a,b,cのうちインタレース映像信号V1,a,bからプログレッシブ映像フィールド信号P2を生成し、インタレース映像信号a,b,cからプログレッシブ映像フィールド信号P1を生成する。このプログレッシブ映像フィールド信号P1とプログレッシブ映像フィールド信号P2とを比較している。
【0168】
なお、プログレッシブ映像フィールド信号P1およびプログレッシブ映像フィールド信号P2の生成は、1フィールドずつ連続して遅延した4つのインタレース映像信号のフィールド信号で作成することに限定されない。例えば、インタレース映像信号V1,a,bのうちのインタレース映像信号V1のフィールド信号とインタレース映像信号aのフィールド信号とでプログレッシブ映像フィールド信号P1を作成し、インタレース映像信号a,bでプログレッシブ映像フィールド信号P2を作成してもよい。このようにすれば、フィールドメモリに蓄えるデータ量を削減することができ低コストで高性能の画像変換装置を提供することができる。
【0169】
また、本実施の形態においては、プログレッシブ映像フィールド信号P1の現ラインとして、インタレース映像信号aを用い、補間ラインとしてインタレース映像信号V1とインタレース映像信号bとの演算値を用い、プログレッシブ映像フィールド信号P2の現ラインとして、インタレース映像信号bのフィールド信号を用い、補間ラインとしてインタレース映像V1のフィールド信号とインタレース映像信号cのフィールド信号との演算値を用いている。
【0170】
これによって、多少の動きがあったとしても、補間ラインには、インタレース映像信号V1,bの演算により、また、インタレース映像信号a,bの演算により、相対的な動き量がキャンセルし合うように働くため、画像に動きがあったとしても、「静止画」、「動画」の判定を正確に行うことができ、高精度に画質を改善でき、より高画質なプログレッシブ映像を提供することができる。
【0171】
さらに補間ラインの信号を演算する上で、対応するインタレース映像信号の対応する画素とその周辺の画素を演算に含めている。これにより、ノイズに強く、より精度の高いプログレッシブ映像フィールド信号P1とプログレッシブ映像フィールド信号P2を生成することができ、より高精度の動き検出を行うことができる。
【0172】
さらに、補間ラインの信号を演算する上で、対応するインタレース映像フィールドの対応する画素の平均値を演算している。これにより、回路規模を簡略化することが可能となり、低コストな回路を実現できる。
【0173】
また、比較回路6は、第1のプログレッシブ映像生成回路4が生成したプログレッシブ映像フィールド信号P1と第2のプログレッシブ映像生成回路5が生成したプログレッシブ映像フィールド信号P2との対応する画素間の比較と対応する画素およびその周辺の画素の値を画素ごとの比較により、その結果を動き量Mとして出力するものである。
【0174】
この場合、比較回路6の比較が対応する画素だけにとどまらず、周辺の画素をも含むので、動き検出をより高精度で行うことができるものである。
【0175】
一般には、インタレース映像信号をインタレース映像フィールド信号と呼び、プログレッシブ映像信号を、特に、プログレッシブ画像フレーム信号と呼ぶことがある。
【0176】
本発明の実施の形態の説明においては、最終的な出力に至る前の中間的なプログレッシブ映像信号をテレビ映像のフィールド単位の処理信号であることから、プログレッシブ映像フィールド信号と記している。この名称について、特にフィールド信号は、合成されたフレーム信号と呼び変えても意味的には同じである。つまり、本発明においては、プログレッシブ映像フィールド信号をプログレッシブ画像フレーム信号と呼び変えても同じ意味を指すものであり、本発明は、プログレッシブ映像フィールド信号という表記に限定されない。すなわち、プログレッシブ映像フィールド信号は、インタレース映像フィールド信号から生成されたプログレッシブ映像信号を示すものである。
【0177】
本実施の形態においては、第1の1フィールド遅延回路1、第2の1フィールド遅延回路2、第3の1フィールド遅延回路3、第1のプログレッシブ映像生成回路4および第2のプログレッシブ映像生成回路5が補間回路に相当し、第1の1フィールド遅延回路1、第2の1フィールド遅延回路2および第3の1フィールド遅延回路3がインタレース生成回路に相当し、プログレッシブ映像フィールド信号P1が第1のプログレッシブ信号に相当し、第1のプログレッシブ映像生成回路4が第1のプログレッシブ回路に相当し、プログレッシブ映像フィールド信号P2が第2のプログレッシブ信号に相当し、第2のプログレッシブ映像生成回路5が第2のプログレッシブ回路に相当する。
【0178】
また、比較回路6が動き算出回路に相当し、フレーム間補間信号F1が静止画プログレッシブ信号に相当し、フレーム間補間回路7が静止画処理回路に相当し、フィールド内補間信号F2が動画プログレッシブ信号に相当し、フィールド内補間回路8が動画処理回路に相当し、インタレース映像信号V1,a,b,cがそれぞれ第1〜第4のインタレース映像信号に相当する。
【0179】
(第2の実施の形態)
次に、第2の実施の形態に係る画像変換装置について説明する。第2の実施の形態に係る画像変換装置においては、図1の第1のプログレッシブ映像生成回路4が形成したプログレッシブ映像フィールド信号P1および第2のプログレッシブ映像生成回路5が形成したプログレッシブ映像フィールド信号P2のライン間に新たに複数の仮想の画素を形成する。
【0180】
その結果、第2の実施の形態に係る画像変換装置においては、第1の実施の形態に係る画像変換装置100と比較して、画像が1ライン/フィールド以下でゆっくり動いた時でも、複数の仮想の画素に基づいて、より精密に動き情報を検出できるとともに、最適な静止画処理と動画処理との制御を実現できる。
【0181】
図7は、第2の実施の形態に係る画像変換装置のブロック図である。図7に示す第2の実施の形態に係る画像変換装置100aが、図1に示す第1の実施の形態に係る画像変換装置100と異なる点は以下の点である。
【0182】
第2の実施の形態に係る画像変換装置100aは、第1の実施の形態に係る画像変換装置100の構成に、第1の映像信号形成回路10および第2の映像信号形成回路11をさらに含むものである。
【0183】
また、第2の実施の形態に係る画像変換装置100aは、第1の実施の形態に係る画像変換装置100の比較回路6の代わりに比較回路6aを含み、第1の実施の形態に係る画像変換装置100の出力回路9の代わりに出力回路9aを含む。
【0184】
第2の実施の形態に係る画像変換装置100aのその他の構成は、第1の実施の形態に係る画像変換装置100の構成と同様であるので、同一構成部分には同一符号を付すものとする。
【0185】
以下、第2の実施の形態に係る画像変換装置100aが第1の実施の形態に係る画像変換装置100の構成と異なる点について説明する。
【0186】
第2の実施の形態に係る画像変換装置100aの第1の映像信号形成回路10は、第1のプログレッシブ映像生成回路4が出力するプログレッシブ映像フィールド信号P1の画素間に新たに画素を形成する。また、第2の映像信号形成回路11は、第2のプログレッシブ映像生成回路5が出力するプログレッシブ映像フィールド信号P2の画素間に新たに画素を形成する。
【0187】
次に、比較回路6aは、第1の映像信号形成回路10が出力する新たに形成されたプログレッシブ映像フィールド信号P3と第2の映像信号形成回路11が出力する新たに形成されたプログレッシブ映像フィールド信号P4とをそれぞれ対応する画素間で画素の値を比較して、または対応する画素とその周辺の画素の値とを比較して、その比較結果を動き量情報Maとして出力する。
【0188】
以下に、第1の映像信号形成回路10および第2の映像信号形成回路11の構成について説明する。
【0189】
図8(a)は第1の映像信号形成回路10の構成を示す図であり、図8(b)は第2の映像信号形成回路11の構成を示す図である。
【0190】
図8(a)に示すように、第1の映像信号形成回路10は、1ライン遅延回路1002,1003、乗算回路1004,1005,・・・,1015および加算回路1016,1017,・・・,1021を含む。
【0191】
また、乗算回路1005,1008,1011,1014のそれぞれの乗算係数は、1/4に設定されている。乗算回路1006,1007,1012,1013のそれぞれの乗算係数は、2/4に設定されている。乗算回路1004,1009,1010,1015のそれぞれの乗算係数は、3/4に設定されている。
【0192】
図8(b)に示すように、第2の映像信号形成回路11は、1ライン遅延回路1102,1103、乗算回路1104,1105,・・・,1115および加算回路1116,1117,・・・,1121を含む。
【0193】
また、乗算回路1105,1108,1111,1114のそれぞれの乗算係数は、1/4に設定されている。乗算回路1106,1107,1112,1113のそれぞれの乗算係数は、2/4に設定されている。乗算回路1104,1109,1110,1115のそれぞれの乗算係数は、3/4に設定されている。
【0194】
次に、図8(a)を用いて第1の映像信号形成回路10の動作について説明する。
【0195】
第1のプログレッシブ映像生成回路4から出力されたプログレッシブ映像フィールド信号P1が、入力端子1001に与えられる。入力端子1001に与えられたプログレッシブ映像フィールド信号P1は、1ライン遅延回路1002に与えられる。
【0196】
1ライン遅延回路1002は、プログレッシブ映像フィールド信号P1を1ライン分遅延し、プログレッシブ映像フィールド信号P11を生成し、その生成したプログレッシブ映像フィールド信号P11を1ライン遅延回路1003に与える。1ライン遅延回路1003は与えられたプログレッシブ映像フィールド信号P11を1ライン分遅延し、プログレッシブ映像フィールド信号P12を生成する。
【0197】
入力端子1001に与えられたプログレッシブ映像フィールド信号P1は、乗算回路1011,1013,1015にそれぞれ与えられる。1ライン遅延回路1002により生成されたプログレッシブ映像フィールド信号P11は、乗算回路1005,1007,1009,1010,1012,1014にそれぞれ与えられる。1ライン遅延回路1003により生成されたプログレッシブ映像フィールド信号P12は、乗算回路1004,1006,1008にそれぞれ与えられる。
【0198】
次に、乗算回路1004において、与えられたプログレッシブ映像フィールド信号P12が、設定された乗算係数と乗算されて加算回路1016へ出力される。乗算回路1005において、与えられたプログレッシブ映像フィールド信号P11が、設定された乗算係数と乗算されて加算回路1016へ出力される。乗算回路1006において、与えられたプログレッシブ映像フィールド信号P12が、設定された乗算係数と乗算されて加算回路1017へ出力される。
【0199】
乗算回路1007において、与えられたプログレッシブ映像フィールド信号P11が、設定された乗算係数と乗算されて加算回路1017へ出力される。乗算回路1008において、与えられたプログレッシブ映像フィールド信号P12が、設定された乗算係数と乗算されて加算回路1018へ出力される。乗算回路1009において、与えられたプログレッシブ映像フィールド信号P11が、設定された乗算係数と乗算されて加算回路1018へ出力される。乗算回路1010において、与えられたプログレッシブ映像フィールド信号P11が、設定された乗算係数と乗算されて加算回路1019へ出力される。
【0200】
乗算回路1011において、与えられたプログレッシブ映像フィールド信号P1が、設定された乗算係数と乗算されて加算回路1019へ出力される。乗算回路1012において、与えられたプログレッシブ映像フィールド信号P11が、設定された乗算係数と乗算されて加算回路1020へ出力される。乗算回路1013において、与えられたプログレッシブ映像フィールド信号P1が、設定された乗算係数と乗算されて加算回路1020へ出力される。乗算回路1014において、与えられたプログレッシブ映像フィールド信号P11が、設定された乗算係数と乗算されて加算回路1021へ出力される。乗算回路1015において、与えられたプログレッシブ映像フィールド信号P1が、設定された乗算係数と乗算されて加算回路1021へ出力される。
【0201】
続いて、加算回路1016において、乗算回路1004と乗算回路1005との出力信号が加算され、出力端子1022からプログレッシブ映像フィールド信号が出力される。加算回路1017において、乗算回路1006と乗算回路1007との出力信号が加算され、出力端子1023からプログレッシブ映像フィールド信号が出力される。加算回路1018において、乗算回路1008と乗算回路1009との出力信号が加算され、出力端子1024からプログレッシブ映像フィールド信号が出力される。
【0202】
加算回路1019において、乗算回路1010と乗算回路1011との出力信号が加算され、出力端子1026からプログレッシブ映像フィールド信号が出力される。加算回路1020において、乗算回路1012と乗算回路1013との出力信号が加算され、出力端子1027からプログレッシブ映像フィールド信号が出力される。加算回路1021において、乗算回路1014と乗算回路1015との出力信号が加算され、出力端子1028からプログレッシブ映像フィールド信号が出力される。1ライン遅延回路1002のプログレッシブ映像フィールド信号P11が、出力端子1025から出力される。図8(a)に示す第1の映像信号形成回路10においては、出力端子1022,・・・,出力端子1028から出力されるプログレッシブ映像フィールド信号が出力端子1029から出力される。
【0203】
上記の第1の映像信号形成回路10の動作は、タイミング発生回路(図示せず)の信号に基づいて演算される。なお、タイミング発生回路の信号は、第1のプログレッシブ映像生成回路4により生成されるプログレッシブ映像フィールド信号P1の補間ラインが、1ライン遅延回路1002から出力されるタイミングで形成されている。
【0204】
このとき、出力端子1022には、注目すべき補間ラインの画素の1/4の値と、補間ラインの上の現ラインの画素の3/4の値とが加算され出力されている。したがって、注目すべき補間ラインの画素から補間ラインの上の現ラインの画素への1ラインの3/4の距離にある場所の画素を形成したことになる。
【0205】
同様に、出力端子1023には、注目すべき補間ラインの画素の2/4の値と、補間ラインの上の現ラインの画素の2/4の値とが加算され出力されている。したがって、注目すべき補間ラインの画素から補間ラインの上の現ラインの画素への1ラインの2/4の距離にある場所の画素を形成したことになる。
【0206】
また、出力端子1024には、注目すべき補間ラインの画素の3/4の値と、補間ラインの上の現ラインの画素の1/4の値とが加算され出力されている。したがって、注目すべき補間ラインの画素から補間ラインの上の現ラインの画素への1ラインの1/4の距離にある場所の画素を形成したことになる。
【0207】
また、出力端子1026には、注目すべき補間ラインの画素の3/4の値と、補間ラインの下の現ラインの画素の1/4の値とが加算され出力されている。したがって、注目すべき補間ラインの画素から補間ラインの下の現ラインの画素への1ラインの1/4の距離にある場所の画素を形成したことになる。
【0208】
また、出力端子1027には、注目すべき補間ラインの画素の2/4の値と、補間ラインの下の現ラインの画素の2/4の値とが加算され出力されている。したがって、注目すべき補間ラインの画素から補間ラインの下の現ラインの画素への1ラインの2/4の距離にある場所の画素を形成したことになる。
【0209】
また、出力端子1028には、注目すべき補間ラインの画素の1/4の値と、補間ラインの下の現ラインの画素の3/4の値とが加算され出力されている。したがって、注目すべき補間ラインの画素から補間ラインの下の現ラインの画素への1ラインの3/4の距離にある場所の画素を形成したことになる。
【0210】
上記第1の映像信号形成回路10の出力例および第2の映像信号形成回路11の出力例を表に示す。
【0211】
【表10】
【0212】
表10(a)は第1の映像信号形成回路10の出力端子1029からの出力信号を示し、表10(b)は第2の映像信号形成回路11の出力端子1129からの出力信号を示す。
【0213】
例えば、表10(a)に示すように、第1の映像信号形成回路10がf4フィールドのL+2ラインとL+1ラインとの間のL+1.25ラインの画素を算出する場合、L+1ラインの画素の値である「255」を3/4倍した値である「191.25」と、L+2ラインの画素の値である「128」を1/4倍した値である「32」とを加算して、その合計値「223.25」を算出する。そして、第1の映像信号形成回路10は、算出した合計値「223.25」の近傍値として「223」を選択し、f4フィールドのL+1.25ラインの画素の値として出力する。
【0214】
また、表10(b)に示すように、第2の映像信号形成回路11がf5フィールドのL+4ラインとL+5ラインとの間のL+4.25ラインの画素を算出する場合、L+4ラインの画素の値である「37」を3/4倍した値である「27.75」と、L+5ラインの画素の値である「128」を1/4倍した値である「32」とを加算して、その合計値「59.75」を算出する。そして、第2の映像信号形成回路11は、算出した合計値「59.75」の近傍値として「60」を選択し、f5フィールドのL+4.25ラインの画素の値として出力する。このようにして、他のラインの画素の値も算出され出力される。
【0215】
第1の映像信号形成回路10および第2の映像信号形成回路11では、上記のような演算が行われ、プログレッシブ映像フィールド信号P1,P2に新たに形成された画素を追加したプログレッシブ映像フィールド信号P3,P4が比較回路6aに出力される。
【0216】
次に、比較回路6aの構成および動作について説明する。図9は、比較回路6aの内部構成を示すブロック図である。
【0217】
比較回路6aは、バッファ回路6003,6004、動き演算回路6005および最小値回路6006を含む。
【0218】
比較回路6aの入力端子6001には、第1の映像信号形成回路10からプログレッシブ映像フィールド信号P3が与えられ、入力端子6002には第2の映像信号形成回路11からプログレッシブ映像フィールド信号P4が与えられる。入力端子6001,6002から与えられたプログレッシブ映像フィールド信号P3,P4は、バッファ回路6003,6004にそれぞれ与えられる。バッファ回路6003,6004は、所定の間隔でプログレッシブ映像フィールド信号P3,P4を蓄積し、所定の間隔経過後に動き演算回路6005にプログレッシブ映像フィールド信号P7,P8を与える。動き演算回路6005は、バッファ回路6003,6004の両者から与えられたプログレッシブ映像フィールド信号P7,P8において、対応する画素間、または対応する画素とその周辺の画素の値を比較し、その比較結果を動き量M1として出力する。
【0219】
最小値回路6006は、動き演算回路6005から出力された動き量M1から最小値を選択して出力端子6007から動き量情報Maとして出力する。
【0220】
次に、動き演算回路6005の動作例について説明する。動き演算回路6005は、入力されるプログレッシブ映像フィールド信号に基づいて動き検出を行う。
【0221】
まず、動き演算回路6005では、バッファ回路6003,6004からそれぞれ新たに画素を形成されたプログレッシブ映像フィールド信号P7,P8が与えられる。
【0222】
動き演算回路6005において、動き検出は、プログレッシブ映像フィールド信号のf4フィールドのL+3ラインの1画素、そのL+3ラインの上3画素、およびそのL+3ラインの下3画素の合計7画素に基づいて以下のように行われる。
【0223】
f4フィールドのL+3ラインの値は、表10(a)に示すf4フィールドのL+2.25ラインからL+3.75ラインの値と、表10(b)に示すf4フィールドのL+2.25ラインからL+3.75ラインの値とのそれぞれの差の絶対値を加算することによって求められる。
【0224】
すなわち、f4フィールドのL+3ラインの値は、次式で表される。
【0225】
【数1】
【0226】
上式の値は、画像が全く動かず静止している場合に最も小さな値を示す。例えば、f4フィールドのL+3ラインの値が小さな値を示す場合、画素周辺での画像の変化が生じていないと判定できるため、画像が静止画であると推定できる。
【0227】
また、f4フィールドのL+3ラインの1つ上の値は、表10(a)に示すf4フィールドのL+2ラインからL+3.50ラインの値と、表10(b)に示すf4フィールドのL+2.25ラインからL+3.75ラインの値とのそれぞれの差の絶対値を加算することによって求められる。
【0228】
以下、同一フィールドにおいて上下に隣接する2つのライン間の距離を1画素/フィールドと表現し、上記2つのライン間の距離の1/2を0.5画素フィールドと表現し、上記2つのライン間の距離の1/4を0.25画素フィールドと表現し、上記2つのライン間の距離の3/4を0.75画素フィールドと表現する。
【0229】
すなわち、f4フィールドのL+3ラインの1つ上の値は、次式で表される。
【0230】
【数2】
【0231】
上式の値は、画像が下ライン方向に0.25画素/フィールド動いている場合に最も小さな値を示す。
【0232】
また、f4フィールドのL+3ラインの2つ上の値は、表10(a)に示すf4フィールドのL+1.75ラインからL+3.25ラインの値と、表10(b)に示すf4フィールドのL+2.25ラインからL+3.75ラインの値とのそれぞれの差の絶対値を加算することによって求められる。
【0233】
すなわち、f4フィールドのL+3ラインの2つ上の値は、次式で表される。
【0234】
【数3】
【0235】
上式の値は、画像が下ライン方向に0.50画素/フィールド動いている場合に最も小さな値を示す。
【0236】
このように、f4フィールドのL+3ラインの値は55と算出され、f4フィールドのL+3ラインの1つ上の値は「38」と算出され、f4フィールドのL+3ラインの2つ上の値は「18」と算出される。同様に、f4フィールドのL+3ラインの3つ上の値は「22」と算出され、f4フィールドのL+3ラインの1つ下の値は「71」と算出され、f4フィールドのL+3ラインの2つ下の値は「84」と算出され、f4フィールドのL+3ラインの3つ下の値は「98」とそれぞれ算出される。
【0237】
これらのf4フィールドのL+3ラインの値、L+3ラインの1つ上の値、L+3ラインの2つ上の値、L+3ラインの3つ上の値、L+3ラインの1つ下の値、L+3ラインの2つ下の値、L+3ラインの3つ下の値は、それぞれ動きの量が下方向に0.75画素/フィールド、下方向に0.50画素/フィールド、下方向に0.25画素/フィールド、静止、上方向へ0.25画素/フィールド、上方向へ0.50画素/フィールド、上方向へ0.75画素/フィールドの場合に最小値を示す。
【0238】
以上のように、動き演算回路6005では、プログレッシブ映像フィールド信号P7,P8の相関性に基づいて動き量および動きの方向とその確からしさとが算出され、動き量M1として出力される。上記の動き演算回路6005の動き量M1の出力結果を表に示す。
【0239】
【表11】
【0240】
例えば、表11(a)に示すように、f4フィールドのL+3ラインの欄の上3欄と下3欄との値の中で、上側に0.50画素/フィールドの動きを示す欄が最小値である「18」を示している。その結果、映像フィールド信号の動き量および動き方向が下方向に0.50画素/フィールドであり、その確からしさは、「18」であると判定できる。
【0241】
なお、第2の実施の形態に係る画像変換装置100aにおいては、動き演算回路6005の出力のうちの最小値に基づいて動き方向および動き量とその確からしさとを判定することとしたが、これに限定されず、所定の閾値を設定して7つの欄のうちの最小値が所定の閾値以下の場合に動き量が小さいと判定させてもよい。
【0242】
例えば、所定の閾値を「20」に設定した場合、表11(a)よりf4フィールドのL+3ラインの欄の2つ上の欄に「20」以下の欄が存在するので、プログレッシブ映像フィールド信号P7,P8の相関性に基づいて、下方向に0.5画素/フィールドの動き量および動き方向を有すると判定できる。その結果、出力回路9へ出力する情報を削減することができ、回路を簡略化することが可能となる。
【0243】
このように、動き演算回路6005は、0.25画素/フィールド、0.50画素/フィールドおよび0.75画素/フィールドの動き量と確からしさとを算出して、最小値回路6006に動き量M1として与える。
【0244】
最小値回路6006は、注目する補間ラインの画素での動き演算回路6005から与えられる動き量M1のうち最小値を示す値を選択して動き量情報Maを出力端子6007に出力する。
【0245】
例えば、表11(a)に示すf4フィールドのL+3ラインの補間ラインでは、下方向に0.5画素/フィールドの動きを示す2つ上の欄の「18」が選択される。すなわち、表11(b)に示すように、下方向に0.5画素/フィールドで、その確からしさは「18」であるという値が出力される。
【0246】
上述したように、選択された値が小さいほど注目すべき補間ラインでの画素における動きの方向および動き量の確率が高いといえる。
【0247】
表11(b)は、上記のような動き量の最小値について、補間ラインでの画素ごとに値を示したものであり、この値が比較回路6aから動き量情報Maとして出力される。
【0248】
このように、第2の実施の形態に係る画像変換装置100aでは、ライン間に新たに画素が形成され、より解像度の高いプログレッシブ映像フィールド信号P3とプログレッシブ映像フィールド信号P4が形成され、これらを基にして比較回路6aにより動き量情報Maが算出される。
【0249】
したがって、第2の実施の形態に係る画像変換装置100aでは、精度の高い動き検出が可能となり、後述する出力回路での動画/静止画の出力割合の制御を正確にすることができるとともに、画質劣化が少なく解像度の高いプログレッシブ映像フィールド信号を生成することが可能となる。
【0250】
また、第2の実施の形態に係る画像変換装置100aの比較回路6aでは、演算時に対応する画素間および対応する画素とその周辺の画素との値を比較し、その比較結果を動き量として出力している。この結果、周辺の画素も演算に使用することができるので、演算精度が向上するとともに、プログレッシブ映像フィールド信号の動き量の検出精度を向上することができる。
【0251】
また、演算時に使用する画素の間の関係は、上記実施例に限らず、対応する画素同士による演算のみを行ってもよく、または対応する画素とその周辺の画素との演算のみを行ってもよく、それらの両者の演算をあわせて行ってもよい。
【0252】
また、第2の実施の形態に係る画像変換装置100aにおいては、プログレッシブ映像フィールド信号P3とプログレッシブ映像フィールド信号P4とが形成され、これらに基づいて、動き量を演算しているが、これに限定されず、他の比較の方法を用いてもよい。
【0253】
例えば、プログレッシブ映像フィールド信号P3については、新たに形成した画素を使用することなく、プログレッシブ映像フィールド信号P1として元々存在していた画素を使用するものとし、その元々存在していた画素と新たに形成したプログレッシブ映像フィールド信号P4とを比較するものとしてもよい。
【0254】
また、例えば、プログレッシブ映像フィールド信号P4については、新たに形成した画素を使用することなく、プログレッシブ映像フィールド信号P2として元々存在していた画素を使用するものとし、その元々存在していた画素と新たに形成したプログレッシブ映像フィールド信号P3とを比較するものとしてもよい。
【0255】
このような場合には、第1の映像信号形成回路10または第2の映像信号形成回路11のいずれか一方を削減することができるため、回路規模を削減することができるとともに回路コストの低減を図ることができる。
【0256】
この場合、比較回路6aは、プログレッシブ映像フィールド信号P2およびプログレッシブ映像フィールド信号P3、プログレッシブ映像フィールド信号P1およびプログレッシブ映像フィールド信号P4、またはプログレッシブ映像フィールド信号P3およびプログレッシブ映像フィールド信号P4の対応する画素間、および対応する画素とその周辺の画素との値を比較し、その比較結果を動き量として出力することによって、動き量情報Maを算出することができる。
【0257】
次に、出力回路9aの動作を説明する。図10は、出力回路9aの内部構成の一例を示す図である。
【0258】
第2の実施の形態に係る出力回路9aが、第1の実施の形態に係る出力回路9と異なる点は、割合演算回路905の代わりに割合演算回路9005を含む点である。その他の構成は図6に示す割合演算回路905と同様であるので、同一部分には同一符号を付し、以下に異なる部分についてのみ説明する。
【0259】
図10に示す割合演算回路9005の入力端子903には、比較回路6aからの動き量および動き方向とその確からしさを示す数値が与えられる。
割合演算回路9005は、与えられた動き量および動き方向とその確からしさを示す数値が所定の値以下である場合に静止画の割合が大きいと判定する。この場合、割合演算回路9005は、静止画の割合が大きくなるように割合値αを小さくして出力する。
【0260】
例えば、割合演算回路9005は、動き量および動き方向とその確からしさを示す数値(以下、動き量を示す数値と略記する。)に基づいて割合値αを以下のように設定する。
【0261】
動き量を示す数値が「0.50」以下のとき、割合値αとして「0」を出力し、動き量を示す数値が「0.75」以下のとき、割合値αとして「0.2」を出力し、動き量を示す数値が「1.00」以下のとき、割合値αとして「0.5」を出力し、動き量を示す数値が「1.00」よりも大きいとき、割合値αとして「1.0」を出力する。
【0262】
また、さらに、動き量を示す数値が「20」以下の値を示す場合は、正確な動きの方向および動き量を抽出していると判定して上記各条件を使用し、動き量を示す数値が「20」よりも大きな値を示す場合は、動きの方向および動き量が不確定であるとして割合値αを「1.0」に固定して出力するようにしてもよい。
【0263】
したがって、表11(b)に示す値が、割合検出回路9005に与えられた場合、全ての動き量を示す数値が「0.5」以下となり、割合検出回路9005は、乗算回路906,907に割合値αとして「0」を出力する。
【0264】
また、第2の実施の形態に係る割合値αの設定方法については、映像フィールド信号の動き量が1.0ライン以下のときに静止画の割合が大きくなるように設定しているが、これに限定されず、例えば、動き量を示す数値が「0.75」以下のときに静止画の割合値を大きくしてもよく、動き量を示す数値が「0.50」以下のときに静止画の割合値を大きくしてもよい。
【0265】
この場合、より正確な映像フィールド信号の動きを求めることができるとともに厳密に静止画の状態を検出することができるので、動画/静止画の検出精度を向上することができる。
【0266】
上記の条件によって、動き量を示す数値が「0.50」以下であるときに割合値αを0と設定した場合の出力回路9aの出力値を表に示す。
【0267】
【表12】
【0268】
また、表12(a)により動き方向および動き量が確定された部分について補間画素の値を演算し、その確定された部分の演算結果とインタレースされる前の信号との差を表12(b)に示す。
【0269】
表12(b)については、表9(b)における計算と同様に、この回路での遅延分である1フィールドの時間差を加味して計算している。この表12(b)を表9(b)と比較するとフィールドf6での誤差が、「39」から「26」に減少していることがわかる。
【0270】
以上のように、第2の実施の形態に係る画像変換装置100aは、第1の実施の形態に係る画像変換装置100よりも高精度に動画または静止画を検出することができるため、より正確に画像を変換できることを示している。
【0271】
すなわち、第2の実施の形態に係る画像変換装置100aは、従来の動き適応型プログレッシブ変換装置が有する、画像がゆっくりとライン方向に動いたときに動画処理となりやすく、画質が劣化しやすいという課題に対して、第1の実施の形態に係る画像変換装置100よりもさらに有効に課題を解決しているといえる。
【0272】
画像変換装置100aでは、新たに仮想の画素を形成したプログレッシブ映像フィールド信号P3とプログレッシブ映像フィールド信号P4とを用いて、それぞれの対応する画素間、および対応する画素とその周辺の画素の値とを比較し、その比較結果を動き量として出力検出したことによって、より精度の高い動き検出が可能になり、画質劣化の少ない解像度の高いプログレッシブ映像フィールド信号を生成することが可能となった。
【0273】
また、新たに画素を形成する際において、第1の映像信号形成回路10または第2の映像信号形成回路11は、それぞれプログレッシブ映像フィールド信号P3,P4のライン間に新たに画素を形成しているので、インタレース映像信号V1をプログレッシブ映像フィールド信号に変換する際により厳しい変換精度を要求される垂直方向に対しての精度を上げることができ、水平方向への新たに画素を生成する回路を省略できるので、回路規模の増大を低く抑えることができ、低コストに高精度の画像変換装置を提供することが可能となっている。
【0274】
第2の発明の実施の形態の説明においては、第1の1フィールド遅延回路1、第2の1フィールド遅延回路2、第3の1フィールド遅延回路3、第1のプログレッシブ映像生成回路4、第2のプログレッシブ映像生成回路5、第1の映像信号形成回路10および第2の映像信号形成回路11が補間回路に相当し、第1の1フィールド遅延回路1、第2の1フィールド遅延回路2および第3の1フィールド遅延回路3がインタレース生成回路に相当し、プログレッシブ映像フィールド信号P1が第1のプログレッシブ信号に相当し、第1のプログレッシブ映像生成回路4が第1のプログレッシブ回路に相当し、プログレッシブ映像フィールド信号P2が第2のプログレッシブ信号に相当し、第2のプログレッシブ映像生成回路5が第2のプログレッシブ回路に相当し、第1の映像信号形成回路10が第1の画素形成回路に相当し、第2の映像信号形成回路11が第2の画素形成回路に相当する。
【0275】
また、比較回路6aが動き算出回路に相当し、フレーム間補間信号F1が静止画プログレッシブ信号に相当し、フレーム間補間回路7が静止画処理回路に相当し、フィールド内補間信号F2が動画プログレッシブ信号に相当し、フィールド内補間回路8が動画処理回路に相当し、インタレース映像信号V1,a,b,cがそれぞれ第1〜第4のインタレース映像信号に相当する。
【0276】
(第3の実施の形態)
次に、第3の実施の形態に係る画像変換装置100bについて説明する。図11は、第3の実施の形態に係る画像変換装置の構成を示すブロック図である。
【0277】
図11に示す画像変換装置100bが、図1の第1の実施の形態に係る画像変換装置100の構成と異なる点は、フレーム間補間回路7が削除され、非適用領域検出回路12が付加され、出力回路9の代わりに出力回路9bを含む点である。その他の構成は図1の画像変換装置100bと同様であるので、同一部分には同一符号を付し、以下に異なる部分についてのみ説明する。
【0278】
図11の非適用領域検出回路12には、インタレース映像信号V1と第1の1フィールド遅延回路1からの出力信号であるインタレース映像信号aとが与えられる。
【0279】
非適用領域検出回路12は、インタレース映像信号V1およびインタレース映像信号aに基づいてそれぞれのフィールド間の画像に対応する画素を含む周辺画素の値の平均値を検出する。
【0280】
一般に、インタレース映像信号V1の平均値と、インタレース映像信号aとの平均値が大きく異なる場合、与えられた映像は、フィールド間で元々大きく信号値が変化するフリッカ性の画像であると考えられる。
【0281】
ここで、フリッカ性の画像とは、画像全体がちらつく状態、例えば、画像全体が1フィールド毎に白,黒,白,黒と繰り返し変化する状態をいう。実際には、暗室で連続してストロボ(フラッシュ)を発光させた場合の映像信号において、フリッカ性の画像が形成されることとなる。
【0282】
このようなフリッカ性の画像においては、静止画処理であるフレーム間の補間を行うと画質ひずみを生じるので、画像変換装置は、動画処理であるフィールド内補間処理の信号を出力すべきである。
【0283】
すなわち、白と黒とが交互に生じるフリッカ性の画像に対して静止画処理であるフレーム間の補間を行うと、白と黒との中間色であるグレーの画素の補間を行うこととなり、白のみの画像又は黒のみの画像において画質に歪が生じる。
【0284】
したがって、非適用領域検出回路12は、フリッカ性の画像であるか否かを検出して、動画処理であるフィールド内補間処理の信号を出力すべきか否かの旨を出力回路9bに与える。
【0285】
出力回路9bは、動画処理であるフィールド内補間処理の信号を出力すべき旨が非適用領域検出回路12から与えられたときに、フィールド内補間回路8の信号の割合を増加させて出力する。これによって、フリッカ性の画像、例えば連続したカメラのフラッシュ等が含まれる映像に対しても、誤って静止画処理をしないようにすることができ、より精度の高い画像変換装置100bを提供することができる。
【0286】
また、非適用領域検出回路12は、インタレース映像フィールドのフィールド間の映像信号の対応する画素を含む周辺の画素の信号の値の平均値を用いて検出している。その結果、比較的少ない回路規模で、より精度の高い画像変換装置100bを提供することが出来る。
【0287】
また、第3の実施の形態に係る画像変換装置100bでは、図1のフレーム間補間回路7が削除されて、フレーム間補間回路7からの出力の代わりに第2のプログレッシブ映像生成回路5の出力信号が出力回路9bに与えられている。これによって、フレーム間補間回路7が削減できるので、低コストの画像変換装置100bを提供することができる。
【0288】
(他の例)
次に、図11の非適用領域検出回路の他の例について説明する。図12は、非適用領域検出回路の他の例を示すブロック図である。
【0289】
図12に示す非適用領域検出回路12aは、第1の領域検出回路21、第2の領域回路22および判別回路30を含む。
【0290】
図12に示すようにインタレース映像信号V1が、第1の1フィールド遅延回路1および第1の領域検出回路21に与えられる。第1の1フィールド遅延回路1は、与えられたインタレース映像信号V1を1フィールド遅延させてインタレース映像信号aを生成し、そのインタレース映像信号aを第2の領域検出回路22に与える。
【0291】
第1の領域検出回路21は、与えられたインタレース映像信号V1から1ライン上における平均値AV1、1ライン上における最大値MAX1、1ライン上における最小値MIN1を判別回路30に与える。第2の領域検出回路22は、第1の1フィールド遅延回路1から与えられたインタレース映像信号aの1ラインの平均値AV2、1ラインの最大値MAX2、1ラインの最小値MIN2を判別回路30に与える。
【0292】
判別回路30は、第1の領域検出回路21および第2の領域検出回路22から与えられた平均値AV1,AV2、最大値MAX1,MAX2および最小値MIN1,MIN2に基づいて与えられた画像がフィールド間で元々大きく信号値が変化するフリッカ性の画像であるか否かを検出する。
【0293】
例えば、判別回路30は、第1の平均値AV1と第2の平均値AV2との差が第1の閥値より大きいか否かを判定する。次に、判別回路30は、第1の最大値MAX1と第1の最小値MIN1との差が第2の閥値より大きいか否かを判定する。さらに、判別回路30は、第2の最大値MAX2と第2の最小値MIN2との差が第3の閥値より大きいか否かを判定する。
【0294】
なお、フリッカ性の画像は、フィールド間で大きく信号値が変化するが、1フィールド内で大きく信号値が変化しない。
【0295】
そのため、判別回路30は、第1の平均値AV1と第2の平均値AV2との差が第1の閥値よりも大きく、第1の最大値MAX1と第1の最小値MIN1との差が第2の閥値よりも小さく、かつ第2の最大値MAX2と第2の最小値MIN2との差が第3の閥値よりも小さい場合に、フリッカ性の画像であると判定した非適用領域検出信号NIを出力回路9bに出力する。
【0296】
このように、非適用領域検出回路12aは、1ライン遅延させた映像信号の画素を含む周辺画素と、現ラインの画素を含む周辺画素との平均値を比較することにより、フリッカ性の画像であるか否かを正確に検出して、動画処理であるフィールド内補間処理の信号を出力すべきか否かの旨を出力回路9bに与えることができる。
【0297】
また、出力回路9bは、動画処理であるフィールド内補間処理の信号を出力すべき旨が非適用領域検出回路12aから与えられたときに、フィールド内補間回路8の信号の割合を増加させて出力する。これによって、フリッカ性の画像、例えば連続したカメラのフラッシュ等が含まれる映像に対しても、誤って静止画処理をしないようにすることができ、より精度の高い画像変換装置100bを提供することができる。
【0298】
また、非適用領域検出回路12aは、インタレース映像信号のフィールド間の画像の対応する画素を含む周辺の画素の信号の値の平均値によりフリッカ性の画像か否かを検出している。その結果、比較的少ない回路規模で、より精度の高い画像変換装置100bを提供することが出来る。
【0299】
(さらに他の例)
次に、図11の非適用領域検出回路のさらに他の例について説明する。図13は、非適用領域検出回路のさらに他の例を示すブロック図である。
【0300】
図13に示す非適用領域検出回路12bが、図12に示す非適用領域検出回路12aと異なる点は、非適用領域検出回路12aの構成にさらに第3の領域検出回路23および第2の1フィールド遅延回路2を含む点である。その他の構成は図12に示す非適用領域検出回路12aと同様であるので、同一部分には同一符号を付し、以下に異なる部分についてのみ説明する。
【0301】
図13に示すように、第1の1フィールド遅延回路1は、与えられたインタレース映像信号V1を1フィールド遅延させてインタレース映像信号aを生成し、そのインタレース映像信号aを第2の1フィールド遅延回路2および第2の領域検出回路22に与える。
【0302】
第2の1フィールド遅延回路2は、与えられたインタレース映像信号aを1フィールド遅延させてインタレース映像信号bを生成し、そのインタレース映像信号bを第3の領域検出回路23に与える。
【0303】
第3の領域検出回路23は、与えられたインタレース映像信号bから1ライン上における平均値AV3、1ライン上における最大値MAX3、1ライン上における最小値MIN3を判別回路30に与える。
【0304】
判別回路30は、第1の領域検出回路21、第2の領域検出回路22および第3の領域検出回路23から与えられた平均値AV1,AV2,AV3、最大値MAX1,MAX2,MAX3および最小値MIN1,MIN2,MIN3に基づいて与えられた画像がフィールド間で元々大きく信号値が変化するフリッカ性の画像であるか否かを検出する。
【0305】
そのため、例えば、判別回路30は、第1の平均値AV1と第2の平均値AV2との差が第1の閥値より大きいか否かを判定する。また、判別回路30は、第2の平均値AV2と第3の平均値AV3との差が第4の閥値より大きいか否かを判定する。
【0306】
次に、判別回路30は、第1の最大値MAX1と第1の最小値MIN1との差が第2の閥値より大きいか否かを判定する。判別回路30は、第2の最大値MAX2と第2の最小値MIN2との差が第3の閥値より大きいか否かを判定する。さらに判別回路30は、第3の最大値MAX2と第3の最小値MIN2との差が第5の閥値より大きいか否かを判定する。
【0307】
なお、フリッカ性の画像は、フィールド間で大きく信号値が変化するが、1フィールド内で大きく信号値が変化しない。
【0308】
判別回路30は、第1の平均値AV1と第2の平均値AV2との差が第1の閥値よりも大きく、第1の最大値MAX1と第1の最小値MIN1との差が第2の閥値よりも小さく、第2の最大値MAX2と第2の最小値MIN2との差が第3の閥値よりも小さく、第3の平均値AV3と第2の平均値AV2との差が第1の閥値よりも大きく、かつ第3の最大値MAX3と第3の最小値MIN3との差が第5の閥値よりも小さい場合に、フリッカ性の画像であると判定した非適用領域検出信号NIを出力回路9bに出力する。
【0309】
このように、非適用領域検出回路12aは、2ライン遅延させた映像信号の画素を含む周辺画素と、1ライン遅延させた映像信号の画素を含む周辺画素と、現ラインの画素を含む周辺画素との平均値を比較することにより、フリッカ性の画像であるか否かをより正確に検出して、動画処理であるフィールド内補間処理の信号を出力すべきか否かの旨を出力回路9bに与えることができる。
【0310】
また、出力回路9bは、動画処理であるフィールド内補間処理の信号を出力すべき旨が非適用領域検出回路12aから与えられたときに、フィールド内補間回路8の信号の割合を増加させて出力する。これによって、フリッカ性の画像、例えば連続したカメラのフラッシュ等が含まれる映像に対しても、誤って静止画処理をしないようにすることができ、特に精度の高い画像変換装置100bを提供することができる。
【0311】
第3の発明の実施の形態の説明においては、第1の1フィールド遅延回路1、第2の1フィールド遅延回路2、第3の1フィールド遅延回路3、第1のプログレッシブ映像生成回路4、第2のプログレッシブ映像生成回路5、第1の映像信号形成回路10および第2の映像信号形成回路11が補間回路に相当し、第1の1フィールド遅延回路1、第2の1フィールド遅延回路2および第3の1フィールド遅延回路3がインタレース生成回路に相当し、プログレッシブ映像フィールド信号P1が第1のプログレッシブ信号に相当し、第1のプログレッシブ映像生成回路4が第1のプログレッシブ回路に相当し、プログレッシブ映像フィールド信号P2が第2のプログレッシブ信号に相当し、第2のプログレッシブ映像生成回路5が第2のプログレッシブ回路に相当し、第1の映像信号形成回路10が第1の画素形成回路に相当し、第2の映像信号形成回路11が第2の画素形成回路に相当し、非適用領域12,12a,12bが判定回路に相当する。
【0312】
また、比較回路6が動き算出回路に相当し、フレーム間補間信号F1が静止画プログレッシブ信号に相当し、フレーム間補間回路7が静止画処理回路に相当し、フィールド内補間信号F2が動画プログレッシブ信号に相当し、フィールド内補間回路8が動画処理回路に相当し、インタレース映像信号V1,a,b,cがそれぞれ第1〜第4のインタレース映像信号に相当する。
【0313】
【発明の効果】
本発明によれば、精度の高い動き検出が可能になり、画質劣化の少ない、解像度の高いプログレッシブ映像信号を生成することが可能となる。その結果、正確な動き検出を行うことができ、垂直方向に輝度差を持つ画像がゆっくり動いたときにおいても、正確な動き判定を行い、インタレース映像信号を安定で解像度の高いプログレッシブ映像に変換することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る画像変換装置を示すブロック図
【図2】(a)は第1のプログレッシブ映像生成回路の内部の構成例を示す図、(b)は、第2のプログレッシブ映像生成回路の内部の構成例を示す図
【図3】比較回路の内部の構成例を示す図
【図4】フレーム間補間回路の内部の構成例を示す図
【図5】フィールド内補間回路の構成例を示す図
【図6】出力回路の内部の構成例を示す図
【図7】第2の実施の形態に係る画像変換装置のブロック図
【図8】(a)は第1の映像信号形成回路10の構成を示す図、(b)は第2の映像信号形成回路の構成を示す図
【図9】比較回路の内部構成を示すブロック図
【図10】出力回路の内部構成の一例を示す図
【図11】第3の実施の形態に係る画像変換装置の構成を示すブロック図
【図12】非適用領域検出回路の他の例を示すブロック図
【図13】非適用領域検出回路のさらに他の例を示すブロック図
【図14】インタレース映像信号の形態を示す図
【図15】従来の動き適応型プログレッシブ変換装置の構成を示すブロック図
【図16】垂直方向に正弦波的に輝度が変化する画像の一例を示す図
【図17】インタレース映像信号に変換される前の元となる映像信号を示す図
【図18】インタレース映像信号が1フィールドごとに1/2ラインずつ動いたときの映像信号を重ねた図
【符号の説明】
1 第1の1フィールド遅延回路
2 第2の1フィールド遅延回路
3 第3の1フィールド遅延回路
4 第1のプログレッシブ映像生成回路
5 第2のプログレッシブ映像生成回路
6,6a 比較回路
7 フレーム間補間回路
8 フィールド内補間回路
9,9a,9b 出力回路
10 第1の映像信号形成回路
11 第2の映像信号形成回路
23 第3の領域検出回路
30 判別回路
100,100a,100b 画像変換装置
V1,a,b,c インタレース映像信号
P1,P2,P3,P4 プログレッシブ映像フィールド信号
F1 フレーム間補間信号
F2 フィールド内補間信号
Claims (16)
- 入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換装置であって、
前記入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、前記入力されたインタレース映像信号における画素および補間画素を含む補間信号を出力する補間回路と、
前記補間回路から出力される補間信号に基づいて画像の垂直方向の動き量を算出する動き算出回路と、
前記入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成する静止画処理回路と、
前記入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成する動画処理回路と、
前記動き算出回路により算出された前記動き量が第1の値より小さい場合に前記静止画処理回路により出力される静止画プログレッシブ信号を前記プログレッシブ映像信号として出力する出力回路とを備え、
前記補間回路は、
前記入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するインタレース生成回路と、
前記インタレース生成回路により生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するプログレッシブ生成回路と、
前記プログレッシブ生成回路により生成された前記プログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、前記プログレッシブ信号における画素および補間画素を含む補間信号を出力する画素形成回路とを含み、
前記動き算出回路は、前記画素形成回路から出力される補間信号に基づいて前記動き量を算出し、
前記出力回路は、前記動き量がライン間の間隔以下である場合に前記静止画プログレッシブ信号の割合を0.5以上にすることを特徴とする画像変換装置。 - 入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換装置であって、
前記入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、前記入力されたインタレース映像信号における画素および補間画素を含む補間信号を出力する補間回路と、
前記補間回路から出力される補間信号に基づいて画像の垂直方向の動き量を算出する動き算出回路と、
前記入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成する静止画処理回路と、
前記入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成する動画処理回路と、
前記動き算出回路により算出された前記動き量が第1の値より小さい場合に前記静止画処理回路により出力される静止画プログレッシブ信号を前記プログレッシブ映像信号として出力する出力回路とを備え、
前記補間回路は、
前記入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するインタレース生成回路と、
前記インタレース生成回路により生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するプログレッシブ生成回路と、
前記プログレッシブ生成回路により生成された前記プログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、前記プログレッシブ信号における画素および補間画素を含む補間信号を出力する画素形成回路とを含み、
前記動き算出回路は、前記画素形成回路から出力される補間信号に基づいて前記動き量 を算出し、
前記出力回路は、前記動き量がライン間の間隔の0.75倍以下である場合に前記静止画プログレッシブ信号の割合を0.5以上にすることを特徴とする画像変換装置。 - 入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換装置であって、
前記入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、前記入力されたインタレース映像信号における画素および補間画素を含む補間信号を出力する補間回路と、
前記補間回路から出力される補間信号に基づいて画像の垂直方向の動き量を算出する動き算出回路と、
前記入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成する静止画処理回路と、
前記入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成する動画処理回路と、
前記動き算出回路により算出された前記動き量が第1の値より小さい場合に前記静止画処理回路により出力される静止画プログレッシブ信号を前記プログレッシブ映像信号として出力する出力回路とを備え、
前記補間回路は、
前記入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するインタレース生成回路と、
前記インタレース生成回路により生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するプログレッシブ生成回路と、
前記プログレッシブ生成回路により生成された前記プログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、前記プログレッシブ信号における画素および補間画素を含む補間信号を出力する画素形成回路とを含み、
前記動き算出回路は、前記画素形成回路から出力される補間信号に基づいて前記動き量を算出し、
前記出力回路は、前記動き量がライン間の間隔の0.5倍以下である場合に前記静止画プログレッシブ信号の割合を0.5以上にすることを特徴とする画像変換装置。 - 入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換装置であって、
前記入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、前記入力されたインタレース映像信号における画素および補間画素を含む補間信号を出力する補間回路と、
前記補間回路から出力される補間信号に基づいて画像の垂直方向の動き量を算出する動き算出回路と、
前記入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成する静止画処理回路と、
前記入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成する動画処理回路と、
前記動き算出回路により算出された前記動き量が第1の値より小さい場合に前記静止画処理回路により出力される静止画プログレッシブ信号を前記プログレッシブ映像信号として出力する出力回路と、
複数のフィールドに対応する複数のインタレース映像信号における注目画素およびその周辺の画素の値の平均値をそれぞれ算出し、前記算出された平均値に基づいて前記静止画プログレッシブ信号の適用または非適用を判定する判定回路とを備え、
前記補間回路は、
前記入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するインタレース生成回路と、
前記インタレース生成回路により生成された複数のインタレース映像信号に基づいてプ ログレッシブ信号を生成するプログレッシブ生成回路と、
前記プログレッシブ生成回路により生成された前記プログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、前記プログレッシブ信号における画素および補間画素を含む補間信号を出力する画素形成回路とを含み、
前記動き算出回路は、前記画素形成回路から出力される補間信号に基づいて前記動き量を算出し、
前記出力回路は、前記判定回路の判定結果が非適用の場合に動画プログレッシブ信号を前記プログレッシブ映像信号として出力し、
前記判定回路は、前記複数のフィールドに対応する複数のインタレース映像信号の注目画素およびその周辺の画素の値の最大値および最小値をそれぞれ算出し、前記算出された平均値、最大値および最小値に基づいて前記静止画プログレッシブ信号の適用または非適用を判定することを特徴とする画像変換装置。 - 入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換装置であって、
前記入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、前記入力されたインタレース映像信号における画素および補間画素を含む補間信号を出力する補間回路と、
前記補間回路から出力される補間信号に基づいて画像の垂直方向の動き量を算出する動き算出回路と、
前記入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成する静止画処理回路と、
前記入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成する動画処理回路と、
前記動き算出回路により算出された前記動き量が第1の値より小さい場合に前記静止画処理回路により出力される静止画プログレッシブ信号を前記プログレッシブ映像信号として出力する出力回路と、
複数のフィールドに対応する複数のインタレース映像信号における注目画素およびその周辺の画素の値の平均値をそれぞれ算出し、前記算出された平均値に基づいて前記静止画プログレッシブ信号の適用または非適用を判定する判定回路とを備え、
前記補間回路は、
前記入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するインタレース生成回路と、
前記インタレース生成回路により生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するプログレッシブ生成回路と、
前記プログレッシブ生成回路により生成された前記プログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、前記プログレッシブ信号における画素および補間画素を含む補間信号を出力する画素形成回路とを含み、
前記動き算出回路は、前記画素形成回路から出力される補間信号に基づいて前記動き量を算出し、
前記出力回路は、前記判定回路の判定結果が非適用の場合に動画プログレッシブ信号を前記プログレッシブ映像信号として出力し、
前記判定回路は、前記算出された平均値のそれぞれの差が所定値より大きく、前記算出された同一フィールドの最大値と最小値との差のそれぞれの値が所定値より小さい場合に前記静止画プログレッシブ信号を非適用と判定することを特徴とする画像変換装置。 - 前記第1の値はライン間の間隔以下の値であることを特徴とする請求項1〜5のいずれかに記載の画像変換装置。
- 前記動き算出回路は、ライン間の間隔よりも小さい単位で垂直方向の動き量を算出することを特徴とする請求項項1〜6のいずれかに記載の画像変換装置。
- 前記プログレッシブ生成回路は、
前記インタレース生成回路により生成された複数のインタレース映像信号のうち第1の組み合わせの複数のインタレース映像信号に基づいて第1のプログレッシブ信号を生成する第1のプログレッシブ生成回路と、
前記インタレース生成回路により生成された複数のインタレース映像信号のうち前記第1の組み合わせと異なる第2の組み合わせの複数のインタレース映像信号に基づいて第2のプログレッシブ信号を生成する第2のプログレッシブ生成回路とを含み、
前記画素形成回路は、
前記第1のプログレッシブ生成回路により生成された前記第1のプログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、前記第1のプログレッシブ信号における画素および補間画素を含む第1の補間信号を出力する第1の画素形成回路と、
前記第2のプログレッシブ生成回路により生成された前記第2のプログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、前記第2のプログレッシブ信号における画素および補間画素を含む第2の補間信号を出力する第2の画素形成回路とを含み、
前記動き算出回路は、前記第1の画素形成回路から出力される第1の補間信号および前記第2の画素形成回路から出力される第2の補間信号に基づいて前記動き量を算出することを特徴とする請求項1〜7のいずれかに記載の画像変換装置。 - 前記出力回路は、前記動き量が第2の値より大きい場合に前記動画プログレッシブ信号を前記プログレッシブ映像信号として出力することを特徴とする請求項項1〜6のいずれかに記載の画像変換装置。
- 前記出力回路は、前記動き量が前記第1の値と前記第2の値との間にある場合、前記動き量に基づく割合で前記動画プログレッシブ信号と静止画プログレッシブ信号とを合成し、合成された信号を前記プログレッシブ映像信号として出力することを特徴とする請求項9記載の画像変換装置。
- 前記複数のインタレース映像信号は、連続する第1〜第4のフィールドに対応する第1〜第4のインタレース映像信号を含み、
前記第1の組み合わせの複数のインタレース映像信号は、前記第1〜第3のインタレース映像信号を含み、
前記第2の組み合わせの複数のインタレース映像信号は、前記第2〜第4のインタレース映像信号を含むことを特徴とする請求項1〜10のいずれかに記載の画像変換装置。 - 入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換方法であって、
前記入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、補間画素を含む補間信号を出力するステップと、
前記出力される補間信号に基づいて画像の垂直方向の動き量を算出するステップと、
前記入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成するステップと、
前記入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成するステップと、
算出された前記動き量が第1の値より小さい場合に前記出力される静止画プログレッシブ信号を前記プログレッシブ映像信号として出力するステップとを備え、
前記補間画素を形成するステップは、
前記入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するステップと、
前記生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するステップと、
前記生成された前記プログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、前記プログレッシブ信号における画素および補間画素を含む補間信号を出力するステップとを含み、
前記動き量を算出するステップは、前記出力される補間信号に基づいて前記動き量を算出するステップを含み、
前記出力するステップは、前記動き量がライン間の間隔以下である場合に前記静止画プ ログレッシブ信号の割合を0.5以上にすることを特徴とする画像変換方法。 - 入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換方法であって、
前記入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、補間画素を含む補間信号を出力するステップと、
前記出力される補間信号に基づいて画像の垂直方向の動き量を算出するステップと、
前記入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成するステップと、
前記入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成するステップと、
算出された前記動き量が第1の値より小さい場合に前記出力される静止画プログレッシブ信号を前記プログレッシブ映像信号として出力するステップとを備え、
前記補間画素を形成するステップは、
前記入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するステップと、
前記生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するステップと、
前記生成された前記プログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、前記プログレッシブ信号における画素および補間画素を含む補間信号を出力するステップとを含み、
前記動き量を算出するステップは、前記出力される補間信号に基づいて前記動き量を算出するステップを含み、
前記出力するステップは、前記動き量がライン間の間隔の0.75倍以下である場合に前記静止画プログレッシブ信号の割合を0.5以上にすることを特徴とする画像変換方法。 - 入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換方法であって、
前記入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、補間画素を含む補間信号を出力するステップと、
前記出力される補間信号に基づいて画像の垂直方向の動き量を算出するステップと、
前記入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成するステップと、
前記入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成するステップと、
算出された前記動き量が第1の値より小さい場合に前記出力される静止画プログレッシブ信号を前記プログレッシブ映像信号として出力するステップとを備え、
前記補間画素を形成するステップは、
前記入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するステップと、
前記生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するステップと、
前記生成された前記プログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、前記プログレッシブ信号における画素および補間画素を含む補間信号を出力するステップとを含み、
前記動き量を算出するステップは、前記出力される補間信号に基づいて前記動き量を算出するステップを含み、
前記出力するステップは、前記動き量がライン間の間隔の0.5倍以下である場合に前記静止画プログレッシブ信号の割合を0.5以上にすることを特徴とする画像変換方法。 - 入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換方法であって、
前記入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、補間画素を含む補間信号を出力するステップと、
前記出力される補間信号に基づいて画像の垂直方向の動き量を算出するステップと、
前記入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成するステップと、
前記入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成するステップと、
算出された前記動き量が第1の値より小さい場合に前記出力される静止画プログレッシブ信号を前記プログレッシブ映像信号として出力するステップと、
複数のフィールドに対応する複数のインタレース映像信号における注目画素およびその周辺の画素の値の平均値をそれぞれ算出し、前記算出された平均値に基づいて前記静止画プログレッシブ信号の適用または非適用を判定するステップとを備え、
前記補間画素を形成するステップは、
前記入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するステップと、
前記生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するステップと、
前記生成された前記プログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、前記プログレッシブ信号における画素および補間画素を含む補間信号を出力するステップとを含み、
前記動き量を算出するステップは、前記出力される補間信号に基づいて前記動き量を算出するステップを含み、
前記出力するステップは、前記判定結果が非適用の場合に動画プログレッシブ信号を前記プログレッシブ映像信号として出力し、
前記判定するステップは、前記複数のフィールドに対応する複数のインタレース映像信号の注目画素およびその周辺の画素の値の最大値および最小値をそれぞれ算出し、前記算出された平均値、最大値および最小値に基づいて前記静止画プログレッシブ信号の適用または非適用を判定するにすることを特徴とする画像変換方法。 - 入力されたインタレース映像信号をプログレッシブ映像信号に変換する画像変換方法であって、
前記入力されたインタレース映像信号に基づいて、ライン間の補間画素を生成し、補間画素を含む補間信号を出力するステップと、
前記出力される補間信号に基づいて画像の垂直方向の動き量を算出するステップと、
前記入力されたインタレース映像信号から静止画処理によって静止画プログレッシブ信号を生成するステップと、
前記入力されたインタレース映像信号から動画処理によって動画プログレッシブ信号を生成するステップと、
算出された前記動き量が第1の値より小さい場合に前記出力される静止画プログレッシブ信号を前記プログレッシブ映像信号として出力するステップと、
複数のフィールドに対応する複数のインタレース映像信号における注目画素およびその周辺の画素の値の平均値をそれぞれ算出し、前記算出された平均値に基づいて前記静止画プログレッシブ信号の適用または非適用を判定するステップとを備え、
前記補間画素を形成するステップは、
前記入力されたインタレース映像信号に基づいて、連続する複数のフィールドにそれぞれ対応する複数のインタレース映像信号を生成するステップと、
前記生成された複数のインタレース映像信号に基づいてプログレッシブ信号を生成するステップと、
前記生成された前記プログレッシブ信号を用いた補間処理によりライン間の補間画素を生成し、前記プログレッシブ信号における画素および補間画素を含む補間信号を出力するステップとを含み、
前記動き量を算出するステップは、前記出力される補間信号に基づいて前記動き量を算出するステップを含み、
前記出力するステップは、前記判定結果が非適用の場合に動画プログレッシブ信号を前記プログレッシブ映像信号として出力し、
前記判定するステップは、前記算出された平均値のそれぞれの差が所定値より大きく、前記算出された同一フィールドの最大値と最小値との差のそれぞれの値が所定値より小さい場合に前記静止画プログレッシブ信号を非適用と判定することを特徴とする画像変換方法。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003107140A JP4031390B2 (ja) | 2002-04-17 | 2003-04-10 | 画像変換装置および画像変換方法 |
EP03746482A EP1526730A4 (en) | 2002-04-17 | 2003-04-14 | IMAGE CONVERTING DEVICE AND CORRESPONDING METHOD |
US10/509,677 US7446815B2 (en) | 2002-04-17 | 2003-04-14 | Image conversion device and image conversion method |
CN038085925A CN1647523B (zh) | 2002-04-17 | 2003-04-14 | 图像变换装置和图像变换方法 |
KR1020047016489A KR100967262B1 (ko) | 2002-04-17 | 2003-04-14 | 화상 변환 장치 및 화상 변환 방법 |
PCT/JP2003/004721 WO2003088660A1 (fr) | 2002-04-17 | 2003-04-14 | Dispositif convertisseur d'image et procede correspondant |
TW092108836A TWI283130B (en) | 2002-04-17 | 2003-04-16 | Picture conversion apparatus and picture conversion method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002114569 | 2002-04-17 | ||
JP2003107140A JP4031390B2 (ja) | 2002-04-17 | 2003-04-10 | 画像変換装置および画像変換方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004007569A JP2004007569A (ja) | 2004-01-08 |
JP4031390B2 true JP4031390B2 (ja) | 2008-01-09 |
Family
ID=29253573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003107140A Expired - Fee Related JP4031390B2 (ja) | 2002-04-17 | 2003-04-10 | 画像変換装置および画像変換方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US7446815B2 (ja) |
EP (1) | EP1526730A4 (ja) |
JP (1) | JP4031390B2 (ja) |
KR (1) | KR100967262B1 (ja) |
CN (1) | CN1647523B (ja) |
TW (1) | TWI283130B (ja) |
WO (1) | WO2003088660A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2402288B (en) * | 2003-05-01 | 2005-12-28 | Imagination Tech Ltd | De-Interlacing of video data |
TW200623897A (en) | 2004-12-02 | 2006-07-01 | Seiko Epson Corp | Image display method, image display device, and projector |
KR100726552B1 (ko) * | 2005-12-09 | 2007-06-11 | 주식회사 대우일렉트로닉스 | 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법 |
US8253856B1 (en) * | 2006-12-11 | 2012-08-28 | Maxim Integrated Products, Inc. | Method and/or architecture for interlaced video resampling and color format conversion using combined vertical-temporal resolution extensions |
JP4956180B2 (ja) * | 2006-12-26 | 2012-06-20 | 株式会社東芝 | 順次走査変換装置及び順次走査変換方法 |
JP2008252594A (ja) * | 2007-03-30 | 2008-10-16 | Toshiba Corp | 順次走査変換装置及び順次走査変換方法 |
EP2109310B8 (en) * | 2008-04-11 | 2018-05-16 | Tektronix International Sales GmbH | A method of quantifying inter-field motion in a video frame |
US8317325B2 (en) | 2008-10-31 | 2012-11-27 | Cross Match Technologies, Inc. | Apparatus and method for two eye imaging for iris identification |
CN103196550A (zh) * | 2012-01-09 | 2013-07-10 | 西安智意能电子科技有限公司 | 一种对发射光源的成像信息进行筛选处理的方法与设备 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6132681A (ja) * | 1984-07-25 | 1986-02-15 | Hitachi Ltd | 信号処理回路 |
JPH0750927B2 (ja) * | 1985-11-29 | 1995-05-31 | キヤノン株式会社 | 画像信号変換装置 |
GB2231752B (en) * | 1989-04-27 | 1993-08-04 | Sony Corp | Motion dependent video signal processing |
JPH04372292A (ja) * | 1991-06-20 | 1992-12-25 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出装置 |
JP3084096B2 (ja) * | 1991-08-19 | 2000-09-04 | 三菱電機株式会社 | 順次走査信号変換装置 |
JP2832927B2 (ja) * | 1994-10-31 | 1998-12-09 | 日本ビクター株式会社 | 走査線補間装置及び走査線補間用動きベクトル検出装置 |
US6957350B1 (en) * | 1996-01-30 | 2005-10-18 | Dolby Laboratories Licensing Corporation | Encrypted and watermarked temporal and resolution layering in advanced television |
JPH1098692A (ja) * | 1996-09-24 | 1998-04-14 | Sharp Corp | 画像表示装置 |
JPH10112845A (ja) | 1996-10-07 | 1998-04-28 | Hitachi Ltd | 画像信号の飛び越し順次走査変換方法および回路 |
US6288745B1 (en) * | 1997-04-24 | 2001-09-11 | Mitsubishi Denki Kabushiki Kaisha | Scanner line interpolation device |
US6340990B1 (en) * | 1998-03-31 | 2002-01-22 | Applied Intelligent Systems Inc. | System for deinterlacing television signals from camera video or film |
JP3546698B2 (ja) * | 1998-04-17 | 2004-07-28 | 日本ビクター株式会社 | 走査線補間回路 |
JP3293561B2 (ja) * | 1998-07-29 | 2002-06-17 | 日本電気株式会社 | 画像表示装置及び画像表示方法 |
JP2000134585A (ja) * | 1998-10-23 | 2000-05-12 | Hitachi Ltd | 動きベクトル決定方法、画像信号のフレーム数変換方法および回路 |
KR100327395B1 (ko) * | 1999-09-03 | 2002-03-13 | 구자홍 | 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법 |
US6330032B1 (en) * | 1999-09-30 | 2001-12-11 | Focus Enhancements, Inc. | Motion adaptive de-interlace filter |
CA2406459C (en) * | 2000-04-07 | 2006-06-06 | Demografx | Enhanced temporal and resolution layering in advanced television |
US7116372B2 (en) * | 2000-10-20 | 2006-10-03 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for deinterlacing |
JP2002199351A (ja) * | 2000-12-27 | 2002-07-12 | Matsushita Electric Ind Co Ltd | 静止判定装置およびそれを備えた走査線補間装置 |
-
2003
- 2003-04-10 JP JP2003107140A patent/JP4031390B2/ja not_active Expired - Fee Related
- 2003-04-14 US US10/509,677 patent/US7446815B2/en not_active Expired - Fee Related
- 2003-04-14 CN CN038085925A patent/CN1647523B/zh not_active Expired - Fee Related
- 2003-04-14 KR KR1020047016489A patent/KR100967262B1/ko not_active IP Right Cessation
- 2003-04-14 EP EP03746482A patent/EP1526730A4/en not_active Withdrawn
- 2003-04-14 WO PCT/JP2003/004721 patent/WO2003088660A1/ja active Application Filing
- 2003-04-16 TW TW092108836A patent/TWI283130B/zh not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
US20050140825A1 (en) | 2005-06-30 |
WO2003088660A1 (fr) | 2003-10-23 |
US7446815B2 (en) | 2008-11-04 |
EP1526730A4 (en) | 2005-09-07 |
TW200306745A (en) | 2003-11-16 |
EP1526730A1 (en) | 2005-04-27 |
JP2004007569A (ja) | 2004-01-08 |
KR100967262B1 (ko) | 2010-07-01 |
KR20040102103A (ko) | 2004-12-03 |
CN1647523B (zh) | 2010-11-03 |
TWI283130B (en) | 2007-06-21 |
CN1647523A (zh) | 2005-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4031389B2 (ja) | 画像変換装置および画像変換方法 | |
JP5645699B2 (ja) | 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置 | |
KR101127220B1 (ko) | 움직임 보상 적응형 순차주사화 장치 및 그 방법 | |
KR20040009967A (ko) | 디인터레이싱장치 및 방법 | |
JP2004064788A (ja) | デインタレーシング装置及び方法 | |
KR20020044714A (ko) | 영상 복원 장치 및 방법 | |
JP2006324979A (ja) | 画像静止領域判定装置 | |
JP4031390B2 (ja) | 画像変換装置および画像変換方法 | |
US20070053013A1 (en) | Image signal processing apparatus and interlace-to-progressive conversion method | |
JP2005167887A (ja) | 動画像フォーマット変換装置及び方法 | |
JP2000253365A (ja) | 解像度変換方法および解像度変換装置 | |
JP4339237B2 (ja) | 順次走査変換装置 | |
JP4226939B2 (ja) | 順次走査変換装置及び順次走査変換方法 | |
JP2004320278A (ja) | 動画像時間軸補間方法及び動画像時間軸補間装置 | |
KR100827214B1 (ko) | 비디오 스캔 레이트 전환을 위한 움직임 보상 업컨버전 | |
JP2003289511A (ja) | 画像走査変換方法及び装置 | |
US8170370B2 (en) | Method and apparatus of processing interlaced video data to generate output frame by blending deinterlaced frames | |
US7405767B2 (en) | Video image conversion method for interlaced image to progressive image and system thereof | |
KR100382651B1 (ko) | 비디오신호 처리 시스템에서의 영역별 움직임 판단 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치 | |
WO2010004468A1 (en) | Reducing de-interlacing artifacts | |
JP2001024987A (ja) | 順次走査変換回路 | |
JP2001272962A (ja) | 画像表示装置 | |
JP2002016822A (ja) | 画像処理装置及び画像処理方法 | |
JP2002112204A (ja) | 画像処理装置 | |
JP2012074990A (ja) | 半導体装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070925 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071018 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131026 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |