JP4189645B2

JP4189645B2 - Image processing method and image processing apparatus

Info

Publication number: JP4189645B2
Application number: JP2003022593A
Authority: JP
Inventors: 章浩太田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-01-30
Filing date: 2003-01-30
Publication date: 2008-12-03
Anticipated expiration: 2023-01-30
Also published as: JP2004236012A

Description

【０００１】
【発明の属する技術分野】
この発明は、インターレース画像データをプログレッシブ画像データ（ノンインターレース画像データ）に変換する際に動画領域でフィールド内補間を行う方法および装置に関する。
【０００２】
【従来の技術】
現行の標準カラーテレビジョン方式としては、ＮＴＳＣ（ＮａｔｉｏｎａｌＴｅｌｅｖｉｓｉｏｎＳｙｓｔｅｍＣｏｍｍｉｔｔｅｅ）方式やＰＡＬ（ＰｈａｓｅＡｌｔｅｒｎａｔｉｏｎｂｙＬｉｎｅ）方式などが存在するが、これらは、インターレース走査（飛び越し走査）を採用している。
【０００３】
インターレース走査は、奇数フィールド（奇数番目のフィールド）の有効走査期間では、図１７の実線矢印Ｆｏで示すように、画面左上端の点Ｐｏｓから画面下端の左右方向における中央の点Ｐｏｅにかけて、画面上で想定する走査線の１本おきの位置を走査し、偶数フィールド（偶数番目のフィールド）の有効走査期間では、同図の破線矢印Ｆｅで示すように、画面上端の左右方向における中央の点Ｐｅｓから画面右下端の点Ｐｅｅにかけて、画面上で想定する走査線の残りの１本おきの位置を走査するものである。
【０００４】
したがって、インターレース画像信号（インターレース走査による画像信号）では、隣接する奇数フィールドおよび偶数フィールドによって１フレームが構成される。ＮＴＳＣ方式では、フレーム周波数が３０Ｈｚ、フィールド周波数が６０Ｈｚで、垂直帰線期間を含めて、１フレームが５２５本の水平ラインで構成され、１フィールドが２６２．５本の水平ラインで構成される。ＰＡＬ方式では、フレーム周波数が２５Ｈｚ、フィールド周波数が５０Ｈｚで、垂直帰線期間を含めて、１フレームが６２５本の水平ラインで構成され、１フィールドが３１２．５本の水平ラインで構成される。
【０００５】
これに対して、ノンインターレース走査（順次走査）は、図１８の実線矢印で示すように、画面左上端の点Ｐｓから画面右下端の点Ｐｅにかけて、画面上で想定する走査線の位置を１本ずつ順次走査するものである。
【０００６】
したがって、プログレッシブ画像信号（ノンインターレース走査による画像信号）では、奇数フィールドおよび偶数フィールドの概念が無く、整数本の水平ラインによって１フレームが構成される。
【０００７】
テレビジョン方式などで用いられているインターレース画像信号は、伝送帯域を抑え、かつフリッカ（ちらつき）を起こさないように工夫されたものであって、高画質化のためには、プログレッシブ画像信号の方が望ましい。
【０００８】
また、最近では、大型ディスプレイを備えるテレビジョン受信機が多くなっているが、大型ディスプレイでインターレース画像信号を表示すると、走査線の間隔が目立って、表示画質が劣化する。そのため、これらのテレビジョン受信機では、内部の画像処理によって、インターレース画像信号をプログレッシブ画像信号に変換する、いわゆるＩＰ（Ｉｎｔｅｒｌａｃｅ−Ｐｒｏｇｒｅｓｓｉｖｅ）変換が実行されることが多い。
【０００９】
さらに、液晶ディスプレイやプラズマディスプレイ（ＰＤＰ：ＰｌａｓｍａＤｉｓｐｌａｙＰａｎｅｌ）、またはＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）を並べて構成したディスプレイなどでは、上記のような理由以外に、ディスプレイ駆動方式としてプログレッシブ画像信号が必要な場合があり、ＩＰ変換を行う必要がある場合が存在する。
【００１０】
ＩＰ変換は、後述のように、基本的には、もとのインターレース画像データから新たに走査線データを生成するもので、この新たに生成される走査線データによって、変換後のプログレッシブ画像の画質が大きく左右される。
【００１１】
図１９に、ＩＰ変換のための信号処理装置（回路）の一例を示す。入力インターレース画像信号としては、コンポジット映像信号ｉＣＶ、輝度信号と色信号に分離された映像信号ｉＹ／Ｃ、または赤、緑、青の原色信号からなる映像信号ｉＲＧＢが存在しうる。
【００１２】
コンポジット映像信号ｉＣＶは、コムフィルタ１で、輝度信号と色信号に分離された映像信号ｃＹ／Ｃに変換され、その映像信号ｃＹ／Ｃ、または入力映像信号ｉＹ／Ｃは、クロマデコーダ２で、輝度信号と赤および青の色差信号とからなる映像信号ｉＹＵＶに変換される。
【００１３】
この映像信号ｉＹＵＶ、または入力映像信号ｉＲＧＢが、セレクタ３で選択され、Ａ／Ｄコンバータ４でデジタル映像データｄＹＵＶまたはｄＲＧＢに変換されて、イメージプロセッサ５に供給される。
【００１４】
イメージプロセッサ５には、ＣＰＵ６およびメモリ７が接続され、このイメージプロセッサ５において、後述のように、インターレース画像データｄＹＵＶまたはｄＲＧＢが、赤、緑、青の原色データからなるプログレッシブ画像データｐＲＧＢに変換される。ただし、イメージプロセッサ５としては、プロセッサシステムとしてＣＰＵおよびメモリが一体化されたものが用いられることもある。
【００１５】
イメージプロセッサ５からのプログレッシブ画像データｐＲＧＢは、Ｄ／Ａコンバータ８でアナログ画像信号に変換されて、アナログ駆動のディスプレイ駆動回路に供給され、または、デジタル画像データのまま、デジタル駆動のディスプレイ駆動回路に供給される。
【００１６】
イメージプロセッサ５でのＩＰ変換には、ライン間の補間を用いる。ライン間の補間の方式としては、インターレース画像の異なるフィールドのデータから補間データ（補間により生成されるデータ）を生成するフィールド間補間と、インターレース画像の同一フィールド内のデータから補間データを生成するフィールド内補間とがある。
【００１７】
図２０に、フィールド間補間の例を示す。この例では、インターレース画像の順次連続する３フィールドをＦ０，Ｆ１，Ｆ２とするとき、フィールドＦ１に対応するプログレッシブ画像のフレームＰｇの補間ライン（補間により生成されるライン）Ｌｇについては、破線の円および黒く塗り潰した円で示すように、フィールドＦ１の前後のフィールドＦ０，Ｆ２の、画面上で補間ラインＬｇと同じ位置のラインＬ０，Ｌ２上の画素のデータを補間したデータを、補間ラインＬｇの画素データとする。
【００１８】
図２１に、フィールド内補間の例を示す。この例では、インターレース画像の順次連続する３フィールドをＦ０，Ｆ１，Ｆ２とするとき、フィールドＦ１に対応するプログレッシブ画像のフレームＰｇの補間ラインＬｇについては、破線の円および黒く塗り潰した円で示すように、フィールドＦ１の、画面上で補間ラインＬｇの真上および真下に位置するラインＬｕおよびＬｄ上の画素のデータを補間したデータを、補間ラインＬｇの画素データとする。
【００１９】
静止画の場合には、もともと１枚の画像をインターレース化して２フィールドに分けているので、その２フィールドの間で補間を行うことによって、最も解像度の良い補間をすることができる。
【００２０】
これに対して、動画の場合には、インターレース画像の、あるフィールドの次のフィールドは、すでに違うシーンの画像であるので、図２１のようなフィールド内補間を行う。ただし、フィールド内補間では、もとになる情報が１フィールドの情報のみであるため、変換後のプログレッシブ画像も、情報量が少なくなり、動画の場合には、静止画の場合と比べると、画像鮮鋭度に欠ける場合がある。
【００２１】
フィールド内補間では、一般的には、図２２に示すように、インターレース画像の同一フィールド上の、補間画素（補間によりデータが生成される画素）Ｃの真上の画素Ｕ２および真下の画素Ｄ２のデータから、補間画素Ｃのデータを生成する。
【００２２】
すなわち、便宜上、画素（ドット）と、その値（データ）とを、同じ符号で示すと、補間画素Ｃの値は、例えば、画素Ｕ２の値と画素Ｄ２の値の平均値（Ｕ２＋Ｄ２）／２とする。このような補間を、上下方向の補間、略して上下補間と称する。
【００２３】
しかしながら、この上下補間では、補間データには上下方向の相関しか反映されないため、補間対象の領域に斜め方向の相関がある場合には、適切な補間データとならず、プログレッシブ画像の画質が劣化する。例えば、斜め線の画像部分では、斜め方向に相関があるが、この部分で上下補間を行うと、プログレッシブ画像にジャギーを生じる。
【００２４】
そこで、上下補間により補間データを生成する代わりに、斜め補間（斜め方向の補間）により補間データを生成することによって、プログレッシブ画像の画質を向上させることが考えられている。
【００２５】
例えば、図２３に示すように、インターレース画像の同一フィールド上の、補間ラインＬｇの真上および真下のラインＬｕおよびＬｄ上に、補間画素Ｃを中心に画素Ｕ０〜Ｕ４およびＤ０〜Ｄ４を想定し、斜め補間の補間方向として、画素Ｕ１と画素Ｄ３を結ぶ方向、画素Ｕ０と画素Ｄ４を結ぶ方向、画素Ｕ３と画素Ｄ１を結ぶ方向、および画素Ｕ４と画素Ｄ０を結ぶ方向の、４つの方向を設定する。
【００２６】
そして、インターレース画像のフィールド内補間を行う動画領域で、相関がある方向を検出し、例えば、画素Ｕ１と画素Ｄ３を結ぶ方向に相関があるときには、画素Ｕ１およびＤ３のデータから、補間画素Ｃのデータを生成する。すなわち、例えば、Ｃ＝（Ｕ１＋Ｄ３）／２とする。
【００２７】
このような斜め補間によれば、斜め方向をスムーズに表現して、斜め線でのジャギーを軽減することができ、プログレッシブ画像の画質を向上させることができる。
【００２８】
特許文献１（特開２００２−５７９９４公報）には、フィールド内補間を行う画像部分に斜め線があっても、滑らかに補間することができるように、上記の画素Ｕ２のデータと画素Ｄ２のデータとの差の絶対値が閾値より小さい場合には、画素Ｕ２およびＤ２のデータの平均値を補間データとし、上記の絶対値が閾値以上である場合には、画素Ｕ２およびＤ２を含む補間画素Ｃの近傍の複数画素、例えば６画素（図２３の画素Ｕ１〜Ｕ３，Ｄ１〜Ｄ３）のデータ中の、中間的な値を示す２つのデータの平均値を補間データとすることが示されている。
【００２９】
なお、特許文献２（特開２０００−７８５３９公報）には、インターレース画像などの部分画像に動きがあるか否かを判定する場合の、テロップなどの人工的な画像の動きを自然画像の動きとは別に検出する方法として、フレーム間の差分およびフィールド間の差分が、それぞれ、しきい値より大きいときには、テロップなどの人工的な画像の動きがあるものと判定することが示されている。
【００３０】
【特許文献１】
特開２００２−５７９９４公報。
【特許文献２】
特開２０００−７８５３９公報。
【００３１】
【発明が解決しようとする課題】
しかしながら、上述した従来の、動画領域でのフィールド内補間の斜め補間では、絵柄によっては、誤った方向の画素の間で補間が実行されることによって、結果的にプログレッシブ画像の画質が劣化することがある。
【００３２】
具体的には、画像中に、画面を流れるテロップ文字などのように、近傍の画素に対する独立性が高く、例えば近傍の画素に対する輝度の差が大きく、かつエッジを有する文字部などが存在する場合である。
【００３３】
図２４に、その一例として、テロップ文字中のアルファベット“Ｈ”を示す。これは、“Ｈ”の横線部分が、実ライン（インターレース画像のライン）Ｌｉ中の２本のラインＬｉｒ，Ｌｉｓで表現されている場合である。ラインＬｉｑは、ラインＬｉｒの真上の実ラインである。
【００３４】
この場合、ラインＬｉｑ，Ｌｉｒにまたがる楕円９内の部分につき、図２３に示したように補間画素Ｃの上下に画素Ｕ０〜Ｕ４，Ｄ０〜Ｄ４を想定すると、各画素の輝度レベルは、黒レベルを０、白レベルを２５５として、例えば、図２５の各画素中に記述した数値のように、画素Ｕ０については、“Ｈ”の左側縦線部分であるため、白レベルに近く、画素Ｕ１については、左側縦線部分の右側エッジ部であるため、黒レベルに近く、画素Ｕ２〜Ｕ４については、“Ｈ”の文字部分を外れているため、より黒レベルに近く、画素Ｄ０〜Ｄ４については、“Ｈ”の横線部分であるため、白レベルに近く、しかも、画素Ｄ０〜Ｄ４のなかでは、画素Ｄ４が最も、画素Ｕ０との間のレベル差が小さい。
【００３５】
その結果、画素Ｕ０と画素Ｄ４との間の相関が最も高く、画素Ｕ０と画素Ｄ４を結ぶ方向が補間方向として検出され、その方向に補間が実行される。すなわち、補間画素Ｃのデータとしては、画素Ｕ０の値と画素Ｄ４の値の平均値が生成される。
【００３６】
そのため、変換後のプログレッシブ画像には、図２６に示すように、“Ｈ”の横線部分の最上部に孤立的な輝点を生じ、プログレッシブ画像の品位が低下する。
【００３７】
図示していないが、文字部分および背景部分の輝度によっては、プログレッシブ画像に孤立的な暗点を生じる。
【００３８】
そこで、この発明は、インターレース画像データをプログレッシブ画像データに変換する際に動画領域でフィールド内補間を行うに当たって、斜め線の画像部分でのジャギーを軽減することができると同時に、特に、画面を流れるテロップ文字などのように、近傍の画素に対する独立性が高く、かつエッジを有する画像部分で、プログレッシブ画像に孤立的な特異点が現れるのを防止することができるようにしたものである。
【００３９】
【課題を解決するための手段】
第１の発明の画像処理方法は、
画像処理装置がインターレース画像データをプログレッシブ画像データに変換する際に動画領域でフィールド内補間を行う方法として、
プログレッシブ画像の、補間によりデータが生成される画素を補間画素と定義し、インターレース画像の、画面垂直方向を上下方向と定義し、画面垂直方向に交差する方向を斜め方向と定義し、画面水平方向を左右方向と定義するとき、
補間画素近傍におけるインターレース画像の、上下方向の相関の有無として、補間画素の上下の画素の間の相関の有無を検出して、相関がない場合に、第１の条件を満たすと判断する第１の工程と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に離れた画素の間の相関の有無を検出して、相関がない場合に、第２の条件を満たすと判断する第２の工程と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に隣接する画素の間の相関の有無を検出して、相関がない場合に、第３の条件を満たすと判断する第３の工程と、
上記第１、第２および第３の条件を全て満たすか否かを判断して、全て満たす場合には、上下方向の補間によって補間画素のデータを生成し、いずれかの条件を満たさない場合には、斜め方向の補間によって補間画素のデータを生成する第４の工程と、
を備えるものである。
第２の発明の画像処理方法は、
画像処理装置がインターレース画像データをプログレッシブ画像データに変換する際に動画領域でフィールド内補間を行う方法として、
プログレッシブ画像の、補間によりデータが生成される画素を補間画素と定義し、インターレース画像の、画面垂直方向を上下方向と定義し、画面垂直方向に交差する方向を斜め方向と定義し、画面水平方向を左右方向と定義するとき、
補間画素近傍におけるインターレース画像の、上下方向の相関の有無として、補間画素の上方および下方の、それぞれ２本の走査線上において、補間に用いられる画素範囲内で、それぞれ左右方向に複数対が存在する対の画素の間の相関の有無を検出して、補間画素の上方または下方の、左右方向における全ての対の画素の間に相関がある場合に、第１の条件を満たすと判断する第１の工程と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に離れた画素の間の相関の有無を検出して、相関がない場合に、第２の条件を満たすと判断する第２の工程と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に隣接する画素の間の相関の有無を検出して、相関がない場合に、第３の条件を満たすと判断する第３の工程と、
上記第１、第２および第３の条件を全て満たすか否かを判断して、全て満たす場合には、上下方向の補間によって補間画素のデータを生成し、いずれかの条件を満たさない場合には、斜め方向の補間によって補間画素のデータを生成する第４の工程と、
を備えるものである。
【００４０】
上記の第１または第２の発明の画像処理方法では、第１、第２および第３の条件を全て満たす場合を、斜め方向の補間が実行されることによってプログレッシブ画像に孤立的な特異点を生じる画像パターンであると判断して、第１、第２および第３の条件を全て満たす場合には、斜め方向の補間ではなく、上下方向の補間を実行するので、プログレッシブ画像に孤立的な特異点が現れるのを防止することができる。
【００４１】
【発明の実施の形態】
〔発明の方法の概要：図１および図２〕
この発明では、動画領域でフィールド内補間を行って個々の補間画素のデータ（画素値）を生成するに当たって、以下の実施形態に示すように、個々の補間画素ごとに条件１，２，３の３つの条件を満たすか否かを判断し、３つの条件を全て満たすときには、その補間画素につき、補間方向を上下方向と決定して、上下方向の補間を実行し、３つの条件のいずれか一つでも満たさないときには、その補間画素につき、補間方向を斜め方向と決定して、斜め方向の補間を実行する。
【００４２】
補間方向としては、図１に示すように、上下方向、上下方向に対して反時計方向に回転した第１斜め方向および第２斜め方向、および上下方向に対して時計方向に回転した第３斜め方向および第４斜め方向を設定する。
【００４３】
図２に示すように、図２２および図２３と同様に、インターレース画像の同一フィールド上の、補間ラインＬｇの真上および真下のラインＬｕおよびＬｄ上に、補間画素Ｃを中心に画素Ｕ０〜Ｕ４およびＤ０〜Ｄ４を想定すると、第１斜め方向は、画素Ｕ１と画素Ｄ３を結ぶ方向であり、第２斜め方向は、画素Ｕ０と画素Ｄ４を結ぶ方向であり、第３斜め方向は、画素Ｕ３と画素Ｄ１を結ぶ方向であり、第４斜め方向は、画素Ｕ４と画素Ｄ０を結ぶ方向である。
【００４４】
ただし、斜め補間の補間方向としては、より多くの方向を設定することもできる。
【００４５】
さらに、インターレース画像の同一フィールド上の、ラインＬｕの真上のラインＬｔ上、およびラインＬｄの真下のラインＬｂ上にも、補間画素Ｃを中心に画素Ｔ０〜Ｔ４およびＢ０〜Ｂ４を想定し、補間画素Ｃを中心とした、上下方向にはインターレース画像の４ライン分、左右方向には５画素分の領域を、条件判定用エリアとして設定する。
【００４６】
ただし、斜め補間の補間方向として、より多くの方向を設定する場合には、それに応じて条件判定用エリアも変更する。
【００４７】
図２中の、上下相関検出用一次データｃ００，ｃ０１，ｃ０２，ｃ０３，ｃ０４は、後述のように、それぞれ、画素Ｔ０，Ｔ１，Ｔ２，Ｔ３，Ｔ４と画素Ｕ０，Ｕ１，Ｕ２，Ｕ３，Ｕ４との間の相関の検出結果を示すデータであり、上下相関検出用一次データｃ２０，ｃ２１，ｃ２２，ｃ２３，ｃ２４は、後述のように、それぞれ、画素Ｄ０，Ｄ１，Ｄ２，Ｄ３，Ｄ４と画素Ｂ０，Ｂ１，Ｂ２，Ｂ３，Ｂ４との間の相関の検出結果を示すデータである。
【００４８】
条件１，２，３の判定のための画素データ（画素値）としては、インターレース画像データ（映像データ）中の輝度データ（輝度値）を用いる。
【００４９】
なお、以下でも、便宜上、画素（ドット）と、その値（データ）とを、同じ符号で示す。
【００５０】
以上の画像処理、すなわち以下の実施形態の画像処理は、ハードウェア回路として構成される画像処理装置が実行し、または一部または全部をＣＰＵが処理プログラムに従って実行する。
【００５１】
なお、以下の第１および第２の実施形態は、条件３の判定の方法に違いがあるだけで、その他は同じである。
【００５２】
〔第１の実施形態：図３〜図１１〕
（条件１の判定：図３〜図７）
条件１は、上下相関（上下方向の相関）の有無に関する。
【００５３】
＜第１の方法：図３、図４＞
図２４に示したアルファベット“Ｈ”には、横線部分があるため、図２５に示したように上下方向にレベル差が存在し、すなわち上下方向の相関がなく、そのため、上述したように斜め補間が実行されると、図２６のようにプログレッシブ画像に孤立的な特異点を生じる。
【００５４】
そこで、条件１についての第１の方法では、このように上下相関がない場合、すなわち上下方向のレベル差が大きい場合には、斜め補間ではなく、上下補間が実行されるように、上下相関の有無を検出して、上下相関がない場合には、条件１を満たすと判断し、上下相関がある場合には、条件１を満たさないと判断する。
【００５５】
最も単純な方法としては、画素Ｕ２の値と画素Ｄ２の値との差の絶対値ａｂｓ（Ｕ２−Ｄ２）を算出し、図３に示すように、絶対値ａｂｓ（Ｕ２−Ｄ２）が、定められた閾値Ｖｔｈ１より大きいときには、上下相関がなく、条件１を満たすと判断して、条件１についての判定フラグｆｇ１を１とし、絶対値ａｂｓ（Ｕ２−Ｄ２）が閾値Ｖｔｈ１以下であるときには、上下相関があり、条件１を満たさないと判断して、判定フラグｆｇ１を０とする。
【００５６】
画素Ｕ２の値と画素Ｄ２の値との差の絶対値ａｂｓ（Ｕ２−Ｄ２）の代わりに、画素Ｔ２の値と画素Ｄ２の値との差の絶対値ａｂｓ（Ｔ２−Ｄ２）を用いてもよい。
【００５７】
さらに、補間画素Ｃの上側の左右方向に近接する複数画素の値の平均値と、補間画素Ｃの下側の左右方向に近接する複数画素の値の平均値との差の絶対値を、閾値Ｖｔｈ１と比較してもよく、これによれば、より精度のよい判別をすることができる。
【００５８】
例えば、図４に示すように、画素Ｕ０〜Ｕ４の値の平均値ａｖｅ（Ｕ０〜Ｕ４）と画素Ｄ０〜Ｄ４の値の平均値ａｖｅ（Ｄ０〜Ｄ４）との差の絶対値ａｂｓ｛ａｖｅ（Ｕ０〜Ｕ４）−ａｖｅ（Ｄ０〜Ｄ４）｝を算出し、これが閾値Ｖｔｈ１より大きいときには、上下相関がなく、条件１を満たすと判断して、判定フラグｆｇ１を１とし、絶対値ａｂｓ｛ａｖｅ（Ｕ０〜Ｕ４）−ａｖｅ（Ｄ０〜Ｄ４）｝が閾値Ｖｔｈ１以下であるときには、上下相関があり、条件１を満たさないと判断して、判定フラグｆｇ１を０とする。
【００５９】
要するに、条件１についての第１の方法としては、補間画素Ｃの上側の１個または複数の画素と補間画素Ｃの下側の１個または複数の画素との間の相関の有無を検出し、相関がないときには、条件１を満たすと判断して、判定フラグｆｇ１を１とし、相関があるときには、条件１を満たさないと判断して、判定フラグｆｇ１を０とする。
【００６０】
＜第２の方法：図５〜図７＞
図２４に示したアルファベット“Ｈ”のように横線部分が存在する場合でも、ラインＬｔとラインＬｕとの間、またはラインＬｄとラインＬｂとの間では、強い相関を示すことが多い。
【００６１】
図５および図６に、その例を示す。図５は、“Ｈ”の横線部分が２本の線で表現されている場合であり、図６は、“Ｈ”の横線部分が１本の線で表現されている場合である。
【００６２】
図５の場合には、同図に示すように横線部分がラインＬｄ，Ｌｂであるとき、ラインＬｔとラインＬｕとの間の相関が強く、ラインＬｄとラインＬｂとの間の相関も強い。図６の場合には、同図に示すように横線部分がラインＬｄであるとき、ラインＬｔとラインＬｕとの間の相関が強い。
【００６３】
そこで、条件１についての第２の方法では、図２に示した条件判定用エリア内で、このようにラインＬｔとラインＬｕとの間の相関またはラインＬｄとラインＬｂとの間の相関が強い場合には、補間ラインＬｇの真上のラインＬｕと真下のラインＬｄとの間の相関の如何にかかわらず、斜め補間ではなく、上下補間が実行されるように、条件１を満たすものと判断する。
【００６４】
具体的には、画素Ｔ０の値と画素Ｕ０の値との差の絶対値ａｂｓ（Ｔ０−Ｕ０）を算出し、図７中の（Ａ）に示すように、絶対値ａｂｓ（Ｔ０−Ｕ０）が、上記の閾値Ｖｔｈ１より小さい閾値Ｖｔｈ２より大きいときには、画素Ｔ０と画素Ｕ０との間に強い相関がないと判断して、上記のデータｃ００を１とし、絶対値ａｂｓ（Ｔ０−Ｕ０）が閾値Ｖｔｈ２以下であるときには、画素Ｔ０と画素Ｕ０との間に強い相関があると判断して、データｃ００を０とする。
【００６５】
画素Ｔ１，Ｕ１間、画素Ｔ２，Ｕ２間、画素Ｔ３，Ｕ３間、画素Ｔ４，Ｕ４間、画素Ｄ０，Ｂ０間、画素Ｄ１，Ｂ１間、画素Ｄ２，Ｂ２間、画素Ｄ３，Ｂ３間、画素Ｄ４，Ｂ４間でも、同様に、強い相関があるか否かを検出し、データｃ０１，ｃ０２，ｃ０３，ｃ０４，ｃ２０，ｃ２１，ｃ２２，ｃ２３，ｃ２４の値を決定する。
【００６６】
そして、データｃ００〜ｃ０４が全て０であるときには、ラインＬｔとラインＬｕとの間の相関が強いと判断し、データｃ２０〜ｃ２４が全て０であるときには、ラインＬｄとラインＬｂとの間の相関が強いと判断し、図７中の（Ｂ）に示すように、ラインＬｔとラインＬｕとの間の相関が強いとき（ｃ００＝ｃ０１＝ｃ０２＝ｃ０３＝ｃ０４＝０のとき）、またはラインＬｄとラインＬｂとの間の相関が強いとき（ｃ２０＝ｃ２１＝ｃ２２＝ｃ２３＝ｃ２４＝０のとき）には、条件１を満たすと判断して、条件１についての判定フラグｆｇ１を１とする。
【００６７】
データｃ００〜ｃ０４のいずれかが１であり、かつデータｃ２０〜ｃ２４のいずれかが１であるときには、すなわち、ラインＬｔとラインＬｕとの間の相関が強くなく、かつラインＬｄとラインＬｂとの間の相関が強くないと判断したときには、条件１を満たさないと判断して、判定フラグｆｇ１を０とする。
【００６８】
なお、ラインＬｔまたはＬｄ上の一つの画素の値とラインＬｕまたはＬｂ上の一つの画素の値との差の絶対値を、閾値Ｖｔｈ２と比較する代わりに、ノイズの影響を減らすために、ラインＬｔまたはＬｄ上の左右方向に近接する複数画素の値の平均値とラインＬｕまたはＬｂ上の左右方向に近接する複数画素の値の平均値との差の絶対値を、閾値Ｖｔｈ２と比較してもよい。
【００６９】
文字などの画像部分では、その部分の性質を判定するに当たって、その部分の近傍の部分まで判定のためのエリアを広げると、判定精度を上げることができる場合がある。上述した第２の方法は、この考えを応用したものである。
【００７０】
（条件２の判定：図８、図９）
条件２は、補間画素Ｃの左右の離れた画素の間での相関の有無に関する。以下では、この相関を左右大域相関と称する。ただし、条件２では、補間ラインＬｇの真上および真下のラインＬｕおよびＬｄのみを考慮する。
【００７１】
図２４に示したアルファベット“Ｈ”の画像部分では、“Ｈ”の左側縦線部分の右側エッジの左右（左は左側縦線部分内、右は左側縦線部分と右側縦線部分との間の背景部分）で輝度の差が大きいため、斜め補間が実行されると、図２６のようにプログレッシブ画像に孤立的な特異点を生じる。
【００７２】
そこで、条件２については、このように左右方向に大きなレベル差がある場合には、斜め補間ではなく、上下補間が実行されるように、左右大域相関の有無を検出して、左右大域相関がない場合、すなわち左右方向に大きなレベル差がある場合には、条件２を満たすと判断し、左右大域相関がある場合、すなわち左右方向に大きなレベル差がない場合には、条件２を満たさないと判断する。
【００７３】
一例として、図２に示した条件判定用エリアの左端の画素Ｕ０およびＤ０の値の和（Ｕ０＋Ｄ０）と、右端の画素Ｕ４およびＤ４の値の和（Ｕ４＋Ｄ４）との差の絶対値ａｂｓ｛（Ｕ０＋Ｄ０）−（Ｕ４＋Ｄ４）｝を算出し、図８に示すように、絶対値ａｂｓ｛（Ｕ０＋Ｄ０）−（Ｕ４＋Ｄ４）｝が、定められた閾値Ｈｔｈ１より大きいときには、左右大域相関がなく、条件２を満たすと判断して、条件２についての判定フラグｆｇ２を１とし、絶対値ａｂｓ｛（Ｕ０＋Ｄ０）−（Ｕ４＋Ｄ４）｝が閾値Ｈｔｈ１以下であるときには、左右大域相関があり、条件２を満たさないと判断して、判定フラグｆｇ２を０とする。
【００７４】
あるいは、他の例として、図９に示すように、左端の画素Ｕ０の値と右端の画素Ｕ４の値との差の絶対値ａｂｓ（Ｕ０−Ｕ４）が閾値Ｈｔｈ１より大きいとき、または左端の画素Ｄ０の値と右端の画素Ｄ４の値との差の絶対値ａｂｓ（Ｄ０−Ｄ４）が閾値Ｈｔｈ１より大きいときには、左右大域相関がなく、条件２を満たすと判断して、判定フラグｆｇ２を１とし、絶対値ａｂｓ（Ｕ０−Ｕ４）およびａｂｓ（Ｄ０−Ｄ４）が閾値Ｈｔｈ１以下であるときには、左右大域相関があり、条件２を満たさないと判断して、判定フラグｆｇ２を０とする。
【００７５】
ただし、図８および図９では、条件２についての閾値という意味で、閾値を共にＨｔｈ１で表しているが、実際の値としては、図８の場合の閾値Ｈｔｈ１と図９の場合の閾値Ｈｔｈ１は異なる値にする。
【００７６】
（条件３の判定：図１０）
条件３は、左右方向に隣接する画素の間での相関の有無に関する。以下では、この相関を左右小域相関と称する。ただし、条件３でも、条件２と同様に、補間ラインＬｇの真上および真下のラインＬｕおよびＬｄのみを考慮する。
【００７７】
斜め補間が実行されることによって図２６のように孤立的な特異点を生じるのは、ほとんどが文字の角に当たり、左右方向のエッジが存在する部分である。
【００７８】
そこで、条件３については、左右方向のエッジが存在する場合には、斜め補間ではなく、上下補間が実行されるように、左右小域相関の有無を検出して、左右小域相関がない場合、すなわち左右方向のエッジが存在する場合には、条件３を満たすと判断し、左右小域相関がある場合、すなわち左右方向のエッジが存在しない場合には、条件３を満たさないと判断する。
【００７９】
具体的には、（１）画素Ｕ０の値と画素Ｕ１の値との差の絶対値ａｂｓ（Ｕ０−Ｕ１）、（２）画素Ｄ０の値と画素Ｄ１の値との差の絶対値ａｂｓ（Ｄ０−Ｄ１）、（３）画素Ｕ１の値と画素Ｕ２の値との差の絶対値ａｂｓ（Ｕ１−Ｕ２）、（４）画素Ｄ１の値と画素Ｄ２の値との差の絶対値ａｂｓ（Ｄ１−Ｄ２）、（５）画素Ｕ２の値と画素Ｕ３の値との差の絶対値ａｂｓ（Ｕ２−Ｕ３）、（６）画素Ｄ２の値と画素Ｄ３の値との差の絶対値ａｂｓ（Ｄ２−Ｄ３）、（７）画素Ｕ３の値と画素Ｕ４の値との差の絶対値ａｂｓ（Ｕ３−Ｕ４）、および（８）画素Ｄ３の値と画素Ｄ４の値との差の絶対値ａｂｓ（Ｄ３−Ｄ４）を算出し、図１０に示すように、これら８個の絶対値のいずれか一つでも、定められた閾値Ｈｔｈ２より大きいときには、左右小域相関がなく、条件３を満たすと判断して、条件３についての判定フラグｆｇ３を１とし、上記８個の絶対値の全てが閾値Ｈｔｈ２以下であるときには、左右小域相関があり、条件３を満たさないと判断して、判定フラグｆｇ３を０とする。
【００８０】
（総合的な判断と補間方向の決定）
上述したように条件１，２，３を満たすか否かを判断した後、条件１，２，３を全て満たすか否かを判断し、条件１，２，３を全て満たすときには、すなわち判定フラグｆｇ１，ｆｇ２，ｆｇ３が全て１であるときには、その補間画素につき、補間方向を上下方向と決定して、上下方向の補間を実行し、条件１，２，３のいずれか一つでも満たさないときには、すなわち判定フラグｆｇ１，ｆｇ２，ｆｇ３のいずれかが０であるときには、その補間画素につき、補間方向を斜め方向と決定して、斜め方向の補間を実行する。
【００８１】
したがって、文字のエッジ部のように、斜め補間が実行されることによってプログレッシブ画像に孤立的な特異点を生じる画像部分では、斜め補間ではなく、上下補間が実行されることになり、プログレッシブ画像に孤立的な特異点が現れるのが防止される。
【００８２】
（画像処理装置の例：図１１）
図１１に、以上のような画像処理方法を実行する画像処理装置の一例を示す。
【００８３】
この例は、ハードウェア回路として構成された場合で、動画補間処理部１０には、入力画像データとして、インターレース画像データの動画領域として検出された部分の画像データが供給される。
【００８４】
動画補間処理部１０では、第１条件判定部１１、第２条件判定部１２および第３条件判定部１３において、それぞれ上記の条件１，２および３を満たすか否かを判断するとともに、これと並行して、動画補間方向検出部１５において、斜め補間を行う場合の補間方向（斜め方向）が検出される。
【００８５】
すなわち、斜め補間の補間方向として、あらかじめ、図１に示したような第１斜め方向、第２斜め方向、第３斜め方向および第４斜め方向を設定する場合には、そのいずれかの方向が、個々の補間画素についての補間方向として検出される。
【００８６】
論理回路１４では、第１条件判定部１１、第２条件判定部１２および第３条件判定部１３の判定結果のフラグｆｇ１，ｆｇ２およびｆｇ３の論理積（ＡＮＤ）が求められ、上述したようにフラグｆｇ１，ｆｇ２，ｆｇ３が全て１であるときには、論理回路１４の出力の総合判定結果が“１”とされ、フラグｆｇ１，ｆｇ２，ｆｇ３のいずれかが０であるときには、総合判定結果が“０”とされる。
【００８７】
そして、補間方向決定部１６では、論理回路１４の出力の総合判定結果に応じて、総合判定結果が“１”であるときには、動画補間方向検出部１５で検出された補間方向（斜め方向）の如何にかかわらず、補間方向を上下方向と決定し、総合判定結果が“０”であるときには、動画補間方向検出部１５で検出された補間方向（斜め方向）を、そのまま補間方向として決定する。
【００８８】
補間データ生成部１７では、補間方向決定部１６で決定された方向の補間を実行し、補間データ（補間画素の画素データ）を生成する。
【００８９】
〔第２の実施形態：図１２〜図１６〕
第１の実施形態の例では、条件３を満たすか否かを判断するに当たって、図１０に示したように、上記（１）〜（８）の８個の絶対値を算出し、閾値Ｈｔｈ２と比較する必要がある。
【００９０】
そこで、第２の実施形態では、条件３の判定のための演算規模を縮小するために、条件３の判定に当たって、図１１に示したような動画補間方向検出部１５での検出結果を利用する。
【００９１】
図１２は、この場合の画像処理装置の一例を示し、第３条件判定部１３では、動画補間方向検出部１５で検出された、斜め補間を行う場合の補間方向（斜め方向）を利用して、条件３を満たすか否かを判断する。その他は、図１１の例と同じである。
【００９２】
具体的に、動画補間方向検出部１５で、図１３の両矢印で示すように、画素Ｕ０と画素Ｄ４を結ぶ方向（上記の第２斜め方向）が、最も相関が強く、斜め補間を行う場合の補間方向として検出された場合、条件３の左右小域相関（左右方向に隣接する画素の間での相関）の有無については、画素Ｕ０の値と画素Ｕ１の値との差の絶対値ａｂｓ（Ｕ０−Ｕ１）、および画素Ｄ３の値と画素Ｄ４の値との差の絶対値ａｂｓ（Ｄ３−Ｄ４）を算出し、図１４に示すように、絶対値ａｂｓ（Ｕ０−Ｕ１）またはａｂｓ（Ｄ３−Ｄ４）が閾値Ｈｔｈ２より大きいときには、左右小域相関がなく、条件３を満たすと判断して、判定フラグｆｇ３を１とし、絶対値ａｂｓ（Ｕ０−Ｕ１）およびａｂｓ（Ｄ３−Ｄ４）が閾値Ｈｔｈ２以下であるときには、左右小域相関があり、条件３を満たさないと判断して、判定フラグｆｇ３を０とする。
【００９３】
また、動画補間方向検出部１５で、図１５の両矢印で示すように、画素Ｕ１と画素Ｄ３を結ぶ方向（上記の第１斜め方向）が、最も相関が強く、斜め補間を行う場合の補間方向として検出された場合、条件３の左右小域相関の有無については、（ａ）画素Ｕ０の値と画素Ｕ１の値との差の絶対値ａｂｓ（Ｕ０−Ｕ１）、（ｂ）画素Ｕ１の値と画素Ｕ２の値との差の絶対値ａｂｓ（Ｕ１−Ｕ２）、（ｃ）画素Ｄ２の値と画素Ｄ３の値との差の絶対値ａｂｓ（Ｄ２−Ｄ３）、および（ｄ）画素Ｄ３の値と画素Ｄ４の値との差の絶対値ａｂｓ（Ｄ３−Ｄ４）を算出し、図１６に示すように、これら４個の絶対値のいずれか一つでも閾値Ｈｔｈ２より大きいときには、左右小域相関がなく、条件３を満たすと判断して、判定フラグｆｇ３を１とし、上記４個の絶対値の全てが閾値Ｈｔｈ２以下であるときには、左右小域相関があり、条件３を満たさないと判断して、判定フラグｆｇ３を０とする。
【００９４】
この第２の実施形態によれば、第３条件判定部１３の演算規模を第１の実施形態の半分以下に縮小することができる。
【００９５】
【発明の効果】
上述したように、この発明によれば、斜め線の画像部分でのジャギーを軽減することができると同時に、特に、画面を流れるテロップ文字などのように、近傍の画素に対する独立性が高く、かつエッジを有する画像部分で、プログレッシブ画像に孤立的な特異点が現れるのを防止することができる。
【図面の簡単な説明】
【図１】この発明における補間方向の一例を示す図である。
【図２】この発明における条件判定用エリアの一例を示す図である。
【図３】条件１の判定方法の一例を示す図である。
【図４】条件１の判定方法の一例を示す図である。
【図５】画面を流れるテロップ文字の一例を示す図である。
【図６】画面を流れるテロップ文字の一例を示す図である。
【図７】条件１の判定方法の一例を示す図である。
【図８】条件２の判定方法の一例を示す図である。
【図９】条件２の判定方法の一例を示す図である。
【図１０】条件３の判定方法の一例を示す図である。
【図１１】この発明の画像処理装置の一例を示す図である。
【図１２】この発明の画像処理装置の他の例を示す図である。
【図１３】条件３の別の判定方法を示す図である。
【図１４】条件３の別の判定方法を示す図である。
【図１５】条件３の別の判定方法を示す図である。
【図１６】条件３の別の判定方法を示す図である。
【図１７】インターレース走査の説明に供する図である。
【図１８】ノンインターレース走査の説明に供する図である。
【図１９】ＩＰ変換のための信号処理装置の一例を示す図である。
【図２０】フィールド間補間の例を示す図である。
【図２１】フィールド内補間の例を示す図である。
【図２２】上下補間の説明に供する図である。
【図２３】斜め補間の説明に供する図である。
【図２４】インターレース画像の流れるテロップ文字の部分を示す図である。
【図２５】図２４の楕円内の部分の画素データの具体例を示す図である。
【図２６】図２４の楕円内の部分で斜め補間を行った場合に生じる輝点を示す図である。
【符号の説明】
主要部については図中に全て記述したので、ここでは省略する。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for performing intra-field interpolation in a moving image area when converting interlaced image data to progressive image data (non-interlaced image data).
[0002]
[Prior art]
Current standard color television systems include the NTSC (National Television System Committee) system and the PAL (Phase Alternation By Line) system, which employ interlace scanning (interlace scanning).
[0003]
In the effective scanning period of the odd field (odd number field), the interlaced scanning is performed on the screen from the point Pos at the upper left corner of the screen to the central point Poe in the left and right direction at the lower edge of the screen, as indicated by the solid arrow Fo in FIG. In the effective scanning period of even-numbered fields (even-numbered fields), the center point Pes in the left-right direction at the upper end of the screen is scanned as shown by the broken arrow Fe in the figure. The remaining positions of the scanning lines assumed on the screen are scanned from the point Pee at the lower right corner of the screen to the point Pee.
[0004]
Therefore, in an interlaced image signal (image signal obtained by interlaced scanning), one frame is constituted by adjacent odd and even fields. In the NTSC system, the frame frequency is 30 Hz, the field frequency is 60 Hz, one frame is composed of 525 horizontal lines including the vertical blanking period, and one field is composed of 262.5 horizontal lines. In the PAL system, the frame frequency is 25 Hz, the field frequency is 50 Hz, one frame is composed of 625 horizontal lines including the vertical blanking period, and one field is composed of 312.5 horizontal lines.
[0005]
On the other hand, in the non-interlaced scanning (sequential scanning), as shown by the solid line arrow in FIG. 18, the position of the scanning line assumed on the screen from the point Ps at the upper left corner of the screen to the point Pe at the lower right corner of the screen is 1 The book is sequentially scanned.
[0006]
Therefore, in the progressive image signal (image signal by non-interlaced scanning), there is no concept of the odd field and the even field, and one frame is constituted by an integer number of horizontal lines.
[0007]
The interlaced image signal used in the television system is devised so as to suppress the transmission band and not to cause flicker (flicker). Is desirable.
[0008]
Recently, many television receivers are provided with a large display. However, when an interlaced image signal is displayed on a large display, the interval between scanning lines is conspicuous and the display image quality deteriorates. Therefore, in these television receivers, so-called IP (Interlace-Progressive) conversion, in which an interlaced image signal is converted into a progressive image signal, is often performed by internal image processing.
[0009]
In addition, for liquid crystal displays, plasma displays (PDP: Plasma Display Panel), or displays with LEDs (Light Emitting Diode) arranged side by side, progressive image signals may be required as a display drive method in addition to the above reasons. In some cases, IP conversion needs to be performed.
[0010]
As will be described later, the IP conversion basically generates new scanning line data from the original interlaced image data, and the image quality of the progressive image after conversion is generated by the newly generated scanning line data. Is greatly affected.
[0011]
FIG. 19 shows an example of a signal processing device (circuit) for IP conversion. As an input interlaced image signal, there can be a composite video signal iCV, a video signal iY / C separated into a luminance signal and a color signal, or a video signal iRGB consisting of red, green, and blue primary color signals.
[0012]
The composite video signal iCV is converted by a comb filter 1 into a video signal cY / C separated into a luminance signal and a color signal, and the video signal cY / C or the input video signal iY / C is converted by a chroma decoder 2. It is converted into a video signal iYUV comprising a luminance signal and red and blue color difference signals.
[0013]
The video signal iYUV or the input video signal iRGB is selected by the selector 3, converted into digital video data dYUV or dRGB by the A / D converter 4, and supplied to the image processor 5.
[0014]
The image processor 5 is connected to a CPU 6 and a memory 7. In the image processor 5, as will be described later, the interlaced image data dYUV or dRGB is converted into progressive image data pRGB composed of red, green, and blue primary color data. The However, as the image processor 5, a processor system in which a CPU and a memory are integrated may be used.
[0015]
The progressive image data pRGB from the image processor 5 is converted into an analog image signal by the D / A converter 8 and supplied to the analog drive display drive circuit, or the digital image data is supplied to the digital drive display drive circuit as it is. Supplied.
[0016]
Interpolation between lines is used for IP conversion in the image processor 5. Interpolation methods between lines include inter-field interpolation that generates interpolation data (data generated by interpolation) from data in different fields of an interlaced image, and a field that generates interpolation data from data in the same field of an interlaced image. There is inner interpolation.
[0017]
FIG. 20 shows an example of inter-field interpolation. In this example, when three consecutive fields of an interlaced image are F0, F1, and F2, an interpolation line (a line generated by interpolation) Lg of a progressive image frame Pg corresponding to the field F1 is a broken circle. As indicated by the black circles, the data obtained by interpolating the pixel data on the lines L0 and L2 at the same position as the interpolation line Lg on the screen in the fields F0 and F2 before and after the field F1 Let it be pixel data.
[0018]
FIG. 21 shows an example of intra-field interpolation. In this example, when three consecutive fields of the interlaced image are F0, F1, and F2, the interpolation line Lg of the progressive image frame Pg corresponding to the field F1 is indicated by a broken circle and a black circle. In addition, data obtained by interpolating data of pixels on the lines Lu and Ld that are located immediately above and below the interpolation line Lg on the screen in the field F1 is defined as pixel data of the interpolation line Lg.
[0019]
In the case of a still image, since one image is originally interlaced and divided into two fields, interpolation with the highest resolution can be performed by performing interpolation between the two fields.
[0020]
On the other hand, in the case of a moving image, the next field after a certain field of the interlaced image is already an image of a different scene, so intra-field interpolation as shown in FIG. 21 is performed. However, in the intra-field interpolation, since the original information is only information of one field, the converted progressive image also has a small amount of information. In the case of a moving image, the image is smaller than the case of a still image. It may lack sharpness.
[0021]
In the intra-field interpolation, generally, as shown in FIG. 22, the pixel U2 directly above the interpolated pixel (the pixel for which data is generated by the interpolation) C and the pixel D2 directly below the same field of the interlaced image. Data of the interpolation pixel C is generated from the data.
[0022]
That is, for convenience, when a pixel (dot) and its value (data) are indicated by the same sign, the value of the interpolation pixel C is, for example, the average value (U2 + D2) / 2 of the value of the pixel U2 and the value of the pixel D2. And Such interpolation is referred to as vertical interpolation, or vertical interpolation for short.
[0023]
However, in this vertical interpolation, since only the vertical correlation is reflected in the interpolation data, if there is a diagonal correlation in the region to be interpolated, the interpolation data is not appropriate, and the image quality of the progressive image deteriorates. . For example, the image portion of the diagonal line has a correlation in the oblique direction, but if vertical interpolation is performed in this portion, jaggy occurs in the progressive image.
[0024]
Therefore, it is considered to improve the image quality of a progressive image by generating interpolation data by oblique interpolation (interpolation in an oblique direction) instead of generating interpolation data by vertical interpolation.
[0025]
For example, as shown in FIG. 23, assume that pixels U0 to U4 and D0 to D4 are centered on an interpolation pixel C on lines Lu and Ld directly above and below the interpolation line Lg on the same field of the interlaced image. As the interpolation directions of the diagonal interpolation, there are four directions, a direction connecting the pixel U1 and the pixel D3, a direction connecting the pixel U0 and the pixel D4, a direction connecting the pixel U3 and the pixel D1, and a direction connecting the pixel U4 and the pixel D0. Set.
[0026]
Then, a direction having a correlation is detected in the moving image area where intra-field interpolation of the interlaced image is performed. For example, when there is a correlation in the direction connecting the pixel U1 and the pixel D3, the data of the pixels U1 and D3 Generate data. That is, for example, C = (U1 + D3) / 2.
[0027]
According to such oblique interpolation, the oblique direction can be expressed smoothly, jaggies on the oblique line can be reduced, and the quality of the progressive image can be improved.
[0028]
In Patent Document 1 (Japanese Patent Laid-Open No. 2002-57994), the data of the pixel U2 and the data of the pixel D2 are described so that even if there is an oblique line in the image portion to be subjected to intra-field interpolation, the data can be smoothly interpolated. When the absolute value of the difference between the two values is smaller than the threshold value, the average value of the data of the pixels U2 and D2 is used as the interpolation data. When the absolute value is equal to or larger than the threshold value, the interpolation pixel C including the pixels U2 and D2 is used. The average value of two data indicating intermediate values in the data of a plurality of pixels in the vicinity of, for example, 6 pixels (pixels U1 to U3 and D1 to D3 in FIG. 23) is shown as interpolation data. .
[0029]
Note that Patent Document 2 (Japanese Patent Laid-Open No. 2000-78539) describes the movement of an artificial image such as a telop as the movement of a natural image when determining whether or not there is a movement in a partial image such as an interlaced image. As another detection method, it is shown that when the difference between frames and the difference between fields are larger than a threshold value, it is determined that there is a motion of an artificial image such as a telop.
[0030]
[Patent Document 1]
JP 2002-57994 A.
[Patent Document 2]
JP 2000-78539 A.
[0031]
[Problems to be solved by the invention]
However, in the above-described conventional oblique interpolation of intra-field interpolation in a moving image region, depending on the design, interpolation is performed between pixels in the wrong direction, resulting in degradation of the quality of the progressive image. There is.
[0032]
Specifically, the image has a high degree of independence with respect to neighboring pixels, such as a telop character that flows on the screen, and there is a large difference in luminance with respect to neighboring pixels, and there is a character part with an edge, etc. It is.
[0033]
FIG. 24 shows an alphabet “H” in a telop character as an example. This is a case where the horizontal line portion of “H” is expressed by two lines Lir and Lis in a real line (interlaced image line) Li. The line Liq is a real line directly above the line Lir.
[0034]
In this case, assuming the pixels U0 to U4 and D0 to D4 above and below the interpolated pixel C as shown in FIG. 23 for the portion in the ellipse 9 extending over the lines Liq and Lir, the luminance level of each pixel is the black level. Is 0 and the white level is 255. For example, as indicated by the numerical values described in the respective pixels in FIG. 25, the pixel U0 is the left vertical line portion of “H”, and thus is close to the white level and the pixel U1. Is the right edge portion of the left vertical line portion and is close to the black level, and the pixels U2 to U4 are close to the black level because they are out of the character portion of “H”, and the pixels D0 to D4 are , The horizontal line portion of “H” is close to the white level, and among the pixels D0 to D4, the pixel D4 has the smallest level difference from the pixel U0.
[0035]
As a result, the correlation between the pixel U0 and the pixel D4 is the highest, the direction connecting the pixel U0 and the pixel D4 is detected as the interpolation direction, and interpolation is performed in that direction. That is, as the data of the interpolation pixel C, an average value of the value of the pixel U0 and the value of the pixel D4 is generated.
[0036]
Therefore, as shown in FIG. 26, an isolated bright spot is generated at the top of the horizontal line portion of “H” in the converted progressive image, and the quality of the progressive image is lowered.
[0037]
Although not shown, an isolated dark spot is generated in the progressive image depending on the luminance of the character portion and the background portion.
[0038]
Therefore, the present invention can reduce jaggies in the image portion of the diagonal line when performing the intra-field interpolation in the moving image area when converting the interlaced image data to the progressive image data, and at the same time, especially flows on the screen. It is possible to prevent an isolated singular point from appearing in a progressive image in an image portion which has high independence with respect to neighboring pixels such as a telop character and has an edge.
[0039]
[Means for Solving the Problems]
1st invention The image processing method of
Image processing device A method of performing intra-field interpolation in the video area when converting interlaced image data to progressive image data As ,
A pixel in which data is generated by interpolation in a progressive image is defined as an interpolated pixel, a screen vertical direction in an interlaced image is defined as a vertical direction, a direction intersecting the screen vertical direction is defined as an oblique direction, and a screen horizontal direction Is defined as the left-right direction,
Presence / absence of vertical correlation of interlaced image near interpolation pixel If the presence or absence of correlation between the upper and lower pixels of the interpolation pixel is detected and there is no correlation, A first step of determining;
A second determination is made as to whether the second condition is satisfied when there is no correlation by detecting the presence or absence of correlation between pixels separated in the left-right direction within the pixel range used for interpolation in the interlaced image near the interpolation pixel. And the process of
The interlaced image in the vicinity of the interpolated pixel detects the presence or absence of correlation between pixels adjacent in the left-right direction within the pixel range used for interpolation, and determines that the third condition is satisfied when there is no correlation And the process of
If it is determined whether or not all of the first, second and third conditions are satisfied, and if all of the conditions are satisfied, interpolation pixel data is generated by vertical interpolation, and one of the conditions is not satisfied Includes a fourth step of generating interpolated pixel data by diagonal interpolation;
Is provided.
Second invention The image processing method of
Image processing device A method of performing intra-field interpolation in the video area when converting interlaced image data to progressive image data As ,
A pixel in which data is generated by interpolation in a progressive image is defined as an interpolated pixel, a screen vertical direction in an interlaced image is defined as a vertical direction, a direction intersecting the screen vertical direction is defined as an oblique direction, and a screen horizontal direction Is defined as the left-right direction,
Presence / absence of vertical correlation of interlaced image near interpolation pixel As shown below, on the two scanning lines above and below the interpolated pixel, within the pixel range used for interpolation, the presence or absence of correlation between the pair of pixels each having a plurality of pairs in the left-right direction is detected, If there is a correlation between all pairs of pixels in the left-right direction above or below the interpolated pixel, the first condition is satisfied A first step of determining;
A second determination is made as to whether the second condition is satisfied when there is no correlation by detecting the presence or absence of correlation between pixels separated in the left-right direction within the pixel range used for interpolation in the interlaced image near the interpolation pixel. And the process of
The interlaced image in the vicinity of the interpolated pixel detects the presence or absence of correlation between pixels adjacent in the left-right direction within the pixel range used for interpolation, and determines that the third condition is satisfied when there is no correlation And the process of
If it is determined whether or not all of the first, second and third conditions are satisfied, and if all of the conditions are satisfied, interpolation pixel data is generated by vertical interpolation, and one of the conditions is not satisfied Includes a fourth step of generating interpolated pixel data by diagonal interpolation;
Is provided.
[0040]
The first or second invention In this image processing method, when all of the first, second, and third conditions are satisfied, it is determined that the image pattern generates an isolated singular point in the progressive image by executing diagonal interpolation. When all of the first, second, and third conditions are satisfied, vertical interpolation is performed instead of diagonal interpolation, so that it is possible to prevent an isolated singular point from appearing in the progressive image. it can.
[0041]
DETAILED DESCRIPTION OF THE INVENTION
[Outline of the Method of the Invention: FIGS. 1 and 2]
In the present invention, when inter-field interpolation is performed in the moving image area to generate individual interpolation pixel data (pixel value), as shown in the following embodiment, the conditions 1, 2, and 3 are set for each interpolation pixel. It is determined whether or not the three conditions are satisfied. When all the three conditions are satisfied, the interpolation direction is determined as the vertical direction for the interpolation pixel, and the vertical interpolation is performed. If none of them is satisfied, the interpolation direction is determined to be an oblique direction for the interpolation pixel, and the interpolation in the oblique direction is executed.
[0042]
As shown in FIG. 1, as the interpolation direction, the first diagonal direction and the second diagonal direction rotated counterclockwise with respect to the vertical direction, the vertical direction, and the third diagonal direction rotated clockwise with respect to the vertical direction. A direction and a fourth diagonal direction are set.
[0043]
As shown in FIG. 2, similarly to FIGS. 22 and 23, pixels U 0 to U 4 centering on the interpolation pixel C on the lines Lu and Ld directly above and below the interpolation line Lg on the same field of the interlaced image. Assuming D0 to D4, the first diagonal direction is a direction connecting the pixel U1 and the pixel D3, the second diagonal direction is a direction connecting the pixel U0 and the pixel D4, and the third diagonal direction is the pixel U3. The fourth diagonal direction is a direction connecting the pixel U4 and the pixel D0.
[0044]
However, more directions can be set as the interpolation direction of the diagonal interpolation.
[0045]
Further, on the same field of the interlaced image, on the line Lt immediately above the line Lu and on the line Lb immediately below the line Ld, pixels T0 to T4 and B0 to B4 are assumed with the interpolation pixel C as the center, A region for four lines of an interlaced image in the vertical direction and five pixels in the horizontal direction with the interpolation pixel C as the center is set as a condition determination area.
[0046]
However, when more directions are set as the interpolation direction of the diagonal interpolation, the condition determination area is also changed accordingly.
[0047]
The upper and lower correlation detection primary data c00, c01, c02, c03, c04 in FIG. 2 are, as will be described later, pixels T0, T1, T2, T3, T4 and pixels U0, U1, U2, U3, U4, respectively. As shown below, the upper and lower correlation detection primary data c20, c21, c22, c23, and c24 are the pixels D0, D1, D2, D3, and D4, respectively. It is data indicating the detection result of the correlation between B0, B1, B2, B3 and B4.
[0048]
As pixel data (pixel value) for determination of conditions 1, 2, and 3, luminance data (luminance value) in interlaced image data (video data) is used.
[0049]
In the following, for the sake of convenience, pixels (dots) and their values (data) are indicated by the same reference numerals.
[0050]
The above image processing, that is, the image processing of the following embodiment is executed by an image processing device configured as a hardware circuit, or part or all of the image processing is executed by a CPU according to a processing program.
[0051]
The following first and second embodiments are the same except for the difference in the determination method of condition 3.
[0052]
[First Embodiment: FIGS. 3 to 11]
(Condition of condition 1: FIGS. 3 to 7)
Condition 1 relates to the presence or absence of vertical correlation (vertical correlation).
[0053]
<No. 1 Method: Fig. 3 and Fig. 4>
Since the alphabet “H” shown in FIG. 24 has a horizontal line portion, there is a level difference in the vertical direction as shown in FIG. 25, that is, there is no correlation in the vertical direction. Is executed, an isolated singular point is generated in the progressive image as shown in FIG.
[0054]
Therefore, in the first method for Condition 1, when there is no vertical correlation, that is, when the level difference in the vertical direction is large, the vertical correlation is performed so that vertical interpolation is performed instead of diagonal interpolation. When presence / absence is detected and there is no vertical correlation, it is determined that the condition 1 is satisfied, and when there is a vertical correlation, it is determined that the condition 1 is not satisfied.
[0055]
As the simplest method, the absolute value abs (U2-D2) of the difference between the value of the pixel U2 and the value of the pixel D2 is calculated, and the absolute value abs (U2-D2) is determined as shown in FIG. When the threshold value Vth1 is greater than the threshold value Vth1, it is determined that there is no vertical correlation and the condition 1 is satisfied, the determination flag fg1 for the condition 1 is set to 1, and the absolute value abs (U2-D2) It is determined that there is a correlation and the condition 1 is not satisfied, and the determination flag fg1 is set to 0.
[0056]
Instead of the absolute value abs (U2-D2) of the difference between the value of the pixel U2 and the value of the pixel D2, the absolute value abs (T2-D2) of the difference between the value of the pixel T2 and the value of the pixel D2 may be used. Good.
[0057]
Further, an absolute value of a difference between an average value of a plurality of pixels adjacent in the left-right direction above the interpolation pixel C and an average value of a plurality of pixels adjacent in the left-right direction below the interpolation pixel C is set as a threshold value. It may be compared with Vth1, and according to this, a more accurate determination can be made.
[0058]
For example, as shown in FIG. 4, the absolute value abs {ave () of the difference between the average value ave (U0 to U4) of the values of the pixels U0 to U4 and the average value ave (D0 to D4) of the values of the pixels D0 to D4. U0 to U4) −ave (D0 to D4)} is calculated, and when this is larger than the threshold value Vth1, it is determined that there is no vertical correlation and the condition 1 is satisfied, the determination flag fg1 is set to 1, and the absolute value abs {ave ( When U0 to U4) -ave (D0 to D4)} is equal to or less than the threshold value Vth1, it is determined that there is a vertical correlation and the condition 1 is not satisfied, and the determination flag fg1 is set to 0.
[0059]
In short, as a first method for Condition 1, the presence or absence of correlation between one or more pixels above the interpolation pixel C and one or more pixels below the interpolation pixel C is detected. When there is no correlation, it is determined that the condition 1 is satisfied and the determination flag fg1 is set to 1. When there is a correlation, it is determined that the condition 1 is not satisfied and the determination flag fg1 is set to 0.
[0060]
<Second Method: FIGS. 5 to 7>
Even when a horizontal line portion exists like the alphabet “H” shown in FIG. 24, there is often a strong correlation between the line Lt and the line Lu, or between the line Ld and the line Lb.
[0061]
An example is shown in FIGS. FIG. 5 shows a case where the horizontal line portion of “H” is expressed by two lines, and FIG. 6 shows a case where the horizontal line portion of “H” is expressed by one line.
[0062]
In the case of FIG. 5, when the horizontal line portions are lines Ld and Lb as shown in FIG. 5, the correlation between the line Lt and the line Lu is strong, and the correlation between the line Ld and the line Lb is also strong. In the case of FIG. 6, when the horizontal line portion is the line Ld as shown in FIG. 6, the correlation between the line Lt and the line Lu is strong.
[0063]
Therefore, in the second method for condition 1, the correlation between the line Lt and the line Lu or the correlation between the line Ld and the line Lb is strong in the condition determination area shown in FIG. In this case, it is determined that the condition 1 is satisfied so that vertical interpolation is performed instead of diagonal interpolation regardless of the correlation between the line Lu directly above and the line Ld directly below the interpolation line Lg. To do.
[0064]
Specifically, the absolute value abs (T0-U0) of the difference between the value of the pixel T0 and the value of the pixel U0 is calculated, and as shown in (A) of FIG. 7, the absolute value abs (T0-U0). Is larger than the threshold value Vth2 smaller than the threshold value Vth1, it is determined that there is no strong correlation between the pixel T0 and the pixel U0, the data c00 is set to 1, and the absolute value abs (T0-U0) is the threshold value. When Vth2 or less, it is determined that there is a strong correlation between the pixel T0 and the pixel U0, and the data c00 is set to 0.
[0065]
Between pixels T1 and U1, between pixels T2 and U2, between pixels T3 and U3, between pixels T4 and U4, between pixels D0 and B0, between pixels D1 and B1, between pixels D2 and B2, between pixels D3 and B3, pixel D4 , B4 similarly, it is detected whether there is a strong correlation, and the values of the data c01, c02, c03, c04, c20, c21, c22, c23, c24 are determined.
[0066]
When the data c00 to c04 are all 0, it is determined that the correlation between the line Lt and the line Lu is strong. When the data c20 to c24 is all 0, the correlation between the line Ld and the line Lb. When the correlation between the line Lt and the line Lu is strong (when c00 = c01 = c02 = c03 = c04 = 0) or the line Ld as shown in FIG. And the line Lb are strong (when c20 = c21 = c22 = c23 = c24 = 0), it is determined that the condition 1 is satisfied, and the determination flag fg1 for the condition 1 is set to 1.
[0067]
When any of the data c00 to c04 is 1 and any of the data c20 to c24 is 1, that is, the correlation between the line Lt and the line Lu is not strong, and the line Ld and the line Lb When it is determined that the correlation is not strong, it is determined that the condition 1 is not satisfied, and the determination flag fg1 is set to 0.
[0068]
Instead of comparing the absolute value of the difference between the value of one pixel on the line Lt or Ld and the value of one pixel on the line Lu or Lb with the threshold value Vth2, in order to reduce the influence of noise, The absolute value of the difference between the average value of the pixels adjacent in the left-right direction on Lt or Ld and the average value of the values of the pixels adjacent in the left-right direction on the line Lu or Lb is compared with the threshold value Vth2. Also good.
[0069]
In an image portion such as a character, in determining the property of the portion, it may be possible to improve the determination accuracy by expanding the area for determination to a portion near the portion. The second method described above applies this idea.
[0070]
(Determination of condition 2: FIGS. 8 and 9)
Condition 2 relates to the presence or absence of a correlation between pixels on the left and right of the interpolation pixel C. Hereinafter, this correlation is referred to as a left-right global correlation. However, in condition 2, only the lines Lu and Ld directly above and below the interpolation line Lg are considered.
[0071]
In the image portion of the alphabet “H” shown in FIG. 24, the right and left edges of the left vertical line portion of “H” (left is within the left vertical line portion, and right is between the left vertical line portion and the right vertical line portion. Therefore, when diagonal interpolation is executed, an isolated singular point is generated in the progressive image as shown in FIG.
[0072]
Therefore, for condition 2, when there is a large level difference in the left-right direction as described above, the presence / absence of left-right global correlation is detected so that vertical interpolation is executed instead of diagonal interpolation, and left-right global correlation is determined. If there is no large level difference in the left and right direction, it is determined that the condition 2 is satisfied. If there is a left and right global correlation, that is, if there is no large level difference in the left and right direction, the condition 2 must be satisfied. to decide.
[0073]
As an example, the absolute value abs {(() of the difference between the sum (U0 + D0) of the leftmost pixels U0 and D0 of the condition determination area shown in FIG. 2 and the sum of the values of the rightmost pixels U4 and D4 (U4 + D4). U0 + D0) − (U4 + D4)} is calculated, and as shown in FIG. 8, when the absolute value abs {(U0 + D0) − (U4 + D4)} is larger than the predetermined threshold value Hth1, there is no left-right global correlation, and the condition 2 is satisfied. When the determination flag fg2 for the condition 2 is set to 1 and the absolute value abs {(U0 + D0) − (U4 + D4)} is equal to or less than the threshold value Hth1, it is determined that there is a left-right global correlation and the condition 2 is not satisfied. Then, the determination flag fg2 is set to 0.
[0074]
Alternatively, as another example, as shown in FIG. 9, when the absolute value abs (U0−U4) of the difference between the value of the leftmost pixel U0 and the value of the rightmost pixel U4 is larger than the threshold value Hth1, or the leftmost pixel When the absolute value abs (D0−D4) of the difference between the value of D0 and the rightmost pixel D4 is larger than the threshold value Hth1, it is determined that there is no left-right global correlation and the condition 2 is satisfied, and the determination flag fg2 is set to 1. When the absolute values abs (U0-U4) and abs (D0-D4) are equal to or less than the threshold value Hth1, it is determined that there is a left-right global correlation and the condition 2 is not satisfied, and the determination flag fg2 is set to 0.
[0075]
However, in FIG. 8 and FIG. 9, both threshold values are expressed as Hth1 in the sense of the threshold value for the condition 2. However, as actual values, the threshold value Hth1 in FIG. 8 and the threshold value Hth1 in FIG. Use a different value.
[0076]
(Condition of condition 3: FIG. 10)
Condition 3 relates to the presence or absence of correlation between pixels adjacent in the left-right direction. Hereinafter, this correlation is referred to as a left / right small area correlation. However, in the condition 3, as in the condition 2, only the lines Lu and Ld immediately above and below the interpolation line Lg are considered.
[0077]
As shown in FIG. 26, when the diagonal interpolation is performed, an isolated singular point is generated in a portion where the corners of the character are mostly present and left and right edges exist.
[0078]
Therefore, for condition 3, when there is an edge in the left and right direction, the presence or absence of left and right small area correlation is detected so that vertical interpolation is executed instead of diagonal interpolation, and there is no left and right small area correlation. That is, when there is an edge in the left-right direction, it is determined that the condition 3 is satisfied, and when there is a left-right small area correlation, that is, when there is no edge in the left-right direction, it is determined that the condition 3 is not satisfied.
[0079]
Specifically, (1) the absolute value abs (U0−U1) of the difference between the value of the pixel U0 and the value of the pixel U1, and (2) the absolute value abs of the difference between the value of the pixel D0 and the value of the pixel D1 ( D0−D1), (3) absolute value abs (U1−U2) of the difference between the value of the pixel U1 and the value of the pixel U2, and (4) the absolute value abs of the difference between the value of the pixel D1 and the value of the pixel D2. D1-D2), (5) absolute value abs (U2-U3) of the difference between the value of the pixel U2 and the value of the pixel U3, (6) absolute value abs (the difference between the value of the pixel D2 and the value of the pixel D3). D2-D3), (7) absolute value abs (U3-U4) of the difference between the value of pixel U3 and the value of pixel U4, and (8) absolute value abs of the difference between the value of pixel D3 and the value of pixel D4. (D3−D4) is calculated, and as shown in FIG. 10, when any one of these eight absolute values is larger than the predetermined threshold value Hth2. When it is determined that there is no left / right small area correlation and the condition 3 is satisfied, the determination flag fg3 for the condition 3 is set to 1, and all the eight absolute values are equal to or less than the threshold value Hth2, there is a left / right small area correlation. Therefore, it is determined that the condition 3 is not satisfied, and the determination flag fg3 is set to 0.
[0080]
(Comprehensive judgment and determination of interpolation direction)
As described above, after determining whether or not the conditions 1, 2 and 3 are satisfied, it is determined whether or not all the conditions 1, 2 and 3 are satisfied. When all of fg1, fg2, and fg3 are 1, when the interpolation direction is determined as the vertical direction for the interpolated pixel, the vertical interpolation is executed, and when any one of the conditions 1, 2, and 3 is not satisfied That is, when any of the determination flags fg1, fg2, and fg3 is 0, the interpolation direction is determined to be an oblique direction for the interpolated pixel, and the oblique direction interpolation is executed.
[0081]
Therefore, in an image portion that produces an isolated singular point in the progressive image by executing diagonal interpolation, such as the edge portion of a character, vertical interpolation is executed instead of diagonal interpolation, and the progressive image is displayed. The appearance of isolated singularities is prevented.
[0082]
(Example of image processing apparatus: FIG. 11)
FIG. 11 shows an example of an image processing apparatus that executes the image processing method as described above.
[0083]
This example is configured as a hardware circuit, and the moving image interpolation processing unit 10 is supplied with image data of a portion detected as a moving image area of interlaced image data as input image data.
[0084]
In the moving image interpolation processing unit 10, the first condition determination unit 11, the second condition determination unit 12, and the third condition determination unit 13 determine whether the above-described conditions 1, 2 and 3 are satisfied, respectively. In parallel, the moving image interpolation direction detection unit 15 detects an interpolation direction (oblique direction) when performing oblique interpolation.
[0085]
That is, when the first oblique direction, the second oblique direction, the third oblique direction, and the fourth oblique direction as shown in FIG. , Detected as the interpolation direction for each interpolated pixel.
[0086]
In the logic circuit 14, the logical product (AND) of the determination results flags fg1, fg2, and fg3 of the first condition determination unit 11, the second condition determination unit 12, and the third condition determination unit 13 is obtained. When all of fg1, fg2, and fg3 are 1, the overall determination result of the output of the logic circuit 14 is “1”. When any of the flags fg1, fg2, and fg3 is 0, the overall determination result is “0”. It is said.
[0087]
Then, in the interpolation direction determination unit 16, when the total determination result is “1” according to the total determination result of the output of the logic circuit 14, the interpolation direction (oblique direction) detected by the moving image interpolation direction detection unit 15. Regardless of the case, the interpolation direction is determined as the vertical direction, and when the comprehensive determination result is “0”, the interpolation direction (diagonal direction) detected by the moving image interpolation direction detection unit 15 is determined as the interpolation direction as it is.
[0088]
The interpolation data generation unit 17 performs interpolation in the direction determined by the interpolation direction determination unit 16 to generate interpolation data (pixel data of the interpolation pixel).
[0089]
[Second Embodiment: FIGS. 12 to 16]
In the example of the first embodiment, in determining whether or not the condition 3 is satisfied, as shown in FIG. 10, the eight absolute values (1) to (8) are calculated, and the threshold value Hth2 is calculated. It is necessary to compare.
[0090]
Therefore, in the second embodiment, in order to reduce the operation scale for the determination of the condition 3, the detection result of the moving image interpolation direction detection unit 15 as shown in FIG. 11 is used for the determination of the condition 3. .
[0091]
FIG. 12 shows an example of the image processing apparatus in this case, and the third condition determination unit 13 uses the interpolation direction (diagonal direction) when performing the diagonal interpolation detected by the moving image interpolation direction detection unit 15. Whether or not condition 3 is satisfied is determined. Others are the same as the example of FIG.
[0092]
Specifically, in the moving image interpolation direction detection unit 15, as shown by a double-headed arrow in FIG. 13, the direction connecting the pixel U 0 and the pixel D 4 (the second oblique direction described above) has the strongest correlation and performs oblique interpolation. As for the presence / absence of the left / right small area correlation (correlation between pixels adjacent in the left / right direction) in Condition 3, the absolute value abs of the difference between the value of the pixel U0 and the value of the pixel U1 is detected. (U0-U1) and the absolute value abs (D3-D4) of the difference between the value of the pixel D3 and the value of the pixel D4 are calculated, and as shown in FIG. 14, the absolute value abs (U0-U1) or abs ( When D3-D4) is greater than the threshold value Hth2, it is determined that there is no left / right small-area correlation and the condition 3 is satisfied, the determination flag fg3 is set to 1, and the absolute values abs (U0-U1) and abs (D3-D4) are When the threshold Hth2 or less, There are frequency correlation, it is determined that the condition is not satisfied 3, the determination flag fg3 to 0.
[0093]
Further, in the moving image interpolation direction detection unit 15, as indicated by a double-headed arrow in FIG. 15, the direction connecting the pixel U 1 and the pixel D 3 (the above-described first diagonal direction) has the strongest correlation, and interpolation when diagonal interpolation is performed. When detected as a direction, the presence / absence of left / right small-area correlation in Condition 3 is as follows: (a) Absolute value abs (U0−U1) of the difference between the value of pixel U0 and the value of pixel U1; The absolute value abs (U1-U2) of the difference between the value and the value of the pixel U2, (c) the absolute value abs (D2-D3) of the difference between the value of the pixel D2 and the value of the pixel D3, and (d) the pixel D3 The absolute value abs (D3−D4) of the difference between the value of the pixel D4 and the value of the pixel D4 is calculated, and if any one of these four absolute values is larger than the threshold value Hth2, as shown in FIG. It is determined that there is no region correlation and the condition 3 is satisfied, the determination flag fg3 is set to 1, and the upper All four absolute value when the threshold value Hth2 or less, there is left subregion correlation, it is determined that the condition is not satisfied 3, the determination flag fg3 to 0.
[0094]
According to the second embodiment, the calculation scale of the third condition determining unit 13 can be reduced to half or less than that of the first embodiment.
[0095]
【The invention's effect】
As described above, according to the present invention, it is possible to reduce jaggies in the image portion of the oblique line, and at the same time, the independence with respect to neighboring pixels is particularly high, such as a telop character flowing on the screen, and It is possible to prevent an isolated singular point from appearing in a progressive image in an image portion having an edge.
[Brief description of the drawings]
FIG. 1 is a diagram showing an example of an interpolation direction in the present invention.
FIG. 2 is a diagram showing an example of a condition determination area in the present invention.
FIG. 3 is a diagram illustrating an example of a determination method for condition 1;
FIG. 4 is a diagram illustrating an example of a determination method for condition 1;
FIG. 5 is a diagram illustrating an example of telop characters flowing on a screen.
FIG. 6 is a diagram illustrating an example of telop characters flowing on the screen.
FIG. 7 is a diagram illustrating an example of a condition 1 determination method;
FIG. 8 is a diagram illustrating an example of a determination method for condition 2;
FIG. 9 is a diagram illustrating an example of a determination method for condition 2;
FIG. 10 is a diagram illustrating an example of a determination method for condition 3;
FIG. 11 is a diagram illustrating an example of an image processing apparatus according to the present invention.
FIG. 12 is a diagram showing another example of the image processing apparatus of the present invention.
FIG. 13 is a diagram illustrating another determination method for condition 3;
FIG. 14 is a diagram illustrating another determination method for condition 3;
FIG. 15 is a diagram illustrating another determination method for condition 3;
FIG. 16 is a diagram illustrating another determination method for condition 3;
FIG. 17 is a diagram for explaining interlace scanning;
FIG. 18 is a diagram for explaining non-interlaced scanning.
FIG. 19 is a diagram illustrating an example of a signal processing device for IP conversion.
FIG. 20 is a diagram illustrating an example of inter-field interpolation.
FIG. 21 is a diagram illustrating an example of intra-field interpolation.
FIG. 22 is a diagram for explaining vertical interpolation.
FIG. 23 is a diagram for explaining oblique interpolation;
FIG. 24 is a diagram illustrating a telop character portion in which an interlaced image flows.
25 is a diagram illustrating a specific example of pixel data of a portion within the ellipse in FIG. 24. FIG.
FIG. 26 is a diagram showing bright spots generated when oblique interpolation is performed in a portion within the ellipse of FIG. 24;
[Explanation of symbols]
Since all the main parts are described in the figure, they are omitted here.

Claims

画像処理装置がインターレース画像データをプログレッシブ画像データに変換する際に動画領域でフィールド内補間を行う方法として、
プログレッシブ画像の、補間によりデータが生成される画素を補間画素と定義し、インターレース画像の、画面垂直方向を上下方向と定義し、画面垂直方向に交差する方向を斜め方向と定義し、画面水平方向を左右方向と定義するとき、
補間画素近傍におけるインターレース画像の、上下方向の相関の有無として、補間画素の上下の画素の間の相関の有無を検出して、相関がない場合に、第１の条件を満たすと判断する第１の工程と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に離れた画素の間の相関の有無を検出して、相関がない場合に、第２の条件を満たすと判断する第２の工程と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に隣接する画素の間の相関の有無を検出して、相関がない場合に、第３の条件を満たすと判断する第３の工程と、
上記第１、第２および第３の条件を全て満たすか否かを判断して、全て満たす場合には、上下方向の補間によって補間画素のデータを生成し、いずれかの条件を満たさない場合には、斜め方向の補間によって補間画素のデータを生成する第４の工程と、
を備える画像処理方法。 As a method for performing intra-field interpolation in a moving image area when an image processing device converts interlaced image data into progressive image data,
A pixel in which data is generated by interpolation in a progressive image is defined as an interpolated pixel, a screen vertical direction in an interlaced image is defined as a vertical direction, a direction intersecting the screen vertical direction is defined as an oblique direction, and a screen horizontal direction Is defined as the left-right direction,
First, it is determined that the first condition is satisfied when there is no correlation by detecting the presence / absence of correlation between pixels above and below the interpolated pixel as the presence / absence of correlation between the interlaced images in the vicinity of the interpolation pixel . And the process of
A second determination is made as to whether the second condition is satisfied when there is no correlation by detecting the presence or absence of correlation between pixels separated in the left-right direction within the pixel range used for interpolation in the interlaced image near the interpolation pixel. And the process of
The interlaced image in the vicinity of the interpolated pixel detects the presence or absence of correlation between pixels adjacent in the left-right direction within the pixel range used for interpolation, and determines that the third condition is satisfied when there is no correlation And the process of
If it is determined whether or not all of the first, second and third conditions are satisfied, and if all of the conditions are satisfied, interpolation pixel data is generated by vertical interpolation, and one of the conditions is not satisfied Includes a fourth step of generating interpolated pixel data by diagonal interpolation;
An image processing method comprising:

画像処理装置がインターレース画像データをプログレッシブ画像データに変換する際に動画領域でフィールド内補間を行う方法として、
プログレッシブ画像の、補間によりデータが生成される画素を補間画素と定義し、インターレース画像の、画面垂直方向を上下方向と定義し、画面垂直方向に交差する方向を斜め方向と定義し、画面水平方向を左右方向と定義するとき、
補間画素近傍におけるインターレース画像の、上下方向の相関の有無として、補間画素の上方および下方の、それぞれ２本の走査線上において、補間に用いられる画素範囲内で、それぞれ左右方向に複数対が存在する対の画素の間の相関の有無を検出して、補間画素の上方または下方の、左右方向における全ての対の画素の間に相関がある場合に、第１の条件を満たすと判断する第１の工程と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に離れた画素の間の相関の有無を検出して、相関がない場合に、第２の条件を満たすと判断する第２の工程と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に隣接する画素の間の相関の有無を検出して、相関がない場合に、第３の条件を満たすと判断する第３の工程と、
上記第１、第２および第３の条件を全て満たすか否かを判断して、全て満たす場合には、上下方向の補間によって補間画素のデータを生成し、いずれかの条件を満たさない場合には、斜め方向の補間によって補間画素のデータを生成する第４の工程と、
を備える画像処理方法。 As a method for performing intra-field interpolation in a moving image area when an image processing device converts interlaced image data into progressive image data,
A pixel in which data is generated by interpolation in a progressive image is defined as an interpolated pixel, a screen vertical direction in an interlaced image is defined as a vertical direction, a direction intersecting the screen vertical direction is defined as an oblique direction, and a screen horizontal direction Is defined as the left-right direction,
As the presence / absence of the correlation between the interlaced images in the vicinity of the interpolation pixel, there are a plurality of pairs in the left / right direction within the pixel range used for the interpolation on each of the two scanning lines above and below the interpolation pixel. First, it is determined whether or not there is a correlation between a pair of pixels, and it is determined that the first condition is satisfied when there is a correlation between all pairs of pixels in the left-right direction above or below the interpolated pixel . And the process of
A second determination is made as to whether the second condition is satisfied when there is no correlation by detecting the presence or absence of correlation between pixels separated in the left-right direction within the pixel range used for interpolation in the interlaced image near the interpolation pixel. And the process of
The interlaced image in the vicinity of the interpolated pixel detects the presence or absence of correlation between pixels adjacent in the left-right direction within the pixel range used for interpolation, and determines that the third condition is satisfied when there is no correlation And the process of
If it is determined whether or not all of the first, second and third conditions are satisfied, and if all of the conditions are satisfied, interpolation pixel data is generated by vertical interpolation, and one of the conditions is not satisfied Includes a fourth step of generating interpolated pixel data by diagonal interpolation;
An image processing method comprising:

請求項１または２の画像処理方法において、
上記第３の工程では、上記左右方向に隣接する画素の間の相関の有無として、斜め方向の補間を行う場合の補間方向として検出された方向の位置において左右方向に隣接する画素の間の相関の有無のみを検出する画像処理方法。The image processing method according to claim 1 or 2 ,
In the third step, as the presence / absence of correlation between the pixels adjacent in the left / right direction, the correlation between pixels adjacent in the left / right direction at the position of the direction detected as the interpolation direction when performing the interpolation in the oblique direction Image processing method for detecting only the presence or absence.

インターレース画像データをプログレッシブ画像データに変換する際に動画領域でフィールド内補間を行う装置として、
プログレッシブ画像の、補間によりデータが生成される画素を補間画素と定義し、インターレース画像の、画面垂直方向を上下方向と定義し、画面垂直方向に交差する方向を斜め方向と定義し、画面水平方向を左右方向と定義するとき、
補間画素近傍におけるインターレース画像の、上下方向の相関の有無として、補間画素の上下の画素の間の相関の有無を検出して、相関がない場合に、第１の条件を満たすと判断する第１の手段と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に離れた画素の間の相関の有無を検出して、相関がない場合に、第２の条件を満たすと判断する第２の手段と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に隣接する画素の間の相関の有無を検出して、相関がない場合に、第３の条件を満たすと判断する第３の手段と、
上記第１、第２および第３の条件を全て満たすか否かを判断して、全て満たす場合には、上下方向の補間によって補間画素のデータを生成し、いずれかの条件を満たさない場合には、斜め方向の補間によって補間画素のデータを生成する第４の手段と、
を備える画像処理装置。 As an apparatus for performing field interpolation video region when converting interlaced image data into progressive image data,
A pixel in which data is generated by interpolation in a progressive image is defined as an interpolated pixel, a screen vertical direction in an interlaced image is defined as a vertical direction, a direction intersecting the screen vertical direction is defined as an oblique direction, and a screen horizontal direction Is defined as the left-right direction,
First, it is determined that the first condition is satisfied when there is no correlation by detecting the presence / absence of correlation between pixels above and below the interpolated pixel as the presence / absence of correlation between the interlaced images in the vicinity of the interpolation pixel . Means of
A second determination is made as to whether the second condition is satisfied when there is no correlation by detecting the presence or absence of correlation between pixels separated in the left-right direction within the pixel range used for interpolation in the interlaced image near the interpolation pixel. Means of
The interlaced image in the vicinity of the interpolated pixel detects the presence or absence of correlation between pixels adjacent in the left-right direction within the pixel range used for interpolation, and determines that the third condition is satisfied when there is no correlation Means of
If it is determined whether or not all of the first, second and third conditions are satisfied, and if all of the conditions are satisfied, interpolation pixel data is generated by vertical interpolation, and one of the conditions is not satisfied A fourth means for generating interpolated pixel data by oblique interpolation;
An image processing apparatus comprising:

インターレース画像データをプログレッシブ画像データに変換する際に動画領域でフィールド内補間を行う装置として、
プログレッシブ画像の、補間によりデータが生成される画素を補間画素と定義し、インターレース画像の、画面垂直方向を上下方向と定義し、画面垂直方向に交差する方向を斜め方向と定義し、画面水平方向を左右方向と定義するとき、
補間画素近傍におけるインターレース画像の、上下方向の相関の有無として、補間画素の上方および下方の、それぞれ２本の走査線上において、補間に用いられる画素範囲内で、それぞれ左右方向に複数対が存在する対の画素の間の相関の有無を検出して、補間画素の上方または下方の、左右方向における全ての対の画素の間に相関がある場合に、第１の条件を満たすと判断する第１の手段と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に離れた画素の間の相関の有無を検出して、相関がない場合に、第２の条件を満たすと判断する第２の手段と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に隣接する画素の間の相関の有無を検出して、相関がない場合に、第３の条件を満たすと判断する第３の手段と、
上記第１、第２および第３の条件を全て満たすか否かを判断して、全て満たす場合には、上下方向の補間によって補間画素のデータを生成し、いずれかの条件を満たさない場合には、斜め方向の補間によって補間画素のデータを生成する第４の手段と、
を備える画像処理装置。 As an apparatus for performing field interpolation video region when converting interlaced image data into progressive image data,
A pixel in which data is generated by interpolation in a progressive image is defined as an interpolated pixel, a screen vertical direction in an interlaced image is defined as a vertical direction, a direction intersecting the screen vertical direction is defined as an oblique direction, and a screen horizontal direction Is defined as the left-right direction,
As the presence / absence of the correlation between the interlaced images in the vicinity of the interpolation pixel, there are a plurality of pairs in the left / right direction within the pixel range used for the interpolation on each of the two scanning lines above and below the interpolation pixel. First, it is determined whether or not there is a correlation between a pair of pixels, and it is determined that the first condition is satisfied when there is a correlation between all pairs of pixels in the left-right direction above or below the interpolated pixel . Means of
A second determination is made as to whether the second condition is satisfied when there is no correlation by detecting the presence or absence of correlation between pixels separated in the left-right direction within the pixel range used for interpolation in the interlaced image near the interpolation pixel. Means of
The interlaced image in the vicinity of the interpolated pixel detects the presence or absence of correlation between pixels adjacent in the left-right direction within the pixel range used for interpolation, and determines that the third condition is satisfied when there is no correlation Means of
If it is determined whether or not all of the first, second and third conditions are satisfied, and if all of the conditions are satisfied, interpolation pixel data is generated by vertical interpolation, and one of the conditions is not satisfied A fourth means for generating interpolated pixel data by oblique interpolation;
An image processing apparatus comprising:

請求項４または５の画像処理装置において、
上記第３の手段は、上記左右方向に隣接する画素の間の相関の有無として、斜め方向の補間を行う場合の補間方向として検出された方向の位置において左右方向に隣接する画素の間の相関の有無のみを検出する画像処理装置。The image processing apparatus according to claim 4 or 5 ,
The third means determines whether there is a correlation between pixels adjacent in the left-right direction, and correlation between pixels adjacent in the left-right direction at a position in a direction detected as an interpolation direction when performing oblique interpolation. An image processing device that detects only the presence or absence of the image.