JP5350501B2 - 映像処理装置及び映像処理方法 - Google Patents

映像処理装置及び映像処理方法 Download PDF

Info

Publication number
JP5350501B2
JP5350501B2 JP2012012004A JP2012012004A JP5350501B2 JP 5350501 B2 JP5350501 B2 JP 5350501B2 JP 2012012004 A JP2012012004 A JP 2012012004A JP 2012012004 A JP2012012004 A JP 2012012004A JP 5350501 B2 JP5350501 B2 JP 5350501B2
Authority
JP
Japan
Prior art keywords
pixel
line
generation position
interpolation pixel
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012012004A
Other languages
English (en)
Other versions
JP2012213136A (ja
Inventor
正治 山岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012012004A priority Critical patent/JP5350501B2/ja
Priority to US13/414,308 priority patent/US8576337B2/en
Publication of JP2012213136A publication Critical patent/JP2012213136A/ja
Application granted granted Critical
Publication of JP5350501B2 publication Critical patent/JP5350501B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Description

本発明は、映像処理装置及び映像処理方法に関する。
インターレース映像信号を補間によりプログレッシブ映像信号に変換する方法として、動き適応型IP(インターレース-プログレッシブ)変換と呼ばれる方法がある。これは、
補間画素の生成位置での映像の動き(動き情報)を検出し、その動き情報に応じて、補間画素としてフィールド内補間画素を生成するか、フィールド間補間画素を生成するかを適応的に切り換える方法である。
動き適応型IP変換では、「動きあり」と判定された位置に対して、同一フィールド内において該位置の垂直方向に隣接する画素を用いて補間画素が生成される。そのため、斜め方向のエッジ部分(斜めエッジ部分)では、ジャギーと呼ばれるギザギザが発生することとなり、映像品位(画質)が著しく劣化してしまう。
ジャギーの発生を抑制する技術として、入力されたインターレース映像信号の画素情報から斜めエッジ部分を検出し、該斜めエッジ部分に対して、その傾斜角度(エッジの方向)に応じた画素を用いて補間画素を生成する方法が提案されている。
例えば、判定ブロックと、判定ブロックに類似する参照ブロックとの間に位置する補間画素を生成する際に、判定ブロック及び参照ブロック内の少なくとも何れかの画素を用いて補間画素を生成する方法が提案されている(特許文献2)。
しかしながら、上記方法では、傾斜角度が誤検出された場合に、画質が大きく劣化してしまう。
傾斜角度の確からしさを判定する方法として、補間画素の生成位置の垂直方向に隣接するラインの画像から、各ラインの水平方向の複雑さを判別し、補間画素の生成位置が斜め方向に補間すべき位置か否かを判定する方法が提案されている(例えば、特許文献1)。
特開2005−341346号公報 特開2005−303999号公報
しかしながら、上述した従来の技術では、インターレース映像信号から斜めエッジ部分を検出する際に、入力画像の内容によっては斜めエッジ部分の誤検出が発生してしまう。例えば、水平方向の周期パターン部分は、傾斜角度の浅い細線部分や分断された細い斜め線部分(即ち、斜めエッジ部分)として誤検出されやすい。逆もまたしかりである。
本発明は、簡易な構成でインターレース映像信号をプログレッシブ映像信号に変換する際の画質の劣化を抑制することのできる技術を提供することを目的とする。
本発明の映像処理装置は、インターレース映像信号を補間によりプログレッシブ映像信号に変換する映像処理装置であって、補間画素の生成位置が斜め方向のエッジ部分か否かを判定し、且つ、補間画素の生成位置が斜め方向のエッジ部分である場合に該エッジの方向を判定する判定手段と、インターレース・プログレッシブ変換により補間画素を生成する生成手段であって、前記判定手段で斜め方向のエッジ部分であると判定された補間画素の生成位置に対して、該エッジの方向に存在する画素を用いて補間画素を生成する生成手段と、を有し、前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さい場合に、補間画素の生成位置の1つ上のラインと1つ下のラインにおける水平方向の画素値の変化の傾きに基づいて、該生成位置が斜め方向のエッジ部分であるか否かを判定することを特徴とする。
本発明の映像処理方法は、インターレース映像信号を補間によりプログレッシブ映像信号に変換する映像処理装置により実行される映像処理方法であって、補間画素の生成位置が斜め方向のエッジ部分か否かを判定し、且つ、補間画素の生成位置が斜め方向のエッジ部分である場合に該エッジの方向を判定する判定ステップと、インターレース・プログレッシブ変換により補間画素を生成する生成ステップであって、前記判定ステップで斜め方向のエッジ部分であると判定された補間画素の生成位置に対して、該エッジの方向に存在する画素を用いて補間画素を生成する生成ステップと、を有し、前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さい場合に、補間画素の生成位置の1つ上のラインと1つ下のラインにおける水平方向の画素値の変化の傾きに基づいて、該生成位置が斜め方向のエッジ部分であるか否かを判定することを特徴とする。
本発明によれば、簡易な構成でインターレース映像信号をプログレッシブ映像信号に変換する際の画質の劣化を抑制することができる。
実施例1に係る映像処理装置の構成の一例を示す図 フィールド内補間画素生成部の構成の一例を示す図 角度情報に応じた画素の選択方法の一例を示す図 角度情報に応じた画素の選択方法の一例を示す図 実施例1に係る斜め検出部の構成の一例を示す図 ブロックマッチング部の処理の一例を示す図 SAD値の最小値を算出する処理の一例を示すフローチャート 斜めエッジ部分の画像の一例を示す図 図8の画像におけるSAD値の分布を示す図 斜めエッジ判定部の構成の一例を示す図 実施例1に係る画素選択部で選択される画素の一例を示す図 判定部の処理の一例を示すフローチャート 斜めエッジ部分の画像の一例を示す図 水平方向の周期パターン部分の画像の一例を示す図 斜めエッジ部分を誤検出した場合に生成される補間画素の一例を示す図 図12のS206の処理の一例を示すフローチャート 実施例2に係る画素選択部で選択される画素の一例を示す図 実施例3に係る画素選択部で選択される画素の一例を示す図
<実施例1>
以下、本発明の実施例1に係る映像処理装置及び該映像処理装置により実行される映像処理方法について、図面を用いて説明する。本実施例に係る映像処理装置は、インターレース映像信号を補間によりプログレッシブ映像信号に変換する。
図1は、本実施例に係る映像処理装置の構成を示すブロック図である。
図1において、フィールドメモリ100,101はフィールド単位で装置に入力されるインターレース映像信号を蓄積し、該インターレース映像信号を1フィールド分だけ遅延させて出力する。即ち、映像処理装置にN番目のフィールド(Nフィールド)の画像を表す信号が入力された時に、フィールドメモリ100からは、N−1番目のフィールド(N−1フィールド)の画像を表す信号が出力される。フィールドメモリ101からは、N−2番目のフィールド(N−2フィールド)の画像を表す信号が出力される。本実施例では、フィールドメモリ100の出力信号(N−1フィールドの画像を表す信号)に対して補間画素が生成される。
動き検出部102は、補間画素の生成位置での映像の動きを検出する。具体的には、動き検出部102は、装置に入力された信号、フィールドメモリ100の出力信号、及び、フィールドメモリ101の出力信号の3つのフィールドの信号を用いて、補間画素の生成位置での映像の動き(動き情報)を検出する。そして、検出結果を動き情報として補間データ生成部105へ出力する。本実施例では、補間画素の動き情報として、映像の動きがあると判定された場合には“1(動き)”、映像の動きがないと判定された場合には“0(静止)”が出力されるものとする。なお、動きの検出方法は、ブロックマッチングによる方法や、互いに2フィールド離れた2つのフィールド間の画素値の差分に基づいて決定する方法など、従来の方法を適用すればよい。
斜め検出部103は、補間画素の生成位置が斜め方向のエッジ部分(斜めエッジ部分)か否かを判定する。また、斜め検出部103は、補間画素の生成位置が斜め方向のエッジ部分である場合に、そのエッジの方向を判定し、該エッジの方向を表す情報をフィールド内補間画素生成部104へ出力する。本実施例では、エッジの方向を表す情報として、垂直方向に対するエッジの傾斜角度を表す角度情報が出力される。本実施例では、斜め検出部103が本発明の判定手段に相当する。
フィールド内補間画素生成部104は、斜め検出部103から出力される角度情報に基づいて、フィールド内補間による補間画素(フィールド内補間画素)を生成して出力する。フィールド内補間画素は、映像の動きのある位置に生成するのに適した補間画素であり、補間画素の生成の対象となるフィールド(N−1フィールド)の画像内の画素を用いて生成される補間画素である。本実施例では、フィールド内補間画素生成部104は、斜め検出部103で斜め方向のエッジ部分であると判定された補間画素の生成位置に対して、該エッジの方向に存在する画素を用いて補間画素を生成する。
フィールド内補間画素生成部104は、例えば、図2に示すような構成を有する。
フィールド内補間画素生成部104に入力されたN−1フィールドの信号は、ラインメモリ200と選択部A201に入力される。
ラインメモリ200は、入力された信号を1H(1水平走査期間)だけ遅延し、選択部B202に出力する。
選択部A201は、補間画素の生成位置毎に、入力されたN−1フィールドの信号(補間画素の生成位置の1つ下のラインの画像を表す信号)から斜め検出部103から出力される角度情報に応じた画素を選択する。
選択部B202は、補間画素の生成位置毎に、ラインメモリ200から出力された信号(補間画素の生成位置の1つ上のラインの画像を表す信号)から斜め検出部103から出力される角度情報に応じた画素を選択する。
選択部A201及び選択部B202における画素の選択方法について、図3を用いて説明する。
図3において、画素u(x)は、ラインメモリ200の出力信号のライン(補間画素の
生成位置の1つ上のライン)上の画素である。画素u(x)において、xは、補間画素の生成位置に対する画素u(x)の位置の水平方向のずれ量(補間画素の生成位置を基準とする画素u(x)の水平方向の位置を示す値)である。具体的には、xが−3の場合には、その画素の水平方向の位置が、補間画素の生成位置に対して左側へ3画素ずれた位置であることを意味する。xが+3の場合には、その画素の水平方向の位置が、補間画素の生成位置に対して右側へ3画素ずれた位置であることを意味する。
また、画素d(x)は、フィールド内補間画素生成部104の入力信号のライン(補間画素の生成位置の1つ下のライン)上の画素である。画素d(x)におけるxは上述したとおりである。
本実施例では、斜め検出部103は、角度情報として、上述したxの値を出力する。また、斜め検出部103は、補間画素の生成位置が斜めエッジ部分でない場合には、0を出力する。
角度情報が+A(Aは自然数)の場合は、選択部A201でu(+A)が選択され、選択部B202でd(−A)が選択される。また、角度情報が−B(Bは自然数)の場合は、選択部A201でu(−B)が選択され、選択部B202でd(+B)が選択される。図3の例で、補間画素の生成位置Hに対する角度情報が+3の場合は、選択部A201でu(+3)が選択され、選択部B202でd(−3)が選択される。また、図4のように、斜め検出部103からの出力が0である場合は、選択部A201でu(0)が選択され、選択部B202でd(0)が選択される。
加算器203は、選択部A201で選択された画素の値と選択部B202で選択された画素の値とを加算し、乗算器204へ出力する。
乗算器204は、入力された値を1/2倍し、フィールド内補間画素の値(フィールド内補間データ)として出力する。
これにより、N−1フィールドの画像において、斜めエッジ部の補間画素の画素値として、そのエッジの方向に隣接する2画素の画素値の平均値を得ることができる。また、斜めエッジ部以外の位置の補間画素の画素値として、垂直方向に隣接する2画素の画素値の平均値を得ることができる。
補間データ生成部105は、補間画素の生成位置毎に、動き検出部102の検出結果に応じて補間方法を切り換え、補間画素を生成する。即ち、動き適応型インターレース・プログレッシブ変換により補間画素を生成する(生成手段)。具体的には、補間画素の生成位置において映像の動きがない場合(動き情報が“0”である場合)には、該生成位置に対し、フィールドメモリ101から出力される画素値を有する補間画素(フィールド間補間による補間画素;フィールド間補間画素)を生成する。映像の動きがある場合(動き情報が“1”である場合)には、該生成位置に対し、フィールド内補間画素生成部104から出力される画素値を有する補間画素(フィールド内補間画素)を生成する。即ち、映像の動きがあり、且つ、斜め検出部103で斜め方向のエッジ部分であると判定された補間画素の生成位置に対して、該エッジの方向に存在する画素を用いて補間画素を生成する。そして、生成された複数の補間画素からなる補間データを後述する倍速変換部106へ出力する。なお、フィールド間補間画素は、映像の動きの無い位置に生成するのに適した補間画素であって、N−2フィールドの画像内の画素(補間画素の生成位置と同じ位置の画素)と同じ画素値を有する補間画素である。
倍速変換部106は、補間データ生成部105から出力される補間データと、フィールドメモリ100から出力されるN−1フィールドの信号とを合成してプログレッシブ映像信号(プログレッシブ映像の1フレームの信号)として出力する。
具体的には、倍速変換部106は、フィールドメモリ100から出力されたフィールド(N−1フィールド)の信号と、補間データ生成部105から出力された補間データとを
、インターレース映像信号が入力される速度の2倍の速度で読み出す。これにより、N−1フィールドの画像を構成する画素と補間画素とが1ラインごとに繰り返されるプログレッシブ映像信号が出力される。
次に、斜め検出部103の構成について説明する。図5は、本実施例に係る斜め検出部103の構成の一例を示すブロック図である。図5に示すように、本実施例に係る斜め検出部103は、ラインメモリ300、ブロックマッチング部301、マッチング角度算出部302、斜めエッジ判定部303、補正部304などを有する。そして、斜め検出部103は、補間画素の生成位置に対して、最適な補間方向を選択する。
ラインメモリ300は、入力された信号(N−1フィールドの信号)を1H(1水平走査期間)だけ遅延して、出力する。
ブロックマッチング部301は、斜め検出部103に入力された信号(N−1フィールドの信号)と、ラインメモリ300から出力される信号(1H遅延されたN−1フィールドの信号)とを用いたブロックマッチングを行い、SAD値(差分絶対値和)を算出する。ブロックマッチングは、所定数の画素を1ブロックとして、2画像間でブロック内の画素値を比較することにより、一方の画像の領域に対応する領域を検出する手法である。
具体的には、ブロックマッチング部301は、図6に示す実ラインL1上の所定数の画素の値と、補間画素の生成位置を中心として点対称の位置にある実ラインL2上の所定数の画素の値とを用いて、SAD値を算出する。実ラインL1は、補間画素の生成位置の1つ上のラインであって、N−1フィールドの画素が存在するラインである。実ラインL2は、補間画素の生成位置の1つ下のラインであって、N−1フィールドの画素が存在するラインである。また、図中の補間ラインは補間画素が生成されるラインである。図6の例では、SAD値の算出対象とする画素位置を中心とする5画素と、補間画素の生成位置を中心として該5画素に対して点対称の位置にある5画素との計10画素の値を用いてSAD値が算出される。例えば、図6に示すように、補間画素の生成位置がHの場合、画素u(−3)(または画素d(+3))の位置に対しては、SAD値は以下の算出式で算出される。

SAD(u(−3),d(+3))=|u(−5)−d(+1)|
+|u(−4)−d(+2)|
+|u(−3)−d(+3)|
+|u(−2)−d(+4)|
+|u(−1)−d(+5)|

本実施例では、以上のような演算を実ラインL1に位置する画素u(−10)〜u(+10)に対して行い、算出結果(21個のSAD値(SAD(u(−10),d(+10))〜SAD(u(+10),d(−10))))を出力する。
マッチング角度算出部302は、ブロックマッチング部301で算出された21個のSAD値から、補間画素の生成位置でのエッジの方向を算出(仮定)し、算出結果を角度情報として出力する。本実施例では、上記21個のSAD値のうち、最小値に対応する方向をエッジの方向として判断し、該方向を表す情報を角度情報として出力する。
図7に、SAD値の最小値(sad_min)を算出する処理のフローチャートを示す。
まず、S102で、iとsad_minの初期化を行う。ここでは、初期値として、i=−9、sad_min=SAD(u(−10),d(+10))が設定される。
次に、S103で、SAD(u(i),d(−i))とsad_minが比較される。即ち、最初は、SAD(u(−9),d(+9))とSAD(u(−10),d(+10))が比較される。SAD(u(i),d(−i))がsad_min未満の場合には、S104へ処理が進められる。SAD(u(i),d(−i))がsad_min以上の場合には、S105へ処理が進められる。
S104では、sad_minの値がSAD(u(i),d(−i))に置き換えられ、処理がS105へ進められる。
S105では、i=+10であるか否かが確認される。i=+10の場合には、全てのSAD値(21個のSAD値)の比較が完了したと判断され、SAD値の最小値を算出する処理が終了となる。i=+10でない場合には、全てのSAD値の比較が完了していないと判断され、S106でiの値に1が加算され、S103へ処理が戻される。即ち、i=+10になるまで、S103,S104の処理が繰り返される。
以上の処理を行うことにより、SAD値の最小値を算出することができる。
そして、本実施例では、算出されたSAD値の最小値sad_min=SAD(u(+x),d(−x))のxの値が、角度情報としてマッチング角度算出部302から出力される。
例えば、図8に示すような画素構成の画像(斜めエッジ部分の画像)を表す信号が入力された場合には、補間画素の生成位置Hに対するSAD値の分布は図9のようになり、実ラインL1のu(+3)の位置に対するSAD値が最小値sad_minとなる。従って、マッチング角度算出部302からは、角度情報として+3が出力される。
斜めエッジ判定部303は、本発明の特徴部分であり、角度情報、及び、斜め検出部103に入力された信号(補間画素生成処理の対象のフィールドの信号)から、補間画素の生成位置が斜めエッジ部分か否かを判定する。そして、判定結果を補正部304へ出力する。
補正部304は、斜めエッジ判定部303の判定結果に応じて、マッチング角度算出部302から出力された角度情報を補正する。具体的には、cancel_flgが0のときには、マッチング角度算出部302から出力される角度情報をそのまま(補正せずに)フィールド内補間画素生成部104へ出力する。cancel_flgが1の時には、マッチング角度算出部302から出力される角度情報を0に補正し、フィールド内補間画素生成部104へ出力する。cancel_flgは、補間画素の生成位置に対して、マッチング角度算出部302で算出された角度情報に応じた補間を行うか否かを表すフラグである。
斜めエッジ判定部303は、図10に示すように画素選択部401と判定部402を有する。
画素選択部401は、実ラインL1上の画素と実ラインL2上の画素の中から、マッチング角度算出部302から出力される角度情報に従って、上記判定に用いる画素(図11の画素A〜画素F)を選択する。
画素A〜画素Fは以下の通りである。
画素A=実ラインL1上の画素であって、水平方向の位置が補間画素の生成位置から水平左側方向に角度情報の絶対値の画素数分ずれた位置の画素
画素B=実ラインL1上の画素であって、水平方向の位置が補間画素の生成位置と等しい位置の画素
画素C=実ラインL1上の画素であって、水平方向の位置が補間画素の生成位置から水平右側方向に角度情報の絶対値の画素数分ずれた位置の画素
画素D=実ラインL2上の画素であって、水平方向の位置が補間画素の生成位置から水平左側方向に角度情報の絶対値の画素数分ずれた位置の画素
画素E=実ラインL2上の画素であって、水平方向の位置が補間画素の生成位置と等しい位置の画素
画素F=実ラインL2上の画素であって、水平方向の位置が補間画素の生成位置から水平右側方向に角度情報の絶対値の画素数分ずれた位置の画素
即ち、画素選択部401では、以下の3種類の画素が選択される。
・水平方向の位置が補間画素の生成位置と等しい実ラインL1,L2上の画素
・マッチング角度算出部302で算出されたエッジの方向に存在する実ラインL1,L2上の画素
・補間画素の生成位置を中心として上記エッジの方向に存在する画素と点対称の位置にある画素
判定部402は、画素選択部401で選択された画素の値を元に、cancel_flgの値を決定し、出力する。具体的には、判定部402は、画素選択部401で選択された画素の値から、補間画素の生成位置が斜めエッジ部分であるか否か、水平方向の周期パターン部分であるか否かを判定する。そして、判定部402は、補間画素の生成位置が斜めエッジ部分であると判定した場合にcancel_flgの値を1とし、それ以外の場合にcancel_flgの値を0とする。
図12のフローチャートを用いて、判定部402の処理を説明する。
まず、S202で、補間画素の生成位置の1つ上または1つ下のラインの画素値が該補間画素の生成位置と同じ水平位置で局所的に小さくなるか否かを判定する。言い換えると、補間画素の生成位置の1つ上または1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に小さくなるか否かを判定する(画素値判定)。本実施例では、実ラインL1上の3点(画素A〜画素C)の値と、実ラインL2上の3点(画素D〜画素F)の値とから、実ラインL1,L2の画素値が、補間画素の生成位置Hと同じ水平位置(生成位置Hに垂直方向に隣接する位置)で局所的に小さくなるか否かが判定される。具体的には、下記条件式1を満たすか否かが判定される。ここで、閾値aは、2つの画素値の差分から2画素の画素値が互いに異なるか否かを判定するための閾値である。

[条件式1]
(画素Aの値−画素Bの値)>閾値a かつ
(画素Cの値−画素Bの値)>閾値a かつ
(画素Dの値−画素Eの値)>閾値a かつ
(画素Fの値−画素Eの値)>閾値a

条件式1を満たした場合は、補間画素の生成位置が水平方向の周期パターン部分である(斜めエッジ部分ではない)と判断し、補正部304で角度情報をリセット(0に補正)するため、cancel_flg=1を出力する(S204)。また、条件式1を満たさない場合には、S203へ処理が進められる。
S203では、補間画素の生成位置の1つ上または1つ下のラインの画素値が該補間画素の生成位置と同じ水平位置で局所的に大きくなるか否かが判定される(画素値判定)。言い換えると、補間画素の生成位置の1つ上または1つ下のラインの画素値が該補間画素に垂直方向に隣接する位置で局所的に大きくなるか否かが判定される。本実施例では、実ラインL1上の3点(画素A〜画素C)の値と、実ラインL2上の3点(画素D〜画素F)の値とから、実ラインL1,L2の画素値が、補間画素の生成位置Hと同じ水平位置で局所的に大きくなるか否かが判定される。具体的には、下記条件式2を満たすか否かが判定される。

[条件式2]
(画素Bの値−画素Aの値)>閾値a かつ
(画素Bの値−画素Cの値)>閾値a かつ
(画素Eの値−画素Dの値)>閾値a かつ
(画素Eの値−画素Fの値)>閾値a

条件式2を満たした場合は、補間画素の生成位置が水平方向の周期パターン部分である(斜めエッジ部分ではない)と判断し、補正部304で角度情報をリセット(0に補正)するため、cancel_flg=1を出力する(S204)。また、条件式2を満たさない場合には、S205へ処理が進められる。
このように、本実施例では、補間画素の生成位置の1つ上または1つ下のラインの画素値が該補間画素の生成位置と同じ水平位置で局所的に大きくまたは小さくなる場合に、該生成位置は斜め方向のエッジ部分ではないと判定される。補間画素の生成位置の1つ上または1つ下のラインの画素値が該補間画素の生成位置と同じ水平位置で局所的に大きくまたは小さくなる場合、補間画素の生成位置は水平方向の周期パターン部分である可能性が高い。そのため、上記判定を行うことにより、水平方向の周期パターン部分が斜めエッジ部分として誤検出されることを抑制することができる。
S205では、補間画素の生成位置Hの上下に隣接する2つの画素値間(画素Bの値と画素Eの値の間)の差分(輝度差)が所定値より小さいか否かが判定される。具体的には、下記条件式3を満たすか否かが判定される。ここで、閾値bは、2つの画素値の差分の絶対値から、2つの画素値が互いに異なるか否かを判定するための閾値である。

[条件式3]
|画素Bの値−画素Eの値|<閾値b

条件式3を満たした場合は、補間画素の生成位置が斜めエッジ部分である可能性が低いため、S206へ処理が進められる。条件式3を満たさない場合(補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定値以上(閾値以上)となる場合)は、補間画素の生成位置が斜めエッジ部分であると判定し、補正部304でマッチング角度算出部302から出力された角度情報を選択するため、補正部304へcancel_flg=0を出力する(S207)。
S206では、補間画素の生成位置の1つ上のラインと1つ下のラインとでライン方向の画素値の変化の傾き(輝度傾斜)の符号が等しいか否かが判定される。本実施例では、実ラインL1上の3点(画素A〜画素C)の値と、実ラインL2上の3点(画素D〜画素F)の値とから、実ラインL1と実ラインL2とで水平方向の画素値の変化の傾きの符号が異なるか否かが判定される。ここでいう“傾きの符号が異なる”とは、実ラインL1上の3点の画素値が画像の右に向かうほど大きくなる変化を示す場合に、実ラインL2上の3点の画素値が画像の右に向かうほど小さくなる変化を示すことを意味する。或いは、実ラインL1上の3点の画素値が画像の左に向かうほど大きくなる変化を示す場合に、実ラインL2上の3点の画素値が画像の左に向かうほど小さくなる変化を示すことを意味する。具体的には、下記条件式4,5を満たすか否かが判定される。閾値cは、2つの画素値の差分から2画素の画素値が互いに異なるか否か(輝度傾斜を0とみなすか否か)を判定するための閾値である。

[条件式4]
(画素Aの値−画素Bの値)>閾値c かつ
(画素Bの値−画素Cの値)>閾値c かつ
(画素Eの値−画素Dの値)>閾値c かつ
(画素Fの値−画素Eの値)>閾値c

[条件式5]
(画素Bの値−画素Aの値)>閾値c かつ
(画素Cの値−画素Bの値)>閾値c かつ
(画素Dの値−画素Eの値)>閾値c かつ
(画素Eの値−画素Fの値)>閾値c

条件式4、条件式5のいずれかを満たした場合は、補間画素の生成位置が斜めエッジ部分(水平方向に対する傾斜角度の浅い細線部分)であると判断する。そして、補正部304でマッチング角度算出部302から出力された角度情報を選択するため、補正部304へcancel_flg=0を出力する(S207)。また、条件式4,5のどちらも満たさない場合には、補間画素の生成位置が斜めエッジ部分ではないと判断し、補正部304で角度情報をリセット(0に補正)するため、cancel_flg=1を出力する(S204)。
斜めエッジ部分のなかでも、水平方向に対する傾斜角度の浅い(水平線に対する角度が小さい)細線部分では、エッジの方向の誤検出が生じやすい。閾値cの値は、そのような誤検出を考慮して設定される。なお、水平方向に対してどの程度の傾斜角度を“浅い”とするか、何画素幅の線を“細線”とするかは、装置の仕様によって適宜変更されるものである。即ち、閾値cの値は、装置の仕様によって適宜変更されるものである。
このように、本実施例では、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さく、且つ、補間画素の生成位置の1つ上のラインと1つ下のラインとでライン方向の画素値の変化の傾きの符号が等しい場合に、該生成位置は斜め方向のエッジ部分ではないと判定される。上述したように、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さい場合には、該生成位置が斜めエッジ部分である可能性は低い。更に、補間画素の生成位置の1つ上のラインと1つ下のラインとでライン方向の画素値の変化の傾きの符号が等しい場合には該生成位置が斜めエッジ部分である可能性はより低くなる。しかしながら、補間画素の生成位置の1つ上のラインと1つ下のラインとでライン方向の画素値の変化の傾きの符号が異なる場合には該生成位置が水平方向に対する傾斜角度の浅い細線部分である可能性は高い。そのため、上記判定を行うことにより、エッジの方向の誤検出を低減することができる。
以下、図13〜15を用いて、本実施例の効果の一例を説明する。図13は、斜めエッジ部分(水平方向に対する傾斜角度の浅い細線部分)の画像の一例を示す。図14は、斜めエッジ部分ではない画像(水平方向の周期パターン部分の画像)の一例を示す。
図13の例では、画素Cと画素Dをつなぐ方向の斜めエッジが形成されているため、マッチング角度算出部302から角度情報として+9が出力される。また、図14の例では、斜めエッジ部分の画像ではないにもかかわらず、マッチング角度算出部302から角度情報として+9が出力される場合がある。
図14の例では、補間画素の生成位置Hは斜めエッジ部分ではないため、補間画素の画素値は画素Bの値と画素Eの値の平均値とするのが正しい。しかしながら、図14の例において、マッチング角度算出部302から出力される+9という角度情報を信頼して補間画素を生成すると、エッジの方向の誤った検出結果を用いて補間画素を生成することになる。即ち、斜めエッジ部分ではない部分を斜めエッジ部分として誤検出し、誤った画素値の補間画素を生成することになる。図15に、図14の画像に対し斜めエッジ部分と誤検出した場合の、補間画素の生成処理の様子を示す。図15から分かる通り、画素Cと画素Dをつなぐ方向の斜めエッジがあると判断してしまうと、画素Cの値と画素Dの値の平均値が補間画素の画素値とされてしまう。つまり、暗い(輝度値の低い)画素Bと暗い画素
Eの間に、明るい補間画素が生成されることになる。その結果、大きな画質劣化を招いてしまう。
本実施例によれば、図13の例では、図12のS206でYes判定となり、マッチング角度算出部302から出力される角度情報が選択される。図14の例では、図12のS203でYes判定なり、マッチング角度算出部302から出力される角度情報が0に補正される。従って、本実施例では、上述した画質の劣化を抑制することができる。
以上述べたように、本実施例によれば、補間画素の生成位置の1つ上または1つ下のラインの画素値が該補間画素の生成位置と同じ水平位置で局所的に大きくまたは小さくなる場合に、該生成位置は斜め方向のエッジ部分ではないと判定される。それにより、補間画素の生成位置の1つ上または1つ下のラインの画素値を参照するという簡易な構成でインターレース映像信号をプログレッシブ映像信号に変換する際の画質の劣化を抑制することができる。具体的には、水平方向の周期パターン部分が斜めエッジ部分と誤検出されることを抑制することができる。
なお、本実施例では、エッジの方向を算出する手法として、ブロックマッチング法を用いたが、エッジの方向が検出出来れば、他の手法を用いても構わない。
なお、本実施例では、補間画素の生成位置の1つ上または1つ下のラインの、水平方向の位置が補間画素の生成位置と等しい位置、および、マッチング角度算出部302で算出されたエッジの方向に基づく2つの位置、の3つの画素値を比較して、そのラインの画素値が該補間画素の生成位置と同じ水平位置で局所的に大きくまたは小さくなるか否かを判定する構成としたが、判定方法はこれに限らない。補間画素の生成位置の1つ上または1つ下のラインの画素値が該補間画素の生成位置と同じ水平位置で局所的に大きくまたは小さくなるか否かを判定できれば、使用する画素値の位置、数などはどのような値であってもよい。例えば、水平方向の位置が補間画素の生成位置と等しい位置を挟む2つの位置であれば、マッチング角度算出部302で算出されたエッジの方向に基づく2つの位置でなくてもよい。
<実施例2>
実施例1では、補間画素の生成位置Hに対して、角度情報に応じて決定される6点の画素(実ラインL1上の3点の画素と実ラインL2上の3点の画素)を用いて、斜めエッジ部分か否かの判定を行った。実施例2では、実施例1よりも多くの画素、具体的には実ラインL1上の9点の画素と実ラインL2上の9点の画素の計18点の画素を用いて上記判定を行う。
実施例2に係る斜め検出部103の基本的な構成は実施例1と同様であるため、その説明は省略する。本実施例では、斜めエッジ判定部303の動作が実施例1と異なる。
具体的には、本実施例では、画素選択部401は、実施例1で選択される6つの画素の他に、以下の画素を選択する。
・実ラインL1上の画素であって、水平方向の位置が補間画素の生成位置と等しい画素Bの水平左側方向に隣接する3つの画素(図17の画素u1〜u3)
・実ラインL1上の画素であって、水平方向の位置が補間画素の生成位置と等しい画素Bの水平右側方向に隣接する3つの画素(図17の画素u4〜u6)
・実ラインL2上の画素であって、水平方向の位置が補間画素の生成位置と等しい画素Eの水平左側方向に隣接する3つの画素(図17の画素d1〜d3)
・実ラインL2上の画素であって、水平方向の位置が補間画素の生成位置と等しい画素Eの水平右側方向に隣接する3つの画素(図17の画素d4〜d6)
そして、判定部402は、画素選択部401で選択された画素の値を元に、cancel_flgの値を決定し、出力する。
以下、本実施例に係る判定部402の処理について図16,17を用いて詳細に説明す
る。判定部402の処理の大まかな流れは実施例1(図12)と同様のため、その説明は省略する。本実施例では、S206において、上述した画素u1〜u6及び画素d1〜d6の値を用いて、補間画素の生成位置の1つ上のラインと1つ下のラインとでライン方向の画素値の変化の傾きの符号が等しいか否かが判定される。
図16は、本実施例におけるS206の処理の詳細を示すフローチャートである。
まず、S402〜404の処理が同時または順番に行われる。
S402では、画素u1,u6,d1,d6の値から、画素u1と画素u6によって表される輝度傾斜と、画素d1と画素d6によって表される輝度傾斜の符号が異なるか否かが判定される。画素u1,u6は、画素Bから水平方向に3画素分離れた位置の画素である。画素d1,d6は、画素Eから水平方向に3画素分離れた位置の画素である。具体的には、下記条件式1を満たすか否かが判定される。閾値dは、2つの画素値の差分から2画素の画素値が互いに異なるか否か(輝度傾斜を0とみなすか否か)を判定するための閾値である。条件式1を満たした場合には、画素u1と画素u6によって表される輝度傾斜と、画素d1と画素d6によって表される輝度傾斜の符号が異なると判定し、flg1=1とする。条件式1を満たさなかった場合には、flg1=0とする。

[条件式1]
((画素u1の値−画素u6の値)>閾値d かつ
(画素d6の値−画素d1の値)>閾値d)
或いは、
((画素u6の値−画素u1の値)>閾値d かつ
(画素d1の値−画素d6の値)>閾値d)
S403では、画素u2,u5,d2,d5の値から、画素u2と画素u5によって表される輝度傾斜と、画素d2と画素d5によって表される輝度傾斜の符号が異なるか否かが判定される。画素u2,u5は、画素Bから水平方向に2画素分離れた位置の画素である。画素d2,d5は、画素Eから水平方向に2画素分離れた位置の画素である。具体的には、下記条件式2を満たすか否かが判定される。条件式2を満たした場合には、画素u2と画素u5によって表される輝度傾斜と、画素d2と画素d5によって表される輝度傾斜の符号が異なると判定し、flg2=1とする。条件式2を満たさなかった場合には、flg2=0とする。

[条件式2]
((画素u2の値−画素u5の値)>閾値d かつ
(画素d5の値−画素d2の値)>閾値d)
或いは、
((画素u5の値−画素u2の値)>閾値d かつ
(画素d2の値−画素d5の値)>閾値d)
S404では、画素u1,u4,d1,d4の値から、画素u1と画素u4によって表される輝度傾斜と、画素d1と画素d4によって表される輝度傾斜との符号が異なるか否かが判定される。画素u1,u4は、画素Bから水平方向に1画素分離れた位置の画素である。画素d1,d4は、画素Eから水平方向に1画素分離れた位置の画素である。具体的には、下記条件式23を満たすか否かが判定される。条件式3を満たした場合には、画素u1と画素u4によって表される輝度傾斜と、画素d1と画素d4によって表される輝度傾斜の符号が異なると判定し、flg3=1とする。条件式2を満たさなかった場合には、flg3=0とする。

[条件式3]
((画素u1の値−画素u4の値)>閾値d かつ
(画素d4の値−画素d1の値)>閾値d)
或いは、
((画素u4の値−画素u1の値)>閾値d かつ
(画素d1の値−画素d4の値)>閾値d)
次に、S405で、S402〜S404で算出したflg1〜flg3の合計値を閾値eと比較し、補間画素の生成位置の1つ上のラインと1つ下のラインとでライン方向の画素値の変化の傾きの符号が等しいか否かを判定する。補間画素の生成位置の1つ上のラインと1つ下のラインとでライン方向の画素値の変化の傾きの符号が異なる場合、補間画素の生成位置Hが角度の浅い細線部分である可能性が高い。そのため、flg1〜flg3の合計値が3であれば、補間画素の生成位置Hが角度の浅い細線部分である可能性は最も高く、0であれば補間画素の生成位置Hが角度の浅い細線部分である可能性は最も低い。そこで、S405では、flg1〜flg3の合計値が閾値e以上の場合に、補間画素の生成位置が角度の浅い細線部分であると判断する。そして、補正部304でマッチング角度算出部302から出力された角度情報を選択するため、補正部304へcancel_flg=0を出力する(S207)。また、flg1〜flg3の合計値が閾値e未満の場合には、補間画素の生成位置が斜めエッジ部分ではないと判断し、補正部304で角度情報をリセット(0に補正)するため、cancel_flg=1を出力する(S204)。なお、閾値eの値は、目的に応じて0〜3の値で設定すればよい。
以上述べたように、本実施例によれば、実施例1より多くの画素を用いて、補間画素の生成位置の1つ上のラインと1つ下のラインとでライン方向の画素値の変化の傾きの符号が等しいか否かが判定される。それにより、角度の浅い細線部分を斜めエッジ部分ではないとする誤検出をより低減することができる。
<実施例3>
実施例1では、補間画素の生成位置Hに対して、角度情報に応じて決定される6点の画素を用いて、斜めエッジ部分か否かの判定を行った。実施例3では、実施例1よりも多くの、具体的には実ラインL1上の5点の画素と実ラインL2上の5点の画素の計10点の画素を用いて上記判定を行う。
実施例3に係る斜め検出部103の基本的な構成は実施例1と同様であるため、その説明は省略する。本実施例では、斜めエッジ判定部303の動作が実施例1と異なる。
具体的には、本実施例では、画素選択部401は、実施例1で選択される6つの画素の他に、以下の画素を選択する。
・実ラインL1上の画素であって、水平方向の位置が補間画素の生成位置から水平左側方向に角度情報の絶対値の画素数の1/2分ずれた位置の画素(即ち、画素Aと画素Bの中間に位置する画素;図18の画素G)
・実ラインL1上の画素であって、水平方向の位置が補間画素の生成位置から水平右側方向に角度情報の絶対値の画素数の1/2分ずれた位置の画素(即ち、画素Bと画素Cの中間に位置する画素;図18の画素I)
・実ラインL2上の画素であって、水平方向の位置が補間画素の生成位置から水平左側方向に角度情報の絶対値の画素数の1/2分ずれた位置の画素(即ち、画素Dと画素Eの中間に位置する画素;図18の画素J)
・実ラインL2上の画素であって、水平方向の位置が補間画素の生成位置から水平右側方向に角度情報の絶対値の画素数の1/2分ずれた位置の画素(即ち、画素Eと画素Fの
中間に位置する画素;図18の画素K)
そして、判定部402は、画素選択部401で選択された画素の値を元に、cancel_flgの値を決定し、出力する。
以下、本実施例に係る判定部402の処理について、図12のフローチャートを用いて詳細に説明する。
まず、S202で、画素A〜Kの値から、実ラインL1,L2の画素値が、補間画素の生成位置Hと同じ水平位置で局所的に小さくなるか否かが判定される。具体的には、下記条件式1,2を満たすか否かが判定される。ここで、閾値fは、2つの画素値の差分から2画素の画素値が互いに異なるか否かを判定するための閾値である。

[条件式1]
((画素Aの値−画素Bの値)>閾値f かつ
(画素Cの値−画素Bの値)>閾値f かつ
(画素Gの値−画素Bの値)>閾値f かつ
(画素Iの値−画素Bの値)>閾値f)

[条件式2]
((画素Dの値−画素Eの値)>閾値f かつ
(画素Fの値−画素Eの値)>閾値f かつ
(画素Jの値−画素Eの値)>閾値f かつ
(画素Kの値−画素Eの値)>閾値f)

条件式1,2を共に満たした場合は、補間画素の生成位置が水平方向の周期パターン部分である(斜めエッジ部分ではない)と判断し、補正部304で角度情報をリセット(0に補正)するため、cancel_flg=1を出力する(S204)。また、条件式1,2のいずれかを満たさない場合には、S203へ処理が進められる。
S203では、画素A〜Kの値から、実ラインL1,L2の画素値が、補間画素の生成位置Hと同じ水平位置で局所的に大きくなるか否かが判定される。具体的には、下記条件式3,4を満たすか否かが判定される。

[条件式3]
((画素Bの値−画素Aの値)>閾値f かつ
(画素Bの値−画素Cの値)>閾値f かつ
(画素Bの値−画素Gの値)>閾値f かつ
(画素Bの値−画素Iの値)>閾値f)

[条件式4]
((画素Eの値−画素Dの値)>閾値f かつ
(画素Eの値−画素Fの値)>閾値f かつ
(画素Eの値−画素Jの値)>閾値f かつ
(画素Eの値−画素Kの値)>閾値f)

条件式3,4を共に満たした場合は、補間画素の生成位置が水平方向の周期パターン部分である(斜めエッジ部分ではない)と判断し、補正部304で角度情報をリセット(0に補正)するため、cancel_flg=1を出力する(S204)。また、条件式3,4のいずれかを満たさない場合には、S205へ処理が進められる。
S205では、実施例1のS205と同様に、補間画素の生成位置Hの上下に隣接する
2つの画素値間(画素Bの値と画素Eの値の間)の差分(輝度差)が所定値より小さいか否かが判定される。具体的には、下記条件式5を満たすか否かが判定される。

[条件式5]
|画素Bの値−画素Eの値|<閾値b

条件式5を満たした場合は、補間画素の生成位置が斜めエッジ部分である可能性が低いため、S206へ処理が進められる。条件式3を満たさない場合は、補間画素の生成位置が斜めエッジ部分であると判定し、補正部304でマッチング角度算出部302から出力された角度情報を選択するため、補正部304へcancel_flg=0を出力する(S207)。
S206では、画素A〜Kの値から、実ラインL1と実ラインL2とで水平方向の画素値の変化の傾きの符号が異なるか否かが判定される。具体的には、下記条件式6,7を満たすか否かが判定される。閾値gは、2つの画素値の差分から2画素の画素値が互いに異なるか否か(輝度傾斜を0とみなすか否か)を判定するための閾値である。

[条件式6]
((画素Aの値−画素Bの値)>閾値g かつ
(画素Bの値−画素Cの値)>閾値g かつ
(画素Fの値−画素Eの値)>閾値g かつ
(画素Eの値−画素Dの値)>閾値g かつ
(画素Gの値−画素Bの値)>閾値g かつ
(画素Bの値−画素Iの値)>閾値g かつ
(画素Kの値−画素Eの値)>閾値g かつ
(画素Eの値−画素Jの値)>閾値g)

[条件式7]
((画素Cの値−画素Bの値)>閾値g かつ
(画素Bの値−画素Aの値)>閾値g かつ
(画素Dの値−画素Eの値)>閾値g かつ
(画素Eの値−画素Fの値)>閾値g かつ
(画素Iの値−画素Bの値)>閾値g かつ
(画素Bの値−画素Gの値)>閾値g かつ
(画素Jの値−画素Eの値)>閾値g かつ
(画素Eの値−画素Kの値)>閾値g)

条件式6、条件式7のいずれかを満たした場合は、補間画素の生成位置が斜めエッジ部分(水平方向に対する傾斜角度の浅い細線部分)であると判断する。そして、補正部304でマッチング角度算出部302から出力された角度情報を選択するため、補正部304へcancel_flg=0を出力する(S207)。また、条件式6,7のどちらも満たさない場合には、補間画素の生成位置が斜めエッジ部分ではないと判断し、補正部304で角度情報をリセット(0に補正)するため、cancel_flg=1を出力する(S204)。
以上述べたように、本実施例によれば、実施例1より多くの画素を用いて、実ラインL1,L2の画素値が、補間画素の生成位置Hと同じ水平位置で局所的に小さくなるか否かが判定される。それにより、水平方向の周期パターン部分を斜めエッジ部分とする誤検出、斜めエッジ部分を水平方向の周期パターンとする誤検出をより低減することができる。また、本実施例によれば、実施例1より多くの画素を用いて、実施例1よりも補間画素の
生成位置の1つ上のラインと1つ下のラインとでライン方向の画素値の変化の傾きの符号が等しいか否かが判定される。それにより、角度の浅い細線部分を斜めエッジ部分ではないとする誤検出をより低減することができる。
103・・・斜め検出部,105・・・補間データ生成部

Claims (16)

  1. インターレース映像信号を補間によりプログレッシブ映像信号に変換する映像処理装置であって、
    補間画素の生成位置が斜め方向のエッジ部分か否かを判定し、且つ、補間画素の生成位置が斜め方向のエッジ部分である場合に該エッジの方向を判定する判定手段と、
    インターレース・プログレッシブ変換により補間画素を生成する生成手段であって、前記判定手段で斜め方向のエッジ部分であると判定された補間画素の生成位置に対して、該エッジの方向に存在する画素を用いて補間画素を生成する生成手段と、
    を有し、
    前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さい場合に、補間画素の生成位置の1つ上のラインと1つ下のラインにおける水平方向の画素値の変化の傾きに基づいて、該生成位置が斜め方向のエッジ部分であるか否かを判定する
    ことを特徴とする映像処理装置。
  2. 前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さく、且つ、補間画素の生成位置の1つ上のラインと1つ下のラインとで水平方向の画素値の変化の傾きの符号が等しい場合に、該生成位置が斜め方向のエッジ部分でないと判定する
    ことを特徴とする請求項1に記載の映像処理装置。
  3. 前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さく、且つ、補間画素の生成位置の1つ上のラインと1つ下のラインとで水平方向の画素値の変化の傾きの符号が異なる場合に、該生成位置が斜め方向のエッジ部分であると判定する
    ことを特徴とする請求項1または2に記載の映像処理装置。
  4. 前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値であって、該補間画素の生成位置に垂直方向に隣接する位置及び該位置を挟む2つの位置を含む複数の位置の画素値を比較して、補間画素の生成位置が斜め方向のエッジ部分か否かを判定する
    ことを特徴とする請求項1〜のいずれか1項に記載の映像処理装置。
  5. 前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値であって、該補間画素の生成位置に垂直方向に隣接する位置、該位置から左方向にn個(nは1以上の整数)の位置、及び該位置から右方向にn個の位置の画素値を比較して、補間画素の生成位置が斜め方向のエッジ部分か否かを判定する
    ことを特徴とする請求項4に記載の映像処理装置。
  6. 前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくなる場合に、該生成位置が斜め方向のエッジ部分でないと判定する
    ことを特徴とする請求項1〜5のいずれか1項に記載の映像処理装置。
  7. 前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、且つ、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値以上である場合に、該生成位置が斜め方向のエッジ部分であると判定する
    ことを特徴とする請求項1〜6のいずれか1項に記載の映像処理装置。
  8. 前記判定手段は、
    補間画素の生成位置の1つ上のラインの所定数の画素からなるブロックと、該補間画素の生成位置の1つ下のラインの前記所定数の画素からなるブロックとを比較するブロックマッチングを行い、該ブロックマッチングの結果から該補間画素の生成位置でのエッジの方向を仮定するブロックマッチング手段と、
    補間画素の生成位置の1つ上及び1つ下のラインの画素値であって、該補間画素の生成位置に垂直方向に隣接する位置、該補間画素の生成位置から前記仮定されたエッジの方向に存在する位置、及び該補間画素の生成位置に垂直方向に隣接する位置を中心として前記仮定されたエッジの方向に存在する位置と点対称の位置、を含む複数の位置の画素値を比較して、そのラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくなるかを判定する画素値判定手段と、
    を有する
    ことを特徴とする請求項1〜7のいずれか1項に記載の映像処理装置。
  9. インターレース映像信号を補間によりプログレッシブ映像信号に変換する映像処理装置により実行される映像処理方法であって、
    補間画素の生成位置が斜め方向のエッジ部分か否かを判定し、且つ、補間画素の生成位置が斜め方向のエッジ部分である場合に該エッジの方向を判定する判定ステップと、
    ンターレース・プログレッシブ変換により補間画素を生成する生成ステップであって、前記判定ステップで斜め方向のエッジ部分であると判定された補間画素の生成位置に対して、該エッジの方向に存在する画素を用いて補間画素を生成する生成ステップと、
    を有し、
    前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さい場合に、補間画素の生成位置の1つ上のラインと1つ下のラインにおける水平方向の画素値の変
    化の傾きに基づいて、該生成位置が斜め方向のエッジ部分であるか否かを判定する
    ことを特徴とする映像処理方法。
  10. 前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さく、且つ、補間画素の生成位置の1つ上のラインと1つ下のラインとで水平方向の画素値の変化の傾きの符号が等しい場合に、該生成位置が斜め方向のエッジ部分でないと判定する
    ことを特徴とする請求項9に記載の映像処理方法。
  11. 前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さく、且つ、補間画素の生成位置の1つ上のラインと1つ下のラインとで水平方向の画素値の変化の傾きの符号が異なる場合に、該生成位置が斜め方向のエッジ部分であると判定する
    ことを特徴とする請求項9または10に記載の映像処理方法。
  12. 前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値であって、該補間画素の生成位置に垂直方向に隣接する位置及び該位置を挟む2つの位置を含む複数の位置の画素値を比較して、補間画素の生成位置が斜め方向のエッジ部分か否かを判定する
    ことを特徴とする請求項9〜11のいずれか1項に記載の映像処理方法。
  13. 前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値であって、該補間画素の生成位置に垂直方向に隣接する位置、該位置から左方向にn個(nは1以上の整数)の位置、及び該位置から右方向にn個の位置の画素値を比較して、補間画素の生成位置が斜め方向のエッジ部分か否かを判定する
    ことを特徴とする請求項12に記載の映像処理方法。
  14. 前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくなる場合に、該生成位置が斜め方向のエッジ部分でないと判定する
    ことを特徴とする請求項9〜13のいずれか1項に記載の映像処理方法。
  15. 前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、且つ、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値以上である場合に、該生成位置が斜め方向のエッジ部分であると判定する
    ことを特徴とする請求項9〜14のいずれか1項に記載の映像処理方法。
  16. 前記判定ステップは、
    補間画素の生成位置の1つ上のラインの所定数の画素からなるブロックと、該補間画素の生成位置の1つ下のラインの前記所定数の画素からなるブロックとを比較するブロックマッチングを行い、該ブロックマッチングの結果から該補間画素の生成位置でのエッジの方向を仮定するブロックマッチングステップと、
    補間画素の生成位置の1つ上及び1つ下のラインの画素値であって、該補間画素の生成位置に垂直方向に隣接する位置、該補間画素の生成位置から前記仮定されたエッジの方向に存在する位置、及び該補間画素の生成位置に垂直方向に隣接する位置を中心として前記仮定されたエッジの方向に存在する位置と点対称の位置、を含む複数の位置の画素値を比較して、そのラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的
    に大きくまたは小さくなるかを判定する画素値判定ステップと、
    を有する
    ことを特徴とする請求項9〜15のいずれか1項に記載の映像処理方法。
JP2012012004A 2011-03-24 2012-01-24 映像処理装置及び映像処理方法 Expired - Fee Related JP5350501B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012012004A JP5350501B2 (ja) 2011-03-24 2012-01-24 映像処理装置及び映像処理方法
US13/414,308 US8576337B2 (en) 2011-03-24 2012-03-07 Video image processing apparatus and video image processing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011066216 2011-03-24
JP2011066216 2011-03-24
JP2012012004A JP5350501B2 (ja) 2011-03-24 2012-01-24 映像処理装置及び映像処理方法

Publications (2)

Publication Number Publication Date
JP2012213136A JP2012213136A (ja) 2012-11-01
JP5350501B2 true JP5350501B2 (ja) 2013-11-27

Family

ID=46877069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012012004A Expired - Fee Related JP5350501B2 (ja) 2011-03-24 2012-01-24 映像処理装置及び映像処理方法

Country Status (2)

Country Link
US (1) US8576337B2 (ja)
JP (1) JP5350501B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6288920B2 (ja) * 2013-02-21 2018-03-07 キヤノン株式会社 画像処理装置及びその制御方法
JP6810892B2 (ja) * 2017-06-05 2021-01-13 京セラドキュメントソリューションズ株式会社 画像処理装置
JP6996200B2 (ja) * 2017-09-29 2022-01-17 富士通株式会社 画像処理方法、画像処理装置、および画像処理プログラム
US11321813B2 (en) * 2018-08-02 2022-05-03 Apple Inc. Angular detection using sum of absolute difference statistics systems and methods
CN112509033B (zh) * 2020-11-25 2024-04-09 国网四川省电力公司阿坝供电公司 一种基于图像处理的铁塔倾斜自动检测方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141565A (ja) * 1997-07-23 1999-02-12 Sharp Corp 画像データ補間装置
JP4641438B2 (ja) * 2004-03-16 2011-03-02 キヤノン株式会社 画素補間装置及び画素補間方法
JP4371907B2 (ja) 2004-05-28 2009-11-25 シャープ株式会社 画素特徴判定装置、画素補間装置、及び映像信号処理装置
JP2009077029A (ja) * 2007-09-19 2009-04-09 Sharp Corp 信号変換装置、信号変換方法
JP4973542B2 (ja) * 2008-02-26 2012-07-11 富士通株式会社 画素補間装置及び画素補間方法

Also Published As

Publication number Publication date
JP2012213136A (ja) 2012-11-01
US8576337B2 (en) 2013-11-05
US20120242896A1 (en) 2012-09-27

Similar Documents

Publication Publication Date Title
US7535512B2 (en) Image processing method and related apparatus
US8189105B2 (en) Systems and methods of motion and edge adaptive processing including motion compensation features
JP5350501B2 (ja) 映像処理装置及び映像処理方法
US8305489B2 (en) Video conversion apparatus and method, and program
US7388617B2 (en) Image conversion device and image conversion method
KR100422575B1 (ko) 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법
US20060222267A1 (en) Method and apparatus for pixel interpolation
US8704945B1 (en) Motion adaptive deinterlacer
US7733420B2 (en) Judder detection apparatus, de-interlacing apparatus using the same, and de-interlacing method
JP6012230B2 (ja) エッジ方向判定装置、エッジ方向判定装置の制御方法、及び、画像処理装置
JP4746909B2 (ja) ビデオシーケンスの補助データ処理
EP1526730A1 (en) Image conversion device and image conversion method
KR101235488B1 (ko) 위너필터 기반의 가중치를 부여하여 화소를 보간하는 디인터레이싱 장치 및 방법
US9324131B1 (en) Method and apparatus for motion adaptive deinterlacing with reduced artifacts
JP2009177524A (ja) 走査線補間装置及び走査線補間方法
US8494292B2 (en) Image processing apparatus
JP5300607B2 (ja) 映像処理装置及びその制御方法
KR102603650B1 (ko) 지능형 컬러 영상 복원 시스템 및 이를 이용한 디인터레이싱 방법
KR100252949B1 (ko) 스캔컨버터회로
JP2014033357A (ja) 映像信号処理装置及び映像信号処理方法
JP2011097339A (ja) 映像処理装置及びその制御方法
JP4032785B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2006229615A (ja) 補間画素生成回路
JP2005341346A (ja) 画素特徴判定装置、画素補間装置、及び映像信号処理装置
JP6288920B2 (ja) 画像処理装置及びその制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130821

R151 Written notification of patent or utility model registration

Ref document number: 5350501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees