JP5350501B2 - 映像処理装置及び映像処理方法 - Google Patents
映像処理装置及び映像処理方法 Download PDFInfo
- Publication number
- JP5350501B2 JP5350501B2 JP2012012004A JP2012012004A JP5350501B2 JP 5350501 B2 JP5350501 B2 JP 5350501B2 JP 2012012004 A JP2012012004 A JP 2012012004A JP 2012012004 A JP2012012004 A JP 2012012004A JP 5350501 B2 JP5350501 B2 JP 5350501B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- line
- generation position
- interpolation pixel
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 17
- 230000007423 decrease Effects 0.000 claims abstract 5
- 230000000750 progressive effect Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000003247 decreasing effect Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 description 40
- 238000001514 detection method Methods 0.000 description 38
- 230000014509 gene expression Effects 0.000 description 35
- 238000004364 calculation method Methods 0.000 description 26
- 230000015654 memory Effects 0.000 description 16
- 230000000737 periodic effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Description
補間画素の生成位置での映像の動き(動き情報)を検出し、その動き情報に応じて、補間画素としてフィールド内補間画素を生成するか、フィールド間補間画素を生成するかを適応的に切り換える方法である。
例えば、判定ブロックと、判定ブロックに類似する参照ブロックとの間に位置する補間画素を生成する際に、判定ブロック及び参照ブロック内の少なくとも何れかの画素を用いて補間画素を生成する方法が提案されている(特許文献2)。
傾斜角度の確からしさを判定する方法として、補間画素の生成位置の垂直方向に隣接するラインの画像から、各ラインの水平方向の複雑さを判別し、補間画素の生成位置が斜め方向に補間すべき位置か否かを判定する方法が提案されている(例えば、特許文献1)。
以下、本発明の実施例1に係る映像処理装置及び該映像処理装置により実行される映像処理方法について、図面を用いて説明する。本実施例に係る映像処理装置は、インターレース映像信号を補間によりプログレッシブ映像信号に変換する。
図1において、フィールドメモリ100,101はフィールド単位で装置に入力されるインターレース映像信号を蓄積し、該インターレース映像信号を1フィールド分だけ遅延させて出力する。即ち、映像処理装置にN番目のフィールド(Nフィールド)の画像を表す信号が入力された時に、フィールドメモリ100からは、N−1番目のフィールド(N−1フィールド)の画像を表す信号が出力される。フィールドメモリ101からは、N−2番目のフィールド(N−2フィールド)の画像を表す信号が出力される。本実施例では、フィールドメモリ100の出力信号(N−1フィールドの画像を表す信号)に対して補間画素が生成される。
フィールド内補間画素生成部104に入力されたN−1フィールドの信号は、ラインメモリ200と選択部A201に入力される。
ラインメモリ200は、入力された信号を1H(1水平走査期間)だけ遅延し、選択部B202に出力する。
選択部A201は、補間画素の生成位置毎に、入力されたN−1フィールドの信号(補間画素の生成位置の1つ下のラインの画像を表す信号)から斜め検出部103から出力される角度情報に応じた画素を選択する。
選択部B202は、補間画素の生成位置毎に、ラインメモリ200から出力された信号(補間画素の生成位置の1つ上のラインの画像を表す信号)から斜め検出部103から出力される角度情報に応じた画素を選択する。
図3において、画素u(x)は、ラインメモリ200の出力信号のライン(補間画素の
生成位置の1つ上のライン)上の画素である。画素u(x)において、xは、補間画素の生成位置に対する画素u(x)の位置の水平方向のずれ量(補間画素の生成位置を基準とする画素u(x)の水平方向の位置を示す値)である。具体的には、xが−3の場合には、その画素の水平方向の位置が、補間画素の生成位置に対して左側へ3画素ずれた位置であることを意味する。xが+3の場合には、その画素の水平方向の位置が、補間画素の生成位置に対して右側へ3画素ずれた位置であることを意味する。
また、画素d(x)は、フィールド内補間画素生成部104の入力信号のライン(補間画素の生成位置の1つ下のライン)上の画素である。画素d(x)におけるxは上述したとおりである。
角度情報が+A(Aは自然数)の場合は、選択部A201でu(+A)が選択され、選択部B202でd(−A)が選択される。また、角度情報が−B(Bは自然数)の場合は、選択部A201でu(−B)が選択され、選択部B202でd(+B)が選択される。図3の例で、補間画素の生成位置Hに対する角度情報が+3の場合は、選択部A201でu(+3)が選択され、選択部B202でd(−3)が選択される。また、図4のように、斜め検出部103からの出力が0である場合は、選択部A201でu(0)が選択され、選択部B202でd(0)が選択される。
乗算器204は、入力された値を1/2倍し、フィールド内補間画素の値(フィールド内補間データ)として出力する。
これにより、N−1フィールドの画像において、斜めエッジ部の補間画素の画素値として、そのエッジの方向に隣接する2画素の画素値の平均値を得ることができる。また、斜めエッジ部以外の位置の補間画素の画素値として、垂直方向に隣接する2画素の画素値の平均値を得ることができる。
具体的には、倍速変換部106は、フィールドメモリ100から出力されたフィールド(N−1フィールド)の信号と、補間データ生成部105から出力された補間データとを
、インターレース映像信号が入力される速度の2倍の速度で読み出す。これにより、N−1フィールドの画像を構成する画素と補間画素とが1ラインごとに繰り返されるプログレッシブ映像信号が出力される。
SAD(u(−3),d(+3))=|u(−5)−d(+1)|
+|u(−4)−d(+2)|
+|u(−3)−d(+3)|
+|u(−2)−d(+4)|
+|u(−1)−d(+5)|
本実施例では、以上のような演算を実ラインL1に位置する画素u(−10)〜u(+10)に対して行い、算出結果(21個のSAD値(SAD(u(−10),d(+10))〜SAD(u(+10),d(−10))))を出力する。
まず、S102で、iとsad_minの初期化を行う。ここでは、初期値として、i=−9、sad_min=SAD(u(−10),d(+10))が設定される。
次に、S103で、SAD(u(i),d(−i))とsad_minが比較される。即ち、最初は、SAD(u(−9),d(+9))とSAD(u(−10),d(+10))が比較される。SAD(u(i),d(−i))がsad_min未満の場合には、S104へ処理が進められる。SAD(u(i),d(−i))がsad_min以上の場合には、S105へ処理が進められる。
S104では、sad_minの値がSAD(u(i),d(−i))に置き換えられ、処理がS105へ進められる。
S105では、i=+10であるか否かが確認される。i=+10の場合には、全てのSAD値(21個のSAD値)の比較が完了したと判断され、SAD値の最小値を算出する処理が終了となる。i=+10でない場合には、全てのSAD値の比較が完了していないと判断され、S106でiの値に1が加算され、S103へ処理が戻される。即ち、i=+10になるまで、S103,S104の処理が繰り返される。
以上の処理を行うことにより、SAD値の最小値を算出することができる。
例えば、図8に示すような画素構成の画像(斜めエッジ部分の画像)を表す信号が入力された場合には、補間画素の生成位置Hに対するSAD値の分布は図9のようになり、実ラインL1のu(+3)の位置に対するSAD値が最小値sad_minとなる。従って、マッチング角度算出部302からは、角度情報として+3が出力される。
画素選択部401は、実ラインL1上の画素と実ラインL2上の画素の中から、マッチング角度算出部302から出力される角度情報に従って、上記判定に用いる画素(図11の画素A〜画素F)を選択する。
画素A〜画素Fは以下の通りである。
画素A=実ラインL1上の画素であって、水平方向の位置が補間画素の生成位置から水平左側方向に角度情報の絶対値の画素数分ずれた位置の画素
画素B=実ラインL1上の画素であって、水平方向の位置が補間画素の生成位置と等しい位置の画素
画素C=実ラインL1上の画素であって、水平方向の位置が補間画素の生成位置から水平右側方向に角度情報の絶対値の画素数分ずれた位置の画素
画素D=実ラインL2上の画素であって、水平方向の位置が補間画素の生成位置から水平左側方向に角度情報の絶対値の画素数分ずれた位置の画素
画素E=実ラインL2上の画素であって、水平方向の位置が補間画素の生成位置と等しい位置の画素
画素F=実ラインL2上の画素であって、水平方向の位置が補間画素の生成位置から水平右側方向に角度情報の絶対値の画素数分ずれた位置の画素
即ち、画素選択部401では、以下の3種類の画素が選択される。
・水平方向の位置が補間画素の生成位置と等しい実ラインL1,L2上の画素
・マッチング角度算出部302で算出されたエッジの方向に存在する実ラインL1,L2上の画素
・補間画素の生成位置を中心として上記エッジの方向に存在する画素と点対称の位置にある画素
まず、S202で、補間画素の生成位置の1つ上または1つ下のラインの画素値が該補間画素の生成位置と同じ水平位置で局所的に小さくなるか否かを判定する。言い換えると、補間画素の生成位置の1つ上または1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に小さくなるか否かを判定する(画素値判定)。本実施例では、実ラインL1上の3点(画素A〜画素C)の値と、実ラインL2上の3点(画素D〜画素F)の値とから、実ラインL1,L2の画素値が、補間画素の生成位置Hと同じ水平位置(生成位置Hに垂直方向に隣接する位置)で局所的に小さくなるか否かが判定される。具体的には、下記条件式1を満たすか否かが判定される。ここで、閾値aは、2つの画素値の差分から2画素の画素値が互いに異なるか否かを判定するための閾値である。
[条件式1]
(画素Aの値−画素Bの値)>閾値a かつ
(画素Cの値−画素Bの値)>閾値a かつ
(画素Dの値−画素Eの値)>閾値a かつ
(画素Fの値−画素Eの値)>閾値a
条件式1を満たした場合は、補間画素の生成位置が水平方向の周期パターン部分である(斜めエッジ部分ではない)と判断し、補正部304で角度情報をリセット(0に補正)するため、cancel_flg=1を出力する(S204)。また、条件式1を満たさない場合には、S203へ処理が進められる。
[条件式2]
(画素Bの値−画素Aの値)>閾値a かつ
(画素Bの値−画素Cの値)>閾値a かつ
(画素Eの値−画素Dの値)>閾値a かつ
(画素Eの値−画素Fの値)>閾値a
条件式2を満たした場合は、補間画素の生成位置が水平方向の周期パターン部分である(斜めエッジ部分ではない)と判断し、補正部304で角度情報をリセット(0に補正)するため、cancel_flg=1を出力する(S204)。また、条件式2を満たさない場合には、S205へ処理が進められる。
[条件式3]
|画素Bの値−画素Eの値|<閾値b
条件式3を満たした場合は、補間画素の生成位置が斜めエッジ部分である可能性が低いため、S206へ処理が進められる。条件式3を満たさない場合(補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定値以上(閾値以上)となる場合)は、補間画素の生成位置が斜めエッジ部分であると判定し、補正部304でマッチング角度算出部302から出力された角度情報を選択するため、補正部304へcancel_flg=0を出力する(S207)。
[条件式4]
(画素Aの値−画素Bの値)>閾値c かつ
(画素Bの値−画素Cの値)>閾値c かつ
(画素Eの値−画素Dの値)>閾値c かつ
(画素Fの値−画素Eの値)>閾値c
[条件式5]
(画素Bの値−画素Aの値)>閾値c かつ
(画素Cの値−画素Bの値)>閾値c かつ
(画素Dの値−画素Eの値)>閾値c かつ
(画素Eの値−画素Fの値)>閾値c
条件式4、条件式5のいずれかを満たした場合は、補間画素の生成位置が斜めエッジ部分(水平方向に対する傾斜角度の浅い細線部分)であると判断する。そして、補正部304でマッチング角度算出部302から出力された角度情報を選択するため、補正部304へcancel_flg=0を出力する(S207)。また、条件式4,5のどちらも満たさない場合には、補間画素の生成位置が斜めエッジ部分ではないと判断し、補正部304で角度情報をリセット(0に補正)するため、cancel_flg=1を出力する(S204)。
斜めエッジ部分のなかでも、水平方向に対する傾斜角度の浅い(水平線に対する角度が小さい)細線部分では、エッジの方向の誤検出が生じやすい。閾値cの値は、そのような誤検出を考慮して設定される。なお、水平方向に対してどの程度の傾斜角度を“浅い”とするか、何画素幅の線を“細線”とするかは、装置の仕様によって適宜変更されるものである。即ち、閾値cの値は、装置の仕様によって適宜変更されるものである。
図13の例では、画素Cと画素Dをつなぐ方向の斜めエッジが形成されているため、マッチング角度算出部302から角度情報として+9が出力される。また、図14の例では、斜めエッジ部分の画像ではないにもかかわらず、マッチング角度算出部302から角度情報として+9が出力される場合がある。
Eの間に、明るい補間画素が生成されることになる。その結果、大きな画質劣化を招いてしまう。
本実施例によれば、図13の例では、図12のS206でYes判定となり、マッチング角度算出部302から出力される角度情報が選択される。図14の例では、図12のS203でYes判定なり、マッチング角度算出部302から出力される角度情報が0に補正される。従って、本実施例では、上述した画質の劣化を抑制することができる。
なお、本実施例では、エッジの方向を算出する手法として、ブロックマッチング法を用いたが、エッジの方向が検出出来れば、他の手法を用いても構わない。
なお、本実施例では、補間画素の生成位置の1つ上または1つ下のラインの、水平方向の位置が補間画素の生成位置と等しい位置、および、マッチング角度算出部302で算出されたエッジの方向に基づく2つの位置、の3つの画素値を比較して、そのラインの画素値が該補間画素の生成位置と同じ水平位置で局所的に大きくまたは小さくなるか否かを判定する構成としたが、判定方法はこれに限らない。補間画素の生成位置の1つ上または1つ下のラインの画素値が該補間画素の生成位置と同じ水平位置で局所的に大きくまたは小さくなるか否かを判定できれば、使用する画素値の位置、数などはどのような値であってもよい。例えば、水平方向の位置が補間画素の生成位置と等しい位置を挟む2つの位置であれば、マッチング角度算出部302で算出されたエッジの方向に基づく2つの位置でなくてもよい。
実施例1では、補間画素の生成位置Hに対して、角度情報に応じて決定される6点の画素(実ラインL1上の3点の画素と実ラインL2上の3点の画素)を用いて、斜めエッジ部分か否かの判定を行った。実施例2では、実施例1よりも多くの画素、具体的には実ラインL1上の9点の画素と実ラインL2上の9点の画素の計18点の画素を用いて上記判定を行う。
具体的には、本実施例では、画素選択部401は、実施例1で選択される6つの画素の他に、以下の画素を選択する。
・実ラインL1上の画素であって、水平方向の位置が補間画素の生成位置と等しい画素Bの水平左側方向に隣接する3つの画素(図17の画素u1〜u3)
・実ラインL1上の画素であって、水平方向の位置が補間画素の生成位置と等しい画素Bの水平右側方向に隣接する3つの画素(図17の画素u4〜u6)
・実ラインL2上の画素であって、水平方向の位置が補間画素の生成位置と等しい画素Eの水平左側方向に隣接する3つの画素(図17の画素d1〜d3)
・実ラインL2上の画素であって、水平方向の位置が補間画素の生成位置と等しい画素Eの水平右側方向に隣接する3つの画素(図17の画素d4〜d6)
そして、判定部402は、画素選択部401で選択された画素の値を元に、cancel_flgの値を決定し、出力する。
る。判定部402の処理の大まかな流れは実施例1(図12)と同様のため、その説明は省略する。本実施例では、S206において、上述した画素u1〜u6及び画素d1〜d6の値を用いて、補間画素の生成位置の1つ上のラインと1つ下のラインとでライン方向の画素値の変化の傾きの符号が等しいか否かが判定される。
まず、S402〜404の処理が同時または順番に行われる。
S402では、画素u1,u6,d1,d6の値から、画素u1と画素u6によって表される輝度傾斜と、画素d1と画素d6によって表される輝度傾斜の符号が異なるか否かが判定される。画素u1,u6は、画素Bから水平方向に3画素分離れた位置の画素である。画素d1,d6は、画素Eから水平方向に3画素分離れた位置の画素である。具体的には、下記条件式1を満たすか否かが判定される。閾値dは、2つの画素値の差分から2画素の画素値が互いに異なるか否か(輝度傾斜を0とみなすか否か)を判定するための閾値である。条件式1を満たした場合には、画素u1と画素u6によって表される輝度傾斜と、画素d1と画素d6によって表される輝度傾斜の符号が異なると判定し、flg1=1とする。条件式1を満たさなかった場合には、flg1=0とする。
[条件式1]
((画素u1の値−画素u6の値)>閾値d かつ
(画素d6の値−画素d1の値)>閾値d)
或いは、
((画素u6の値−画素u1の値)>閾値d かつ
(画素d1の値−画素d6の値)>閾値d)
[条件式2]
((画素u2の値−画素u5の値)>閾値d かつ
(画素d5の値−画素d2の値)>閾値d)
或いは、
((画素u5の値−画素u2の値)>閾値d かつ
(画素d2の値−画素d5の値)>閾値d)
[条件式3]
((画素u1の値−画素u4の値)>閾値d かつ
(画素d4の値−画素d1の値)>閾値d)
或いは、
((画素u4の値−画素u1の値)>閾値d かつ
(画素d1の値−画素d4の値)>閾値d)
実施例1では、補間画素の生成位置Hに対して、角度情報に応じて決定される6点の画素を用いて、斜めエッジ部分か否かの判定を行った。実施例3では、実施例1よりも多くの、具体的には実ラインL1上の5点の画素と実ラインL2上の5点の画素の計10点の画素を用いて上記判定を行う。
具体的には、本実施例では、画素選択部401は、実施例1で選択される6つの画素の他に、以下の画素を選択する。
・実ラインL1上の画素であって、水平方向の位置が補間画素の生成位置から水平左側方向に角度情報の絶対値の画素数の1/2分ずれた位置の画素(即ち、画素Aと画素Bの中間に位置する画素;図18の画素G)
・実ラインL1上の画素であって、水平方向の位置が補間画素の生成位置から水平右側方向に角度情報の絶対値の画素数の1/2分ずれた位置の画素(即ち、画素Bと画素Cの中間に位置する画素;図18の画素I)
・実ラインL2上の画素であって、水平方向の位置が補間画素の生成位置から水平左側方向に角度情報の絶対値の画素数の1/2分ずれた位置の画素(即ち、画素Dと画素Eの中間に位置する画素;図18の画素J)
・実ラインL2上の画素であって、水平方向の位置が補間画素の生成位置から水平右側方向に角度情報の絶対値の画素数の1/2分ずれた位置の画素(即ち、画素Eと画素Fの
中間に位置する画素;図18の画素K)
そして、判定部402は、画素選択部401で選択された画素の値を元に、cancel_flgの値を決定し、出力する。
まず、S202で、画素A〜Kの値から、実ラインL1,L2の画素値が、補間画素の生成位置Hと同じ水平位置で局所的に小さくなるか否かが判定される。具体的には、下記条件式1,2を満たすか否かが判定される。ここで、閾値fは、2つの画素値の差分から2画素の画素値が互いに異なるか否かを判定するための閾値である。
[条件式1]
((画素Aの値−画素Bの値)>閾値f かつ
(画素Cの値−画素Bの値)>閾値f かつ
(画素Gの値−画素Bの値)>閾値f かつ
(画素Iの値−画素Bの値)>閾値f)
[条件式2]
((画素Dの値−画素Eの値)>閾値f かつ
(画素Fの値−画素Eの値)>閾値f かつ
(画素Jの値−画素Eの値)>閾値f かつ
(画素Kの値−画素Eの値)>閾値f)
条件式1,2を共に満たした場合は、補間画素の生成位置が水平方向の周期パターン部分である(斜めエッジ部分ではない)と判断し、補正部304で角度情報をリセット(0に補正)するため、cancel_flg=1を出力する(S204)。また、条件式1,2のいずれかを満たさない場合には、S203へ処理が進められる。
[条件式3]
((画素Bの値−画素Aの値)>閾値f かつ
(画素Bの値−画素Cの値)>閾値f かつ
(画素Bの値−画素Gの値)>閾値f かつ
(画素Bの値−画素Iの値)>閾値f)
[条件式4]
((画素Eの値−画素Dの値)>閾値f かつ
(画素Eの値−画素Fの値)>閾値f かつ
(画素Eの値−画素Jの値)>閾値f かつ
(画素Eの値−画素Kの値)>閾値f)
条件式3,4を共に満たした場合は、補間画素の生成位置が水平方向の周期パターン部分である(斜めエッジ部分ではない)と判断し、補正部304で角度情報をリセット(0に補正)するため、cancel_flg=1を出力する(S204)。また、条件式3,4のいずれかを満たさない場合には、S205へ処理が進められる。
2つの画素値間(画素Bの値と画素Eの値の間)の差分(輝度差)が所定値より小さいか否かが判定される。具体的には、下記条件式5を満たすか否かが判定される。
[条件式5]
|画素Bの値−画素Eの値|<閾値b
条件式5を満たした場合は、補間画素の生成位置が斜めエッジ部分である可能性が低いため、S206へ処理が進められる。条件式3を満たさない場合は、補間画素の生成位置が斜めエッジ部分であると判定し、補正部304でマッチング角度算出部302から出力された角度情報を選択するため、補正部304へcancel_flg=0を出力する(S207)。
[条件式6]
((画素Aの値−画素Bの値)>閾値g かつ
(画素Bの値−画素Cの値)>閾値g かつ
(画素Fの値−画素Eの値)>閾値g かつ
(画素Eの値−画素Dの値)>閾値g かつ
(画素Gの値−画素Bの値)>閾値g かつ
(画素Bの値−画素Iの値)>閾値g かつ
(画素Kの値−画素Eの値)>閾値g かつ
(画素Eの値−画素Jの値)>閾値g)
[条件式7]
((画素Cの値−画素Bの値)>閾値g かつ
(画素Bの値−画素Aの値)>閾値g かつ
(画素Dの値−画素Eの値)>閾値g かつ
(画素Eの値−画素Fの値)>閾値g かつ
(画素Iの値−画素Bの値)>閾値g かつ
(画素Bの値−画素Gの値)>閾値g かつ
(画素Jの値−画素Eの値)>閾値g かつ
(画素Eの値−画素Kの値)>閾値g)
条件式6、条件式7のいずれかを満たした場合は、補間画素の生成位置が斜めエッジ部分(水平方向に対する傾斜角度の浅い細線部分)であると判断する。そして、補正部304でマッチング角度算出部302から出力された角度情報を選択するため、補正部304へcancel_flg=0を出力する(S207)。また、条件式6,7のどちらも満たさない場合には、補間画素の生成位置が斜めエッジ部分ではないと判断し、補正部304で角度情報をリセット(0に補正)するため、cancel_flg=1を出力する(S204)。
生成位置の1つ上のラインと1つ下のラインとでライン方向の画素値の変化の傾きの符号が等しいか否かが判定される。それにより、角度の浅い細線部分を斜めエッジ部分ではないとする誤検出をより低減することができる。
Claims (16)
- インターレース映像信号を補間によりプログレッシブ映像信号に変換する映像処理装置であって、
補間画素の生成位置が斜め方向のエッジ部分か否かを判定し、且つ、補間画素の生成位置が斜め方向のエッジ部分である場合に該エッジの方向を判定する判定手段と、
インターレース・プログレッシブ変換により補間画素を生成する生成手段であって、前記判定手段で斜め方向のエッジ部分であると判定された補間画素の生成位置に対して、該エッジの方向に存在する画素を用いて補間画素を生成する生成手段と、
を有し、
前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さい場合に、補間画素の生成位置の1つ上のラインと1つ下のラインにおける水平方向の画素値の変化の傾きに基づいて、該生成位置が斜め方向のエッジ部分であるか否かを判定する
ことを特徴とする映像処理装置。 - 前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さく、且つ、補間画素の生成位置の1つ上のラインと1つ下のラインとで水平方向の画素値の変化の傾きの符号が等しい場合に、該生成位置が斜め方向のエッジ部分でないと判定する
ことを特徴とする請求項1に記載の映像処理装置。 - 前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さく、且つ、補間画素の生成位置の1つ上のラインと1つ下のラインとで水平方向の画素値の変化の傾きの符号が異なる場合に、該生成位置が斜め方向のエッジ部分であると判定する
ことを特徴とする請求項1または2に記載の映像処理装置。 - 前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値であって、該補間画素の生成位置に垂直方向に隣接する位置及び該位置を挟む2つの位置を含む複数の位置の画素値を比較して、補間画素の生成位置が斜め方向のエッジ部分か否かを判定する
ことを特徴とする請求項1〜3のいずれか1項に記載の映像処理装置。 - 前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値であって、該補間画素の生成位置に垂直方向に隣接する位置、該位置から左方向にn個(nは1以上の整数)の位置、及び該位置から右方向にn個の位置の画素値を比較して、補間画素の生成位置が斜め方向のエッジ部分か否かを判定する
ことを特徴とする請求項4に記載の映像処理装置。 - 前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくなる場合に、該生成位置が斜め方向のエッジ部分でないと判定する
ことを特徴とする請求項1〜5のいずれか1項に記載の映像処理装置。 - 前記判定手段は、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、且つ、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値以上である場合に、該生成位置が斜め方向のエッジ部分であると判定する
ことを特徴とする請求項1〜6のいずれか1項に記載の映像処理装置。 - 前記判定手段は、
補間画素の生成位置の1つ上のラインの所定数の画素からなるブロックと、該補間画素の生成位置の1つ下のラインの前記所定数の画素からなるブロックとを比較するブロックマッチングを行い、該ブロックマッチングの結果から該補間画素の生成位置でのエッジの方向を仮定するブロックマッチング手段と、
補間画素の生成位置の1つ上及び1つ下のラインの画素値であって、該補間画素の生成位置に垂直方向に隣接する位置、該補間画素の生成位置から前記仮定されたエッジの方向に存在する位置、及び該補間画素の生成位置に垂直方向に隣接する位置を中心として前記仮定されたエッジの方向に存在する位置と点対称の位置、を含む複数の位置の画素値を比較して、そのラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくなるかを判定する画素値判定手段と、
を有する
ことを特徴とする請求項1〜7のいずれか1項に記載の映像処理装置。 - インターレース映像信号を補間によりプログレッシブ映像信号に変換する映像処理装置により実行される映像処理方法であって、
補間画素の生成位置が斜め方向のエッジ部分か否かを判定し、且つ、補間画素の生成位置が斜め方向のエッジ部分である場合に該エッジの方向を判定する判定ステップと、
インターレース・プログレッシブ変換により補間画素を生成する生成ステップであって、前記判定ステップで斜め方向のエッジ部分であると判定された補間画素の生成位置に対して、該エッジの方向に存在する画素を用いて補間画素を生成する生成ステップと、
を有し、
前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さい場合に、補間画素の生成位置の1つ上のラインと1つ下のラインにおける水平方向の画素値の変
化の傾きに基づいて、該生成位置が斜め方向のエッジ部分であるか否かを判定する
ことを特徴とする映像処理方法。 - 前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さく、且つ、補間画素の生成位置の1つ上のラインと1つ下のラインとで水平方向の画素値の変化の傾きの符号が等しい場合に、該生成位置が斜め方向のエッジ部分でないと判定する
ことを特徴とする請求項9に記載の映像処理方法。 - 前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値より小さく、且つ、補間画素の生成位置の1つ上のラインと1つ下のラインとで水平方向の画素値の変化の傾きの符号が異なる場合に、該生成位置が斜め方向のエッジ部分であると判定する
ことを特徴とする請求項9または10に記載の映像処理方法。 - 前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値であって、該補間画素の生成位置に垂直方向に隣接する位置及び該位置を挟む2つの位置を含む複数の位置の画素値を比較して、補間画素の生成位置が斜め方向のエッジ部分か否かを判定する
ことを特徴とする請求項9〜11のいずれか1項に記載の映像処理方法。 - 前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値であって、該補間画素の生成位置に垂直方向に隣接する位置、該位置から左方向にn個(nは1以上の整数)の位置、及び該位置から右方向にn個の位置の画素値を比較して、補間画素の生成位置が斜め方向のエッジ部分か否かを判定する
ことを特徴とする請求項12に記載の映像処理方法。 - 前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくなる場合に、該生成位置が斜め方向のエッジ部分でないと判定する
ことを特徴とする請求項9〜13のいずれか1項に記載の映像処理方法。 - 前記判定ステップでは、補間画素の生成位置の1つ上及び1つ下のラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的に大きくまたは小さくならず、且つ、補間画素の生成位置の上下に隣接する2つの画素値間の差分が所定の閾値以上である場合に、該生成位置が斜め方向のエッジ部分であると判定する
ことを特徴とする請求項9〜14のいずれか1項に記載の映像処理方法。 - 前記判定ステップは、
補間画素の生成位置の1つ上のラインの所定数の画素からなるブロックと、該補間画素の生成位置の1つ下のラインの前記所定数の画素からなるブロックとを比較するブロックマッチングを行い、該ブロックマッチングの結果から該補間画素の生成位置でのエッジの方向を仮定するブロックマッチングステップと、
補間画素の生成位置の1つ上及び1つ下のラインの画素値であって、該補間画素の生成位置に垂直方向に隣接する位置、該補間画素の生成位置から前記仮定されたエッジの方向に存在する位置、及び該補間画素の生成位置に垂直方向に隣接する位置を中心として前記仮定されたエッジの方向に存在する位置と点対称の位置、を含む複数の位置の画素値を比較して、そのラインの画素値が該補間画素の生成位置に垂直方向に隣接する位置で局所的
に大きくまたは小さくなるかを判定する画素値判定ステップと、
を有する
ことを特徴とする請求項9〜15のいずれか1項に記載の映像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012012004A JP5350501B2 (ja) | 2011-03-24 | 2012-01-24 | 映像処理装置及び映像処理方法 |
US13/414,308 US8576337B2 (en) | 2011-03-24 | 2012-03-07 | Video image processing apparatus and video image processing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011066216 | 2011-03-24 | ||
JP2011066216 | 2011-03-24 | ||
JP2012012004A JP5350501B2 (ja) | 2011-03-24 | 2012-01-24 | 映像処理装置及び映像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012213136A JP2012213136A (ja) | 2012-11-01 |
JP5350501B2 true JP5350501B2 (ja) | 2013-11-27 |
Family
ID=46877069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012012004A Expired - Fee Related JP5350501B2 (ja) | 2011-03-24 | 2012-01-24 | 映像処理装置及び映像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8576337B2 (ja) |
JP (1) | JP5350501B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6288920B2 (ja) * | 2013-02-21 | 2018-03-07 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP6810892B2 (ja) * | 2017-06-05 | 2021-01-13 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
JP6996200B2 (ja) * | 2017-09-29 | 2022-01-17 | 富士通株式会社 | 画像処理方法、画像処理装置、および画像処理プログラム |
US11321813B2 (en) * | 2018-08-02 | 2022-05-03 | Apple Inc. | Angular detection using sum of absolute difference statistics systems and methods |
CN112509033B (zh) * | 2020-11-25 | 2024-04-09 | 国网四川省电力公司阿坝供电公司 | 一种基于图像处理的铁塔倾斜自动检测方法和装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1141565A (ja) * | 1997-07-23 | 1999-02-12 | Sharp Corp | 画像データ補間装置 |
JP4641438B2 (ja) * | 2004-03-16 | 2011-03-02 | キヤノン株式会社 | 画素補間装置及び画素補間方法 |
JP4371907B2 (ja) | 2004-05-28 | 2009-11-25 | シャープ株式会社 | 画素特徴判定装置、画素補間装置、及び映像信号処理装置 |
JP2009077029A (ja) * | 2007-09-19 | 2009-04-09 | Sharp Corp | 信号変換装置、信号変換方法 |
JP4973542B2 (ja) * | 2008-02-26 | 2012-07-11 | 富士通株式会社 | 画素補間装置及び画素補間方法 |
-
2012
- 2012-01-24 JP JP2012012004A patent/JP5350501B2/ja not_active Expired - Fee Related
- 2012-03-07 US US13/414,308 patent/US8576337B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012213136A (ja) | 2012-11-01 |
US8576337B2 (en) | 2013-11-05 |
US20120242896A1 (en) | 2012-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7535512B2 (en) | Image processing method and related apparatus | |
US8189105B2 (en) | Systems and methods of motion and edge adaptive processing including motion compensation features | |
JP5350501B2 (ja) | 映像処理装置及び映像処理方法 | |
US8305489B2 (en) | Video conversion apparatus and method, and program | |
US7388617B2 (en) | Image conversion device and image conversion method | |
KR100422575B1 (ko) | 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법 | |
US20060222267A1 (en) | Method and apparatus for pixel interpolation | |
US8704945B1 (en) | Motion adaptive deinterlacer | |
US7733420B2 (en) | Judder detection apparatus, de-interlacing apparatus using the same, and de-interlacing method | |
JP6012230B2 (ja) | エッジ方向判定装置、エッジ方向判定装置の制御方法、及び、画像処理装置 | |
JP4746909B2 (ja) | ビデオシーケンスの補助データ処理 | |
EP1526730A1 (en) | Image conversion device and image conversion method | |
KR101235488B1 (ko) | 위너필터 기반의 가중치를 부여하여 화소를 보간하는 디인터레이싱 장치 및 방법 | |
US9324131B1 (en) | Method and apparatus for motion adaptive deinterlacing with reduced artifacts | |
JP2009177524A (ja) | 走査線補間装置及び走査線補間方法 | |
US8494292B2 (en) | Image processing apparatus | |
JP5300607B2 (ja) | 映像処理装置及びその制御方法 | |
KR102603650B1 (ko) | 지능형 컬러 영상 복원 시스템 및 이를 이용한 디인터레이싱 방법 | |
KR100252949B1 (ko) | 스캔컨버터회로 | |
JP2014033357A (ja) | 映像信号処理装置及び映像信号処理方法 | |
JP2011097339A (ja) | 映像処理装置及びその制御方法 | |
JP4032785B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP2006229615A (ja) | 補間画素生成回路 | |
JP2005341346A (ja) | 画素特徴判定装置、画素補間装置、及び映像信号処理装置 | |
JP6288920B2 (ja) | 画像処理装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130821 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5350501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |