JP2013126134A - 映像信号処理装置及び映像信号処理方法 - Google Patents
映像信号処理装置及び映像信号処理方法 Download PDFInfo
- Publication number
- JP2013126134A JP2013126134A JP2011274377A JP2011274377A JP2013126134A JP 2013126134 A JP2013126134 A JP 2013126134A JP 2011274377 A JP2011274377 A JP 2011274377A JP 2011274377 A JP2011274377 A JP 2011274377A JP 2013126134 A JP2013126134 A JP 2013126134A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- determination
- line
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims abstract description 92
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 24
- 230000014509 gene expression Effects 0.000 description 30
- 238000004458 analytical method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 15
- 206010061274 Malocclusion Diseases 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】従来よりもノイズ耐性を向上させた斜め線補間が可能な映像信号処理装置及び映像信号処理方法を提供する。
【解決手段】映像信号処理装置1は、角検出部8において、入力画像の各画素におけるエッジ強度値を算出し、エッジ強度値の分布に基づいて、斜め線となるエッジの境界を、画像の各ラインについて検出する。斜め度判定部9において、このエッジの境界に基づいて、斜め線の判定と、斜め線の角度が判定される。斜め線補間を実施する画素については、中間値計算部16により中間値が算出され、補間部19により斜め線補間がなされる。斜め線と判定されない画素については、通常の補間が補間部19によりなされる。
【選択図】図2
【解決手段】映像信号処理装置1は、角検出部8において、入力画像の各画素におけるエッジ強度値を算出し、エッジ強度値の分布に基づいて、斜め線となるエッジの境界を、画像の各ラインについて検出する。斜め度判定部9において、このエッジの境界に基づいて、斜め線の判定と、斜め線の角度が判定される。斜め線補間を実施する画素については、中間値計算部16により中間値が算出され、補間部19により斜め線補間がなされる。斜め線と判定されない画素については、通常の補間が補間部19によりなされる。
【選択図】図2
Description
本発明は、画像を任意の倍率で画素数変換するスケーリング機能を有する映像信号処理装置、映像信号処理方法に関し、特に、補間による画質劣化を防止する技術に関する。
動画像を表示する表示装置が高精細化、大画面化してきている。これに伴って、入力画像を任意の倍率で拡大表示するために、画像の垂直方向および水平方向の画素を補間する技術が用いられている(下記の特許文献等を参照)。
画像中の斜め線を補間する際、補間後の斜め線のジャギーが強調され、補間による画質劣化の一因となっている。そのため、従来より様々な対策が検討されている。例えば、下記の特許文献1では、画素数変換装置は、原画像を2値化し、2値化画像に基づいて斜め線の方向(斜め線の角度)を判定している。画素の補間は、通常、補間箇所の周囲の画素の画素値(輝度)に基づいて行われる。そのため、斜め線の方向に基づいて、補間箇所の画素値算出に適した画素を選択して補間をすることで、ジャギーを抑えている。
画像の2値化による斜め線の判定について、図面を用いて、より詳細に説明する。図15は、2値化により斜め線を判定する映像信号処理装置の一例を示す図である。
図15に示すように、映像信号処理装置は、画像の垂直補間をするために、斜め線判定部150と、垂直補間部155を含む。図15では、例えば、斜め線の判定領域を、着目画素の周辺の画素からなる一定範囲の領域とする。この斜め線の判定領域は、水平方向に11個の画素と、垂直方向に4個の画素からなる。着目画素の周辺における画像の斜め線の角度(斜め度)に応じて、画像を垂直補間する際にどの画素を用いるべきかが決定される。
斜め線判定部150は、着目画素周辺の判定領域の映像信号の入力を受け付けて、判定領域における各画素の画素値の平均値を平均値算出部151により算出する。この算出結果に基づいて、2値化部152により画像を2値化する。2値化された画像は、例えば2値化パターン156に示すようになる。
図15では、○(白丸)で示す画素は、画素値が判定領域における平均値より大きい画素である。一方、黒丸で示す画素は、画素値が判定領域における平均値未満の画素である。
なお2値化パターン156において、着目画素の位置は、上から2つめのラインにおける左から6番目の画素(同図の2値化パターン156において、斜線で示す)とする。
この2値化画像に対して、斜め線の角度を判定するために、パターン判定部153は、予め定義した所定の2値化画像と比較する(パターンマッチング)。比較の結果、斜め線の角度が判定される。斜め線の角度に応じて、中間値計算部154により中間値が算出される。この中間値は、斜め線と判定された場合の垂直補間時に用いられる。
図16は、斜め線の角度に応じた中間値の算出方法を示す図である。
図15および図16に図示する例では、着目画素を含むラインの黒丸の画素と、隣接するラインにおいて○で示す画素とが4つ並んでいる。パターン判定部153は、隣接するラインにおいて、黒丸と○で示す画素が並んだ数に応じて、斜め線の角度を示す斜め度を決定する。図15および図16の例では、右上がりの線をプラス、右下がりの線をマイナスとして、例えば斜め度を「+4」などとしている。
図15および図16に図示する例では、着目画素を含むラインの黒丸の画素と、隣接するラインにおいて○で示す画素とが4つ並んでいる。パターン判定部153は、隣接するラインにおいて、黒丸と○で示す画素が並んだ数に応じて、斜め線の角度を示す斜め度を決定する。図15および図16の例では、右上がりの線をプラス、右下がりの線をマイナスとして、例えば斜め度を「+4」などとしている。
図16において中間値算出対象画素161、162、163、164として示すように、中間値計算部154は、斜め度の値および斜め度が偶数か奇数かに応じて、中間値計算のための画素を決定する。斜め度の値を2で割った数に基づいて、着目画素から水平方向に離れた位置にある画素が中間値計算に用いられる。
垂直補間部155は、図15の補間方法157に示すように、斜め線を補間する際は、中間値計算部154で計算された中間値に基づいて、垂直補間演算を行う。図15の例では、補間前の実画素の位相を0および4096とし、補間する画素の位相の値に応じて、いずれかの位相の実画素を用いて中間値に基づいて補間する。
上記のように、入力画像に含まれる各画素値の平均値に基づいて2値化画像を得ていると、入力画像にノイズが含まれる場合に、2値化パターンが乱れるおそれがある。この場合、ノイズが微小であっても2値化パターンが乱れ、パターンマッチングによる斜め線の斜め度が誤判定されるおそれがある。その結果、斜め線に基づいた補間が有効に機能せず、画質が劣化する。
そこで、本発明は、従来よりもノイズ耐性を向上させた斜め線補間が可能な映像信号処理装置及び映像信号処理方法を提供することを目的とする。
本発明は、入力画像の各画素における周辺画素との画素値の差分に基づいてエッジ強度値を算出し、一定領域の画素におけるエッジ強度値の分布に基づいて、斜め線となるエッジの境界を入力画像の各ラインについて検出する角検出部と、検出されたエッジの境界の位置に基づいて、斜め線の角度を判定する斜め度判定部と、判定された斜め線の角度に基づいて補間処理を実行する補間部と、を備える映像信号処理装置である。
また、角検出部は、各画素において、周辺画素との画素値の差分を方向成分ごとに出力する差分フィルタと、差分フィルタにより出力される差分の各方向成分に基づいて、各画素についてエッジの方向を判定する方向判定部と、各方向成分に基づいて、各画素についてエッジ強度値を算出する強度算出部とを含むこととしてもよい。
また、方向判定部は、算出されるエッジ強度値が所定の閾値以下であれば、エッジの境界の検出対象としないと判定することとしてもよい。
また、角検出部は、2次元を構成する一定領域の複数の画素において、強度算出部によるエッジ強度値の分布状況を所定のパターンと比較することにより、斜め線となるエッジの境界を検出することとしてもよい。
また、斜め度判定部は、2値化判定値を基準として入力画像を2値化画像に変換する2値化部を含み、2値化画像における画素値の分布に基づいて斜め線の角度を判定することとしてもよい。
また、斜め度判定部は、角検出部により検出されたエッジの境界の位置に基づいて、入力画像において、2値化判定値を算出するための複数の画素からなる領域を決定する領域決定部と、領域決定部により決定された領域の画素の画素値に基づいて2値化判定値を算出する2値化判定値算出部を含むこととしてもよい。
また、領域決定部は、各ラインにおける着目画素ごとに領域を決定するものであり、着目画素周辺の複数の画素についてエッジの境界が含まれるか判定し、エッジの境界の画素を含む領域を、2値化判定値を算出するための領域と決定することとしてもよい。
また、斜め度判定部は、2値化画像における斜め線の水平方向の長さに基づいて斜め線の角度を判定することとしてもよい。
また、斜め度判定部は、補間対象の画素の位置、および、斜め線の角度に基づいて、所定の画素を選択して中間値を算出する中間値計算部を含み、補間部は、中間値計算部により算出された中間値を用いて斜め線の補間処理を実行することとしてもよい。
また、本発明は、映像信号処理装置に画素数変換させるための映像信号処理方法であって、映像信号処理装置に、入力画像の各画素における周辺画素との画素値の差分に基づいてエッジ強度値を算出し、一定領域の画素におけるエッジ強度値の分布に基づいて、斜め線となるエッジの境界を入力画像の各ラインについて検出させる角検出ステップと、検出されたエッジの境界の位置に基づいて、斜め線の角度を判定させる斜め度判定ステップと、判定された斜め線の角度に基づいて補間処理を実行させる補間ステップと、を含む映像信号処理方法でもある。
本発明は、上記構成を備えることにより、入力画像の差分値をもとにエッジの境界の位置を検出し、検出結果に基づいて斜め線の角度を判定している。そのため入力画像に乗るノイズの影響を受けにくくなり、斜め線の判定の精度が向上する。これにより、斜め線の角度に基づいた補間が実施され、画像の品質が向上する。
以下、本発明にかかる映像信号処理装置1について具体的に説明する。
1 映像信号処理装置1の全体像
以下、図面を参照して本発明の実施の形態について詳細に説明する。
1 映像信号処理装置1の全体像
以下、図面を参照して本発明の実施の形態について詳細に説明する。
図1は本発明の第1の実施の形態に係る映像信号処理装置1を示すブロック図である。
図1において、映像信号処理装置1の入力端子にはインターレース方式やプログレッシブ方式の映像信号が入力される。入力される映像信号には、同期信号等が含まれている。
図1において、映像信号処理装置1の入力端子にはインターレース方式やプログレッシブ方式の映像信号が入力される。入力される映像信号には、同期信号等が含まれている。
図1に示すように、映像信号処理装置1は、ノイズ除去装置2と、I−P変換装置3と、水平・垂直画素数変換装置4と、出力用同期信号生成装置5と、画質調整装置6とを含む。フレームバッファ7は、所定ライン数の画像データを一時的に保持するバッファメモリである。
ノイズ除去装置2は、入力される映像信号に対してフィルタリング等を施して一定のノイズを除去する。
I−P変換装置3は、インターレース方式で入力された場合、映像信号をプログレッシブ信号に変換する。
水平・垂直画素数変換装置4は、入力される映像信号について、後段の信号処理装置等に対応した解像度の画像を得るために、画素の補間等を行って水平および垂直方向の画素数を拡大して高解像度の画像を得たり、画像サイズを縮小させたりする。スケーリング機能ともいう。例えば、後段に接続されるディスプレイのパネルサイズに合わせて任意倍率で画素数が変換される。
出力用同期信号生成装置5は、水平・垂直画素数変換装置4に入力される映像信号等に基づいて、映像出力信号を出力するための同期信号を生成する。
画質調整装置6は、入力される映像信号について、明るさ等の画質を調節して、映像出力信号を生成する。生成された映像出力信号は、LCD(Liquid Crystal Display)等の表示装置や別の信号処理装置に出力される。
フレームバッファ7は、ノイズ除去装置2やI−P変換装置3や水平・垂直画素数変換装置4が、映像信号に対して所定の処理を実行するために使用するバッファメモリである。
2 水平・垂直画素数変換装置4の概要
本発明は、特に、水平・垂直画素数変換装置4のスケーリングの処理に関するものである。
本発明は、特に、水平・垂直画素数変換装置4のスケーリングの処理に関するものである。
従来の構成では、様々な補間演算方法を選択してスケーリング機能を発揮する。従来の構成において、斜め線を含む画像を高解像度化する場合などに、画像の水平方向と垂直方向が独立に補間演算を行う。このような補間方法であると、補間後の斜め線のジャギーが強調され、画質劣化が発生する。また、斜め線を判定できる斜め線の角度の範囲が狭かったり、斜め線の誤判定による補間が行われて特異点が発生する。そのため補間の効果は特定の入力画像に限られている。
この画質劣化を低減し、より汎用的な画像で斜め線補間を適用するための、斜め線を含む画像の画素数を変換する構成について、以下、詳細を説明する。
図2は、水平・垂直画素数変換装置4の詳細な構成を示す図である。
図2に示すように、水平・垂直画素数変換装置4は、斜め線判定部10と、補間部19とを含む。補間部19は、垂直補間部17と、水平補間部18を含む。
図2に示すように、水平・垂直画素数変換装置4は、斜め線判定部10と、補間部19とを含む。補間部19は、垂直補間部17と、水平補間部18を含む。
斜め線判定部10は、入力される映像信号について、斜め線が含まれるか判定し、斜め線の角度(斜め度)を決定する。スケーリングを行うための処理の基準となる画素を着目画素という。着目画素の周辺が斜め線であれば、垂直補間に用いる中間値を算出する。詳しくは後述する。
補間部19は、垂直補間および水平補間を行う。補間部19に含まれる垂直補間部17は、着目画素に基づいて垂直補間を行い、水平補間部18は、着目画素に基づいて水平補間を行う。詳しくは後述する。
3 斜め線判定部10の概要
斜め線判定部10について詳細を説明する。
斜め線判定部10について詳細を説明する。
図2に示すように、斜め線判定部10は、水平方向エッジ改善部11と、角検出部8と、斜め度判定部9を含む。
水平方向エッジ改善部11は、ローパスフィルタおよびバンドパスフィルタを備えている。水平方向エッジ改善部11は、入力される映像信号に対してローパスフィルタを適用した後、バンドパスフィルタを適用して、必要な周波数成分を通過させる。これにより映像信号の水平方向のエッジを改善する。
エッジとは、物体の外縁をあらわす線や、画像を特徴づける線要素である。エッジは画像の濃度や色に急な変化がある場所に存在する。エッジは画素値が急激に変化する部分である。エッジの検出は、例えば画素値の変化分を取り出す微分演算によってなされる。
角検出部8は、入力される映像信号について、各画素においてエッジ強度を算出し、エッジ強度の分布に基づいて、斜め線となるエッジの境界を検出する。角検出部8は、差分フィルタ適用部12を含む。
差分フィルタ適用部12は、映像信号に対して差分フィルタを適用してエッジを検出し、着目画素におけるエッジの方向成分やエッジの強度の分布に基づいて、斜め線の角度や斜め線の角(ある1ラインの映像信号において、画素値の変化が比較的緩やかな部分と大きい部分の境界。エッジの境界。)を検出する。詳しくは後述する。
斜め度判定部9は、斜め線の角度を判定する。斜め度判定部9は、平均値算出領域判定部13と、エッジ角検出部14と、斜め判定部15と、中間値計算部16を含む。
平均値算出領域判定部13は、後述するエッジ角検出部14が映像信号を2値化する際に基準とする値(2値化判定値)を算出する。平均値算出領域判定部13は、複数の画素からなる一定範囲の所定の領域を対象に、差分フィルタ適用部12の解析結果に基づいて、どの範囲の画素を用いて2値化判定値を算出するか決定する。この際、画素値の変化の大きい領域の画素を用いて2値化判定値が算出されるよう、2値化判定値を算出するための画素の範囲が決定される。平均値算出領域判定部13は、本実施形態では、選択された範囲にある画素の画素値の平均値を2値化判定値と算出する。詳しくは後述する。
エッジ角検出部14は、平均値算出領域判定部13で算出された2値化判定値を基準として、映像信号を2値化する。2値化した結果に基づいて、着目画素周辺の画素値の分布をパターン分けする。パターン分けは、着目画素周辺の画素における画素値の分布が、斜め線の角を構成しているか等に応じた分け方としている。
このようなエッジ角検出部14におけるパターン分けの結果を用いて、斜め判定部15において斜め度が判定される。すなわち、斜め線判定部10は、差分フィルタ適用部12、平均値算出領域判定部13、エッジ角検出部14により、斜め線の角や画素値の変化が比較的緩やかな画素の並びを検出する。斜め線の角等に基づいて、後述する斜め判定部15により斜め線の角度を示す斜め度が算出される。
斜め判定部15は、エッジ角検出部14により2値化された2値化パターンに基づいて、着目画素が斜め線補間か、斜め線ではない部分の補間(通常補間)か判定する。着目画素が斜め線補間であれば、斜め度を算出する。詳しくは後述する。
中間値計算部16は、斜め判定部15による斜め度の算出結果(斜め線の角度)を受けて、斜め線の角度に対応して、着目画素における垂直補間のための中間値を計算する。
3.1 斜め線判定部10の構成
図3は、斜め線判定部10の構成を、より詳細に示した図である。なお、図3では、図2で示した角検出部8、斜め度判定部9、補間部19の図示を省略している。
図3は、斜め線判定部10の構成を、より詳細に示した図である。なお、図3では、図2で示した角検出部8、斜め度判定部9、補間部19の図示を省略している。
図3では、差分フィルタ適用部12及びエッジ角検出部14の具体的な構成の一例を示している。差分フィルタ適用部12およびエッジ角検出部14について説明する。
図3に示すように、差分フィルタ適用部12は、Sobelフィルタ21と、斜め方向判定部22と、エッジ強度算出部23と、エッジ角パターン解析部24を含む。
3.2 Sobelフィルタ21の構成
Sobelフィルタ21は、入力される映像信号の各ラインにおいて、画素値がどれだけ変化しているかを算出する。Sobelフィルタ21は、着目画素と、着目画素の周囲の画素に基づいて、例えば図4に示すSobelフィルタを適用して着目画素における画素値の変化量を算出してエッジを検出する。Sobelフィルタを適用することにより、着目画素周辺における画素値の差分の水平方向(x方向)および垂直方向(y方向)が算出される。
Sobelフィルタ21は、入力される映像信号の各ラインにおいて、画素値がどれだけ変化しているかを算出する。Sobelフィルタ21は、着目画素と、着目画素の周囲の画素に基づいて、例えば図4に示すSobelフィルタを適用して着目画素における画素値の変化量を算出してエッジを検出する。Sobelフィルタを適用することにより、着目画素周辺における画素値の差分の水平方向(x方向)および垂直方向(y方向)が算出される。
ここで、Sobelフィルタについて詳しく説明する。
図4は、Sobelフィルタ21による画素値の変化を各ラインで算出する構成を示す図である。
図4は、Sobelフィルタ21による画素値の変化を各ラインで算出する構成を示す図である。
図4に示すように、着目画素および着目画素の周囲の8画素の画素値に基づいて、水平方向差分フィルタ42を適用することにより着目画素における画素値の変化量のx方向成分(dx)が算出される。同様に垂直方向差分フィルタ43を適用することにより着目画素における画素値の変化量のy方向成分(dy)が算出される。
なお、図4に示すように、各ラインの着目画素においてSobelフィルタを適用するため、着目画素のあるラインの上下にあるラインの画素の画素値についてもSobelフィルタへ入力する。例えば、差分フィルタ部41に示すように、ライン1(l1)の画素についてSobelフィルタを適用するため、ライン0〜2の映像信号をSobelフィルタに入力する。差分フィルタ部41に示すように、本実施形態では映像信号を6ライン入力する(ライン0〜ライン5)こととし、ライン1(l1)、ライン2(l2)、ライン3(l3)、ライン4(l4)についての画素値の変化量が算出される。例えば、ライン1の着目画素におけるdxをl1dxとし、dyをl1dyとして画素値の変化量が算出される。
3.3 エッジ強度算出部23の構成
図3に戻り説明を続ける。
図3に戻り説明を続ける。
エッジ強度算出部23は、Sobelフィルタ21による算出結果(着目画素における画素値の変化量のx方向成分およびy方向成分)に基づいて、着目画素における画素値の変化量の大きさ(エッジ強度)を算出する。エッジ強度を強度値Iとすると、エッジ強度算出部23は、例えば、下記の式1のように、着目画素におけるdxの2乗とdyの2乗との和を着目画素における強度値Iと算出する。
(式1) I=(dx)2+(dy)2
3.4 斜め方向判定部22の構成
斜め方向判定部22は、着目画素におけるエッジの角度を分類する。斜め方向判定部22は、分類したエッジの角度を、斜め線の方向を示す方向値として出力する。角度の分類は、Sobelフィルタ21により算出される着目画素におけるdxおよびdyと、エッジ強度算出部23により算出される着目画素におけるエッジ強度(強度値I)に基づいてなされる。この角度の分類について詳しく説明する。
3.4 斜め方向判定部22の構成
斜め方向判定部22は、着目画素におけるエッジの角度を分類する。斜め方向判定部22は、分類したエッジの角度を、斜め線の方向を示す方向値として出力する。角度の分類は、Sobelフィルタ21により算出される着目画素におけるdxおよびdyと、エッジ強度算出部23により算出される着目画素におけるエッジ強度(強度値I)に基づいてなされる。この角度の分類について詳しく説明する。
図5は、斜め方向判定部22による、着目画素におけるエッジの角度の分類処理を示す図である。
斜め方向判定部22は、着目画素におけるdy/dxを計算するdy/dx計算部52と、角度分類演算部53とからなる方向値判定部51を含む。
dy/dx計算部52は、Sobelフィルタ21より出力される、着目画素におけるdxとdyの入力を受け付けて、dy/dxを算出する。着目画素において、画素値の変化量のx方向成分とy方向成分のなす角度をθとすると、dy/dxは、着目画素における画素値の変化量のtanθの値となる。
角度分類演算部53は、着目画素における画素値の変化量に基づいて、着目画素におけるエッジの角度を、数パターンに分類する。角度分類演算部53は、dy/dx計算部52よりdy/dxの入力を受け付け、エッジ強度算出部23より強度値Iの入力を受け付ける。また、予め強度値Iと比較するための閾値0(thresh0)と、斜め線の方向を判定するための閾値1(thresh1)および閾値2(thresh2)の入力を受け付ける。なお、閾値1よりも閾値2の方が大きい値とする。閾値1および閾値2は、dy/dxと比較して斜め線の方向を判定するために予め設定された値である。本実施形態では、斜め線の方向が右下がりか右上がりであるかを判定するために閾値1および閾値2を設定する。
角度分類演算部53は、本実施形態では、図示するように、着目画素におけるエッジの角度を5つに分類する。すなわち、角度分類演算部53は、エッジの角度に応じた4方向(方向0〜方向3)と、強度値Iが閾値0よりも小さい場合の「方向がない」(方向4)の5つに分類する。角度分類演算部53は、下記の(式2)により強度値Iと閾値0を比較し、強度値Iが閾値0よりも小さい場合は、斜め線の方向を「方向4」と判定する。これは、エッジ強度が所定値より小さい場合は、エッジを構成する画像ではないと推定している。
(式2) I < thresh0
式(2)が真でない場合、すなわち強度値Iが閾値0よりも大きいか等しい場合は、角度分類演算部53は、dy/dxを閾値1および閾値2と比較して方向を判定する。すなわち、角度分類演算部53は、下記の(式3)が真であれば「方向0」、(式4)が真であれば「方向2」、(式5)が真であれば「方向3」、(式6)が真であれば「方向1」、と判定する。(式3)は、dy/dxの絶対値がthresh1より小さいか、(式4)は、dy/dxがthresh1より大きいか等しくthresh2より小さいか、(式5)はdy/dxが−thresh2より大きいか等しく−thresh1より小さいか、(式6)はdy/dxの絶対値がthresh2より大きいか等しいかを判定する条件式である。各条件式のいずれかが真の場合に、その真となった条件式に対応して斜め線の方向が判定される。
式(2)が真でない場合、すなわち強度値Iが閾値0よりも大きいか等しい場合は、角度分類演算部53は、dy/dxを閾値1および閾値2と比較して方向を判定する。すなわち、角度分類演算部53は、下記の(式3)が真であれば「方向0」、(式4)が真であれば「方向2」、(式5)が真であれば「方向3」、(式6)が真であれば「方向1」、と判定する。(式3)は、dy/dxの絶対値がthresh1より小さいか、(式4)は、dy/dxがthresh1より大きいか等しくthresh2より小さいか、(式5)はdy/dxが−thresh2より大きいか等しく−thresh1より小さいか、(式6)はdy/dxの絶対値がthresh2より大きいか等しいかを判定する条件式である。各条件式のいずれかが真の場合に、その真となった条件式に対応して斜め線の方向が判定される。
(式3) |dy/dx| < thresh1
(式4) thresh1 ≦ dy/dx && dy/dx < thresh2
(式5) −thresh2 ≦ dy/dx && dy/dx < −thresh1
(式6) thresh2 ≦ |dy/dx|
同図に示すように、「方向0」は、エッジの傾きがほぼ水平の線であることを示し、「方向1」は、エッジの傾きがほぼ垂直の線であることを示している。「方向2」は、右下がりの傾きを示し、「方向3」は右上がりの傾きを示している。判定結果(方向0〜4)は、方向値として出力される。
(式4) thresh1 ≦ dy/dx && dy/dx < thresh2
(式5) −thresh2 ≦ dy/dx && dy/dx < −thresh1
(式6) thresh2 ≦ |dy/dx|
同図に示すように、「方向0」は、エッジの傾きがほぼ水平の線であることを示し、「方向1」は、エッジの傾きがほぼ垂直の線であることを示している。「方向2」は、右下がりの傾きを示し、「方向3」は右上がりの傾きを示している。判定結果(方向0〜4)は、方向値として出力される。
この斜め方向判定部22による判定結果である方向値は、エッジ角パターン解析部24において用いられる。
3.5 エッジ角パターン解析部24の構成
エッジ角パターン解析部24は、エッジの強度値の分布状況および斜め方向判定部22が出力する斜め線の方向値に基づいて、斜め線の角を検出し、検出された角の位置を4パターンに分類する。本実施形態では、斜め線の傾きが右下がりか右上がりか、および、斜め線の角がエッジの左側か右側かに応じた4パターンに分類する。エッジ角パターン解析部24は、斜め方向判定部22より着目画素における斜め線の傾きの判定結果を受け付け、エッジ強度算出部23より着目画素における強度値Iを受け付ける。
エッジ角パターン解析部24は、エッジの強度値の分布状況および斜め方向判定部22が出力する斜め線の方向値に基づいて、斜め線の角を検出し、検出された角の位置を4パターンに分類する。本実施形態では、斜め線の傾きが右下がりか右上がりか、および、斜め線の角がエッジの左側か右側かに応じた4パターンに分類する。エッジ角パターン解析部24は、斜め方向判定部22より着目画素における斜め線の傾きの判定結果を受け付け、エッジ強度算出部23より着目画素における強度値Iを受け付ける。
図6は、エッジ角パターン解析部24における斜め線の角を検出してパターンに分類する処理を示す図である。
判定領域60は、エッジ角パターン解析部24の処理において、パターン分類のために用いられる画素の領域を示す。判定領域60は、水平方向に2画素、垂直方向に4画素からなる2×4の領域である。同図に示すように、エッジ角パターン解析部24は、判定領域60の8画素の領域を3つに分割し、それぞれについて斜め線のパターンを判定する。本実施形態では、着目画素が含まれるラインをライン3(l3)とする。エッジ角パターン解析部24は、そのライン3の上下のライン(ライン1(l1)、ライン2(l2)、ライン4(l4))に含まれる2画素×2画素の領域を併せて用いてパターンを判定する。
上部判定領域61は、ライン4(l4)およびライン3(l3)からなる2×2の画素を含む領域である。中部判定領域62は、ライン3(l3)およびライン2(l2)からなる2×2の画素を含む領域である。下部判定領域63は、ライン2(l2)およびライン1(l1)からなる2×2の画素を含む領域である。
パターン判定条件64は、上記の上部判定領域61等の2×2の領域を各パターンに分類する判定条件を示す。
同図に示すように、パターン判定条件64の判定結果は4パターンあり、2つの判定条件が含まれる。第1の判定条件は、斜め線の傾きを示す方向値(斜め方向判定部22の判定結果)の分布状況に対応している。第1の判定条件において、斜め線の方向が右下がりか右上がりかに分類される。
第2の判定条件は、斜め線の角の位置(エッジの左側か右側か)に対応している。例えば、上部判定領域61の2×2の画素の領域において、左下と右上の画素における斜め方向判定部22の判定結果が方向3(右上がり)であれば、この領域において斜め線の方向は右上がりと推定される。さらに、各画素における強度値Iの分布が、左上の画素のものが最も小さい場合は、斜め線の角がエッジの左側にあるパターン1と判定される。
すなわち、エッジ角パターン解析部24は、判定領域60に含まれる上部判定領域61等の2×2の画素の領域について、斜め線の方向が右上がりであるか右下がりであるかを判定する(パターン判定条件64の「方向値」)。さらに、上部判定領域61等について、強度値Iの分布に応じてパターン分類することで、斜め線の角が、エッジの左側のもの(判定結果1および判定結果4)か右側のものか(判定結果2および判定結果3)を判定している。
このエッジ角パターン解析部24の判定結果であるパターン判定値は、平均値算出領域判定部13および斜め判定部15により用いられる。
3.6 平均値算出領域判定部13の構成
次に、平均値算出領域判定部13について詳しく説明する。
次に、平均値算出領域判定部13について詳しく説明する。
平均値算出領域判定部13は、差分フィルタ適用部12のエッジ角パターン解析部24におけるパターン判定値を受ける。このパターン判定値を用いて、着目画素の周囲にある所定の領域の画素のうち、エッジ角検出部14における2値化処理に用いる2値化判定値を算出する領域を決定する。決定した領域に含まれる画素に基づいて、平均値算出領域判定部13は、2値化判定値を算出する。
図7は、平均値算出領域判定部13において、エッジ角検出部14の2値化処理に用いる2値化判定値を算出するための領域を決定する処理を示す図である。
同図に示すように、判定領域70は、図6の判定領域60と同様に、エッジ角パターン解析部24における判定に用いられる領域を示している。図7と図6を参照して、上部判定領域71は上部判定領域61と、中部判定領域72は中部判定領域62と、下部判定領域73は下部判定領域63と対応している。エッジ角パターン解析部24の処理において、上部判定領域71の判定結果を「u」、中部判定領域72の判定結果を「m」、下部判定領域73の判定結果を「d」とする。これら判定結果が平均値算出領域判定部13に入力される。
2値化判定値算出対象領域79は、図示するように、水平方向に4画素、垂直方向に4画素からなる4×4の領域である。この領域において、着目画素は、本実施形態では、4ラインの入力のうちライン3(l3)の、左から2番目の画素としている。この領域のうち、判定領域決定式77に示される条件式に従って、2値化判定値を算出するための領域が決定される。
判定領域決定式77について説明すると、平均値算出領域判定部13は、下記の(式7)を満たすときは、第1判定領域74に示される水平方向に4画素、垂直方向に3画素の領域(ライン4、3、2の3ライン)を、2値化判定値を算出するための領域であると決定する。同様に、下記の(式8)を満たすときは、第2判定領域75に示される水平方向に4画素、垂直方向に3画素の領域(ライン3、2、1の3ライン)を、2値化判定値を算出するための領域であると決定する。
(式7) if(u==1||m==2) && d!=2 || (u==3||m==4) && d!=4
(式8) if(m==1||d==2) && m!=2 || (m==3||d==4) && m!=4
(式7)は、判定領域70において、比較的上側の領域に斜め線の角があるか判定している。(式8)は、比較的下側の領域に斜め線の角があるか判定している。斜め線の角がある場合は、その角がある領域において画素値の変化が比較的大きいため、斜め線の角に関係ない領域にある画素を用いないで2値化判定値を算出することが望ましいためである。
(式8) if(m==1||d==2) && m!=2 || (m==3||d==4) && m!=4
(式7)は、判定領域70において、比較的上側の領域に斜め線の角があるか判定している。(式8)は、比較的下側の領域に斜め線の角があるか判定している。斜め線の角がある場合は、その角がある領域において画素値の変化が比較的大きいため、斜め線の角に関係ない領域にある画素を用いないで2値化判定値を算出することが望ましいためである。
上記(式7)および(式8)を満たさない場合は、第3判定領域76に示される領域(水平方向に4画素、垂直方向に4画素(ライン1〜4)からなる4×4の領域)、すなわち領域全体を、2値化判定値を算出するための領域であると決定する。
上記のように2値化判定値を算出するための領域が決定されると、平均値算出領域判定部13は、2値化判定値を、これら決定した領域に含まれる画素の画素値の平均により算出する。
3.7 エッジ角検出部14の構成
図3に戻り説明を続ける。エッジ角検出部14では、平均値算出領域判定部13により算出される2値化判定値を受け付けて、着目画素周辺の画素値の2値化パターンを作成する。エッジ角検出部14は、図示するように、2値化部25と、パターン判定部26とを含む。
図3に戻り説明を続ける。エッジ角検出部14では、平均値算出領域判定部13により算出される2値化判定値を受け付けて、着目画素周辺の画素値の2値化パターンを作成する。エッジ角検出部14は、図示するように、2値化部25と、パターン判定部26とを含む。
図8は、エッジ角検出部14による2値化処理とパターン判定処理を示す図である。
2値化部25は、入力された画像について、2値化パターンを作成する。作成された2値化パターンに基づいて、パターン判定部26は、着目画素ごとに、判定領域80に示すように、着目画素周辺の水平2画素×垂直4画素(ライン1〜4)からなる領域を対象にパターン判定を行う。なお、本実施形態では、判定領域80において、着目画素は、図示するようにライン3の左側の画素としている。
2値化部25は、入力された画像について、2値化パターンを作成する。作成された2値化パターンに基づいて、パターン判定部26は、着目画素ごとに、判定領域80に示すように、着目画素周辺の水平2画素×垂直4画素(ライン1〜4)からなる領域を対象にパターン判定を行う。なお、本実施形態では、判定領域80において、着目画素は、図示するようにライン3の左側の画素としている。
判定パターン81は、2値化部25により作成された2値化パターンを分類するための判定条件を示す。図示するように、本実施形態では着目画素周辺において、斜め線が水平となっているか、斜め線の角となっているかに応じて4パターンに分類する。同図では、平均値算出領域判定部13により算出される2値化判定値の値よりも大きな画素値の画素を○で示し、2値化判定値の値よりも小さな画素値の画素を黒丸で示している。
Type1、Type2は、2値化パターンに基づいて、着目画素周辺において、2値化された画素が水平方向に連続しているか判定する。Type3、Type4は、2値化パターンに基づいて、着目画素周辺において、2値化された画素の不連続点があるか(1ラインにおいて○と黒丸が並んでいるか)判定する。これら2値化された画素の並びに基づいて、斜め線の角度(斜め度)が斜め判定部15により判定される。
3.8 斜め判定部15の構成
斜め判定部15は、2値化パターンに基づいて、斜め線の角度(斜め度)を判定する。なお、斜め度は、2値化された画像において、着目画素が含まれるラインに隣接するラインとの画素の並びにより決定される。
斜め判定部15は、2値化パターンに基づいて、斜め線の角度(斜め度)を判定する。なお、斜め度は、2値化された画像において、着目画素が含まれるラインに隣接するラインとの画素の並びにより決定される。
図8で示したように、着目画素判定値よりも小さいか等しい画素値の画素を黒丸、着目画素判定値よりも大きい画素値の画素を○とすると、着目画素を含むラインと隣接するラインにおいて、異なる画素が並んだ数に応じて斜め度を判定している。斜め線が右上がりの角度である場合は、着目画素を含むラインと、その下のラインに着目し、着目画素を含むラインにおいて黒丸が並び、その黒丸の下に○が並ぶ数によって斜め度を判定する。
図9は、斜め判定部15による斜め度の判定処理を示す図である。
図9では、2値化判定値よりも小さい画素値の画素が画素値「0」と、2値化判定値よりも大きい画素値の画素が画素値「255」と2値化されている。図9の例では、着目画素が含まれるライン(上から2番目のライン)において画素値「0」があり、その下のラインにおいて画素値「255」が並んでいる数を斜め度(この場合は斜め度は「+4」)としている。なお、斜め線が右下がりの場合も、同様に着目画素を含むラインと隣接するラインにおいて、異なる画素が並んだ数に応じて斜め度を判定すればよい。
図9では、2値化判定値よりも小さい画素値の画素が画素値「0」と、2値化判定値よりも大きい画素値の画素が画素値「255」と2値化されている。図9の例では、着目画素が含まれるライン(上から2番目のライン)において画素値「0」があり、その下のラインにおいて画素値「255」が並んでいる数を斜め度(この場合は斜め度は「+4」)としている。なお、斜め線が右下がりの場合も、同様に着目画素を含むラインと隣接するラインにおいて、異なる画素が並んだ数に応じて斜め度を判定すればよい。
図9では、斜め線が右上がりの傾きを有する場合の、斜め度判定処理を示している。斜め度判定演算式93は、斜め判定部15における演算の条件式が示されている。斜め線判定解析例90には、2値化された画素の例と、この例における着目画素が含まれるラインにおいて、着目画素を順に移動させながら、各着目画素において斜め度判定演算式93に示される条件式に従った演算の実施結果を示している。
上記の斜め度判定演算式93に示される演算は、斜め線が右上がりの傾きを有する場合のものである。パターン解析ステート値statは、斜め線の角を検出して斜め線の斜め度の判定をしているかを示す状態値であり、stat=0のとき、斜め線の角を検出しておらず斜め度の判定をしていないことを示す。stat=0のとき、着目画素が含まれるライン(l3)の下のライン(l2)において、斜め線の角があるか(type4であるか)、(式9)が真であるか否かにより判定する。なお、図9におけるu、m、dは、図7の判定領域70における説明と同様に、エッジ角パターン解析部24における判定結果を示す。u、m、dが1か2であるかの判定により、斜め線が右上がりであることに対応する。なお、下記式においてpは平均値算出領域判定部13による判定結果を示す。
(式9) stat ==0 && (m==1 || d==2) && p!=type2 && p==type4
(式9)が真のとき、stat=1、cnt=1とする。stat=1のとき、斜め線の斜め度を判定する状態であることを示す。cntは、斜め度を判定するために用いるカウンタ値である。斜め判定部15は、着目画素が含まれるライン(l3)において、各着目画素について、斜め度判定演算式93に示される演算を実施する。すなわち、(式9)が偽であれば、(式10)が真であるか判定され、(式10)が偽であれば(式11)が真であるか判定される。(式9〜11)のいずれも偽であれば、stat=0、cnt=0としてパターン解析ステート値statおよびカウンタ値を初期化する。なお、(式11)において、MAX_CNTは、cntの上限値であり、外部より指定する定数とする。
(式9)が真のとき、stat=1、cnt=1とする。stat=1のとき、斜め線の斜め度を判定する状態であることを示す。cntは、斜め度を判定するために用いるカウンタ値である。斜め判定部15は、着目画素が含まれるライン(l3)において、各着目画素について、斜め度判定演算式93に示される演算を実施する。すなわち、(式9)が偽であれば、(式10)が真であるか判定され、(式10)が偽であれば(式11)が真であるか判定される。(式9〜11)のいずれも偽であれば、stat=0、cnt=0としてパターン解析ステート値statおよびカウンタ値を初期化する。なお、(式11)において、MAX_CNTは、cntの上限値であり、外部より指定する定数とする。
(式10) (stat==1 || stat==2) && (u==1 || m==2) && p!=type1)
(式11) stat==1 && ((m==1 ||d==2) && p!=type2 || cnt<MAX_CNT && p==type1)
このように、斜め判定部15は、2値化パターンにおけるl3において同一の画素値が連続せず、着目画素が含まれるラインとその下のラインとが2値化パターンにおいて境界でない点(type1に該当しないか)を検出するまで斜め度を増分していく。上記(式9〜11)のいずれも偽と判定されると、斜め線の角でないと推定される。
(式11) stat==1 && ((m==1 ||d==2) && p!=type2 || cnt<MAX_CNT && p==type1)
このように、斜め判定部15は、2値化パターンにおけるl3において同一の画素値が連続せず、着目画素が含まれるラインとその下のラインとが2値化パターンにおいて境界でない点(type1に該当しないか)を検出するまで斜め度を増分していく。上記(式9〜11)のいずれも偽と判定されると、斜め線の角でないと推定される。
図示する例では、パターン解析ステート値statおよびカウンタ値cntに基づいて、stat=2と判定された着目画素におけるcntの値から1を減算した値を斜め度と算出している。
なお、本実施形態では、斜め線補間適用範囲91に示すように、各着目画素について上記演算を実施して、statが0から1となった画素を起点として、斜め度に2を増分した数の画素を、斜め線補間を実施する範囲と判定する。
3.9 中間値計算部16の構成
中間値計算部16は、斜め判定部15により算出される斜め度を用いて、中間値を計算する。この中間値は、垂直補間部17等による斜め線補間の実施時に用いられる。斜め線補間の対象となるのは、斜め判定部15により斜め線補間を実施する範囲と判定された画素である。
中間値計算部16は、斜め判定部15により算出される斜め度を用いて、中間値を計算する。この中間値は、垂直補間部17等による斜め線補間の実施時に用いられる。斜め線補間の対象となるのは、斜め判定部15により斜め線補間を実施する範囲と判定された画素である。
中間値計算部16による中間値の計算について詳細を説明する。
図10は、中間値計算部16による中間値計算をするための画素を決定する処理を示す図である。
図10は、中間値計算部16による中間値計算をするための画素を決定する処理を示す図である。
中間値計算部16は、着目画素を中心に、斜め度に示される角度に応じて中間値を計算するための画素を決定する。斜め度に示される値が大きいほど、斜め線を構成する画素の水平方向が長く、斜め線の角から離れている。斜め線の角に近い画素を用いて中間値が算出される。
中間値計算部16は、斜め判定部15において判定された、斜め線補間を実施する範囲の各画素について、その画素における斜め度が偶数であるか奇数であるか判断する。垂直補間により画素を補間する位置を垂直補間位置101、103として示す。矢印で示される画素の間に、画素が補間される。なお、図10の例では、右上がりの斜め線を示している。そのため斜め線の角は、下のラインほど画像の左側に近くなる。
斜め度が偶数であれば、図10に示すように、垂直補間位置から(斜め度/2)個右側の画素と(斜め度/2)個左側の画素とのペアを選択する。
斜め線の角に近い画素の画素値を用いて中間値を計算するために、斜め線が右上がりの場合は、斜め線補間を実施する範囲と判定されたラインにおいて、垂直補間をする画素の(斜め度/2)個右側の画素と、上記ラインのひとつ下のラインにおいて、(斜め度/2)個左側の画素のペア(中間値算出用画素102)を選択する。中間値計算部16は、この選択されたペアの画素の、2値化前の画素値の平均値を、斜め線補間のための中間値として算出する。
なお、斜め度が奇数である場合は、中間値計算部16は、図10に示すように、4つの画素を用いて中間値を算出する。すなわち、斜め線補間を実施する画素(同図における垂直補間位置103の画素)について、(斜め度/2)を計算し、小数点を切り下げた数だけ離れた画素と、小数点を切り上げた数だけ離れた画素とを用いて(同図に中間値算出用画素104として示す)、各画素の2値化する前の画素値の平均値を中間値として算出する。
なお、斜め線が右下がりである場合は、斜め線の角に近い画素を用いて中間値を算出するために、着目画素が含まれるラインの(斜め度/2)個左側の画素と、ひとつ下のラインの(斜め度/2)個右側の画素を用いる。
4 垂直補間部17の構成
垂直補間部17は、入力される画像について、垂直方向の補間を行う。斜め線と判定され、斜め度が算出されている画素については、垂直補間部17は、斜め線補間を実行する。また、斜め線と判定されていない画素については、垂直補間部17は、通常の補間処理を実行する。
垂直補間部17は、入力される画像について、垂直方向の補間を行う。斜め線と判定され、斜め度が算出されている画素については、垂直補間部17は、斜め線補間を実行する。また、斜め線と判定されていない画素については、垂直補間部17は、通常の補間処理を実行する。
図11は、垂直補間部17による斜め線補間の処理を示す図である。
図11において、黒丸と○で示す画素は原画像にある実画素である。この2つの画素は、隣接するライン(同図において水平方向の実線で示す)にある。スケーリングにより高解像度の画像を得る際は、このラインの間に画素を補間する必要がある。実画素の位相を0と4096とする。同図において、位相0の実画素を黒丸で示し、位相4096の実画素を○で示す。スケーリングによる画像の拡大の倍率に応じて、画素を補間すべき位置を示す補間位相pが定まる。
図11において、黒丸と○で示す画素は原画像にある実画素である。この2つの画素は、隣接するライン(同図において水平方向の実線で示す)にある。スケーリングにより高解像度の画像を得る際は、このラインの間に画素を補間する必要がある。実画素の位相を0と4096とする。同図において、位相0の実画素を黒丸で示し、位相4096の実画素を○で示す。スケーリングによる画像の拡大の倍率に応じて、画素を補間すべき位置を示す補間位相pが定まる。
垂直補間部17は、斜め判定部15により斜め線補間適用範囲(図9の例では、斜め線補間適用範囲91)と判定された画素について、斜め線補間を実行するため、中間値計算部16により計算された中間値を用いて補間する。
垂直補間部17は、補間する画素の位相(補間位相p)に応じて、上記実画素のいずれを用いて補間するか決定する。補間位相pが、0以上2048未満であれば、垂直補間部17は、黒丸で示す位相0の実画素と、中間値計算部16で算出した中間値を用いて補間する。補間位相pが2048以上4096以下であれば、中間値と、○で示す位相4096の実画素を用いて補間する。補間される画素の画素値は、実画素からの距離等に応じて定まる。
5 水平補間部18の構成
水平補間部18は、入力される画像について、水平方向の補間を行う。なお、斜め線と判定された画素の補間については、水平補間部18は、斜め線補間を実行する。また、斜め線と判定されない画素については、水平補間部18は、通常の補間処理を実行する。
水平補間部18は、入力される画像について、水平方向の補間を行う。なお、斜め線と判定された画素の補間については、水平補間部18は、斜め線補間を実行する。また、斜め線と判定されない画素については、水平補間部18は、通常の補間処理を実行する。
水平補間部18による斜め線補間は、垂直補間部17のものとほぼ同様に、中間値を用いて補間する。水平補間部18は、斜め線補間の対象となる画素について、水平方向に隣接する実画素との間に画素を補間する場合、上記垂直補間部17と同様に、補間する画素の位相に応じて、中間値を用いて補間する。
6 従来の補間方法との比較
以上のように説明してきた本発明の映像信号処理装置1について、従来の構成と比較して説明する。
以上のように説明してきた本発明の映像信号処理装置1について、従来の構成と比較して説明する。
6.1 従来の方法で補間した場合
(ノイズがない場合)
まず、従来のように差分フィルタ等を用いない補間方法の例について説明する。
(ノイズがない場合)
まず、従来のように差分フィルタ等を用いない補間方法の例について説明する。
図12は、従来のように、入力画像の所定領域の全ての画素の平均値を用いて2値化パターンを得た場合の、斜め線の判定結果を示す図である。
図12に示すように、第1入力画像パターン121のように6ラインの入力画像があり、着目画素(同図中、背景を斜線で示す画素)を基準として、垂直方向4ライン×水平方向11画素からなる図示するような所定の領域を処理の対象とする。この所定の領域における画素値の平均値は「183」である。中間値「183」よりも大きい画素と、中間値「183」以下の画素に2値化すると、2値化画像である2値化パターン122が得られる(なお、2値化パターン122においても着目画素を斜線で示す)。
上記の説明のように、この2値化画像において、斜め度は+4である。そのため着目画素を基準に、中間値算出対象となる2つの画素(第1入力画像パターン121において、四角で囲んだ画素)を用いて中間値が算出される。図12の例では、中間値は「183」である。
この場合、垂直補間の際に、補間する画素の位相値を3000とすると、中間値や位相4096の実画素との位相の差に応じて補間値(補間する画素の画素値)が算出される。図示するように、補間値は「216」である。
(ノイズが付加されている場合)
一方、入力画像にノイズが付加された例について説明する。第2入力画像パターン125のように、垂直方向4ライン×水平方向11画素からなる領域を処理の対象とする。ノイズが付加されている場合、この領域における画素値の平均値は「184」である。これにより、この領域の2値化画像である2値化パターン126が得られる。
一方、入力画像にノイズが付加された例について説明する。第2入力画像パターン125のように、垂直方向4ライン×水平方向11画素からなる領域を処理の対象とする。ノイズが付加されている場合、この領域における画素値の平均値は「184」である。これにより、この領域の2値化画像である2値化パターン126が得られる。
この場合、ノイズが付加された影響で、斜め線の斜め度判定に失敗し、通常の補間がなされる。例えば、補間する画素の位相が3000とすると、図示するように補間値は着目画素と、その下のラインの実画素の画素値に基づいて算出され、「236」となる。
このノイズのある画像とない画像が静止画としてフレームごとに交互に入力されると、補間した画素の画素値が異なり点滅して見えることとなる。そのため斜め線補間により画質が劣化する。
6.2 本発明により補間した場合
(ノイズがない場合)
次に、上記の本実施形態で説明した構成における補間例を示す。図12と同様の入力画像が与えられたとする。
(ノイズがない場合)
次に、上記の本実施形態で説明した構成における補間例を示す。図12と同様の入力画像が与えられたとする。
図13は、ノイズのない入力画像が与えられた場合における補間結果を示す図である。
図13に示す第1入力画像パターン131は、図12の第1入力画像パターン121と同内容の入力画像とする。
図13に示す第1入力画像パターン131は、図12の第1入力画像パターン121と同内容の入力画像とする。
この第1入力画像パターン131の各画素に対し、差分フィルタ適用部12のSobelフィルタX132によりX方向の差分を出力し、SobelフィルタY133によりY方向の差分を出力する。
SobelフィルタX132およびSobelフィルタY133の出力結果に基づいて、エッジ強度算出部23は、(式1)によりエッジ強度Iを各画素について算出する(算出結果を強度I135に示す)。
SobelフィルタX132およびSobelフィルタY133の出力結果に基づいて、斜め方向判定部22は、(式2)〜(式6)により斜め線の方向の判定値を各画素について「方向0」〜「方向4」と判定する(判定結果が斜め方向判定134に示されている)。
これら斜め方向判定134や強度I135に示す結果に基づいて、エッジ角パターン解析部24は、斜め線の角を判定する。強度I135に、斜め線の角の判定箇所を四角および矢印で図示している。この判定結果をパターン解析136として示す。
なお、パターン解析136では、平均値算出領域判定部13による、2値化判定値を算出するための領域を決定する処理の結果と、エッジ角検出部14による2値化処理および2値化パターンの分類結果も示している。
これら平均値算出領域判定部13やエッジ角検出部14の処理の結果を受けて、斜め判定部15により斜め度が判定され、斜め線補間を適用する画素も判定される。斜め判定部15による演算結果を斜め線判定結果137に示す(斜め線補間を適用する画素の範囲を斜線で示す)。なお、この場合は、上記の処理により、丸で囲んだ着目画素(同図では画素値が「183」である)において斜め線補間をした場合、中間値が中間値計算部16により算出される。中間値の算出結果を受けて、垂直補間部17等により補間値が算出される。
(ノイズが付加された場合)
次に、入力画像にノイズが付加された場合における補間例を示す。
次に、入力画像にノイズが付加された場合における補間例を示す。
図14は、ノイズが付加された入力画像が与えられた場合における補間結果を示す図である。
図14に示す第2入力画像パターン141は、図12の第2入力画像パターン125と同内容の入力画像とする。
SobelフィルタX142、SobelフィルタY143、斜め方向判定144、強度I145、パターン解析146は、それぞれ図13においてSobelフィルタX132、SobelフィルタY133、斜め方向判定134、強度I135、パターン解析136として説明したものと同様の処理である。
このように、ノイズが付加された入力画像に対しても、斜め線の角を検出して、斜め線判定結果147において斜め線の斜め度が算出されている。この場合は、斜め補間と判定して、中間値が中間値計算部16により算出される。中間値を用いて斜め補間が行われて補間値が算出される。
この例のように、ノイズがない場合と付加されている場合とを比較すると、画素値の差分値に基づいて斜め線を判定しているため、ノイズに対する耐性が従来よりも向上している。すなわち、差分値に基づいて斜め線の角を検出して斜め度および斜め補間すべき画素の範囲を決定しているため、本発明は、ノイズがある画像に対し、従来よりも安定して斜め線を判定することができ、補間後の画像の画質が向上する。
上記のように、本発明は、垂直方向のみならず水平方向についても斜め線補間をすることができる。そのため、幅広い斜め線の角度に対応して補間処理を実行できる。特定の入力画像に限らず、従来よりも汎用的に補間処理を実行しうる。
今回開示された実施の形態はすべての点で例示であって制限的なものでないと考えられるべきである。この発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明は、動画像のスケーリング機能を備えた映像信号処理装置や映像再生装置、表示装置などに用いることができる。
1 映像信号処理装置、2 ノイズ除去装置、3 I−P変換装置、4 水平・垂直画素数変換装置、5 出力用同期信号生成装置、6 画質調整装置、7 フレームバッファ、8 角検出部、9 斜め度判定部、10 斜め線判定部、11 水平方向エッジ改善部、12 差分フィルタ適用部、13 平均値算出領域判定部、14 エッジ角検出部、15 斜め判定部、16 中間値計算部、17 垂直補間部、18 水平補間部、19 補間部、21 Sobelフィルタ、22 斜め方向判定部、23 エッジ強度算出部、24 エッジ角パターン解析部、25 2値化部、26 パターン判定部。
Claims (10)
- 入力画像の各画素における周辺画素との画素値の差分に基づいてエッジ強度値を算出し、一定領域の画素におけるエッジ強度値の分布に基づいて、斜め線となるエッジの境界を入力画像の各ラインについて検出する角検出部と、
検出されたエッジの境界の位置に基づいて、斜め線の角度を判定する斜め度判定部と、
判定された斜め線の角度に基づいて補間処理を実行する補間部と、
を備える映像信号処理装置。 - 前記角検出部は、
各画素において、周辺画素との画素値の差分を方向成分ごとに出力する差分フィルタと、
前記差分フィルタにより出力される差分の各方向成分に基づいて、各画素についてエッジの方向を判定する方向判定部と、
前記各方向成分に基づいて、各画素についてエッジ強度値を算出する強度算出部とを含む、
請求項1記載の映像信号処理装置。 - 前記方向判定部は、
前記算出されるエッジ強度値が所定の閾値以下であれば、エッジの境界の検出対象としないと判定する、
請求項2記載の映像信号処理装置。 - 前記角検出部は、
2次元を構成する一定領域の複数の画素において、前記強度算出部によるエッジ強度値の分布状況を所定のパターンと比較することにより、斜め線となるエッジの境界を検出する、
請求項2記載の映像信号処理装置。 - 前記斜め度判定部は、
2値化判定値を基準として入力画像を2値化画像に変換する2値化部を含み、
2値化画像における画素値の分布に基づいて斜め線の角度を判定する、
請求項1記載の映像信号処理装置。 - 前記斜め度判定部は、
前記角検出部により検出されたエッジの境界の位置に基づいて、入力画像において、2値化判定値を算出するための複数の画素からなる領域を決定する領域決定部と、
前記領域決定部により決定された領域の画素の画素値に基づいて2値化判定値を算出する2値化判定値算出部を含む、
請求項5記載の映像信号処理装置。 - 前記領域決定部は、各ラインにおける着目画素ごとに前記領域を決定するものであり、、着目画素周辺の複数の画素についてエッジの境界が含まれるか判定し、エッジの境界の画素を含む領域を、2値化判定値を算出するための領域と決定する、
請求項6記載の映像信号処理装置。 - 前記斜め度判定部は、前記2値化画像における斜め線の水平方向の長さに基づいて斜め線の角度を判定する、
請求項5記載の映像信号処理装置。 - 前記斜め度判定部は、補間対象の画素の位置、および、前記斜め線の角度に基づいて、所定の画素を選択して中間値を算出する中間値計算部を含み、
前記補間部は、前記中間値計算部により算出された中間値を用いて斜め線の補間処理を実行する、
請求項1記載の映像信号処理装置。 - 映像信号処理装置に画素数変換させるための映像信号処理方法であって、
映像信号処理装置に、入力画像の各画素における周辺画素との画素値の差分に基づいてエッジ強度値を算出し、一定領域の画素におけるエッジ強度値の分布に基づいて、斜め線となるエッジの境界を入力画像の各ラインについて検出させる角検出ステップと、
検出されたエッジの境界の位置に基づいて、斜め線の角度を判定させる斜め度判定ステップと、
判定された斜め線の角度に基づいて補間処理を実行させる補間ステップと、
を含む映像信号処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011274377A JP2013126134A (ja) | 2011-12-15 | 2011-12-15 | 映像信号処理装置及び映像信号処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011274377A JP2013126134A (ja) | 2011-12-15 | 2011-12-15 | 映像信号処理装置及び映像信号処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013126134A true JP2013126134A (ja) | 2013-06-24 |
Family
ID=48777141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011274377A Pending JP2013126134A (ja) | 2011-12-15 | 2011-12-15 | 映像信号処理装置及び映像信号処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013126134A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9524538B2 (en) | 2014-09-19 | 2016-12-20 | Fujitsu Ten Limited | Image processing apparatus |
-
2011
- 2011-12-15 JP JP2011274377A patent/JP2013126134A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9524538B2 (en) | 2014-09-19 | 2016-12-20 | Fujitsu Ten Limited | Image processing apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100727992B1 (ko) | 순차주사방식에서의 바이섹션 패턴 검출 방법 및 시스템 | |
US9524539B2 (en) | Method for edge-directed adaptive image interpolation and VLSI implementation device for the same | |
US8175417B2 (en) | Apparatus, method, and computer-readable recording medium for pixel interpolation | |
JP4973542B2 (ja) | 画素補間装置及び画素補間方法 | |
JP6623832B2 (ja) | 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム | |
EP2911382B1 (en) | Image processing device and image processing method | |
TWI381732B (zh) | 低角度內插裝置及其方法 | |
US20090226097A1 (en) | Image processing apparatus | |
TWI384417B (zh) | 影像處理方法及其裝置 | |
JPWO2014102876A1 (ja) | 画像処理装置、および、画像処理方法 | |
JP4868249B2 (ja) | 映像信号処理装置 | |
WO2007051997A1 (en) | Scan convertion image filtering | |
EP2509306A1 (en) | Image processing device and image processing method | |
CN106027943B (zh) | 一种视频去隔行方法 | |
US8704945B1 (en) | Motion adaptive deinterlacer | |
JP2013126134A (ja) | 映像信号処理装置及び映像信号処理方法 | |
US8055094B2 (en) | Apparatus and method of motion adaptive image processing | |
JP5287581B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2007067652A (ja) | 画像処理装置 | |
KR101069712B1 (ko) | 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치 | |
JP2009177524A (ja) | 走査線補間装置及び走査線補間方法 | |
JP4371907B2 (ja) | 画素特徴判定装置、画素補間装置、及び映像信号処理装置 | |
JP4849515B2 (ja) | Ip変換処理装置、その制御方法 | |
JP5018198B2 (ja) | 補間信号生成回路、補間信号生成方法、プログラムおよびビデオ信号処理装置 | |
JP2015106318A (ja) | 画像処理装置および画像処理方法 |