JP3746441B2 - 映像信号処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビジョン受像機等の映像信号処理装置にかかわり、特にインタレース画像をプログレッシブ画像へ変換（以下、ＩＰ変換と称する）する際、高画質なプログレッシブ画像を得るのに好適な映像信号処理装置に関する。
【０００２】
【従来の技術】
映像信号の多くは、走査の形態に飛び越し走査が用いられている。しかし、この映像信号を飛び越し走査の画像表示部に表示すると、ラインフリッカなどのインタレース妨害が発生し、画質が劣化する。
【０００３】
このインタレース妨害は、インタレース画像をプログレッシブ画像へ変換し、順次走査の形態で表示することで除去することができる。そして、この機能を備えたテレビジョン受像機も商品化されている。
【０００４】
ＩＰ変換では、インタレース走査で抜けた走査線の信号を補間処理で生成する信号処理を行う。この補間処理には動き適応型と動き補償型の信号処理がある。
【０００５】
動き適応型は、静止画領域に適したフレーム間補間と、動画領域に適したフィールド内補間とを、画像の動き情報に応じて混合比率を変化させる補間処理をし、１フレーム間差分信号の大小で動き情報の検出を行う為、この動き情報は必ずしも画像の正確な動きとの対応がとれていない。この為、静止画領域では、インタレース妨害が完全に除去でき、顕著な画質改善の効果が得られるにもかかわらず、動画領域では、インタレース妨害の除去が不完全となり、画質の改善効果が少ないという課題を有している。
【０００６】
またここで、フィールド内補間の手法として、補間画素を実在する上下画素を用いて平均化し得る方法が従来知られている。この手法では、一のフレームの片一方のフィールドから生成することになるため、サンプリングを（１／２）×ｆで行ったことになり、シャノンの定理によれば、この方法で再生できる周波数帯域は、図３に示すように最大で（１／４）×ｆとなる。しかしながら、実際の回路における動作においては、（１／４）×ｆ付近の周波数成分が失われ（（１／４）×ｆまでの周波数成分が完全に補償されるのではない。後述の図３を参照）、解像感が低下した画像となりやすいという課題を有している。なお、上記のｆは周波数を表す頭文字であって、シャノンの定理を引用した場合に記載するｆはサンプリング周波数のことを当然に意味し、以下の記載におけるｆも同様にサンプリング周波数のことを云う。
【０００７】
一方、動き補償型は、画像の動きを動きベクトル情報として検出し、この動きベクトル情報で、前後のフィールドの信号に対して動き補備の信号処理を行い、補間走査線の信号を生成する。この方法では、画像の動きにほぼ合致した補間処理が可能になる。
【０００８】
ＩＰ変換する為の画像処理装置に関し、従来技術としての特開平１０−１１２８４５号公報によれば、画像のフレーム間の動きベクトルを検出し、ＩＰ変換する技術が記載されている。
【０００９】
【発明が解決しようとする課題】
しかしながら、前記公報記載の技術のように、フレーム間の動きベクトルを検出しＩＰ変換するのでは、正確な動き補償の信号処理を行う為に、精度の高い動きベクトルの検出が不可欠となる。この為、膨大な信号処理が必要になるという課題を有している。
【００１０】
また、フィールド内補間では、従来の方法で再生できる周波数帯域は、図３に示すように、最大で（１／４）×ｆとなるが、実際には、（１／４）×ｆ付近の周波数成分が失われ、解像感が低下した画像となりやすいという課題を有している。
【００１１】
本発明の目的は、そのような状況に鑑みてなされたもので、従来の動き適応型の補間で目障りな画像劣化を低減し、かつ少ない演算量の信号処理で、動画部分の補間を行う場合、解像感の低下を防ぐことができるようにすることにある。
【００１２】
さらに、失われた周波数成分を補い解像感の低下を改善する際、オーバーシュート、アンダーシュートがみられ不自然な画像となる場合があるが、本発明は、解像感を保ちつつ、オーバーシュート、アンダーシュートを抑制し、自然な画像を得るものである。
【００１３】
【課題を解決するための手段】
前記課題を解決するために、本発明は主として次のような構成を採用する。
インタレース画像をプログレッシブ画像へ変換する際の映像信号処理装置において、
現フィールドの実在する上下の画素の平均化処理に基づいて補間基準データを生成する生成手段と、
前記上下の画素の平均化処理で失われ得る周波数成分を、補間対象の画素に対して垂直方向に位置する実在する近傍の画素を用いて抽出するバンドパスフィルタ処理である抽出手段と、
前記生成手段から出力される前記補間基準データと前記抽出手段から出力される補正値を加算する加算手段と、
前記加算手段の出力側に設けられて前記加算手段から出力される補間データに発生するオーバーシュート及びアンダーシュートを抑制する抑制手段と、
補間ラインの上下の実在する２ライン信号から最大値を検出する最大値検出手段と、
前記補間ラインの上下の実在する２ライン信号から最小値を検出する最小値検出手段と、
前記最大値検出手段から得られた最大値を係数（１＋Ｋ）倍する最大値係数倍手段と、
前記最小値検出手段から得られた最小値を係数（１−Ｋ）倍する最小値係数倍手段と、を備え、
前記抑制手段は、前記加算手段から出力される補間データが前記最小値係数倍手段と前記最大値係数倍手段から得られた値以内に収まるように抑制し、
現フィールド内の信号のみを用いて解像感の低下を改善する補間を行う構成とする。
【００１７】
【発明の実施の形態】
本発明の実施形態に係る映像信号処理装置について、図面を用いて以下説明する。ここで、図１は入力画像データの一例を示す図であり、図２は、本発明の実施形態に係る画像処理装置の構成例である。また、図３は、フィールド内ＬＰＦ補間によって再生できる周波数帯域を示す図であり、図４は、図２に示す本実施形態で採用するＢＰＦ２の周波数特性を示す図であり、図５は、図２に示す本実施形態で使用するＬＰＦ９の周波数特性を示す図である。また、図６は、本実施形態に関する加算器３通加後の斜め線をもつインタレース画像の補間された画像を示す図であり、図７は、斜め線をもつインタレース画像の上下平均値により補間された画像例を示す図である。また、図８は、水平なエッジをもつインタレース画像を補間した画像例を示す図である。図９は、本実施形態に関する補間値抑制回路８の通過前の斜め線をもつインタレース画像の補間された画像（ａ）と、補間値抑制回路８通過後の斜め線をもつインタレース画像の補間された画像（ｂ）を示す図である。
【００１８】
まず、図１と図２の関連について説明すると、図１の白丸印はフィールド内の画素を示し、黒丸印は当該フィールド内に無い画素を示している。本発明は、図１に示すＡラインとＢラインとの間の補間ラインであって且つ垂直ラインのＣラインと交わる点の補間データについて、工夫を凝らして求めようとするものである。図１と図２のＡ，Ｂ，Ｃとして示す信号は互いに対応している。
【００１９】
図２に示す本実施形態の構成例は、現フィールドの実在する上下の画素から補間基準画素（補間画素の基準値）を得る為のＬＰＦ（ローパスフィルタ）ｌ、現フィールドの実在する上下の画素の平均化処理で失われ得る周波数成分を得る為のＢＰＦ（バンドパスフィルタ）２、ＢＰＦ２で得られた現フィールドの周波数成分とＬＰＦｌで得た補間基準画素を加算する加算器３、補間ラインの上下２ライン信号（ＡラインとＢラインの信号）から最大値を検出する検出器４、補間ラインの上下２ライン信号から最小値を検出する検出器５、最大値検出器４から得られた最大値を係数（１＋Ｋ）倍する係数倍回路６、最小値検出器５から得られた最小値を係数（１−Ｋ）倍する係数倍回路７、加算器３で得られた補間データを係数倍回路６と７から得られた値以内に納める補間値抑制回路８、非線型処理である補間値抑制回路８により信号に生じるノイズの低減をするＬＰＦ９、動き検出結果からフィールド内補間データ、又は前フィールド補間位置データを選択するＳＥＬｌ０、から構成されている。
【００２０】
図２に示した構成の動作について以下説明する。図１のＣが示す範囲の中心にある補間データの上下各３画素（フィールド内に存在する計６画素）をＬＰＦｌ及びＢＰＦ２へ入力する。ＬＰＦｌは入力されたデータから補間データを得る為の補間基準データを出力する。この補間基準データは、図３に示す破線で塗りつぶされている領域の周波数成分が失われている可能性がある状態で出力され（実際の回路における信号処理の過程で）、加算器３へ入力される。
【００２１】
そこで、ＢＰＦ２は、図４のような失われている可能性のある周波数領域を含む周波数特性を持ち、入力された現フィールドデータから補間データ周辺における周波数成分を出力し、これは補正値として加算器３へ入力される。
【００２２】
従って、加算器３では、あらかじめＬＰＦｌから出力された補間基準データとＢＰＦ２から出力された補正値とを加算し、（１／４）×ｆまでの周波数を再生した補間データを出力している。
【００２３】
図６は左上がりのななめ線をもつインタレース画像を補間したものを模擬し、補間ラインとその上下ラインデータの水平方向の変化を示している。水平方向ｎ番目の画素及びその近傍画素に注目すると、補間データがラインＡとラインＢのつなぎめを強めている。
【００２４】
図７に示すように、従来の手法のように上下平均値を補間データとする場合、ラインＡとラインＢのつなぎめを強めるような水平方向ｎ番目の画素は得られず、解像感の落ちた画像となってしまう。換言すると、図７の輝度Ｙを見ると、補間ラインＣのレベルはラインＡ又はラインＢの約半分になっていて、斜め線として滑らかな白線とならない。これに対して、図６の補間ラインＣを見ると、ラインＡ又はラインＢの約８割の輝度を有していて、補間ラインＣを含めて滑らかな斜め線となりうる。
【００２５】
このように、本実施形態では、補間基準データとＢＰＦ２から出力された補正値とを加算することにより、解像感を保ちながら滑らかなななめ線を表現することができる。
【００２６】
一方、補間データの上限、下限値を検出するために、図１のＡ、Ｂに示す補間データの上下ラインのデータ（水平方向に７画素ずつ計１４画素）を最大値検出器４と最小値検出器５にそれぞれ入力する。検出器４では上下ラインデータの最大値が検出され、この値が係数倍回路６において、係数（１＋Ｋ）倍される。検出器５では上下ラインデータの最小値が検出され、この値が係数倍回路７において、係数（１−Ｋ）倍される。
【００２７】
また、加算器３から出力されたデータは、（１／４）×ｆ付近までの周波数帯域を再生しているが、存在する画素信号に基づいて補間信号を求める信号処理において、オーバーシュート、アンダーシュートがみられる可能性がある。図８に示すように、水平なエッジをもつインタレース画像を補間する際、エッジの上下部分において必要以上に補間データが大きくなるオーバーシュートや、必要以上に補間データが小さくなるアンダーシュートがみられる場合がある。これを抑えるために、加算器３から出力された補間データを、係数倍回路６，７から出力された上下ラインの最大値、最小値以内に納める補間値抑制回路８に入力する。
【００２８】
補間値抑制回路８の効果を図９で説明する。図９は左上がりのななめ線をもつインタレース画像を補間する場合を模擬している。加算器３より出力された補間ラインＣの水平方向にｎ番目の補間データは、その上下ラインの画素（フィールド内に存在するラインＡ、ラインＢ）の信号より突出した値となる（図９（ａ））。このように突出した値つまりオーバーシュートや、図８に示したようなオーバーシュート、アンダーシュートを緩和するために、補間データを上下画素の平均値としたり、上下画素の値以内に補間データを納めることが考えられるが、そのような手法では、図６を用いて述べた、失われた周波数成分をＢＰＦ２により補った効果がなくなり、解像感が低下してしまう。
【００２９】
そこで、本発明では、補間ラインの上下ラインの最大値、最小値を検出し、それを補間データの上限、下限とし、加算器３より出力された補間データのオーバーシュート、アンダーシュートを抑制している（図９（ｂ））。
【００３０】
本発明では、補間データの上限、下限を一定値ではなく、補間画素の周辺の値とすることで画面中でフレキシブルな値となり、自然な画像が得られる。ここで、最大値、最小値をみつける上下ラインの水平方向の画素数は、図１では計１４画素としているが、回路規模によりもっと画素数を減らさなければならない場合がある。この場合、係数倍回路６，７を用いて補間データの上限、下限の範囲を可変することができ、水平方向の画素数が少なくても、同様な効果が得られる。これにより、図９のようなななめ線が滑らかにつながった画像が得られる。
【００３１】
加算器３より出力後の信号のオーバーシュート、アンダーシュートを除去するための回路８は、非線型処理のためノイズが生じることがあり、これが画像の品位を低下させる場合がある。そこで、図５のような周波数特性を持つＬＰＦ９へ回路８より得られた信号を入力し、非線型処理によるノイズを低減し、失った周波数成分が補われた補間データを得ることができる。
【００３２】
図２に示す回路構成を参照して、ＳＥＬｌ０には、従来技術である動き検出を行った結果と、ＬＰＦ９から出力される補間データ、及び前フィールド補間位置データが入力され、静止画部分には前フィールド補間位置データを、動画部分には本発明による周波数成分が補われた補間データを出力することで最終的な補間データを得る。
【００３３】
ここにおいて、更に、画像についての一般的な輪郭強調などの画像処理について説明すると、この画像強調処理後にともすればオーバーシュート、アンダーシュートが発生して画像に不自然さが現れ得る。この不自然さの原因であるオーバーシュート、アンダーシュートを抑制して自然な画像を得たい場合に、図１に示す回路の主要部を構成する、画像信号入力、最大値検出回路、最小値検出回路、係数倍回路、及び画像抑制回路が適用できて効果を発揮するものである。その構成例を図１０に示す。
【００３４】
入力された信号を１水平走査期間遅延して１Ｈ遅延データを得る遅延回路１１と、遅延回路１１から出力された信号をさらに１Ｈ遅延させて２Ｈ遅延したデータを得る遅延回路１２と、入力信号の水平方向に７画素と２Ｈ遅延したデータの水平方向７画素の計１４画素の最大値を検出する最大値検出器１３と、入力信号の水平方向に７画素と２Ｈ遅延したデータの水平方向７画素の計１４画素の最小値を検出する最小値検出器１４と、前記した最大値に（１＋Ｋ）倍する係数倍回路１５と、前記した最小値に（１−Ｋ）倍する係数倍回路１６と、係数倍された最大値と最小値を上限、下限とし、その範囲内に１Ｈ遅延した信号を納める抑制回路１７と、から構成されている。
【００３５】
図１０に示した各構成の動作について以下説明する。遅延回路１１に映像信号を入力し１水平走査期間遅延して１Ｈ遅延データを得る。次に、遅延回路１１から出力された信号をさらに１Ｈ遅延させて遅延回路１２において２Ｈ遅延したデータを得る。入力信号と２Ｈ遅延したデータを最大値検出器１３に入力し、入力信号の水平方向に７画素と２Ｈ遅延したデータの水平方向７画素の計１４画素の最大値を検出する。
【００３６】
最小値検出器１４に、入力信号と２Ｈ遅延したデータを入力し、入力信号の水平方向に７画素と２Ｈ遅延したデータの水平方向７画素の計１４画素の最小値を検出する。最大値検出器１３より出力された最大値は係数倍回路１５で（１＋Ｋ）倍され、最小値検出器１４より出力された最大値検出器１３より出力された最大値は係数倍回路１５で（１＋Ｋ）倍され、最小値は係数倍回路１６で（１−Ｋ）倍される。
【００３７】
遅延回路１１により１Ｈ遅延された信号と、係数倍された最大値と最小値が信号抑制回路１７に入力され、係数倍された最大値と最小値を上限、下限とし、その範囲内に抑制回路１７が１Ｈ遅延した信号を納めて出力される。
【００３８】
入力ラインと２Ｈ遅延されたラインの最大値、最小値を検出し、それを１Ｈ遅延されたラインの上限，下限とし輪郭強調後の画像の不自然さの原因であるオーバーシュート、アンダーシュートを抑制している。
【００３９】
以上のことを図１に示す画像データを借用して具体的に説明すると、Ａラインの下にＢライン、その下のラインがＣラインとすると、最大値と最小値検出回路へのそれぞれの入力はＡラインとＣラインであり、信号抑制回路への入力は係数倍回路からの入力の他に１Ｈ遅延回路からのＢラインの信号である。即ち、Ｂライン信号の輪郭強調の画像処理において図２に示す主要回路を兼用できるものである。
【００４０】
本実施形態では、抑制される信号の上限、下限を一定値ではなく、補間画素の周辺の値とすることで画面中でフレキシブルな値となり、自然な画像が得られる。ここで、最大値、最小値をみつける上下ラインの水平方向の画素数は、前述の例では計１４画素としているが、回路規模によりもっと画素数を減らさなければならない場合がある。この場合、係数倍回路１５，１６を用いて補間データの上限、下限の範囲を可変することができ、水平方向の画素数が少なくても同様な効果が得られる。
【００４１】
これにより、輪郭強調によりオーバーシュート、アンダーシュートがみられる画像を、輪郭強調の効果を損なわず、オーバーシュート、アンダーシュートを抑制し、自然な画像が得られる。
【００４２】
【発明の効果】
本発明によれば、次のような効果を奏することが期待できる。即ち、従来、動画部分に採用される補間データは、実在する上下画素を用いて平均化していたが、この方法では失われる周波数領域が存在し、解像感の無い画像となってしまうのに対して、本発明では、失われる周波数領域を補い、オーバーシュート、アンダーシュートは抑制されて自然な画像が得られる。そのため、動画部分においても解像感の高い高品位なプログレッシブ画像を提供することが可能となる。
【００４３】
また、前後フィールドの信号を用いずに現フィールド内で補間データをつくることから、複雑な回路構成や大規模な回路を必要とせず、さらに係数倍回路を用いることにより回路規模を抑制することができる。
【００４４】
また、画像抑制回路は、一般的な輪郭強調などの画像処理後の画像の不自然さの原因であるオーバーシュート、アンダーシュートを抑制し、自然な画像を得ることにも適用ができる。
【図面の簡単な説明】
【図１】入力画像データの一例を示す図である。
【図２】本発明の実施形態に係る画像処理装置の構成例である。
【図３】フィールド内ＬＰＦ補間によって再生できる周波数帯域を示す図である。
【図４】図２に示す本実施形態で採用するＢＰＦ２の周波数特性を示す図である。
【図５】図２に示す本実施形態で使用するＬＰＦ９の周波数特性を示す図である。
【図６】本実施形態に関する加算器３通加後の斜め線をもつインタレース画像の補間された画像を示す図である。
【図７】斜め線をもつインタレース画像の上下平均値により補間された画像例を示す図である。
【図８】水平なエッジをもつインタレース画像を補間した画像例を示す図である。
【図９】本実施形態に関する補間値抑制回路８の通過前の斜め線をもつインタレース画像の補間された画像（ａ）と、補間値抑制回路８通過後の斜め線をもつインタレース画像の補間された画像（ｂ）を示す図である。
【図１０】本発明の実施形態に係る映像信号処理装置で、最大値検出回路、最小値検出回路、係数倍回路及び信号抑制回路を用いた回路構成ブロックを示す図である。
【符号の説明】
１ フィールド内ＬＰＦ
２ 周波数成分抽出用ＢＰＦ
３ 加算器
４〜１３ 最大値検出回路
５〜１４ 最小値検出回路
６〜７，１５〜１６ 係数倍回路
８ 補間データ抑制回路
９ 回路８によるノイズ低減用ＬＰＦ
ｌ０ 信号選択回路
１１〜１２ １Ｈ遅延回路
１７ 信号抑制回路

Claims (2)

1. インタレース画像をプログレッシブ画像へ変換する際の映像信号処理装置において、
   現フィールドの実在する上下の画素の平均化処理に基づいて補間基準データを生成する生成手段と、
   前記上下の画素の平均化処理で失われ得る周波数成分を、補間対象の画素に対して垂直方向に位置する実在する近傍の画素を用いて抽出するバンドパスフィルタ処理である抽出手段と、
   前記生成手段から出力される前記補間基準データと前記抽出手段から出力される補正値を加算する加算手段と、
   前記加算手段の出力側に設けられて前記加算手段から出力される補間データに発生するオーバーシュート及びアンダーシュートを抑制する抑制手段と、
   補間ラインの上下の実在する２ライン信号から最大値を検出する最大値検出手段と、
   前記補間ラインの上下の実在する２ライン信号から最小値を検出する最小値検出手段と、
   前記最大値検出手段から得られた最大値を係数（１＋Ｋ）倍する最大値係数倍手段と、
   前記最小値検出手段から得られた最小値を係数（１−Ｋ）倍する最小値係数倍手段と、を備え、
   前記抑制手段は、前記加算手段から出力される補間データが前記最小値係数倍手段と前記最大値係数倍手段から得られた値以内に収まるように抑制し、
   現フィールド内の信号のみを用いて解像感の低下を改善する補間を行う
   ことを特徴とする映像信号処理装置。
2. 請求項１に記載の映像信号処理装置において、
   前記抑制手段による抑制処理は非線形処理であり、前記非線形処理により生じるノイズを低減する低減手段を前記抑制手段の出力側に設ける
   ことを特徴とする映像信号処理装置。

Images