JP5279830B2 - 映像信号処理装置及び映像表示装置 - Google Patents

Description

本発明は映像信号処理技術に関し、空間フィルタを用いて映像の鮮鋭化処理・平滑化処理を行う映像信号処理技術に関する。

入力映像には、様々な雑音や歪みが含まれている。このような映像の劣化の要因を取り除くことにより映像を見やすくすることができ、有用な情報を抽出し強調することができる。このような処理は画像処理の中でも重要な処理の１つである。画像処理の代表的な手法には、１）濃度変換によるコントラストの強調、２）ノイズ除去のための平滑化、３）エッジを強調する鮮鋭化があり、平滑化処理／鮮鋭化処理は、画像の低周波成分／高周波成分の強調処理に相当する。本来、画像の濃度値は急変しているべき輪郭の部分などで濃度値の変化がゆるやかになっている場合、図形の輪郭がぼやけた画像となる。このような画像に対して、濃度値の変化を強調することで鮮明な画像を得ることを鮮鋭化と言う。鮮鋭化の手法の１つに、原画像をフィルタリングした結果を原画像から差し引く方法がある（鮮鋭化オペレータ）。

一方、平滑化処理は、例えば３×３のオペレータを原画像に沿って移動させ、オペレータの各要素の値と対応する原画像のピクセル値とを演算する手法がある。

以上のような原理に基づいて、テレビジョン受信装置やパーソナルコンピュータ、携帯電話機などの表示部における画像の鮮鋭化・平滑化を行うことができる回路が知られている。図３０は、下記特許文献１の実施例１に記載された鮮鋭化処理のエッジ量入力（Ｘ軸）とエッジ量出力（Ｙ軸）との関係を示す図である。

ここで、鮮鋭化処理アルゴリズムアンシャープマスク（ＵＳＭ）について図１Ａ及び図３０を参照しながら説明を行う。まず、入力映像信号（ＲＧＢやＹＵＶ）とその周辺の入力画像信号（空間フィルタ出力）との差分（エッジ量入力）を求める。ここで、空間フィルタ出力は入力映像信号を平滑化したデータとなっている。以下、平滑化はノイズ除去と同義とする。

鮮鋭化技術では、Ｘ軸上に決められた閾値（Ｔｈ）やゲイン（β）として定義した鮮鋭化の強さを示すパラメータを用いて、エッジ量を乗算して注目画素データに加算することによって、鮮鋭度を強める鮮鋭化を行う。図３０に示すように、エッジ量入力の絶対値が閾値Ｔｈに比べて小さいときは、そのエッジ量入力をノイズとみなして鮮鋭化を行わない。これは、鮮鋭化を行わない方が画質的に良好であるためであり、ノイズとみなす範囲を閾値で指定することができる。ゲインはエッジ量入力を変換するパラメータであり、ゲインの大小によって鮮鋭化の強さの調整が可能である。尚、ＵＳＭによる処理イメージについては、後述する図１Ｃで説明する。

図３１は、特許文献１の実施例４に記載され平滑化と鮮鋭化とを行う技術の概要について示した図である。

ここで、αは平滑化の強さを示すパラメータ、βは鮮鋭化の強さを示すパラメータ、γはエッジ量出力（Ｙ）軸との交点パラメータであり、閾値パラメータＴｈは、平滑化変換と鮮鋭化変換の切替えを行うエッジ量入力の値である。この技術（実施例４）を用いると、エッジ量入力の絶対値が閾値以下の場合に平滑化し、閾値以上の場合に鮮鋭化することができる。
特開平３−２４５６７５号公報

上記特許文献１に記載の技術では、閾値Ｔｈ、α、β、γの４つのパラメータの設定が必要となる（図３１及び上記数２参照）。また、Ｘ−Ｙの入出力変換が、閾値Ｔｈを境にして入出力特性の連続性を保つためには、上記４つのパラメータの１つのみを単独で調整することはできない。さらに、画像の拡大・縮小時の振る舞いに関する記載はなく、４つのパラメータ設定をそれぞれどのように設定すればよいかなどは不明である。例えば、拡大時に平滑化処理と鮮鋭化処理とを両立させて変換する際に、パラメータ設定をどう設定すれば高画質となり、かつ、連続性が保たれるのかに関する開示もない。

図３２から図３９までは、上記特許文献１の実施例４に示した図３１に示される基本的な変換特性に対して、パラメータ単独調整によるエッジ量入出力特性の例であって、α、β、γ、Ｔｈをベースにしてそれぞれ独立でパラメータを小さく／大きく変化させた場合のエッジ量の入出力特性例を示す図である。図３２は、図３１からαのみを小さくするように変化させた場合における例を示す図である。この場合には、平滑化の強さを示すαを小さくしても、図３２に示すように、平滑化特性の傾きが小さくなるため閾値近傍における平滑化の入出力特性と鮮鋭化との入出力特性に連続性が保てなくなる。すなわち、パラメータを単独で調整した場合、連続性が保たれなくなることがわかる。また、図３３に示すように、αのみを大きくするように変化させた場合には、平滑化特性の傾きが大きくなるため閾値近傍における平滑化の入出力特性と鮮鋭化との入出力特性に連続性が保てなくなることがわかる。同様に、図３４に示すように、βのみを小さくするように変化させた場合には、鮮鋭化の方の特性は傾きが小さくなるためＸ軸との交点が原点から遠くなり、閾値近傍における平滑化の入出力特性と鮮鋭化との入出力特性に連続性が保てなくなる。また、図３５に示すように、βのみを大きく変化させた場合には、鮮鋭化の方の特性は傾きが大きくなるためＸ軸との交点が原点に近くなり、閾値近傍における平滑化の入出力特性と鮮鋭化との入出力特性に連続性が保てなくなる。

さらに、図３６に示すように、γのみを小さくするように変化させると、鮮鋭化の直線の延長線とＹ軸との交点γが原点に近くなるため、同様に閾値近傍における平滑化の入出力特性と鮮鋭化との入出力特性に連続性が保てなくなる。図３７のようにγのみを大きくするように変化させる場合も同様に連続性が保てなくなる。

さらに、図３８・図３９に示すように、Ｔｈのみを小さく又は大きくするように変化させると、同様に閾値近傍における平滑化の入出力特性と鮮鋭化との入出力特性に連続性が保てなくなる。

以上に説明したように、特許文献１に記載の技術では、４つのパラメータを用いる必要がある上に、１つのパラメータによる調整を行うと、閾値近傍における平滑化の入出力特性と鮮鋭化との入出力特性に連続性が保てなくなるという問題がある。

本発明は、用いるパラメータ数を少なくするとともに、１つのパラメータによる調整を行っても、平滑化の入出力特性と鮮鋭化との入出力特性に連続性が保てるようにすることを目的とする。また、パラメータ調整の自由度を高めることを目的とする。

本発明の一観点によれば、入力映像信号に平滑化処理と鮮鋭化処理とを行い出力映像信号とする映像信号回路であって、前記入力映像信号のエッジ量入力（Ｘ）をエッジ量出力（Ｙ）に変換する際に、前記エッジ量入力Ｘと前記エッジ量出力Ｙとにより画定されるＸ−Ｙ平面のＸが正の範囲において、原点を通り、０＜Ｘ＜Ｔｈ１の時に平滑化処理を行う第１の関数（関数１）と、前記閾値をＸ値とするＸ軸上の点（Ｔｈ１，０）を通り、０＜Ｘ＜Ｔｈ１の時に平滑化処理を行い、Ｘ＞Ｔｈ１の時に鮮鋭化処理を行う第２の関数（関数２）とを設け、前記平滑化処理の強度を決める平滑化係数（α１）と、前記鮮鋭化処理の強度を決める鮮鋭化係数（β１）と、前記平滑化処理と前記鮮鋭化処理の切替りを決める閾値（Ｔｈ１）と、の３つのうち１つ以上を可変パラメータとして映像信号の入出力特性を決定することを特徴とする映像信号処理回路が提供される。

また、入力映像信号に平滑化処理と鮮鋭化処理とを行い出力映像信号とする映像信号回路であって、前記入力映像信号のエッジ量入力（Ｘ）をエッジ量出力（Ｙ）に変換する際に、前記エッジ量入力Ｘと前記エッジ量出力Ｙとにより画定されるＸ−Ｙ平面のＸが負の範囲において、原点を通り、Ｔｈ２＜Ｘ＜０の時に平滑化処理を行う第１の関数（関数１）と、前記閾値をＸ値とするＸ軸上の点（Ｔｈ２，０）を通り、Ｔｈ２＜Ｘ＜０の時に平滑化処理を行い、Ｘ＜Ｔｈ２の時に鮮鋭化処理を行う第２の関数（関数２）とを設け、前記平滑化処理の強度を決める平滑化係数（α２）と、前記鮮鋭化処理の強度を決める鮮鋭化係数（β２）と、前記平滑化処理と前記鮮鋭化処理の切替りを決める閾値（Ｔｈ２）との３つのうち１つ以上を可変パラメータとして映像信号の入出力特性を決定することを特徴とする映像信号処理回路が提供される。ここで、平滑化係数（α１、α２）は第１の関数（関数１）の係数であり、鮮鋭化係数（β１、β２）は第２の関数（関数２）の係数である。また、係数とは、例えば前記関数１、２が直線の場合には、傾きを示す。曲線の場合には変数、定数に掛ける倍率を示すものである。

また、本発明は、上記に記載の映像信号処理回路の出力映像信号に基づく表示を行う表示部を有することを特徴とする表示装置であっても良い。また、当該表示装置を備えることを特徴とする携帯端末装置であっても良い。本発明の他の観点によれば、入力映像信号に平滑化処理と鮮鋭化処理とを行い出力映像信号とする映像信号処理方法であって、前記入力映像信号のエッジ量入力（Ｘ）をエッジ量出力（Ｙ）に変換することによって得られる関係を示すＸ−Ｙ入出力特性において、前記平滑化処理と前記鮮鋭化処理の切替りを決める閾値ＴｈをＸ軸上（Ｙ＝０）に設定するステップと、原点を通り、｜Ｘ｜＜Ｔｈ（−Ｔｈ＜Ｘ＜Ｔｈ）の時に平滑化処理を行う第１の関数と、前記閾値を通り、｜Ｘ｜＜Ｔｈ（−Ｔｈ＜Ｘ＜Ｔｈ）の時に平滑化処理を行い、｜Ｘ｜＞Ｔｈ（Ｘ＜−Ｔｈ又はＸ＞Ｔｈ）の時に鮮鋭化処理を行う第２の関数であって、前記関数１と前記関数２とが交差することにより決められる入出力変換特性に基づく変換処理を行うステップと、を有することを特徴とする映像信号処理方法が提供される。

本発明によれば、入力映像信号を空間フィルタにより処理した出力信号との差分であるエッジ量入力Ｘと、エッジ量入力Ｘを変換することによって得られるエッジ量出力ＹとのＸ−Ｙ入出力特性において、鮮鋭化されるデータと平滑化されるデータの切替りが常に連続であるため、滑らかな高画質な映像を得ることができる。

また、３つのパラメータ毎にそれぞれ異なった出力映像信号を得ることができ、拡大・縮小時（例：ＴＶ放送の縦表示、横表示）においても、高画質な映像を得ることができる。また、映像を表示する装置の特性（解像度、画面サイズ、映像のビット数）に合わせた調整ができるため、高画質な映像を得ることができる。さらに、パラメータ調整の自由度を高めることができる。

鮮鋭化処理（アンシャープマスク（ＵＳＭ））のアルゴリズムの概要を示す機能ブロック図である。 図１Ａの符号Ｂに示す構成の詳細である空間フィルタ周辺回路の一構成例を示す機能ブロック図である。 ＵＳＭによる処理イメージを示す図である。 本発明の第１の実施の形態による映像信号調整技術の概要を示す図である。 図２においてαのみを小さくするように変化させた場合のＸ−Ｙ変換特性の例を示す図である。 図２においてαのみを大きくするように変化させた場合のＸ−Ｙ変換特性の例を示す図である。 図２においてβのみを小さくするように変化させた場合のＸ−Ｙ変換特性の例を示す図である。 図２においてβのみを大きくするように変化させた場合のＸ−Ｙ変換特性の例を示す図である。 図２においてＴｈのみを小さくするように変化させた場合のＸ−Ｙ変換特性の例を示す図である。 図２においてＴｈのみを大きくするように変化させた場合のＸ−Ｙ変換特性の例を示す図である。 本発明の第１の実施の形態による映像信号変換回路の第１例を示す変換式である。 本発明の第１の実施の形態による映像信号変換回路の第１例を示す機能ブロック図である。 本実施の形態による映像信号処理回路（鮮鋭化平滑化処理部）を有する表示装置の一構成例を示す図である。 本実施の形態による鮮鋭化平滑化回路を用いた携帯端末装置の一構成例を示す機能ブロック図である。 図１１に示す携帯端末装置の表示部に鮮鋭化平滑化処理部の調整パラメータを変更できるユーザインターフェイスを表示させた例を示す図である。 本実施の形態による映像処理技術の利用シーンの一例を示す図である。 映像信号処理部における処理の流れを示す図である。 設定値の送受信を行う利用シーンの一例を示す図である。 表示される映像の拡大・縮小に関する表示の一例を示す図である。 本実施の形態による鮮鋭化平滑化処理をソフトウェア処理により行うための処理の第１の流れを示すフローチャート図である。 本発明の第２の実施の形態による映像信号調整技術の概要を示す図である。 本発明の第２の実施の形態による映像信号変換回路の第２例の変換式である。 本発明の第２の実施の形態による映像信号変換回路の第２例の機能ブロック図（ｂ）である。 本実施の形態による鮮鋭化平滑化処理をソフトウェア処理により行うための処理の第２の流れを示すフローチャート図である。 本発明の第３の実施の形態による映像信号調整技術の概要を示す図である。 本発明の第３の実施の形態による映像信号変換回路の第３例の変換式である。 本発明の第３の実施の形態による映像信号変換回路の第３例の機能ブロック図である。 本実施の形態による鮮鋭化平滑化処理をソフトウェア処理により行うための処理の第３の流れを示すフローチャート図である。 本実施の形態（ａ）と従来の映像処理技術（ｂ）に基づく平滑化処理と鮮鋭化処理とのＸ軸上での範囲を示す模式的な図である。 本実施の形態と従来の映像処理技術に基づく平滑化処理結果の例を示して比較した図である。 図２５において、表示を２倍に拡大した場合の平滑化処理結果の例を示して比較した図である。 本実施の形態と従来の映像処理技術に基づく鮮鋭化処理結果の例を示して比較した図である。 図２７において、表示を２倍に拡大した場合の鮮鋭化処理の結果の例を示して比較した図である。 図２８において、表示を１／２倍に縮小した場合の平滑化処理と鮮鋭化処理の結果を、例を示して比較した図である。 特許文献１の実施例１に記載された鮮鋭化処理のエッジ量入力（Ｘ軸）とエッジ量出力（Ｙ軸）との関係を示す図である。 特許文献１の実施例４に記載され平滑化と鮮鋭化とを行う技術の概要について示した図である。 図３１においてαのみを小さくするように変化させた場合における変換特性の例を示す図である。 図３１においてαのみを大きくするように変化させた場合におけるＸ−Ｙ変換特性の例を示す図である。 図３１においてβのみを小さく変化させた場合におけるＸ−Ｙ変換特性の例を示す図である。 図３１においてβのみを大きく変化させた場合におけるＸ−Ｙ変換特性の例を示す図である。 図３１においてγのみを小さくするように変化させた場合におけるＸ−Ｙ変換特性の例を示す図である。 図３１においてγのみを大きくするように変化させた場合におけるＸ−Ｙ変換特性の例を示す図である。 図３１においてＴｈのみを小さくするように変化させた場合におけるＸ−Ｙ変換特性の例を示す図である。 図３１においてＴｈのみを大きくするように変化させた場合におけるＸ−Ｙ変換特性の例を示す図である。 本発明の第２の実施の形態による映像信号調整技術の概要を示す図である図１８において変換を変更した一例を示す図である。 本発明の第２の実施の形態による映像信号変換回路の第２例を示す図１９（ａ）を変更した一例を示す変換式である。 本発明の第２の実施の形態による映像信号変換回路の第２例を示す図１９（ｂ）を変更した一例を示す機能ブロック図である。 本実施の形態による鮮鋭化平滑化処理をソフトウェア処理により行うための処理の第４の流れを示すフローチャート図である。 本発明の第３の実施の形態による映像信号調整技術の概要を示す図である図２１において変換を変更した一例を示す図である。 本発明の第３の実施の形態による映像信号変換回路の第３例を示す図２２（ａ）を変更した一例を示す変換式である。 本発明の第３の実施の形態による映像信号変換回路の第３例を示す図２２（ｂ）を変更した一例を示す機能ブロック図である。 本実施の形態による鮮鋭化平滑化処理をソフトウェア処理により行うための処理の第５の流れを示すフローチャート図である。

Ａ…鮮鋭化処理部、Ｂ…空間フィルタ周辺回路、Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５…映像信号変換回路、Ｄ１…映像、Ｄ２，Ｄ３…映像表示エリア、１…入力映像信号、３…空間フィルタ、５…減算器、７…閾値判定部、１１…ゲイン調整部、１５…乗算器、１７…加算器、２１…出力映像信号Ｙ、３１…レジスタ、３２…式１−３を決定する回路、３３…式１−２を演算する第１の演算回路、３４…式１−１を演算する第２の演算回路、３５…式１−４を演算する第３の演算回路、５１…レジスタ、５２…式２−３を決定する回路、５３…式２−２を演算する第１の演算回路、５４…式２−１を演算する第２の演算回路、５５…式２−４を演算する第３の演算回路、７１…レジスタ、７２…式３−３の閾値を決定する回路、７３…式３−２を演算する第１の演算回路、７４…式３−１を演算する第２の演算回路、７５…式３−４を演算する第３の演算回路、８１…レジスタ、８３…式４−３を決定する回路、８５…式４−２を演算する第１の演算回路、８７…式４−１を演算する第２の演算回路、８９…式４−４を演算する第３の演算回路、９１…レジスタ、９３…式５−３を決定する回路、９５…式５−２を演算する第１の演算回路、９７…式５−１を演算する第２の演算回路、９９…式５−４を演算する第３の演算回路、１０１…入力映像信号、１０３…ラインメモリ、１０５…メモリコントローラ、１０７…空間フィルタ、１１１…遅延回路、１１３…減算回路、１１５…エッジ量入力、１２１…表示装置、１２３…外部接続端子、１２５…制御部、１２７…外部メモリインターフェイスＩ／Ｆ、１３１…映像信号処理部、１３１ａ…鮮鋭化平滑化処理部、１３１ｂ…γ補正部、１３３…表示部、１４１…携帯端末装置、１４３…操作部、１４５…無線通信部、１４７…カメラ、１５１…専用記憶部、１５３…ＲＡＭ／ＲＯＭ、１５５…形状検出部、１５７…レジスタ、１６１…ＴＶ受信部、１６３…外部接続端子、１６５…外部メモリＩ／Ｆ、１６７…電源（バッテリ）、１７１…制御部、１８１…映像信号処理部、１８１ａ…ＲＧＢＹＵＶ変換部、１８１ｂ…鮮鋭化平滑化処理部、１８１ｃ…ＹＵＶＲＧＢ変換部、１８１ｄ…γ補正部、１８３…表示部、１９１…携帯端末装置、１９２…Ｔｈ（閾値）設定部、１９３…β（鮮鋭化）設定部、１９４…α（平滑化）設定部、１９７…アンテナ、２０１…電波塔、２０３…ネットワーク、２０５…サーバ。

以下、本発明の実施の形態による画像処理技術について図面を参照しながら説明を行う。図１Ａは、鮮鋭化処理（アンシャープマスク（ＵＳＭ））のアルゴリズムの概要を示す機能ブロック図である。図１Ａに示すように、鮮鋭化処理部Ａは、まず、入力映像信号（ＲＧＢやＹＵＶ）とその周辺の入力画像信号（空間フィルタ出力）との差分（エッジ量入力）を求める（符号Ｂ）。ここで、空間フィルタ出力は入力映像信号を平滑化したデータとなっている。

鮮鋭化技術では、Ｘ軸上に決められた閾値（Ｔｈ）やゲイン（α）として定義した鮮鋭化の強さを示すパラメータを用いて、エッジ量を乗算して注目画素データに加算することによって、鮮鋭度を強める鮮鋭化を行う。閾値判定・ゲイン調整処理において、エッジ量入力の絶対値が閾値Ｔｈに比べて小さいときは、そのエッジ量入力をノイズとみなして鮮鋭化を行わない。これは、鮮鋭化を行わない方が画質的に良好であるためであり、ノイズとみなす範囲を閾値で指定することができる。ゲイン調整に用いるゲインはエッジ量入力を変換するパラメータであり、ゲインの大小によって鮮鋭化の強さの調整を行い出力映像信号Ｙとする。このようにして、入力映像信号を出力映像信号に変換する。

図１Ｂは、図１Ａの符号Ｂに示す構成の詳細である空間フィルタ周辺回路の一構成例を示す機能ブロック図である。図１Ｂに示すように、入力映像信号１０１は、メモリコントローラ１０５により制御されるラインメモリ１０３（第１から第３までのラインメモリ１０３ａ〜１０３ｃ）に蓄積され、順番に空間フィルタ１０７に出力される。空間フィルタ１０７でフィルタリングされた映像信号は減算回路１１３に出力される。また、ラインメモリ１０３からの出力は遅延回路１１１にも出力され、遅延をもって減算回路１１３に出力される。減算回路１１３では、両方の入力信号の減算処理を行い、エッジ量入力１１５として出力する。

次に、ＵＳＭによる処理イメージについては図１Ｃを参照して説明する。各信号線路から引き出され符号ａ〜ｆまでにより示された図は、画像の画素値を側面からみた各点における模式的な図であり、画素値を上下の高さ方向で示している。入力映像信号１が符号ａに示すような画像であった場合に、例えば３×３の空間フィルタ３によりフィルタリングされると、符号ｂに示すように、平滑化が行われる。次いで、減算器５によりａからｂを減算すると、符号ｃに示すように差分が求められる。符号ｃの信号を用い符号ｄに示すように閾値判定部７により判定を行い、閾値以上の信号についてはゲイン調整部１１においてゲイン調整を行う。一方、閾値未満の場合には信号はなくなる（符号ｅ）。閾値以上の場合の信号に加算器１７において、入力信号ａと加算し、出力映像信号Ｙ２１、すなわち、符号ｆで示される鮮鋭化された信号が得られる。

まず、本発明の第１の実施の形態による映像処理技術について図面を参照しながら説明を行う。

ここで、本明細書に記載の全ての実施例において、Ｘが正の範囲において使用するパラメータ（α１、β１、Ｔｈ１）とＸが負の範囲において使用するパラメータ（α２、β２、Ｔｈ２）を同じパラメータ（α、β、Ｔｈ）を用いて変換できるようにした場合を例として記載する。以下、平滑化パラメータαは０に近いほど小さいと定義し、鮮鋭化パラメータβは０に近いほど小さいと定義し、閾値パラメータＴｈは０に近いほど小さいと定義する。

図２は、本実施の形態による映像信号調整技術の原理を示す図であり、Ｘ−Ｙ変換を行うための図である。図２には、Ｘ−Ｙ変換の式も示されている。

図３１に示すＸ−Ｙ変換図では、閾値パラメータＴｈにおいて、平滑化処理変換と鮮鋭化処理変換の切替えを行っている。一方、図２における本実施の形態によるＸ−Ｙ変換図では、閾値パラメータＴｈは、Ｙ＝０、すなわち、Ｘ軸上に閾値Ｔｈを定め、鮮鋭化を決定する関数がＴｈを通過するように設定している。また、−Ｔｈ〜＋Ｔｈまでを平滑化（ノイズ除去）処理を行う範囲と定め、それよりも外側の範囲を、鮮鋭化処理を行う範囲と定めている。この場合には、図中の式に示すように、Ｙ１＝α・Ｘと、Ｙ２＝β・（Ｘ−Ｔｈ＿ｔ）とで示される２つの１次直線による式のうち、Ｘ軸上において内側の式Ｙ１と外側の式Ｙ２との両方の式の交点がＸ−Ｙ変換式の最大値と最小値となる。この変換式では、用いられるパラメータ（１次式の係数α、β）が、平滑化の強さを示すパラメータα、鮮鋭化の強さを示すパラメータβ、平滑化処理と鮮鋭化処理の切替りを決めるＸ軸上の閾値Ｔｈの３つのみからなるように設定している。

より具体的には、図２において、Ｘが正の範囲において、（Ｘ、Ｙ）＝（０、０）及び（Ｘ，Ｙ）＝（Ｔｈ、Ｙ１＜０）を連続的に結ぶ第１の関数の傾き（平滑化パラメータα）と、（Ｘ，Ｙ）＝（０、Ｙ２＜０）及び（Ｘ，Ｙ）＝（Ｔｈ，０）を連続的に結び、さらにＸ＞Ｔｈ方向に延伸する第２の関数の傾き（鮮鋭化パラメータβ）と、平滑化処理と鮮鋭化処理の切替りを決めるＸ軸上の値（閾値パラメータＴｈ）の３つのパラメータにより映像信号の入出力特性を決定することができる。α、βの値により関数の形状を変化させることができ、ＴｈによりＸ軸と関数との交点を決定することができる。

図３から図８までは、図２に示すα、β、Ｔｈの３つのパラメータをそれぞれ独立して小さくしたり大きくしたりした場合の入出力特性例（Ｙ１、Ｙ２）について示す図である。図３は、αのみを小さくするように変化させた場合の例であり、Ｙ１の傾きが小さくなっているが、Ｙ２はαに依存せず、かつ、Ｙの最大値、最小値は、Ｙ１とＹ２との交点として定まるため、Ｘ−Ｙの変換式の連続性を保つことができる。

図４は、αのみを大きくするように変化させた場合の例であり、Ｙ１の傾きが大きくなっているが、Ｙ２はαに依存せず、かつ、Ｙの最大値、最小値は、Ｙ１とＹ２との交点として定まるため、Ｘ−Ｙの変換式の連続性を保つことができる。図５は、βのみを小さくするように変化させた場合の例であり、Ｙ２の傾きが小さくなっているが、Ｙ１はβに依存せず、かつ、Ｙの最大値、最小値は、Ｙ１とＹ２との交点として定まるため、Ｘ−Ｙの変換式の連続性を保つことができる。図６は、βのみを大きくするように変化させた場合の例であり、Ｙ２の傾きが大きくなっているが、Ｙ１はβに依存せず、かつ、Ｙの最大値、最小値は、Ｙ１とＹ２との交点として定まるため、Ｘ−Ｙの変換式の連続性を保つことができる。図７は、Ｔｈのみを小さくするように変化させた場合の例であり、Ｙ１とＹ２の傾きは変化しておらず、また、Ｙの最大値、最小値は、Ｙ１とＹ２との交点として定まるため、Ｘ−Ｙの変換式の連続性を保つことができる。図８のように、Ｔｈのみを大きく変化させた場合も同様である。

本実施の形態によれば、鮮鋭化特性データと平滑化特性データとの交点を、閾値Ｔｈの内側に設定することにより、鮮鋭化パラメータと平滑化パラメータとを閾値Ｔｈとは独立に切替えるとともに鮮鋭化特性データと平滑化特性データとを常に連続にすることができるため、滑らかな高画質な映像を得ることができる。また、３つのパラメータ毎にそれぞれ異なった出力映像信号を得ることができる。

表１は、本実施の形態による映像信号調整技術におけるパラメータの設定例を示すものである。１／２倍に縮小時、２倍に拡大時のα、β、Ｔｈも示している。表示装置の概要としては、サイズが２４．１型、画素ピッチが０．２７×０．２７ｍｍのカラーＴＦＴ液晶パネルであり、推奨解像度は１９２０ｘ１２００である。フィルタの設定としては、フィルタサイズが５×５、フィルタ係数が全て“１”である。表示画像は、画像の種類が静止画であり、画像サイズが４８０×６４０であり、ＹＵＶのＹ（輝度）成分に対して処理を行った。

表１に示す３つのパラメータの設定のみで、鮮鋭化と平滑化が両立された高画質な画像表示がされていることを確認できる。モニターのサイズや画素ピッチ、拡大縮小アルゴリズム等の条件に応じた調整が必要になるが、例示的に示す表１の値をベースにして映像の調整を行うことができる。３つのパラメータ毎にそれぞれ異なった出力映像信号を得ることができるため、映像を表示する装置の特性（解像度、画面サイズ、映像のビット数）に合わせた調整が可能となり、高画質な映像を得ることができる。

図９（ｂ）は、本実施の形態による映像信号変換回路の一例を示す機能ブロック図である。図９（ａ）は、各機能ブロックにおける演算式を示す図である。図９（ｂ）に示す映像信号変換回路Ｃ１は、閾値Ｔｈ、β、αの値を格納するレジスタ３１と、式１−３の閾値を決定する回路３２、式１−２を演算する第１の演算回路３３、式１−１を演算する第２の演算回路３４、式１−４を演算する第３の演算回路３５、を有している。第３の演算回路３５は、Ｙ１とＹ２との最大値を求める回路３６と、Ｙ１とＹ２との最小値を求める回路３７と、それぞれの出力からＹを求めて出力する回路３８と、を有している。入力信号Ｘは、回路３２・３３・３４・３８に入力されている。回路Ｃ１からはＹが出力される。この構成によれば回路規模を小さくしながら映像信号に基づく表示の高品質化を図ることができる。

以下、この鮮鋭化平滑化回路を利用した具体的な装置への応用例について説明する。図１０は、本実施の形態による映像信号処理回路（鮮鋭化平滑化処理部１３１ａ）を有する表示装置１２１の一構成例を示す図である。表示装置１２１は、外部接続端子１２３と、制御部１２５と、外部メモリインターフェイスＩ／Ｆ１２７と、映像信号処理部１３１と、表示部１３３とを有している。外部接続端子１２３又は外部メモリインターフェイスＩ／Ｆ１２７から、映像入力信号を取得し、制御部１２５の指示に基づいて、映像信号処理部１３１でγ補正と前述の鮮鋭化平滑化処理部１３１ａにより信号処理を行う。このようにして処理された出力映像信号を表示部１３３に出力して映像を表示させることができる。

図１１は、本実施の形態による鮮鋭化平滑化回路を用いた携帯端末装置１４１の一構成例を示す機能ブロック図である。図１１に示すように、本実施の形態による携帯端末装置１４１は、操作部１４３と、無線通信部１４５と、カメラ１４７と、専用記憶部１５１と、ＲＡＭ／ＲＯＭ１５３と、例えば折り畳み型の携帯端末装置の形状を検出する形状検出部１５５と、レジスタ１５７と、ＴＶ受信部１６１と、外部接続端子１６３と、外部メモリＩ／Ｆ１６５と、電源（バッテリ）１６７と、制御部（ＣＰＵ）１７１と、出力映像信号を出力する映像信号処理部１８１と、出力された映像信号に基づく表示をする表示部１８３と、を有している。

映像信号処理部１８１は、ＲＧＢＹＵＶ変換部１８１ａと、鮮鋭化平滑化処理部１８１ｂと、ＹＵＶＲＧＢ変換部１８１ｃと、γ補正部１８１ｄと、を有している。このように、携帯端末装置１４１の映像信号処理部１８１に、本実施の形態による鮮鋭化平滑化処理部を利用することで、高画質な映像を簡単に得ることができる。

図１２は、図１１に示す携帯端末装置の表示部１８３に鮮鋭化平滑化処理部の調整パラメータを変更できるユーザインターフェイスを表示させた例を示す図である。携帯端末装置１９１には、表示部１８３と、操作部１４３と、アンテナ１９７とが設けられている。表示部１８３に表示した３つのパラメータＴｈ（閾値）１９２、β（鮮鋭化）１９３、α（平滑化）１９４の設定値を操作部１４３によってそれぞれ変更することができるようになっている。（図では、閾値１９２を調整している様子が示されている。）。携帯端末装置のメーカ側が、出荷時に表示の個体差を無くすためにパラメータ調整することもできるし、ユーザが好みに応じて調整することもできる。ここで、調整パラメータを変更しながら、映像を確認できる構成が好ましい。例えば、メニュー表示を表示部１８３にスーパーインポーズにより表示させ、映像は全画面表示で調整後の映像が確認できるようにしておくこともできる。また、設定用の表示部を別途設けておいてもよい。

図１３は、本実施の形態による映像処理技術の利用シーンの一例を示す図である。全体を制御するのは、制御部（ＣＰＵ）１７１である。ユーザからのパラメータ設定は操作部１４３により行うことができる。また、無線通信部１４５から無線通信によりパラメータ設定することができる。形状検出部１５５からの検出結果により携帯端末装置を制御することも可能である。例えば、形状検出部１５５によって、携帯端末装置の表示部の縦表示、横表示を検出することが可能となる。また、後述するように、テレビジョン（ＴＶ）受信部１６１から放送データによるパラメータ設定も可能である。

入力映像信号は、無線通信部１４５、カメラ１４７、外部メモリＩ／Ｆからの動画・静止画など及びＴＶ受信部１６１からのデジタル放送の映像などをソースとして取得され、映像信号処理部１８１の鮮鋭化平滑化処理部１８１ｂにおいて、本実施の形態による鮮鋭化・平滑化処理が行われる。この処理を行うためのパラメータが上記の各設定部から設定され制御部１７１を介してレジスタ１５７に設定されている設定値を更新することができる。更新されたパラメータを用いて入力映像の鮮鋭化処理・平滑化処理が行われる。出力映像信号を表示部１８３に出力して映像を表示させることができる。

さらに、出力映像信号は、制御部１７１にも送ることができ、この出力映像信号（動画・静止画）を、無線通信部１４５、外部接続端子１６３、ハードディスク・メモリカードなどの専用記憶部１５１に出力するようにすることもできる。設定に基づくパラメータ値も同様に、無線通信部１４５、外部接続端子１６３、専用記憶部１５１に出力することができる。

図１４は、映像信号処理部における処理の流れを示す図である。図１４に示すように、入力映像信号がまず、ＲＧＢＹＵＶ変換部１８１ａに入力され、次いで、鮮鋭化平滑化処理部１８１ｂにおいて本実施の形態による変換処理が行われ、次いで、ＹＵＶＲＧＢ変換部１８１ｃにおいて変換が行われ、次いで、ガンマ補正部１８１ｄにおいてガンマ補正が行われ、出力映像信号が出力される。

図１５は、設定値の送受信を行う利用シーンの一例を示す図である。例えば、ユーザＡが使用している携帯端末装置１９１ａの設定値を、ネットワーク２０３を介して直接ユーザＢの使用している携帯端末装置１９１ｂに送信するようにしても良い。この設定値とは、テレビ電話の自画像送信に合わせたパラメータとして送信する設定値、電波塔２０１から放送されるＴＶ放送であって視聴中のテレビジョン（ＴＶ）放送にマッチングするように自分が調整した結果の設定値などをやり取りすることで、ユーザ同士で調整値を共有するようにすることができる。また、調整したパラメータを用いて変換されたＴＶ電話の画像自体も送受信が可能である。尚、テレビジョン放送のコンテンツ（番組）自体に設定値が付与されていてもよい。サーバ２０５を介して、設定値付きの映像コンテンツをダウンロードできるようにしてもよい。この場合にも、動画コンテンツにマッチングした設定値を合わせて取得するようにし、映像コンテンツにマッチングした調整値をレジスタに設定することができる。以上のように、様々な形態でコンテンツを取得する際に、コンテンツにマッチングしたパラメータの設定値を合わせて取得することにより、コンテンツに適したパラメータにより鮮鋭化平滑化処理を行うことができる。

図１６は、表示される映像の拡大・縮小に関する表示の一例を示す図である。符号１９７はＴＶ受信用のアンテナである。この映像にマッチした放送データによる設定、ユーザ同士の共有設定がある場合は、それをベースに表示ができる。無い場合でも、前述のようなユーザＩ／Ｆを用意しておけば、ユーザが望む映像に調整することが簡単にできる。

例えば、携帯端末装置１９１のテレビで受信した映像をＤ１で示すと、Ｄ２に示すように、携帯端末装置１９１の表示部１８３に対して縦画面の表示時に映像表示エリアＤ２が受信した映像Ｄ１よりも解像度が小さい場合、映像表示エリア内に表示させるため、ＴＶ映像を縮小する必要がある。一方、Ｄ３に示すように、横画面の表示時に映像表示エリアＤ３が受信した映像Ｄ１よりも解像度が大きい場合に表示部全体に表示させるには、ＴＶ映像を拡大する必要がある。拡大する場合には、平滑化するデータの割合を少なくし、鮮鋭化するデータの割合を多くすることで、表示の品質を向上させることができる。一方、縮小する場合は、平滑化するデータの割合を多くし、鮮鋭化するデータの割合を少なくするような調整を行うことにより、あまりきつくない表示として見やすくすることができる。

尚、操作は、操作部１４３によるユーザの単純なキー操作だけでなく、筐体の形状を変化（例えば表示部の回転動作など）させることを含み、その際の形状検出を行うことによる自動的な操作を含むものである。例えば、図１３の形状検出部１５５などで形状検出が可能となる。この場合には、制御部（図示せず）は、形状検出部により縦画面表示か横画面表示かを判定し、レジスタの設定値を必要に応じて更新する。

図１７は、本実施の形態による鮮鋭化処理・平滑化処理の流れを示すフローチャート図である。まず、ステップＳ１に示すように、処理を開始し（ＳＴＡＲＴ）、ステップＳ２において、Ｙ１＝α・Ｘの演算を行う。次いで、ステップＳ３において、Ｘが正か負かを判定する。負の場合には（Ｙｅｓ）ステップＳ４に進み、正の場合には（Ｎｏ）ステップＳ５に進む。ステップＳ４においては、Ｔｈ＿ｔを−Ｔｈとする。ステップＳ５においては、Ｔｈ＿ｔをＴｈとする。次いで、ステップＳ６・Ｓ７において、Ｙ２＝β・（Ｘ−Ｔｈ＿ｔ）を求める。さらに、ステップＳ８ではＹ＝ｍｉｎ（Ｙ１，Ｙ２）を、ステップＳ９ではＹ＝ｍａｘ（Ｙ１，Ｙ２）を求め、処理を終了する（ステップＳ１０）。このように、ソフトウェア処理により図２に示すような鮮鋭化平滑化処理を行うこともできる。

以上に説明したように、本実施の形態によれば、原点を通過する関数として定義される第１の関数の係数を平滑化パラメータ（α）とし、閾値Ｔｈを通過する関数として定義される第２の関数の係数を鮮鋭化パラメータ（β）とすることにより、鮮鋭化平滑化処理が簡単になる。

また、３つのパラメータ毎にそれぞれ異なった出力映像信号を得ることができるため、拡大・縮小時（例：ＴＶ放送の縦表示、横表示）においても、高画質な映像を得ることができる。

次に、本発明の第２の実施の形態による映像処理技術について図面を参照しながら説明を行う。

図１８は、本実施の形態による映像処理技術の原理を示す図であり、Ｘ−Ｙ変換を行うための図である。図１８に示すように、平滑化（ノイズ除去）を行う関数が原点と閾値Ｔｈ、−Ｔｈを通る２次曲線Ｙ１＝α＿ｔ・Ｘ・（Ｘ−Ｔｈ＿ｔ）により表され、鮮鋭化を行う関数が閾値Ｔｈ、−Ｔｈを通る直線Ｙ２＝β・（Ｘ−Ｔｈ＿ｔ）により表される。この手法を用いると、第１の実施の形態の場合よりも回路規模や処理量は大きくなるが、画像の変化がより一層滑らかになるという利点がある。

図１９は、本実施の形態による映像信号変換回路の一例を示す機能ブロック図である。図１９（ａ）に、各機能ブロックにおける演算式を示す。図１９（ｂ）に示す映像信号変換回路Ｃ２は、閾値Ｔｈ、β、αの値を格納するレジスタ５１と、式２−３の閾値とαとを決定する回路５２、式２−２を演算する第１の演算回路５３、式２−１を演算する第２の演算回路５４、式２−４を演算する第３の演算回路５５、を有している。第３の演算回路５５は、Ｙ１とＹ２との最大値を求める回路５６と、Ｙ１とＹ２との最小値を求める回路５７と、それぞれの出力からＹを求めて出力する回路５８と、を有している。入力信号Ｘは、回路５２・５３・５４・５８に入力されている。回路Ｃ２からはＹが出力される。この構成によれば回路規模を小さくしながら映像信号に基づく表示のより一層の高品質化を図ることができる。

図２０は、本実施の形態による処理をソフトウェア処理による行うための処理の流れを示すフローチャート図である。まず、ステップＳ１１に示すように、処理を開始し（ＳＴＡＲＴ）、ステップＳ１２において、Ｘが正か負かを判定する。負の場合には（Ｙｅｓ）ステップＳ１３に進み、正の場合には（Ｎｏ）ステップＳ１４に進む。ステップＳ１３においては、α＿ｔ＝−α、Ｔｈ＿ｔ＝−Ｔｈとし、ステップＳ１４においては、α＿ｔ＝α、Ｔｈ＿ｔ＝Ｔｈとする。次いで、ステップＳ１５において、Ｙ１ = α＿ｔ・Ｘ・（Ｘ − Ｔｈ＿ｔ）を求める。さらに、ステップＳ１６ではＹ２＝β・（Ｘ−Ｔｈ＿ｔ）を求める。ステップ１７において、Ｘの条件を判定する。Ｙｅｓの場合にはステップ１８においてＹ＝ｍａｘ（Ｙ１，Ｙ２）を求め、Ｎｏの場合には、ステップＳ１９においてＹ＝ｍｉｎ（Ｙ１，Ｙ２）を求め、処理を終了する（ステップＳ２０）。このように、ソフトウェア処理により鮮鋭化平滑化処理を行うこともできる。

以上に説明したように、本実施の形態によれば、原点を通過する関数として定義される第１の関数である２次曲線の係数を平滑化パラメータ（α）とし、閾値Ｔｈを通過する関数として定義される第２の関数である直線の傾きを鮮鋭化パラメータ（β）とすることにより、鮮鋭化平滑化処理が簡単になる。

また、３つのパラメータ毎にそれぞれ異なった出力映像信号を得ることができるため、拡大・縮小時（例：ＴＶ放送の縦表示、横表示）においても、高画質な映像を得ることができる。この構成によれば回路規模を小さくしながら映像信号に基づく表示のより一層の高品質化を図ることができる。

次に、本発明の第３の実施の形態による映像処理技術について図面を参照しながら説明を行う。

図２１は、本実施の形態による映像処理技術の原理を示す図であり、Ｘ−Ｙ変換を行うための図である。図２１に示すように、平滑化（ノイズ除去）を行う関数が、原点と閾値Ｔｈ、−Ｔｈを通る３次曲線Ｙ１＝α・Ｘ・（Ｘ−Ｔｈ＿ｔ）・（Ｘ＋Ｔｈ＿ｔ）により表され、鮮鋭化を行う関数が、閾値Ｔｈ、−Ｔｈを通る直線Ｙ２＝β・（Ｘ−Ｔｈ＿ｔ）により表される。この手法を用いると、第１の実施の形態の場合よりも回路規模や処理量は大きくなるが、第２の実施例と同様に画像の変化が滑らかになるという利点がある。

図２２は、本実施の形態による映像信号変換回路の一例を示す機能ブロック図である。図２２（ａ）に、各機能ブロックにおける演算式を示す。図２２（ｂ）に示す映像信号変換回路Ｃ３は、閾値Ｔｈ、β、αの値を格納するレジスタ７１と、式３−３により閾値Ｔｈ＿ｔを求める回路７２と、式３−２より、β・（Ｘ−Ｔｈ＿ｔ）を求める第１の演算回路７３と、式３−１より、α・Ｘ（Ｘ−Ｔｈ＿ｔ）・（Ｘ＋Ｔｈ＿ｔ）を求める第２の演算回路７４と、式３−４に基づいてＹを求める第３の演算回路７５と有している。第３の演算回路７５は、Ｙ１とＹ２との最大値を求める回路７６と、Ｙ１とＹ２との最小値を求める回路７７と、それぞれの出力からＹを求めて出力する回路７８と、を有している。入力信号Ｘは、回路７２・７３・７４・７８に入力されている。回路Ｃ３からはＹが出力される。この構成によれば映像信号に基づく表示のより一層の高品質化を図ることができる。

図２３は、本実施の形態による処理をソフトウェア処理による行うための処理の流れを示すフローチャート図である。まず、ステップＳ３１に示すように、処理を開始し（ＳＴＡＲＴ）、ステップＳ３２において、Ｘが正か負かを判定する。負の場合には（Ｙｅｓ）ステップＳ３３に進み、正の場合には（Ｎｏ）ステップＳ３４に進む。ステップＳ３３においては、Ｔｈ＿ｔ＝−Ｔｈとし、ステップＳ３４においては、Ｔｈ＿ｔ＝Ｔｈとする。次にステップＳ３５において、Ｙ１ = α・Ｘ・（Ｘ−Ｔｈ＿ｔ）・（Ｘ＋Ｔｈ＿ｔ）を求め、ステップＳ３６において、Ｙ２＝β・（Ｘ−Ｔｈ＿ｔ）を求める。ステップ３７において、Ｘの条件を判定する。Ｙｅｓの場合にはステップ３８においてＹ＝ｍａｘ（Ｙ１，Ｙ２）を求め、Ｎｏの場合には、ステップＳ３９においてＹ＝ｍｉｎ（Ｙ１，Ｙ２）を求め、処理を終了する（ステップＳ４０）。このように、ソフトウェア処理により鮮鋭化平滑化処理を行うこともできる。

以上に説明したように、本実施の形態によれば、原点を通過する関数として定義される第１の関数である３次曲線の係数を平滑化パラメータ（α）とし、閾値Ｔｈを通過する関数として定義される第２の関数である直線の傾きを鮮鋭化パラメータ（β）とすることにより、鮮鋭化平滑化処理が簡単になる。

また、３つのパラメータ毎にそれぞれ異なった出力映像信号を得ることができるため、拡大・縮小時（例：ＴＶ放送の縦表示、横表示）においても、高画質な映像を得ることができる。この構成によれば映像信号に基づく表示のより一層の高品質化を図ることができる。

さらに、ｎ（ｎは４以上の整数）曲線を用いることもできる。尚、直線、２次曲線などは、完全な曲線でなくても良く、Ｘ軸との交点なども完全に原点や閾値と一致していなくても、良い。また、例えば、図１９（ｂ）の５５で示した演算回路を簡単にしたい場合は必ず閾値で平滑化処理と鮮鋭化処理を切替わるようにすればよい。その場合の演算式は図４１（ａ）のような式を用いればよい。入出力特性は図４０のようになる。図４１（ｂ）は映像信号変換回路の一例を示す機能ブロック図であり、図４２はソフトウェア処理による行うための処理の流れを示すフローチャート図である。また、例えば、図２２（ｂ）の７５で示した演算回路を簡単にしたい場合は、同様に必ず閾値で平滑化処理と鮮鋭化処理を切替わるようにすればよい。その場合の演算式は図４４（ａ）のような式を用いればよい。入出力特性は図４３のようになる。図４４（ｂ）は映像信号変換回路の一例を示す機能ブロック図であり、図４５はソフトウェア処理による行うための処理の流れを示すフローチャート図である。また、パラメータ（α、β、Ｔｈ）は、Ｘが正の範囲において使用するパラメータ（α１、β１、Ｔｈ１）と、Ｘが負の範囲において使用するパラメータ（α２、β２、Ｔｈ２）のように、Ｘの範囲が正と負との場合において別の値を用いて処理してもよい。また、例えば、閾値パラメータはパラメータではなく固定値としてもよく、その場合は更に回路規模が小さくすることができる。つまり、３つのパラメータのうちの少なくとも１つが可変であれば良い。

（本実施の形態による映像処理結果の例）
以下に、図２に基づく映像処理と図３０に基づく映像処理結果の比較例について説明する。以下、フィルタサイズが３×３、フィルタ係数は全て１の場合を例に説明する。但し、フィルタサイズが、５×５、７×７のような場合や、フィルタ係数が異なるものを設定してもよい。また、データはＹＵＶのＹ（輝度）成分に対して処理を行う場合を例に説明する。但し、データはＹＣｂＣｒ、ＹＰｂＰｒ、ＹＩＱのＹや、Ｌ＊ｕ＊ｖ＊、Ｌ＊ａ＊ｂ＊のＬ、ＲＧＢなどに対しても同様に処理することができる。

図２４は、本発明の第１の実施の形態（ａ）と特許文献１の実施例１の映像処理技術（ｂ）に基づくＸ軸上での範囲を示す模式的な図である。従来の映像処理では、閾値Ｔｈを境界として、鮮鋭化を行う領域と、鮮鋭化を行わない領域に分けられる。一方、本実施の形態による映像処理においては、エッジ量入力Ｘ軸において、Ｘ＝０から平滑化処理の特性を示すＹ１と鮮鋭化処理の特性を示すＹ２との交点までの範囲は、平滑化処理が行われ、Ｘの絶対値が閾値Ｔｈより大きい範囲では鮮鋭化処理が行われ、その中間領域では平滑化処理と鮮鋭化処理との中間的な処理が行われる。

図２５は、本実施の形態と従来の映像処理技術に基づく平滑化処理結果の例を示して比較した図である。上から順番に、パラメータであるβ＝１、α＝−１、Ｔｈ＝３の場合、β＝２（２倍）、α＝−１、Ｔｈ＝３の場合、β＝１、α＝−０．５（半分）、Ｔｈ＝３の場合、β＝１、α＝−１、Ｔｈ＝６（２倍）の場合の例である。左から順番に、５×５の入力映像信号（輝度）、エッジ量入力（四捨五入した値）、従来技術に基づく出力映像信号、本実施の形態による出力映像信号の例を示す図である。右端には、輝度の面内での標準偏差が示されている。平滑化されるデータがあるため、従来技術より標準偏差が小さくなっており、画像は滑らかで高画質となることがわかる。また、鮮鋭化パラメータを２倍にした場合においても、鮮鋭化データがないため、鮮鋭化パラメータを２倍にしない場合と同様に、通常時と標準偏差に変化がなく、従来技術より画像は滑らかで高画質となる。また、αを半分にした場合には、平滑化の強さを示すパラメータを弱くするように変更したため、通常時から標準偏差が変化（増加）したが、それでも、従来技術よりは画像は滑らかで高画質となっていることがわかる。

さらに、閾値を変更した場合においても、ノイズとみなす範囲を増やしたことにより、全てのデータがノイズとみなす範囲に含まれることになったため、標準偏差は最も小さくなっており、平滑化効果（ノイズ除去効果）は最も高く、高画質となることがわかる。平滑化から鮮鋭化へ切替わる境目が連続であるため各パラメータを単独で変更できる。また、特許文献１の実施例４ではこのような変換はできない。また従来技術では出力結果に変化が無いが、本実施の形態では出力データに変化があり、様々な平滑化効果を出すことができ高画質化が実現できる。

図２６は、図２５において、表示を２倍に拡大した場合の平滑化処理結果の例を示して比較した図である。特徴として、通常時よりもエッジ量入力が拡大前と比べて小さくなっていることが分かる。本実施の形態では、全てが平滑化されるデータとなるため、従来技術より標準偏差が小さく、画像は滑らかで高画質となることがわかる。この場合には、エッジ量入力が拡大前と比較して小さくなっており、この例では全ての画素が平滑化されている。

図２７は、本実施の形態と従来の映像処理技術に基づく鮮鋭化処理結果の例を示して比較した図であり、図２５に対応する図である。上から順番に、パラメータであるβ＝１、α＝−１、Ｔｈ＝６の場合、β＝２（２倍）、α＝−１、Ｔｈ＝６の場合、β＝１、α＝−０．５（１／２倍）、Ｔｈ＝６の場合、β＝１、α＝−１、Ｔｈ＝１２（２倍）の場合の例である。本実施の形態では、それぞれ平滑化されるデータと鮮鋭化されるデータがある。また、鮮鋭化処理と平滑化処理の切替りが連続的であるため、従来技術に比べて画像は滑らかで高画質となることがわかる。

図２８は、図２７において、表示を２倍に拡大した場合の鮮鋭化処理結果の例を示して比較した図である。ここで、設定値は通常時と同様にβ＝１、α＝−１、Ｔｈ＝６を用いている。この場合には、鮮鋭化を行いたかったのだが、エッジ量入力が拡大前と比べて小さくなっているため、その結果、全てが平滑化されるデータとなっていることがわかる。２倍拡大時も通常時と同様に鮮鋭化を行いたい場合は、通常時と同様の設定では、本実施の形態の出力結果全てが平滑化されてしまう。図２６で示した平滑化効果確認の拡大時も同様であったように、拡大アルゴリズムによっては通常時と同様のパラメータを拡大時にも用いると、エッジ量入力が拡大前と比べて小さくなっているため、拡大時はかなりの画素が平滑化されてしまう結果となる。従って、拡大時は平滑化するデータの割合を少なくし、鮮鋭化するデータの割合を多くする方が高画質化となるため、閾値Ｔｈを小さくする、平滑化量を決定するパラメータαを小さくする、鮮鋭化量を示すパラメータβを大きくする、のいずれかの処理のうち、少なくとも３つのうちの１つを行うことで高画質化が可能となる。よってここでは例えば、拡大時はβ＝２（２倍）、α＝−１、Ｔｈ＝３（１／２倍）に設定すればよい。また、前段の拡大アルゴリズムがどのようなものであるか確認できていなくとも、出力結果を見たうえで、３つのパラメータを調整できるため、ユーザが望む画像に調整できる。

また、図２９は、図２８で拡大した画像を１／２倍に縮小した際のデータを入力映像信号として平滑化と鮮鋭化の処理を行った結果を示す図である。ここで、設定値を拡大時の高画質化パラメータとして提案した値であるβ＝２、α＝−１、Ｔｈ＝３を同様に用いてしまうと、エッジ量入力が縮小前（図２８のエッジ量入力）と比べて大きくなっているため、かなりの画素が鮮鋭化されてしまう結果となることが予測できる。よって例えば、１／２倍縮小時に拡大時と同様に高画質化したい場合は、縮小時に閾値Ｔｈを大きくする、平滑化量を決定するパラメータαを大きくする、鮮鋭化量を示すパラメータβを小さくする、のいずれかの処理のうち、少なくとも３つのうちの１つを行った設定値を縮小に設定することで高画質化が可能となる。この従来技術及び本実施の形態による出力映像信号は、β＝１（１／２倍）、α＝−１、Ｔｈ＝６（２倍）を用いて処理を行った場合を示している。本実施の形態の出力結果を見ると、鮮鋭化処理と平滑化処理が共に連続的に行われ、高画質化が可能となっていることが分かる。前段の縮小アルゴリズムがどのようなものであるか確認できていなくとも、出力結果を見たうえで、３つのパラメータを調整できるため、ユーザが望む画像に調整できる。

（まとめ）
本実施の形態によれば、入力映像信号を空間フィルタにより処理した出力信号との差分であるエッジ量入力Ｘと、エッジ量入力Ｘを変換することによって得られるエッジ量出力ＹとのＸ−Ｙ入出力特性において、鮮鋭化されるデータと平滑化されるデータの切替りが常に連続であるため、滑らかな高画質な映像を得ることができる。また、３つのパラメータ毎にそれぞれ異なった出力映像信号を得ることができ、拡大・縮小時（例：ＴＶ放送の縦表示、横表示）においても、高画質な映像を得ることができる。また、映像を表示する装置の特性（解像度、画面サイズ、映像のビット数）に合わせた調整ができるため、高画質な映像を得ることができる。さらに、パラメータ調整の自由度を高めることができる。

尚、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。例えば、エッジ量入力Ｘとエッジ量出力Ｙとにより画定されるＸ−Ｙ平面のＸが正の範囲において、原点を通り、０＜Ｘ＜Ｔｈ１の時に平滑化処理を行う第１の関数（関数１）と記載されている場合に、第１の関数が原点の近傍を通っていれば、完全に原点を通っていなくても、本発明の範囲内に入るものである。また、閾値をＸ値とするＸ軸上の点（Ｔｈ１，０）を通り、０＜Ｘ＜Ｔｈ１の時に平滑化処理を行い、Ｘ＞Ｔｈ１の時に鮮鋭化処理を行う第２の関数（関数２）に関しても、点（Ｔｈ１，０）を通っていなくてもその近傍を通っていれば本発明の範囲内に入るものである。

すなわち、本発明は、入力映像信号に平滑化処理と鮮鋭化処理とを行い出力映像信号とする映像信号回路であって、前記入力映像信号のエッジ量入力（Ｘ）をエッジ量出力（Ｙ）に変換する際に、前記平滑化処理の強度を決める平滑化係数（α）と、前記鮮鋭化処理の強度を決める鮮鋭化係数（β）と、前記平滑化処理と前記鮮鋭化処理の切替り位置（Ｘ）を決める閾値（Ｔｈ）と、の３つがあり、そのうちの少なくとも１つが可変パラメータである連続した関数により映像信号の入出力特性が決められることが特徴であり、当業者の想到する範囲内で種々の変更・置換等が可能であり、これらの場合であっても本発明の範囲内に入るものである。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

本発明は、映像処理回路に利用可能である。

Claims (8)

1. 入力映像信号に平滑化処理と鮮鋭化処理とを行い出力映像信号とする映像信号回路であって、
   前記入力映像信号のエッジ量入力（Ｘ）をエッジ量出力（Ｙ）に変換する際に、
   前記エッジ量入力Ｘと前記エッジ量出力Ｙとにより画定されるＸ−Ｙ平面のＸが正の範囲において、
   前記平滑化処理の強度を決める平滑化係数（α１）と、
   前記鮮鋭化処理の強度を決める鮮鋭化係数（β１）と、
   前記平滑化処理と前記鮮鋭化処理の切替りを決める閾値（Ｔｈ１）と、
   の３つのうち１つ以上を可変パラメータとして映像信号の入出力特性を決定し、
   原点を通り、０＜Ｘ＜Ｔｈ１の時に平滑化処理を行う傾きがα１である第１の関数（関数１）と、
   前記閾値をＸ値とするＸ軸上の点（Ｔｈ１，０）を通り、０＜Ｘ＜Ｔｈ１の時に平滑化処理を行い、Ｘ＞Ｔｈ１の時に鮮鋭化処理を行う傾きがβ１である第２の関数（関数２）とを設け、
   前記閾値Ｔｈ１は、０＜Ｘ＜Ｔｈ１の時にＹを負にする平滑化処理を行い、Ｘ＞Ｔｈ１の時にＹを正にする鮮鋭化処理を行う値として定義され、
   前記関数１と関数２とが、０＜Ｘ＜Ｔｈ１の領域で交点を持つ場合に、Ｙ値が大きい方の前記関数を選択することを特徴とする映像信号処理回路。
2. 入力映像信号に平滑化処理と鮮鋭化処理とを行い出力映像信号とする映像信号回路であって、
   前記入力映像信号のエッジ量入力（Ｘ）をエッジ量出力（Ｙ）に変換する際に、
   前記エッジ量入力Ｘと前記エッジ量出力Ｙとにより画定されるＸ−Ｙ平面のＸが負の範囲において、
   前記平滑化処理の強度を決める平滑化係数（α２）と、
   前記鮮鋭化処理の強度を決める鮮鋭化係数（β２）と、
   前記平滑化処理と前記鮮鋭化処理の切替りを決める閾値（Ｔｈ２）と、
   の３つのうち１つ以上を可変パラメータとして映像信号の入出力特性を決定し、
   原点を通り、Ｔｈ２＜Ｘ＜０の時に平滑化処理を行う傾きがα２である第１の関数（関数１）と、
   前記閾値をＸ値とするＸ軸上の点（Ｔｈ２，０）を通り、Ｔｈ２＜Ｘ＜０の時に平滑化処理を行い、Ｘ＜Ｔｈ２の時に鮮鋭化処理を行う傾きがβ２である第２の関数（関数２）とを設け、
   前記閾値Ｔｈ２は、Ｔｈ２＜Ｘ＜０の時にＹを正にする平滑化処理を行い、Ｘ＜Ｔｈ２の時にＹを負にする鮮鋭化処理を行う値として定義され、
   前記関数１と関数２とが、Ｔｈ２＜Ｘ＜０の領域で交点を持つ場合に、Ｙ値が小さい方の前記関数を選択することを特徴とする映像信号処理回路。
3. 前記関数１及び関数２は、以下のいずれかの式によって表されることを特徴とする請求項１又は２に記載の映像信号処理回路。
   

   

   
   

   

   
   

   
4. 前記入力映像信号を拡大する場合に、前記閾値Ｔｈを変更して平滑化するデータの割合を少なくし鮮鋭化するデータの割合を多くする第１の処理、前記平滑化係数αを変更して平滑化の強さを小さくする第２の処理、前記鮮鋭化係数βを変更して鮮鋭化の強さを大きくする第３の処理、の少なくともいずれか１つの処理を実行することを特徴とする請求項１から３までのいずれか１項に記載の映像信号処理回路。
5. 前記入力映像信号を縮小する場合に、前記閾値Ｔｈを変更して平滑化するデータの割合を多くし鮮鋭化するデータの割合を少なくする第１の処理、前記平滑化係数αを変更して平滑化の強さを大きくする第２の処理、前記鮮鋭化係数βを変更して鮮鋭化の強さを小さくする第３の処理、の少なくともいずれか１つの処理を実行することを特徴とする請求項１から３までのいずれか１項に記載の映像信号処理回路。
6. 請求項１から５までのいずれか１項に記載の映像信号処理回路の出力映像信号に基づく表示を行う表示部を有することを特徴とする表示装置。
7. 請求項６に記載の表示装置を備えることを特徴とする携帯端末装置。
8. 入力映像信号に平滑化処理と鮮鋭化処理とを行い出力映像信号とする映像信号処理方法であって、
   前記入力映像信号のエッジ量入力（Ｘ）をエッジ量出力（Ｙ）に変換することによって得られる関係を示すＸ−Ｙ入出力特性において、前記平滑化処理と前記鮮鋭化処理の切替りを決める閾値ＴｈをＸ軸上（Ｙ＝０）に設定するステップと、
   原点を通り、｜Ｘ｜＜Ｔｈ（−Ｔｈ＜Ｘ＜Ｔｈ）の時に平滑化処理を行う第１の関数（関数１）と、前記閾値を通り、｜Ｘ｜＜Ｔｈ（−Ｔｈ＜Ｘ＜Ｔｈ）の時に平滑化処理を行い、｜Ｘ｜＞Ｔｈ（Ｘ＜−Ｔｈ又はＸ＞Ｔｈ）の時に鮮鋭化処理を行う第２の関数（関数２）であって、前記関数１と前記関数２とが交差することにより決められる入出力変換特性に基づく変換処理を行うステップと、を有することを特徴とする映像信号処理方法。

Images