JP4635629B2 - サンプリングレート変換装置及び画像信号処理方法 - Google Patents

Description

本発明は、複数のサブピクセルにより構成される画素が、マトリクス状に配列されたディスプレイに入力画像信号を表示させるために、入力画像信号のサンプリングレートの変換を行うサンプリングレート変換装置、及び該サンプリングレート変換装置に適用される画像信号処理方法に関する。

様々な表示装置（ディスプレイ）のうち、マトリクス状に画素が配列されて、一定の順序で画素を発光させるディスプレイでは、各信号データ値に各画素が対応している。このようなディスプレイには、例えばＰＤＰ（Plasma Display Panel）、ＬＣＤ（Liquid Crystal Display）などのフラットパネルディスプレイ（ＦＰＤ）が該当する。

これらのディスプレイでは、図１（Ａ）に示すように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色に対応する３つの発光素子（サブピクセル）が配列されており、これらを１画素として輝度や色彩を再現している。そして、このようなディスプレイを備える画像表示装置は、図２に示すように、画素数変換部１０１、マトリクス部１０２、及びパネル１０６を有する。画素数変換部１０１は、入力された信号の画素数を、画素数変換により、ディスプレイの画素数に合わせる。信号の画素数とディスプレイの画素数が一致している場合もあるが、近年信号源が多様化しているため、このような画素数変換部１０１はほぼ必須となっている。

ここで入力される信号は、テレビジョンの伝送信号である輝度信号Ｙ及び色差信号Ｕ、Ｖからなる。色差信号（ＵＶ信号）は、ＮＳＴＣ（National Television Standards Committee）などの標準信号（ＳＤ信号）では、色差信号（Ｂ−Ｙ）がＣｂと呼称され、色差信号（Ｒ−Ｙ）がＣｒと呼称される。また、高精細信号（ＨＤ信号）では、色差信号（Ｂ−Ｙ）がＰｂと呼称され、色差信号（Ｒ−Ｙ）がＰｒと呼称される。測色パラメータの関係で伝送マトリクス係数値が標準信号と、高精細信号とで異なるため、色差信号が区別して呼称されているが、ここでは色差信号を総称して色差信号（Ｂ−Ｙ）を色差信号Ｕ、色差信号（Ｒ−Ｙ）を色差信号Ｖと呼称する。

画素数変換部１０１で画素数変換されたＹＵＶ信号は、マトリクス部１０２でＲＧＢ信号に変換され、パネル１０６に転送される。パネル１０６はメモリ機能を有しており、パネル１０６では、各画素が各信号データ値に応じて発光する。ここで、パネル１０６のメモリ機能は、パネル１０６の物理的なメモリ機能と、電子的なフレームまたはラインメモリとによって得られるものであって、各ＲＧＢ画素データ１０３、１０４、及び１０５が、各画素に一対一で対応して階調を再現することを意味する。

図３（Ａ）は、従来の画素数変換をモデル化して示す図である。ここでは、水平方向１９２０画素及び垂直方向１０８０画素からなる１フレームの高精細の輝度信号が、水平方向８５３画素及び垂直方向４８０画素からなるディスプレイに対応して変換される。

水平方向に着目した場合、画素数変換後の周波数特性は、図４（Ａ）に示すように、サンプリング周波数（サンプリングレート）が８５３サイクル／ライン（以下「ｃｐＬ」という）となり、信号の再現可能範囲の上限であるナイキスト限界が、サンプリング定理より、サンプリング周波数の１／２である約４２７ｃｐＬとなる。一方、画素数変換前の高精細信号のサンプリング周波数は１９２０ｃｐＬであり、そのナイキスト限界は９６０ｃｐＬである。

図５は、従来の画素数変換の概念を説明するための図である。図５では、高精細の輝度信号のサンプリング周波数が、１９２０ｃｐＬから８５３ｃｐＬに変換されるが、このとき、折り返し（エイリアシング）を抑えて位相を合わせるフィルタ処理が行われる。色差信号についても同様にサンプリング周波数変換及びフィルタ処理が行われるが、ここでは一般的な伝送信号に従って輝度信号の１／２のサンプリング周波数（９６０ｃｐＬ）としている。なお、色差信号は、輝度信号と同一の画素数（サンプリング周波数）の場合もある。

ここで、画素数変換におけるフィルタ特性が高域に伸びてくると、図４（Ａ）に示すように、ナイキスト限界を境に折り返しが発生して妨害となる。折り返しの発生を避けるために、画素数変換において帯域を抑圧すると解像度が小さくなり画質が悪化する。

表示品位を向上させるために、ＲＧＢの３つのサブピクセルを利用する表示方法が特許文献１に示されている。この方法によれば、１画素を構成する３つのサブピクセルに対して、異なる明るさ成分が適用される。これにより、サブピクセル単位の明るさ情報が、描画される画像に反映されることになり、表示品位が向上する。

また標準精細度（ＳＤ）信号から高精細度テレビジョン（ＨＤＴＶ）信号への変換において、サブピクセルを利用する方法が特許文献２に示されている。この方法によれば、ＳＤ信号がＨＤＴＶ信号に変換されるとき、画像のエッジが検出されたときに、サブピクセルレベルで輝度信号の過渡特性の改善が行われる。

特開２００３−１８７２４３号公報 特表２００３−５２０５０７号公報

しかしながら、特許文献１及び２に示された方法では、ディスプレイの画素数より入力画像信号（信号源）の画素数が多い場合の画素数変換は考慮されていない。したがって、特許文献１及び２に示された方法を、そのままディスプレイの画素数より入力画像信号の画素数が多い場合の画素数変換に適用しても、上述した折り返し妨害の発生、または画質の悪化という問題を解決することはできない。

本発明はこの点に着目してなされたものであり、ディスプレイの画素数より入力画像信号の画素数が多い場合の画素数変換において、折り返し妨害の発生を抑制しつつ、高品位な変換画質が得られるサンプリングレート変換を行うことができるサンプリングレート変換装置及び該サンプリングレート変換装置に適用される画像信号処理方法を提供することを目的とする。

上記目的を達成するため請求項１に記載の発明は、複数のサブピクセルにより構成される各画素が、マトリクス状に配列され、かつ、前記各画素に対応する信号データに応じて、前記各画素が発光して前記画素毎に輝度又は色彩を再現する構成のディスプレイに、入力される画像信号のサンプリングレートの変換を行うサンプリングレート変換装置において、前記ディスプレイの画素数より大きい画素数の高精細画像信号が入力され、前記高精細画像信号を構成する輝度信号又は色差信号のサンプリングレート（１９２０ｃｐＬ）を、前記ディスプレイにおけるサブピクセルが配列された方向のサンプリングレート（８５３ｃｐＬ）と、前記画素を構成するサブピクセル数とに応じたサブピクセルサンプリングレート（２５６０ｃｐＬ）に変換することにより、サブピクセルサンプリングレート信号（Ｙ２）を出力するサブピクセル画素数変換器（１）と、前記高精細画像信号が入力され、入力された前記高精細画像信号を構成する輝度信号を、画素単位で画素数変換処理を行い、妨害抑圧信号（Ｙ３）として出力する画素単位画素数変換器（２）と、前記高精細画像信号を構成する輝度信号又は色差信号の特定の波形パターンを検出して制御信号（α）を出力する画像特徴検出器（４）と、前記サブピクセルサンプリングレート信号（Ｙ２）と、前記妨害抑圧信号（Ｙ３）とを混合し、該混合割合を前記制御信号（α）に応じて制御する混合器（５）とを備えることを特徴とする。

上記目的を達成するため請求項２に記載の発明は、複数のサブピクセルにより構成される各画素が、マトリクス状に配列され、かつ、前記各画素に対応する信号データに応じて、前記各画素が発光して前記画素毎に輝度又は色彩を再現する構成のディスプレイに、入力される画像信号のサンプリングレートの変換を行うサンプリングレート変換装置において、前記ディスプレイの画素数より大きい画素数の高精細画像信号が入力され、前記高精細画像信号を構成する輝度信号又は色差信号のサンプリングレート（１９２０ｃｐＬ）を、前記ディスプレイにおけるサブピクセルが配列された方向のサンプリングレート（８５３ｃｐＬ）と、前記画素を構成するサブピクセル数とに応じたサブピクセルサンプリングレート（２５６０ｃｐＬ）に変換することにより、サブピクセルサンプリングレート信号（Ｙ２）を出力するサブピクセル画素数変換器（１）と、前記サブピクセルサンプリングレート信号（Ｙ２）を、前記サブピクセルサンプリングレート（２５６０ｃｐＬ）でフィルタ処理して、妨害抑圧信号（Ｙ３’）として出力するサブピクセルオーバサンプリングフィルタ（８）と、前記高精細画像信号を構成する輝度信号又は色差信号の特定の波形パターンを検出して制御信号（α）を出力する画像特徴検出器（４ａ）と、前記サブピクセルサンプリングレート信号（Ｙ２）と、前記妨害抑圧信号（Ｙ３’）とを混合し、該混合割合を前記制御信号（α）に応じて制御する混合器（５）とを備えることを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載のサンプリングレート変換装置において、前記画像特徴検出器（４）は、前記輝度信号のレベル及び前記色差信号の飽和度に応じて特徴信号（Ｍａ）を生成する特徴信号生成手段（４１〜４４）と、前記特徴信号生成手段（４１〜４４）から出力される前記特徴信号（Ｍａ）にフィルタ処理を施して、前記制御信号（α）を出力するフィルタ処理手段（４５，４６）とを備えることを特徴とする。

請求項４に記載の発明は、請求項３に記載のサンプリングレート変換装置において、前記特徴信号生成手段（４１〜４４）は、前記輝度信号のレベルが高くなるほど、また前記色差信号の飽和度が低くなるほど、前記混合器（５）における前記妨害抑圧信号の混合割合が高くなるように、前記特徴信号（Ｍａ）を生成することを特徴とする。

上記目的を達成するために請求項５に記載の発明は、複数のサブピクセルにより構成される各画素が、マトリクス状に配列され、かつ、前記各画素に対応する信号データに応じて、前記各画素が発光して前記画素毎に輝度又は色彩を再現する構成のディスプレイに、入力される画像信号のサンプリングレートの変換を行うサンプリングレート変換装置に適用される画像信号処理方法において、前記ディスプレイの画素数より大きい画素数の高精細画像信号を構成する輝度信号又は色差信号のサンプリングレート（１９２０ｃｐＬ）を、前記ディスプレイにおけるサブピクセルが配列された方向のサンプリングレート（８５３ｃｐＬ）と、前記画素を構成するサブピクセル数とに応じたサブピクセルサンプリングレート（２５６０ｃｐＬ）に変換することにより、サブピクセルサンプリングレート信号を生成し、前記サブピクセルサンプリングレート信号を、前記画素単位で加重平均して加重平均信号を生成し、前記サブピクセルサンプリングレート信号と前記加重平均信号とを混合して出力信号を生成し、前記出力信号の混合の割合（α）を前記画像信号の輝度信号レベルと色差信号の飽和度（Ｖｃ）とに基づく値に応じて変化させることを特徴とする。
また請求項６に記載の発明は、請求項３に記載のサンプリングレート変換装置において、前記フィルタ処理手段は、１画素毎に前記特徴信号（Ｍａ）の各サブピクセル値を平均化するフィルタ処理を行い、前記制御信号（α）を出力することを特徴とする。

請求項１記載の発明によれば、ディスプレイの画素数より大きい画素数の高精細画像信号を構成する輝度信号又は色差信号のサンプリングレートが、サブピクセルサンプリングレートに変換される。これにより、ナイキスト限界が向上し、ディスプレイの画素数以上の高精細画像信号の信号帯域をフィルタで抑圧する必要がなくなり、ディスプレイの画素数より入力画像信号の画素数が多い場合に、折り返し妨害の発生を抑制しつつ高品位な変換画質を得ることができる。
さらに、サブピクセルサンプリングレートに変換された画像信号と、高精細画像信号を構成する輝度信号が画素単位で画素数変換処理された妨害抑圧信号とが混合され、その混合割合が、入力画像信号を構成する輝度信号又は色差信号の特定の波形パターンに基づいて出力された制御信号に応じて制御される。画素単位で画素数変換処理された妨害抑圧信号は、帯域が抑圧されて疑似の色妨害が発生しない。したがって、特定の波形パターンが検出された箇所で、画素単位で画素数変換処理された妨害抑圧信号を優先的に出力するように制御することにより、疑似色妨害の発生を抑制しつつ高品位の変換画質を得ることができる。

請求項２記載の発明によれば、ディスプレイの画素数より大きい画素数の高精細画像信号を構成する輝度信号又は色差信号のサンプリングレートが、サブピクセルサンプリングレートに変換される。これにより、ナイキスト限界が向上し、ディスプレイの画素数以上の高精細画像信号の信号帯域をフィルタで抑圧する必要がなくなり、ディスプレイの画素数より入力画像信号の画素数が多い場合に、折り返し妨害の発生を抑制しつつ高品位な変換画質を得ることができる。
さらに、サブピクセルサンプリングレートに変換された画像信号と、サブピクセルオーバサンプリングフィルタによりフィルタ処理された妨害抑圧信号とが混合され、その混合割合が、入力画像信号を構成する輝度信号又は色差信号の特定の波形パターンに基づいて出力された制御信号に応じて、制御される。サブピクセルオーバサンプリングフィルタによりフィルタ処理された妨害抑圧信号は、帯域が抑圧されて疑似の色妨害が発生しない。したがって、特定の波形パターンが検出された箇所で、サブピクセルオーバサンプリングフィルタによりフィルタ処理された妨害抑圧信号を優先的に出力するように制御することにより、疑似色妨害の発生を抑制しつつ高品位の変換画質を得ることができる。

請求項３記載の発明によれば、輝度信号のレベル及び色差信号の飽和度に応じて特徴信号が生成され、特徴信号にフィルタ処理を施して前記制御信号が出力される。輝度信号のレベル及び色差信号の飽和度により、疑似色妨害に目立ち易さが異なるので、輝度信号のレベル及び色差信号の飽和度に応じて特徴信号を生成することにより、疑似色妨害が目立ち難くかつ高精細の変換画質を得ることができる。

請求項４記載の発明によれば、輝度信号のレベルが高くなるほど、また色差信号の飽和度が低くなるほど、混合器における妨害抑圧信号の混合割合が高くなるので、特に自然画像において、良好な変換特性が得られる。

請求項５記載の発明によれば、ディスプレイの画素数より大きい画素数の高精細画像信号を構成する輝度信号又は色差信号のサンプリングレートが、サブピクセルサンプリングレートに変換される。これにより、ナイキスト限界が向上し、ディスプレイの画素数以上の高精細画像信号の信号帯域をフィルタで抑圧する必要がなくなり、ディスプレイの画素数より入力画像信号の画素数が多い場合に、折り返し妨害の発生を抑制しつつ高品位な変換画質を得ることができる。
さらに、サブピクセルサンプリングレートに変換された画像信号と、サブピクセルサンプリングレートに変換された信号が画素単位で加重平均された加重平均信号とが混合されて出力信号が生成され、その混合割合が、画像信号の輝度信号レベルと色差信号の飽和度とに基づく値に応じて変更される。画素毎に加重平均された信号は、加重平均における重み付けが適切に設定されると、疑似色妨害が発生しない。したがって、サブピクセルサンプリングレートに変換された画像信号と、サブピクセルサンプリングレートに変換された信号が画素単位で加重平均された信号とを、適切な混合割合で混合することにより、疑似色妨害の発生を抑制しつつ、高品位の変換画質を得ることができる。

以下本発明の実施の形態を図面を参照して説明する。
（第１の実施形態）
まず、本発明の第１の実施形態に係るサンプリングレート変換装置において行われるサブピクセルレンダリング技術（Sub-pixel Ｒendering Technology）を活用した画素数変換（以下「サブピクセル画素数変換」という）について図面を参照して説明する。

サブピクセルレンダリング技術は、一般には、図１（Ａ）に示すようにＲＧＢの３つのサブピクセルから１画素が構成されるのに対し、図１（Ｂ）に示すように、各サブピクセルを１画素と見なして、各サブピクセル毎に輝度を再現するものである。

図３（Ｂ）は、ディスプレイの画素数より画素数が多い高精細画像を表示するための、サブピクセル画素数変換のモデルを示す図である。ここでは、水平方向に関してＲＧＢの各サブピクセルが順に配列されるため、水平方向の画素数は、２５６０画素（≒８５３×３画素）となる。これは、厳密にはサブピクセル数であるが、サブピクセル画素数変換では、各サブピクセルを輝度が再現できる１画素と見なして画素数変換を行う。

図４（Ｂ）は、サブピクセル画素数変換における水平方向の周波数特性を示す図である。サブピクセル画素数変換では、サンプリング周波数が、高精細画像信号のサンプリング周波数である１９２０ｃｐＬから２５６０ｃｐＬに変換される。すなわち、従来の画素数変換では、サンプリング周波数を、１９２０ｃｐＬから８５３ｃｐＬにダウンサンプリングしたのに対して、サブピクセル画素数変換では、サンプリング周波数を、１９２０ｃｐＬから２５６０ｃｐＬにアップサンプリングすることになる。
サブピクセル画素数変換では、図６に示すように、従来の１画素を構成するＲＧＢのサブピクセルの各々に対応する輝度信号（Ｙ１Ｒ、Ｙ１Ｇ、Ｙ１Ｂ…）が、画素数変換のフィルタ処理によって生成される。

図７は、サブピクセル画素数変換を詳細に説明するための図である。図７では、各画素に対応する信号が「↑」で示されている。図７（Ａ）は画素数変換前の１９２０ｃｐＬの信号を表し、図７（Ｄ）は画素数変換後の２５６０ｃｐＬの信号を表している。ここで、変換前後の画素数の比は３：４となり、比較的簡単な比である。ディスプレイの画素数と高精細信号の画素数の比によっては、画素数変換が複雑な処理になるが、サブピクセル画素数変換の原理は同じである。
また、ディスプレイの画素数よりもわずかに多めにサブピクセル画素数変換して、ディスプレイ表示上で切り捨てる場合もある。これはＣＲＴ（Cathod Ray Tube）におけるオーバースキャンに相当するもので、ここで取り扱うサブピクセル変換の想定される範囲である。

図７（Ｂ）は７６８０ｃｐＬの信号を表している。この信号は、変換前の１９２０ｃｐＬと変換後の２５６０ｃｐＬとの最小公倍数であり、図７（Ｃ）に示す４種類の信号位相に従って、所定のデジタルフィルタにより内挿処理されたものである。図７（Ｂ）の信号から、所望の位相（２５６０ｃｐＬ）の信号を抽出することにより、画素数変換後の輝度信号が得られる。なお、図７（Ｅ）は、従来の画素単位の画素数変換により、ディスプレイにおける水平方向の画素数に基づいて得られる変換後の信号である。また図７（Ｅ）の下側には、上記各信号の周波数帯域が示されている。

サブピクセル画素数変換後の輝度信号は、図８に示すように、ＹＵＶ→ＲＧＢマトリクス変換されて、輝度信号ＹＲ、ＹＧ、ＹＢの高域成分が入ったＲＧＢ信号となる。ＲＧＢの各信号は、図８において「１」、「２」、「３」で示されるように、１画素あたり３つの位相を有する。これらの中から、ディスプレイの１画素におけるＲＧＢサブピクセルの配列順序に一対一で対応している位相が、有効位相となり、有効位相部における信号が各サブピクセルデータとなる。図８では、有効位相以外の位相の信号に「×」が付されている。ディスプレイ上におけるＲ信号の位相は「１」（ディスプレイの１画素におけるＲサブピクセルの配列順番は「１」）であるので、マトリクス変換後の出力における位相が「１」の信号が、有効となる。同様に、Ｇ信号の位相は「２」であるので、マトリクス変換後の出力における位相が「２」の信号が、有効とり、Ｂ信号の位相は「３」であるので、マトリクス変換後の出力における位相が「３」の信号が、有効となる。

図９は、サブピクセル画素数変換後のスペクトル成分を説明するための図である。この図に示すように、サブピクセル画素数変換により、輝度信号を再現できる範囲は、サブピクセルのサンプリング周波数（２５６０ｃｐＬ）のナイキスト限界である１２８０ｃｐＬとなる。また高精細画像信号のナイキスト限界は９６０ｃｐＬである。ディスプレイの画素数（８５３ｃｐＬ）に基づくナイキスト限界、すわなち、ディスプレイ再現可能範囲は４２７ｃｐＬとなる。ここで、サブピクセル画素数変換後の輝度信号における、ディスプレイ再現可能範囲の４２７ｃｐＬ以上且つ高精細の輝度信号の９６０ｃｐＬ以下の帯域は、サブピクセルで輝度信号を再現することにより広帯域化できる帯域である。したがって、サブピクセル画素数変換により、ナイキスト限界を向上させて、折り返し妨害の発生を抑制しつつ高品位な変換画質を得ることができる。

一方、各サブピクセルは、高域の輝度成分において各サブピクセルに固有の色（Ｒ，Ｇ，Ｂ）を有するため、上述した広帯域化の代償として、擬似の色妨害が発生することがあるという問題がある。そのため、第１の実施形態に係るサンプリングレート変換装置は、サブピクセル画素数変換された輝度信号と、通常の画素単位で画素数変換された輝度信号とを混合することにより、サンプリングレートの変換を行うように構成されている。

図１０は、本発明の第１実施形態に係るサブピクセルサンプリングレート変換装置の構成を示すブロック図である。この装置は、サブピクセル画素数変換器１と、第１の画素単位画素数変換器２と、第２の画素単位画素数変換器３と、画像の特徴検出器４と、混合器（ＭＩＸ）５と、ＹＵＶ→ＲＧＢマトリクス変換器６とを備えている。そして、ＹＵＶ→ＲＧＢマトリクス変換器６から出力されるＲＧＢ信号が、ディスプレイパネル（図示せず）に供給される（図２参照）。

サブピクセル画素数変換器１は、入力された高精細の輝度信号（１９２０ｃｐＬ）Ｙ１を、上述したサブピクセル画素数変換により、ディスプレイにおける水平方向のサブピクセルの数に対応した、図７（Ｄ）に示す２５６０ｃｐＬ（サブピクセルサンプリングレート）の輝度信号Ｙ２に変換して出力する。第１の画素単位画素数変換器２は、入力された高精細の輝度信号を、従来の画素数変換により、ディスプレイにおける水平方向の画素数に対応した、図７（Ｅ）に示す８５３ｃｐＬの輝度信号に変換して出力する。

第２の画素単位画素数変換器３は、入力された高精細の色差信号（９６０ｃｐＬ）を、画素数変換により、ディスプレイにおける水平方向の画素数に対応した８５３ｃｐＬの色差信号に変換して出力する。第２の画素単位画素数変換器３の構成は、第１の画素単位画素数変換器２と同様であってもよいが、色差信号の帯域に基づいて簡略化されてもよい。

画像の特徴検出器４は、高精細の輝度信号、及び第２の画素単位画素数変換器３の出力色差信号に基づいて、サブピクセル画素数変換器１の出力輝度信号Ｙ２の高域に混入している特定の波形パターン、例えば、疑似色妨害が発生する箇所を検出し、検出結果に基づいて混合器５の制御値αを出力する。

画像の特徴検出器４は、人の視覚的な性質を踏まえて効果的な適応信号、すなわち制御値αを出力する必要がある。人の視覚の性質として、輝度レベルが高く明るい画面では、本来無彩色であるべきところに擬似色妨害が生じると目立ち安い。一方、色の濃いところに擬似色妨害が生じても、まわりの色にマスキングされて目立たない性質がある。本実施形態における擬似色妨害は、高域成分であり面積は小さく局所的なものである。

混合器５は、サブピクセル画素数変換器１の出力輝度信号Ｙ２、及び第１の画素単位画素数変換器２の出力輝度信号Ｙ３を、制御値αに応じた混合割合て混合し、混合された輝度信号を出力する。具体的に、混合器５は、制御値αに応じて、疑似の色妨害が発生する箇所では、第１の画素単位画素数変換器２の出力輝度信号Ｙ３を優先した混合を行う。制御値αは、０から１までの値に設定され、α＝０であるときは、輝度信号Ｙ２がそのまま出力され、α＝１であるときは、輝度信号Ｙ３がそのまま出力され、αが０より大きく１より小さいときは、その値に応じてた割合で輝度信号Ｙ２とＹ３が混合される。

ＹＵＶ→ＲＧＢマトリクス変換器６は、混合器５の出力輝度信号と第２の画素単位画素数変換器３の出力色差信号とを、高精細信号の高域成分を含んだＲＧＢ信号へマトリクス変換する。マトリクス変換されたＲＧＢ信号は、ディスプレイに出力される。

図１１は、画像の特徴検出器４の構成を示すブロック図である。画像の特徴検出器４は、ロジカル処理器４１、色差信号飽和度算出器４２、反転器４３、特徴検出混合器４４、低域フィルタ４５、及び画素完結フィルタ４６を備えている。
ロジカル処理器４１は、サブピクセルの配列方向である水平３点間の最小値を選択して出力する。出力信号をＹａとし、入力信号をＹｉとすると、出力信号Ｙａは、下記式で表される。
Ｙａ＝ｍｉｎ（Ｙｉ(n-1)，Ｙｉ(n)，Ｙｉ(n+1)）

この処理により信号波形の黒側が広がる。これはＹ信号の高域成分であるエッジ部を広帯域化する。エッジ部を広帯域化することは、適応信号レベル（制御値α）をエッジ部で低レベルに保ち、黒または暗部は擬似色妨害が目立たないところで積極的に広帯域化をはかることに相当する。
なお、ロジカル処理器４１における演算は、これに限るものではなく、水平４点以上の信号値の最小値を選択するようにしてもよい。

図１２は、ロジカル処理器４１の動作を説明するために、Ｙ信号波形をモデル化して描いたものである。（Ａ）は入力するＹ信号波形を示し、（Ｂ）の実線が、ロジカル処理器４１の出力信号Ｙａを示す。出力信号Ｙａは、入力信Ｙｉと比較すると、黒側が広がっていることが確認できる。図１２の縦の破線はサブピクセルサンプリングレートのサンプリング点を表現したものである。

色差信号飽和度算出器４２は、色差信号のＵＶ信号から飽和度を求めて出力する。飽和度は直交する色差信号に対応するベクトルのスカラ量Ｖｃであるので、下記式で求められる。
Ｖｃ＝ｓｑｒｔ（Ｖ*Ｖ＋Ｕ*Ｕ）
但し、ｓｑｒｔ（ ）は平方根演算である。

反転器４３は、色信号の飽和度Ｖｃをデジタル信号ダイナミックレンジ内で反転させるものである。８ビットデータであれば零が飽和度（色の濃さ）がもっとも薄く、最大値２５５がもっとも濃い色になる。反転器４３は、これを逆にするものである。これは、色が濃い、すなわち飽和度Ｖｃが大きいときに広帯域化し、逆に色が薄い、すなわち飽和度Ｖｃが小さいときに妨害を抑圧するように適応信号レベル（制御値α）を設定するためである。

特徴検出混合器４４は、入力輝度信号Ｙｉから得られる信号Ｙａと色差ベクトルのスカラ量Ｖｃを、以下の式のように論理的に混合し、信号Ｍａを生成する。ここで、ｋｃ、ｋｙは、スケール調整係数である。
Ｍａ＝ｍｉｎ（ｋｃ*Ｖｃ，ｋｙ*Ｙａ）

ここでの論理的な合成方法は、上記式による最小値化だけでなく、最大値・平均値・差分値・入力の一方のみ出力・固定値の出力など、さまざまな演算処理が考えられ、画像の内容によって特徴検出混合器４４に入力されるモード設定信号ＳＭＳに応じて選択される。すなわちモード設定信号ＳＭＳは、画像の内容、具体的には、自然画・グラフィックス画像・テキストなど性質の異なるもののいずれであるか、に応じて選択される。最小値選択は、自然画でもっとも効果的な特徴抽出結果が得られる例である。最小値を選択することにより、明るい画面で且つ色が薄いところでは、妨害を抑圧する信号系側が選択され、暗く且つ色が濃いところでは、広帯域信号系側が選択される。ここで言う選択とは、制御値αのとりうる値に対応し、制御値αが大きな値（制御係数１に近い値）をとると、妨害を抑圧する信号系が選択され、制御値αが小さい値（制御係数０に近い値）をとると、広帯域信号系が選択される。

低域フィルタ４５は、特徴検出混合器４４の出力信号を平滑化する。低域フィルタ４５は、急峻な変化による不連続性を避けるために挿入されている。図１２（Ｂ）に破線で示す波形が、低域フィルタ４５の出力信号波形である。なお、この図は、色成分がない場合を想定したイメージ図である。

図１３は、各部の信号波形を表す図であり、（Ａ）がロジカル処理器４１から入力する信号Ｙａの波形、（Ｂ）が反転器４３からの入力する飽和度Ｖｃを反転させた信号Ｖｃｉの波形、（Ｃ）が特徴検出混合器４４で最小値信号を選択した波形（実線）を（Ａ）（Ｂ）で表した波形（一転鎖線及び二点鎖線）に重ねて表現したものである。

画素完結フィルタ４６は、低域フィルタ４５の出力信号を、１画素内のＲＧＢサブピクセル３画素に対して平均化する処理を行う。図１４は、画素完結フィルタ４６の構成を示すブロック図であり、遅延時間Ｄ３だけ入力信号を遅延させる第１の遅延器１１，１２と、遅延時間Ｄ１だけ入力信号を遅延させる第２の遅延器１３，１４，１５と、総和器２７と、乗算器２８とを備えている。
前記第１及び第２の遅延器は、エッジトリガタイプのフリップフロップ、例えばＤ−ＦＦ（フリップフロップ）を想定しているもので、入力データをクロックをトリガとして出力に保持して出力する。

第１の遅延器１１，１２は、サブピクセルのレート、ここではディスプレイの画素数（８５３ｃｐＬ）の約３倍、すなわち２５６０ｃｐＬにおける１サイクル分に相当する遅延時間Ｄ３だけ、入力された輝度信号を遅延させる。第２の遅延器１３，１４，１５は、入力された輝度信号を、ディスプレイの画素数レート、ここでは８５３ｃｐＬにおける１サイクル分に相当する遅延時間Ｄ１だけ遅延させる。総和器２７は、第２の遅延器１３，１４，１５から出力される輝度信号の総和を算出し、乗算器２８は、算出された総和に１／３を乗算して出力する。

図１５は、低域フィルタ４５の出力信号と、画素完結フィルタ４６の出力信号の波形をモデル化して描いたものである。低域フィルタ出力（破線）は、ＲＧＢ間でうねっているためＲＧＢのバランスを崩す。したがって、これを適応信号にした場合には、擬似色妨害を付加することになる。そこで、画素間にまたがらずにＲＧＢ信号を平均化するのが画素完結フィルタ４６である。図１５に実線で示す、ＲＧＢの１画素毎に平均化された信号が、画素完結フィルタ４６の出力である。この出力信号が適応信号であり制御値αとして、図１０に示す混合器５の混合割合を制御する。

このように画像の特徴検出器４は、人の視覚効果に添って制御値αを導き出すものであって、本実施形態では明るく色が薄い部分では妨害が出ない処理を選ぶ一方、暗いかまたは色が濃い部分に関しては広帯域処理を選び、広帯域信号を有するエッジ部を積極的にサブピクセルサンプリングレートで広帯域化する処理が可能な構成としている。また特徴検出混合器４４に入力されるモード設定信号ＳＭＳによっては、中間的な制御値、または一方の処理に固定すすることが可能である。これは妨害が発生しても解像度のある処理で画像の内容を確認したい場合有効である。また、その逆にコンピュータグラフィックスでつくった特異な画像では、擬似色妨害の発生を抑えて見たい場合もある。画像の特徴検出器４は、これらを選択的に利用できる利点を備えたものである。

図１６は、混合器５の出力輝度信号の周波数特性を説明するための図である。ｆａで示される特性が、サブピクセル画素数変換器１の出力輝度信号Ｙ２の周波数特性であり、原理的に１２８０ｃｐＬまで伸び得るが、ここでは、ディスプレイの画素数程度で抑える周波数特性に設定されている。一方、ｆｃで示される特性が、第１の画素単位画素数変換器２の出力輝度信号の周波数特性であり、ディスプレイのナイキスト限界近辺にカットオフ特性を持たせて、折り返しの影響が許容できるレベルとなるように帯域が抑圧された周波数特性に設定されている。
これら周波数特性ｆａ、ｆｃは、画素数変換時のフィルタ処理で決まる特性であるが、画素数変換時のフィルタ処理と、該フィルタ処理と別のフィルタ処理とによって時間軸上で畳み込まれた特性であってもよい。

混合器５により、画像の特徴検出器４から得られる制御値αに基づいて、サブピクセル画素数変換器１の出力輝度信号Ｙ２と、第１の画素単位画素数変換器２の出力輝度信号Ｙ３との混合割合が制御されるので、混合器５の出力信号の周波数特性は、特性ｆｃと特性ｆａの間の特性（特性ｆｃを下限とし、特性ｆａを上限とする範囲内の特性）となる。したがって、疑似色妨害が発生し易い特定の波形パターンが検出されたとき、制御値αの値を「１」に近づけることにより、出力信号周波数特性は、特性ｆｃに近づくので、疑似色妨害を適応的に抑制することが可能となる。

（第２の実施形態）
図１７は、本発明の第２の実施形態に係るサンプリングレート変換装置の構成を示すブロック図である。ここでは、第１の実施形態に係る装置の構成要素と同一の構成要素には同一符号を付している。
第２の実施形態に係るサンプリングレート変換装置は、サブピクセル画素数変換器１と、サブピクセルオーバサンプリングフィルタ８と、第２の画素単位画素数変換器３と、画像の特徴検出器４ａと、混合器５と、ＹＵＶ→ＲＧＢマトリクス変換器６とを備えている。

サブピクセル画素数変換器１は、サブピクセル画素数変換により、図６及び図７（Ｄ）に示す２５６０ｃｐＬの輝度信号Ｙ２を出力し、第２の画素単位画素数変換器３は、８５３ｃｐＬの色差信号を出力する。ここで、サブピクセル画素数変換器１の出力輝度信号Ｙ２と第２の画素単位画素数変換器３の出力色差信号Ｕ，Ｖは、図６に示すように、３対１の関係で同期している。

サブピクセルオーバサンプリングフィルタ８は、サブピクセル画素数変換により広帯域化された出力輝度信号Ｙ２の帯域を、擬似色妨害が出ない帯域まで抑圧するフィルタ（例えば、ＦＩＲ（Finite Impulse Ｒesponse）フィルタなどのデジタルフィルタ）である。図１８に示す特性ｆｃ'が、サブピクセルオーバサンプリングフィルタ８の出力輝度信号の周波数特性であり、ディスプレイのナイキスト限界４２７ｃｐＬの近傍まで帯域が抑圧された周波数特性である。サブピクセルオーバサンプリングフィルタ８は、帯域制限された輝度信号Ｙ３’を出力する。

画像の特徴検出器４ａは、前述した画像の特徴検出器４と同様に構成され、サブピクセル画素数変換後の出力輝度信号Ｙ２、及び第２の画素単位画素数変換器３の出力色差信号に基づいて、画像の特徴検出器４と同様に制御値αを出力する。混合器５は、サブピクセル画素数変換器１の出力輝度信号Ｙ２と、サブピクセルオーバサンプリングフィルタ８の出力輝度信号Ｙ３’とを混合し、その混合割合を、制御値αに応じて変更する。したがって、混合器５の出力輝度信号の周波数特性は、図１８に示す特性ｆｃ’と特性ｆａとの間の特性となるように、制御値αにより制御される。
ＹＵＶ→ＲＧＢマトリクス変換器６は、混合器１０の出力輝度信号と第２の画素単位画素数変換器３の出力色差信号とを、ＲＧＢ信号へマトリクス変換し、ＲＧＢ信号をディスプレイに出力する。

図１７に示すサンプリングレート変換装置によれば、広帯域化された輝度信号Ｙ２と、サブピクセルオーバサンプリングフィルタ８により、擬似色妨害が出ない帯域制限された輝度信号Ｙ３’とが混合され、その混合割合が制御値αに応じて可変制御される。これにより、疑似色妨害を適応的に抑制しつつ、高品位（高精細）の変換画質を得ることができる。

（第３の実施形態）
図１９は、本実施形態のサンプリングレート変換装置に適用される画素完結可変フィルタ処理を説明するための図であり、この図では横方向がディスプレイ上の水平方向、すなわち時間軸に対応している。

図１９（Ａ）は、ディスプレイの水平方向に関する画素配列を示し、図１９（Ｂ）は、サブピクセル画素数変換後の輝度信号、すわなち、図７（Ｄ）に示す２５６０ｃｐＬの輝度信号のデータ列を表す。このデータ列では、時系列（ｔ１〜ｔ１２）に添って輝度信号が変遷する。図１９（Ｃ）〜（Ｆ）は、時系列（ｔ１〜ｔ１２）に添って変遷する画素完結可変フィルタを示す。図１９（Ｃ）〜（Ｆ）における「標」は、出力標本点であり、ディスプレイのＲＧＢの各サブピクセルに対応する、サブピクセル画素数変換された輝度信号の位相を表す。出力標本点は、時間経過（ｔ１，ｔ２，ｔ３．．．）とともに、画素のＲＧＢサブピクセル配列順に添って、図１９（Ｃ）〜（Ｆ）に示すように、移相する。また「非」は出力非標本点であり、出力標本点の輝度信号に、フィルタ係数を掛けて合成（加算）される輝度信号の位相を表す。

ここで、出力標本点及び出力非標本点のフィルタ係数は、
出力標本点 （１／３）＋（２／３）×（１−α）
出力非標本点 （１／３）×α
となる。制御値αは、後述する図２３に示す画像の特徴検出器４ａ（図１７に示したものと同一）の出力であり、０から１までの値をとる。制御値αが「０」のとき、出力標本点のフィルタ係数が「１」となり、出力標本点に対応する輝度信号のみが出力される。制御値αが「１」のとき、出力標本点と出力非標本２点の合計が１となり、３つのサブピクセルに対応する輝度信号のフィルタ係数は、（１／３，１／３，１／３）となり、１画素中のサブピクセル間の平均輝度信号が出力される。

ここで、制御値αは、０から１までの値をとるが、１画素内で同一値に保持すると、画素単位で制御値αが変化し、フィルタ係数値が画素単位に変化することになる。
また同一値の制御値αは、画素内で変化することなく、また画素間にまたがることはない、すなわち、フィルタ処理は、画素間にはまたがらず、画素内の３つのサブピクセルで完結するので、画素内で同一の制御値αに基づいたフィルタ処理が完結される。そこで、図１９（Ｃ）〜（Ｆ）に示すフィルタを、「画素完結可変フィルタ」と呼称している。ここで、制御値αは、図１９（Ｇ）に示すように、画素単位で変化するため、フィルタ処理の特性は、画素単位で変化する。図１９において、第１〜第４の画素には、それぞれ図１９（Ｃ）〜（Ｆ）に示す画素完結可変フィルタが対応する。
なお、図１９に示す例では、制御値αは画素単位で変化するものとしているが、画素内において変化させても、画素間の輝度信号が交じり合うわけでは無いので、サブピクセルレート単位で変化させてもよい。

図１９の画素完結可変フィルタでは、制御値αが「０」の場合、サブピクセル画素数変換された輝度信号そのものが出力されるので、出力された輝度信号がマトリクス変換されたとき、マトリクス係数のバランスが崩れ、擬似色妨害が発生する。一方、制御値αが「１」の場合、各サブピクセルに対応する輝度信号のフィルタ係数が１／３に平均化されて、マトリクス係数のバランスが崩れることがなく、ＲＧＢの各サブピクセル間のバランスが保たれる。したがって、制御値αが「１」の場合には、疑似色妨害は発生しない。

図２０は、図１９の画素完結可変フィルタによるフィルタ処理を説明するための機能ブロック図である。また、図３０は、図２０の各部における信号データを時系列的に示す図である。図３０の（Ａ）〜（Ｈ）は、それぞれ図２０に（Ａ）〜（Ｈ）を付して示す箇所における信号データ列に対応している。

図２０に示されるフィルタ処理モジュールは、遅延時間Ｄ３だけ入力信号を遅延させる第１の遅延器１１，１２，２５と、遅延時間Ｄ１だけ入力信号を遅延させる第２の遅延器１３，１４，１５と、セレクタ１６，１７，１８と、加算器１９，２４と、乗算器２０，２２，２３と、減算器２１とを備えている。減算器２１，乗算器２２，２３及び加算器２４により、混合器２９が構成される。
前記第１及び第２の遅延器は、エッジトリガタイプのフリップフロップ、例えばＤ−ＦＦ（フリップフロップ）を想定しているもので、入力でデータをクロックをトリガとして出力に保持して出力する。

第１の遅延器１１，１２，２５は、サブピクセルのレート、ここではディスプレイの画素数（８５３ｃｐＬ）の約３倍、すなわち２５６０ｃｐＬにおける１サイクル分に相当する遅延時間Ｄ３だけ、入力された輝度信号を遅延させる。この遅延は、図３０において周期ＣＫ３の遅延として示されている。第２の遅延器１３，１４，１５は、入力された輝度信号を、ディスプレイの画素数レート、ここでは８５３ｃｐＬにおける１サイクル分に相当する遅延時間Ｄ１だけ遅延させる。この遅延は、図３０において周期ＣＫ１の遅延として示されている。

セレクタ１６，１７，１８の各々では、第２の遅延器１３，１４，１５からの輝度信号が、入力端子(1)〜(3)に入力される。第２の遅延器１３，１４，１５から入力される輝度信号は、図３０の（Ｅ）〜（Ｇ）に示されている。また、セレクタ１６，１７，１８は、図３０に示すタイミング(1)〜(3)に同期して、対応する入力端子(1)〜(3)と出力端子との接続を切り換える。ここで、セレクタ１６は、出力標本点に対応する輝度信号を出力し、セレクタ１７，１８は、出力非標本点に対応する輝度信号を出力する。

加算器１９は、セレクタ１７及び１８から出力された出力輝度信号を加算し、乗算器２０は、加算器１９から出力される輝度信号に１／２を乗算する。減算器２１は、混合器２９の、α＝１の系統から入力される、乗算器２０の出力輝度信号から、混合器２９の、α＝０の系統から入力される、セレクタ１６の出力輝度信号を減算する。乗算器２２は、減算器２１から出力される輝度信号に２／３を乗算し、さらに、乗算器２３は、乗算器２２から出力される輝度信号に、制御値αを乗算する。制御値αは、画像の特徴検出器４ａから乗算器２３に供給される。加算器２４は、制御値αが乗算された輝度信号と、セレクタ１６の出力輝度信号とを加算する。第１の遅延器２５は、加算器２４から出力される輝度信号を遅延時間Ｄ３だけ遅延させて出力する。
減算器２１、乗算器２２、乗算器２３及び加算器２４からなる混合器２９は、図１９（Ｃ）〜（Ｆ）に示す出力標本点及び出力非標本点のフィルタ係数を与えるものであり、出力標本点に対応する輝度信号、及び出力非標本点に対応する輝度信号を、制御値αに応じて混合する。

なお、図１９の画素完結可変フィルタによるフィルタ処理を実現するフィルタ処理モジュールは、図２０に示すセレクタを備えるものに限られず、例えば、図２１に示すように総和器２７を備えるものであってもよい。
図２１に示すフィルタ処理モジュールでは、図２０に示す構成要素と同じ構成要素には同一符号が付されている。なお、図３０の（Ａ）〜（Ｈ）は、それぞれ図２１に（Ａ）〜（Ｈ）を付して示す箇所における信号データ列に対応する。

図２１に示されるフィルタ処理モジュールは、第１の遅延器１１，１２，２５，２６と、第２の遅延器１３，１４，１５と、総和器２７と、減算器２１と、乗算器２３，２８と、加算器２４とを備えており、減算器２１、乗算器２３，及び加算器２４により、混合器２９ａが構成される。遅延器２６は、遅延器１１，１２と同様に、入力信号を遅延時間Ｄ３だけ遅延させるものである。
総和器２７は、第２の遅延器１３，１４，１５から出力される輝度信号の総和を算出し、乗算器２８は、算出された総和に１／３を乗算し、混合器２９ａの、α＝１の系統へ入力する。第１の遅延器２６が出力する輝度信号は、図３０（Ｄ）に示す信号データ列をなし、混合器２９ａの、α＝０の系統へ入力される。

減算器２１は、乗算器２８の出力輝度信号から、第１の遅延器２６の出力輝度信号を減算し、乗算器２３は、減算器２１から出力される輝度信号に、制御値αを乗算する。加算器２４は、制御値αが乗算された輝度信号と、第１の遅延器２６の出力輝度信号を加算して出力する。

減算器２１、乗算器２３及び加算器２４により構成される混合器２９ａは、図２０の混合器２９から乗算器２２を削除したものである。混合器２９ａは、第１の遅延器２６が出力する、サブピクセルサンプリングレート（ここでは２５６０ｃｐＬ）の信号データ列と、乗算器２８が出力する、サブピクセルレートの輝度信号が画素内で平均化されたディスプレイのサンプリングレート（ここでは８５３ｃｐＬ）の信号データ列とを、制御値αに応じて混合する。

図１９及び図２０のフィルタ処理モジュールにより実現される画素完結可変フィルタの周波数特性は同一である。図２２は、この画素完結可変フィルタの周波数特性を示す。
周波数特性ｆａは、α＝０のときの特性である。このとき、サブピクセル画素数変換された輝度信号そのものが出力される、すなわち、サブピクセルサンプリングレートの信号データ列がそのまま出力されるので、周波数特性ｆａは高域に向けて伸びている。一方、周波数特性ｆｂは、α＝１のときの特性である。このとき、画素単位でフィルタ係数が（１／３，１／３，１／３）となり、周波数特性ｆｂは、ディスプレイの画素数に相当する８５３ｃｐＬで零になる。

画素単位のフィルタ係数が（１／３，１／３，１／３）であるときには、画素内の各サブピクセルに同一フィルタ係数１／３が用いられ、ＹＵＶ→ＲＧＢマトリクス変換器６におけるマトリクス変換において、マトリクス係数バランスを崩さないため、擬似色妨害が生じない。

したがって、サブピクセルレートの高解像度ではあるが擬似色妨害が生じることがある信号データ列（周波数特性ｆａ）と、疑似色妨害が生じない範囲に帯域が設定されている信号データ列（周波数特性ｆｂ）とが、制御値αに対応する混合割合で混合されるので、上述した画素完結可変フィルタの周波数特性は、制御値αの値に応じて、周波数特性ｆａとｆｂとの間で連続的に変化する特性となる。したがって、制御値αを適切に設定することにより、擬似色妨害を抑制しつつ、高品位の変換画質を得ることができる。

画素完結可変フィルタは、上述した実施形態に限られず、さまざまな実施形態が考えられる。例えば、画素完結フィルタ処理した信号を２画素以上用いてフィルタ処理し、画素単位で任意の周波数特性が得られる処理も考えられる。

図２３は、本発明の第３の実施形態に係るサンプリングレート変換装置の構成を示すブロック図である。図２３において、図１０に示した第１の実施形態または図１７に示した第２の実施形態における構成要素と同一の構成要素には同一符号を付している。
第３の実施形態に係る装置は、サブピクセル画素数変換器１と、画素完結可変フィルタ７と、第２の画素単位画素数変換器３と、画像の特徴検出器４ａと、ＹＵＶ→ＲＧＢマトリクス変換器６とを備えている。

サブピクセル画素数変換器１は、入力された高精細の輝度信号（ここでは１９２０ｃｐＬ）を、サブピクセル画素数変換により、図６及び図７（Ｄ）に示す２５６０ｃｐＬの輝度信号Ｙ２に変換して出力する。第２の画素単位画素数変換器３は、入力された高精細の色差信号を、従来の画素数変換により、８５３ｃｐＬの色差信号に変換して出力する。ここで、サブピクセル画素数変換器１の出力輝度信号Ｙ２と、第２の画素単位画素数変換器３の出力色差信号とは、図６に示すように、３対１の関係で同期している。

画像の特徴検出器４ａは、サブピクセル画素数変換後の出力輝度信号Ｙ２、及び第２の画素単位画素数変換器３の出力色差信号に基づいて、特定の波形パターン、例えば、疑似色妨害が発生する箇所を検出し、検出結果に基づいて制御値αを出力する。
画素完結可変フィルタ７は、上述した図２０または図２１の画素完結可変フィルタによるフィルタ処理を実行して、画像の特徴検出器９から出力された制御値αに応じて、画素完結可変フィルタの周波数特性を、周波数特性ｆａとｆｂとの間で連続的に可変制御することにより、入力されたサブピクセル画素数変換後の輝度信号Ｙ２の周波数帯域を、疑似色妨害の発生を抑圧する。そして、周波数帯域が変更された輝度信号Ｙ４を出力する。

ＹＵＶ→ＲＧＢマトリクス変換器６は、画素完結可変フィルタ７の出力輝度信号Ｙ４と第２の画素単位画素数変換器３の出力色差信号とを、ＲＧＢ信号へマトリクス変換し、ＲＧＢ信号をディスプレイに出力する。
図２３に示すサンプリングレート変換装置によれば、画素完結可変フィルタ７において、画像の特徴検出器９から得られる制御値αに応じて、画素完結可変フィルタの周波数特性が、周波数特性ｆａとｆｂとの間で連続的に可変制御され、サブピクセル画素数変換後の出力輝度信号Ｙ２の周波数帯域が変更される。これにより、擬似色妨害の発生を抑圧することができる。

（第４の実施形態）
図２４は、本発明の第４の実施形態に係るサンプリングレート変換装置の構成を示すブロック図である。図２４において、図１０に示した第１の実施形態または図１７に示した第２の実施形態における構成要素と同一の構成要素には同一符号を付している。
図２４に示すサンプリングレート変換装置は、サブピクセル画素数変換器１と、画素完結可変フィルタ７と、サブピクセルオーバサンプリングフィルタ８と、第２の画素単位画素数変換器３と、画像の特徴検出器３０と、混合器３１と、ＹＵＶ→ＲＧＢマトリクス変換器６とを備えている。

画像の特徴検出器３０は、サブピクセル画素数変換後の出力輝度信号Ｙ２、及び第２の画素単位画素数変換器３の出力色差信号に基づいて、特定の波形パターン、例えば、擬似色妨害として認識される箇所を検出し、画素完結可変フィルタ７の制御値α１と、混合器３１の制御値α２とを出力する。

画素完結可変フィルタ７は、上述した図２０に示す画素完結可変フィルタによるフィルタ処理を実行し、制御値α１に応じて、入力されたサブピクセル画素数変換後の輝度信号Ｙ２の周波数帯域を変更して、疑似色妨害の発生を抑圧するように、周波数帯域が変更された輝度信号Ｙ４を出力する。

サブピクセルオーバサンプリングフィルタ８は、出力輝度信号Ｙ２の帯域を抑圧し、例えば、ディスプレイのナイキスト限界４２７ｃｐＬの近傍まで抑圧された周波数特性の輝度信号Ｙ３’を出力する。
混合器３１は、画素完結可変フィルタ７の出力輝度信号Ｙ４と、サブピクセルオーバサンプリングフィルタ８の出力輝度信号Ｙ３’とを、制御値α２に応じて混合し、混合された輝度信号を出力する。
ＹＵＶ→ＲＧＢマトリクス変換器６は、混合器３１の出力輝度信号と第２の画素単位画素数変換器３の出力色差信号とを、ＲＧＢ信号へマトリクス変換し、ＲＧＢ信号をディスプレイに出力する。

図２５は、画像の特徴検出器３０の構成を示すブロック図である。画像の特徴検出器３０は、ロジカル処理器４１、色差信号飽和度算出器４２、反転器４３、第１及び第２特徴検出混合器４４ａ，４４ｂ、低域フィルタ４５ａ，４５ｂ、及び画素完結フィルタ４６ａ，４６ｂを備えている。各構成要素は、基本的には図１１に示す画像の特徴検出器４の構成要素と同一の機能を有する。

制御値α１とα２は、特徴検出混合器４４ａ、４４ｂに入力される、各モード設定信号ＳＭＳ１，ＳＭＳ２に基づいて、輝度信号Ｙａと反転した飽和度信号Ｖｃｉを混合した値となる。各モード設定が同じであれば、制御値α１とα２は同じ値になる。

図２６は、混合器３１の出力輝度信号の周波数特性を説明するための図である。周波数特性ｆａ及びｆｂは、それぞれ図２２における周波数特性ｆａ及びｆｂと同じであり、周波数特性ｆｃ’は、図１８における周波数特性ｆｃ'と同じである。

混合器３１の出力輝度信号の周波数特性は、制御値α１及びα２に応じて変化する。例えば、α１＝０且つα２＝０のときには、周波数特性ｆａと同一となり、α１＝１且つα２＝０のときには、周波数特性ｆｂと同一となり、α２＝１のときには、周波数特性ｆｃ'となる。すなわち、画素完結可変フィルタに入力される制御値α１を変更することにより、輝度信号Ｙ４の周波数特性は、周波数特性ｆａとｆｂの間の周波数特性となり、さらに輝度信号Ｙ４と、輝度信号Ｙ３’との混合割合を、制御値α２により変更することにより、輝度信号Ｙ４の周波通特性と周波数特性ｆｃ’との間の周波数特性が得られる。したがって、制御値α１及びα２を適切に設定することにより、疑似色妨害を抑制しつつ、高品位の変換画質を得ることができる。

（第５の実施形態）
図２７は、本発明の第５の実施形態に係るサンプリングレート変換装置に適用されるフィルタ処理を説明するための機能ブロック図である。図２７では、図２０及び図２１の構成要素と同じ構成要素には同一符号を付している。なお、図３０の（Ａ）〜（Ｈ）は、それぞれ図２７に示す（Ａ）〜（Ｈ）の信号データ列に対応する。
図２７に示されるフィルタ処理モジュールは、第１の遅延器１１，１２，２５，２６，３４と、第２の遅延器１３，１４，１５と、総和器２７，３２と、乗算器２８，３３と、第１の混合器３５と、第２の混合器３６とを備えている。

乗算器２８は、総和器２７によって算出された輝度信号の総和に１／３を乗算し、乗算された輝度信号を第１の混合器３５の、α１＝０の側に入力する。ここで、乗算器２８の出力は、図２１に示す画素完結可変フィルタの乗算器２８の出力に対応し、画素完結可変フィルタの、サブピクセル画素数変換後の出力輝度信号と混合される成分に相当する。

一方、総和器３２は、図３０（Ａ）〜（Ｃ）に示す信号データ列の輝度信号の総和を算出し、乗算器３３は、総和器３２から出力された輝度信号の総和に１／３を乗算する。第１の遅延器３４は、乗算器３３の出力輝度信号を周期ＣＫ３だけ遅延させ、遅延させられた輝度信号を、第１の混合器３５のα１＝１の側に入力する。ここで、総和器３２、乗算器３３及び第１の遅延器３４は、図１７及び図２４に示すサブピクセルオーバサンプリングフィルタ８と同様に機能する最も簡単な例である。すなわち、総和器３２、乗算器３３及び第１の遅延器３４からなるフィルタのフィルタ係数は、（１／３，１／３，１／３）となり、総和器３２、乗算器３３及び第１の遅延器３４は、加重平均フィルタとして機能する。なお、第１の混合器３５のα１＝１の側に接続されるフィルタは、上述した総和器３２、乗算器３３及び第１の遅延器３４からなるフィルタに限られず、一般的な、所望の周波数特性を得るためのフィルタであればよい。このフィルタは、１画素内で同一値を出力するフィルタ、すなわち、フィルタ処理が画素間にまたがらない完結的なフィルタではなく、単に図３０（Ａ）〜（Ｃ）に示す信号データ列を畳み込み処理するフィルタであって、そのフィルタ処理が画素間にまたがって行われるものでよい。

第１の混合器３５は、制御値α１に基づいて、α１＝０の系統に入力された乗算器２８からの出力輝度信号、すわなち、画素完結フィルタによってフィルタ処理された出力輝度信号と、α１＝１の系統に入力された第１の遅延器３４からの出力輝度信号、すなわちサブピクセルオーバサンプリングフィルタによりフィルタ処理された輝度信号とを混合する。第１の混合器３５は、前述した混合器５と同様の機能を有するものである。したがって、第１の混合器３５の出力輝度信号の周波数特性は、制御値α１の値に応じて、図２９に示される特性ｆｂとｆｃ’の間の特性となる。第１の混合器３５は、混合された輝度信号を第２の混合器３６のα２＝１の側に入力する。

第１の遅延器１１，１２，２６からなる系統は、サブピクセル画素数変換された輝度信号を、その広帯域信号をそのまま維持して通過させる系統である。そして、第１の遅延器２６は、図３０（Ｄ）に示す信号データ列の輝度信号を、第２の混合器３６のα２＝０の側に入力する。

第２の混合器３６も、第１の混合器３５と同様の機能を有する。したがって、第２の混合器３６から出力される輝度信号の周波数特性は、制御値α２の値に応じて、第１の混合器３５の出力信号の周波数特性と、図２９の周波数特性ｆａの間の特性となる。

図２８は、本発明の第５の実施形態に係るサンプリングレート変換装置の構成を示すブロック図である。図２８において、第１の実施形態の構成要素と同一の構成要素には同一符号を付している。
図２８に示す装置は、サブピクセル画素数変換器１と、画素完結フィルタ３７と、サブピクセルオーバサンプリングフィルタ８と、第２の画素単位画素数変換器３と、画像の特徴検出器３８と、第１の混合器３５と、第２の混合器３６と、ＹＵＶ→ＲＧＢマトリクス変換器６とを備えている。

画像の特徴検出器３８は、前述した画像の特徴検出器３０と同様に構成され、サブピクセル画素数変換後の出力輝度信号Ｙ２、及び第２の画素単位画素数変換器３の出力色差信号に基づいて、特定の波形パターン、例えば、擬似色妨害が認識され易い箇所を検出し、検出結果に基づいて、第１の混合器３５の制御値α１と、第２の混合器３６の制御値α２とを出力する。

図２８において破線で囲われた部分は、図２７のフィルタ処理モジュールに相当する。具体的には、画素完結フィルタ３７は、第２の遅延器１３，１４，１５、総和器２７、及び乗算器２８に該当し、サブピクセルオーバサンプリングフィルタ８は、総和器３２、乗算器３３及び第１の遅延器３４に該当する。
ＹＵＶ→ＲＧＢマトリクス変換器６は、第２の混合器３６の出力輝度信号と第２の画素単位画素数変換器３の出力色差信号とを、ＲＧＢ信号へマトリクス変換し、ＲＧＢ信号をディスプレイに出力する。

図２９は、第２の混合器３６の出力輝度信号の周波数特性を示す図である。周波数特性ｆａ及びｆｂは、それぞれ図２２における周波数特性ｆａ及びｆｂと同じであり、周波数特性ｆｃ'は、図１８における周波数特性ｆｃ'と同じである。

図２８に示すサンプリングレート変換装置によれば、画素完結フィルタ３７により、出力輝度信号Ｙ２が平均化処理された周波数特性ｆｂの輝度信号が出力され、サブピクセルオーバサンプリングフィルタ８により、出力輝度信号Ｙ２が周波数特性ｆｂよりも狭帯域になるように帯域が抑制された周波数特性ｆｃ'の輝度信号が出力される。そしてこれらの輝度信号が第１の混合器３５により混合され、その混合割合が、制御値α１に応じて可変制御される。さらに、第１の混合器３５の出力輝度信号と、周波数特性ｆａの出力輝度信号Ｙ２とが、第２の混合器３６により混合され、その混合割合が、制御値α２に応じて可変制御される。したがって、周波数特性ｆｃ’とｆａの間の周波数特性が、制御値α１及びα２に応じて得られ、擬似色妨害の発生の抑制しつつ、高品位の変換画質を得ることができる。

なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、上述した実施形態では、１画素のサブピクセル数が、Ｒ（赤），Ｇ（緑），Ｂ（青）の３つとされたが、例えば、エメラルド色など原色がもう一つ加わるなど、４つまたはそれ以上であってもよい。１画素のサブピクセル数が４つの場合、上述した画素完結可変フィルタにおける、各サブピクセルに対応する輝度信号のフィルタ係数は、
出力標本点 （１／４）＋（３／４）×（１−α）
出力非標本点（１／４）×α
となり、出力非標本点は３点であり、制御値αが０〜１の範囲においていかなる値をとったとしても、３つの出力非標本点のフィルタ係数と、出力標本点のフィルタ係数を合計すると、その合計値は１となる。

これを一般的に表すと、１画素のサブピクセル数がＳｎの場合、フィルタ係数は、
出力標本点 （１／Ｓｎ）＋（（Ｓｎ−１）／Ｓｎ）×（１−α）
出力非標本点（１／Ｓｎ）×α
となり、出力標本点は常に１点、出力非標本点は（Ｓｎ−１）点となり、制御値αが０〜１の範囲においていかなる値をとったとしても、（Ｓｎ−１）点の出力非標本点のフィルタ係数と、出力標本点のフィルタ係数を合計すると、その合計値は１となる。

このとき、制御値αが１であれば、全てのフィルタ係数が１／Ｓｎとなり、サブピクセル間の係数が同一となるため、マトリクス変換の際に色のバランスが崩れないという効果を得ることができる。したがって、擬似色妨害が生じない効果は、サブピクセル数が変化しても常に得ることができる。

出力標本点と出力非標本点に係る係数αと（１−α）とが、互いに入れ替わったとしても、画素完結可変フィルタが、入れ替えに応じて、フィルタ処理を実行すればよく、これにより、入れ替え前と同様の効果が得られるので、出力標本点と出力非標本点に係る係数αと（１−α）とを入れ替えたときのフィルタ処理は、これらを入れ替えないときのフィルタ処理と、特に異なるものではない。

上述した各混合器に入力される制御値αについても同様であり、各混合器への入力を入れ替えても（例えば、制御値としてαではなく（１−α）を入力したとしても）、各混合器が入れ替えに応じて、混合を制御すれば、同様の効果を得ることができる。

上述した実施形態では、テレビジョンの伝送信号において、一般的にＵＶの色差信号の帯域がＹの輝度信号の帯域よりも狭いので、Ｙの輝度信号にのみ、サブピクセル画素数変換を適用したが、図３１に示すように、ＵＶの色差信号にもサブピクセル画素数変換を適用してもよい。ここで、サブピクセル画素数変換された輝度信号及び色差信号は、ＹＵＶ→ＲＧＢマトリクス変換器により、ＲＧＢの原色信号に変換される。このとき、図８に示すＹＵＶ→ＲＧＢマトリクス変換と同様に、ＲＧＢの各原色信号は、１画素あたり３つの位相の値を有し、これらの中から、ディスプレイの１画素におけるＲＧＢサブピクセルの配列順序に一対一で対応している位相が、有効位相となり、該有効位相部の信号が各サブピクセルデータとなる。すなわち、サブピクセルサンプリングレートの輝度信号及び色差信号からＹＵＶ→ＲＧＢマトリクス変換されたＲＧＢの各原色信号における、有効位相部の信号が、画素数レートの原色信号に変換される。

また上述した実施形態では、ディスプレイにおいて、水平方向にＲＧＢサブピクセルが配列されているが、垂直方向にＲＧＢサブピクセルが配列されていてもよく、この場合にも、本発明を適用可能である。また、ディスプレイにおいて、２次元にＲＧＢサブピクセルが配列されていても、本発明を適用可能である。さらに、１画素内においてフィルタ処理が完結されれば、本発明のフィルタ方法を適用可能であり、同様の効果を得ることができる。

１画素と発光素子（サブピクセル）との関係を示す図である。 従来のディスプレイにおける画像の表示を説明する図である。 画素数変換のモデルを示す図である。 画素数変換における周波数特性を示す図である。 従来の画素数変換の概念を説明するための図である。 サブピクセル画素数変換の概念を説明するための図である。 サブピクセル画素数変換を詳細に説明するための図である。 サブピクセル画素数変換後の輝度信号を含むＹＵＶ信号を、ＲＧＢ信号に変換する方法を説明するための図である。 サブピクセル画素数変換後のスペクトル成分を説明するための図である。 本発明の第１の実施形態に係るサンプリングレート変換装置の構成を示すブロック図である。 図１０に示す画像の特徴検出器の構成を示すブロック図である。 図１１に示すロジカル処理による処理を説明するための波形図である。 図１１に示す特徴検出混合器による処理を説明するための波形図である。 図１１に示す画素完結フィルタの構成を示すブロック図である。 画素完結フィルタにおける処理を説明するための波形図である。 図１０に示す装置の出力輝度信号の周波数特性を説明するための図である。 本発明の第２の実施形態に係るサンプリングレート変換装置の構成を示すブロック図である。 図１７に示す装置の出力輝度信号の周波数特性を説明するための図である。 本発明の第３の実施形態に係るサンプリングレート変換装置に適用されるフィルタ処理の概念を時系列で説明するための図である。 画素完結可変フィルタによるフィルタ処理を説明するための機能ブロック図である。 画素完結可変フィルタによるフィルタ処理を説明するための他の機能ブロック図である。 画素完結可変フィルタの周波数特性を説明するための図である。 本発明の第３の実施形態に係るサンプリングレート変換装置の構成を示すブロック図である。 本発明の第４の実施形態に係るサンプリングレート変換装置の構成を示すブロック図である。 図２４に示す画像の特徴検出器の構成を示すブロック図である。 図２４に示す装置の出力輝度信号の周波数特性を説明するための図である。 本発明の第５の実施形態に係るサンプリングレート変換装置に適用されるフィルタ処理を説明するための機能ブロック図である。 本発明の第５の実施形態に係るサンプリングレート変換装置の構成を示すブロック図である。 図２８に示す装置の出力輝度信号の周波数特性を示す図である。 図２０、図２１、または図２７の各部における信号データを時系列的に示す図である。 輝度信号とともに色差信号についてもサブピクセルサンプリング変換を行う例を説明するための図である。

符号の説明

１ サブピクセル画素数変換器
２ 第１の画素単位画素数変換器（画素単位画素数変換器）
４，４ａ，３０，３８ 画像の特徴検出器（画像の特徴検出器）
５，３１ 混合器
６ ＹＵＶ→ＲＧＢマトリクス変換器
７ 画素完結可変フィルタ
８ サブピクセルオーバサンプリングフィルタ
１１，１２，１３，２５，２６，３４ 第１の遅延器
１３，１４，１５ 第２の遅延器
１６，１７，１８ セレクタ
１９，２４ 加算器
２０，２２，２３，２８，３３ 乗算器
２１ 減算器
２７，３２ 総和器
３５ 第１の混合器
３６ 第２の混合器
３７ 画素完結フィルタ
４１ ロジカル処理器（特徴信号生成手段）
４２ 色差信号飽和度算出器（特徴信号生成手段）
４３ 反転器（特徴信号生成手段）
４４ 特徴検出混合器（特徴信号生成手段）
４５ 低域フィルタ（フィルタ処理手段）
４６ 画素完結フィルタ（フィルタ処理手段）

Claims (6)

1. 複数のサブピクセルにより構成される各画素が、マトリクス状に配列され、かつ、前記各画素に対応する信号データに応じて、前記各画素が発光して前記画素毎に輝度又は色彩を再現する構成のディスプレイに、入力される画像信号のサンプリングレートの変換を行うサンプリングレート変換装置において、
   前記ディスプレイの画素数より大きい画素数の高精細画像信号が入力され、前記高精細画像信号を構成する輝度信号又は色差信号のサンプリングレートを、前記ディスプレイにおけるサブピクセルが配列された方向のサンプリングレートと、前記画素を構成するサブピクセル数とに応じたサブピクセルサンプリングレートに変換することにより、サブピクセルサンプリングレート信号を出力するサブピクセル画素数変換器と、
   前記高精細画像信号が入力され、入力された前記高精細画像信号を構成する輝度信号を、画素単位で画素数変換処理を行い、妨害抑圧信号として出力する画素単位画素数変換器と、
   前記高精細画像信号を構成する輝度信号又は色差信号の特定の波形パターンを検出して制御信号を出力する画像特徴検出器と、
   前記サブピクセルサンプリングレート信号と、前記妨害抑圧信号とを混合し、該混合割合を前記制御信号に応じて制御する混合器とを備えることを特徴とするサンプリングレート変換装置。
2. 複数のサブピクセルにより構成される各画素が、マトリクス状に配列され、かつ、前記各画素に対応する信号データに応じて、前記各画素が発光して前記画素毎に輝度又は色彩を再現する構成のディスプレイに、入力される画像信号のサンプリングレートの変換を行うサンプリングレート変換装置において、
   前記ディスプレイの画素数より大きい画素数の高精細画像信号が入力され、前記高精細画像信号を構成する輝度信号又は色差信号のサンプリングレートを、前記ディスプレイにおけるサブピクセルが配列された方向のサンプリングレートと、前記画素を構成するサブピクセル数とに応じたサブピクセルサンプリングレートに変換することにより、サブピクセルサンプリングレート信号を出力するサブピクセル画素数変換器と、
   前記サブピクセルサンプリングレート信号を、前記サブピクセルサンプリングレートでフィルタ処理して、妨害抑圧信号として出力するサブピクセルオーバサンプリングフィルタと、
   前記高精細画像信号を構成する輝度信号又は色差信号の特定の波形パターンを検出して制御信号を出力する画像特徴検出器と、
   前記サブピクセルサンプリングレート信号と、前記妨害抑圧信号とを混合し、該混合割合を前記制御信号に応じて制御する混合器とを備えることを特徴とするサンプリングレート変換装置。
3. 前記画像特徴検出器は、前記輝度信号のレベル及び前記色差信号の飽和度に応じて特徴信号を生成する特徴信号生成手段と、前記特徴信号生成手段から出力される前記特徴信号にフィルタ処理を施して、前記制御信号を出力するフィルタ処理手段とを備えることを特徴とする請求項１又は２に記載のサンプリングレート変換装置。
4. 前記特徴信号生成手段は、前記輝度信号のレベルが高くなるほど、また前記色差信号の飽和度が低くなるほど、前記混合器における前記妨害抑圧信号の混合割合が高くなるように、前記特徴信号を生成することを特徴とする請求項３に記載のサンプリングレート変換装置。
5. 複数のサブピクセルにより構成される各画素が、マトリクス状に配列され、かつ、前記各画素に対応する信号データに応じて、前記各画素が発光して前記画素毎に輝度又は色彩を再現する構成のディスプレイに、入力される画像信号のサンプリングレートの変換を行うサンプリングレート変換装置に適用される画像信号処理方法において、
   前記ディスプレイの画素数より大きい画素数の高精細画像信号を構成する輝度信号又は色差信号のサンプリングレートを、前記ディスプレイにおけるサブピクセルが配列された方向のサンプリングレートと、前記画素を構成するサブピクセル数とに応じたサブピクセルサンプリングレートに変換することにより、サブピクセルサンプリングレート信号を生成し、
   前記サブピクセルサンプリングレート信号を、前記画素単位で加重平均して加重平均信号を生成し、
   前記サブピクセルサンプリングレート信号と前記加重平均信号とを混合して出力信号を生成し、
   前記出力信号の混合の割合を前記画像信号の輝度信号レベルと色差信号の飽和度とに基づく値に応じて変化させることを特徴とする画像信号処理方法。
6. 前記フィルタ処理手段は、１画素毎に前記特徴信号の各サブピクセル値を平均化するフィルタ処理を行い、前記制御信号を出力することを特徴とする請求項３に記載のサンプリングレート変換装置。

Images