JP4569697B2 - 画像処理装置、画像表示装置、及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、画像表示装置、及び画像処理方法に関するものであり、特に空間周波数の高い画像が入力される画像処理装置、画像表示装置、及び画像処理方法に関するものである。

リアプロジェクションテレビ等の投射型ディスプレイ装置においては、投射する光源とスクリーンの位置関係に起因する画像歪（例えば、キーストーン歪）、あるいは、光学系が持つ収差などに起因する画像歪が発生する。この歪を補正するため、歪と逆特性の変換を施した画像を投射する方法が知られている。

その方法の一つに、画像信号処理によって逆特性の画像を生成する方法があり、入力画像中の走査線内の画素数を所定走査線数単位で変化させることによりキーストーン歪を補正する液晶プロジェクタ装置が提案されている（例えば特許文献１参照）。

特開平８−１０２９００号公報（段落００２１、００２７、図２、図３）

しかしながら、例えば、上記のように画素数を変化させて拡大・縮小を行った場合、入力する画像に高周波成分が多く含まれると、原画像を変換後の画素位置で再サンプリングすることによる折り返し歪によって出力画像にモアレが発生し、画質が低下するという問題があった。

また、一般的に画像データに含まれる周波数成分の分布を考慮せずに画像信号を平滑化することにより、モアレを防止する方法が採用される場合があるが、この場合、モアレに関係のない細かな模様等までぼやけてしまい、画質が低下してしまうという問題があった。

本発明は、上記のような問題点を解決するためになされたものであり、例えば市松模様のような高周波成分を含んでいる部分があっても、画質を低下させることなく、モアレの発生を低減した画像を提供できる画像処理装置、画像表示装置、及び画像処理方法を得ることを目的とする。

本発明にかかる画像処理装置は、画像データの画素又は画素群に対し畳み込み演算を行って画像データの高周波成分を検出し検出結果を出力する高周波成分検出部と、画像データを平滑化した平滑化画像データを出力する平滑化処理部と、画像データと平滑化画像データとを前記検出結果に基づいて定まる合成割合で合成し合成された合成データを出力する画像データ処理部とを備えた画像処理装置において、平滑化処理部は、画像データの画面領域内における注目画素ごとに、注目画素と注目画素の近傍の画素から構成される平滑化対象領域に含まれる各画素のデータから平滑化画像データを生成するものであって、平滑化対象領域を構成する画素数は、畳み込み演算の演算対象となる画素群の画素数より少ないことを特徴とするものである。
また、本発明にかかる画像処理装置は、画像データの画素又は画素群に対し畳み込み演算を行って前記画像データの高周波成分を検出し検出結果を出力する高周波成分検出部と、画像データを平滑化した平滑化画像データを出力する平滑化処理部と、画像データと平滑化画像データとを検出結果に基づいて定まる合成割合で合成し合成された合成データを出力する画像データ処理部とを備えた画像処理装置において、高周波成分検出部は、畳み込み演算を行うための、畳み込みパターンデータを生成する畳み込みパターン生成部と、画像データの画素又は画素群からなる注目領域ごとに画像データと前記畳み込みパターンデータとの畳み込み演算結果を出力する畳み込み演算部と、畳み込み演算結果の絶対値を高周波成分検出結果として出力する高周波成分量算出部とを有し、畳み込み演算は、少なくとも注目領域を含む複数の画素からなる画素群を演算対象とし、畳み込みパターンデータは、演算対象となる画素群内の各画素に対し、連続する画素ごとに正と負を入れ替えた係数からなる、ことを特徴とするものである。

また、本発明にかかる画像表示装置は、上記の画像処理装置と、画像処理装置から出力された画像データをもとに画像を表示する画像表示部とを備えている。

また、本発明にかかる画像処理方法は、画像データの画素又は画素群に対し畳み込み演算を行って画素データの高周波成分を検出し検出結果を出力する高周波成分検出ステップと、画像データを平滑化した平滑化画像データを出力する平滑化処理ステップと、画像データと平滑化画像データとを検出結果に基づいて定まる合成割合で合成し合成された合成データを出力する画像データ処理ステップとを含む画像処理方法において、平滑化処理ステップは、画像データの画面領域内における注目画素ごとに、注目画素と注目画素の近傍の画素から構成される平滑化対象領域に含まれる各画素のデータから平滑化画像データを生成し、平滑化対象領域を構成する画素数は、畳み込み演算の演算対象となる画素群の画素数より少ないことを特徴とするものである。
また、本発明にかかる画像処理方法は、画像データの画素又は画素群に対し畳み込み演算を行って画像データの高周波成分を検出し検出結果を出力する高周波成分検出ステップと、画像データを平滑化した平滑化画像データを出力する平滑化処理ステップと、画像データと平滑化画像データとを検出結果に基づいて定まる合成割合で合成し合成された合成データを出力する画像データ処理ステップとを含む画像処理方法において、高周波成分検出ステップは、畳み込み演算を行うための、畳み込みパターンデータを生成する畳み込みパターン生成ステップと、画像データの画素又は画素群からなる注目領域ごとに画像データと畳み込みパターンデータとの畳み込み演算結果を出力する畳み込み演算ステップと、畳み込み演算結果の絶対値を高周波成分検出結果として出力する高周波成分量算出ステップとを有し、畳み込み演算は、少なくとも注目領域を含む複数の画素からなる画素群を演算対象とし、畳み込みパターンデータは、演算対象となる画素群内の各画素に対し、連続する画素ごとに正と負を入れ替えた係数からなる、ことを特徴とするものである。

本発明によれば、画像データの高周波成分を検出し、高周波成分の高い画素又は画素群に対しては、平滑化した画像データの合成割合が高くなるように構成したので、例え、画像データの一部に市松模様のような高周波成分を含んでいる部分があっても、画質を低下させることなく、モアレの発生を低減した画像を提供することができる。

実施の形態１．
図１は本発明の実施の形態１にかかる画像処理装置、画像処理方法の構成を表す図であり、例えばリアプロジェクションテレビ等の投射型ディスプレイ装置に代表される画像表示装置の一部として用いることができる。

実施の形態１にかかる画像処理装置は入力端子１、高周波成分処理部２、部分拡大縮小処理部３を備える。入力画像データＤａは入力端子１から高周波成分処理部２に入力される。高周波成分処理部２は後述する方法で入力画像データＤａの高周波成分が含まれる部分を平滑化した高周波成分平滑化画像データＤｂを出力する。部分拡大縮小処理部３は平滑化画像データＤｂを領域ごとに拡大あるいは縮小した部分拡大縮小画像データＤｃを出力する。なお、ここでは、高周波成分処理部２と部分拡大縮小処理部３とを同じ画像処理装置内に設けた例を示しているが、これは特に限定するものではなく、画像処理装置を複数設け、処理部２、３を各々別の装置内に設けるようにしてもよい。

高周波成分処理部２の内部構成に関して詳細に説明する。図２は高周波成分処理部２の内部構成を示す図である。高周波成分処理部２は平滑化処理部１１、高周波成分検出部１２、画像データ処理部１３を備える。平滑化処理部１１は入力画像データＤａを平滑化した平滑化画像データＤｄを出力する。高周波成分検出部１２は入力画像データＤａの画素ごとに含まれる高周波成分を検出し、画素ごとの高周波成分検出結果Ｓｂを出力する。画像データ処理部１３は高周波成分検出結果Ｓｂに基づいて入力画像データＤａと平滑化画像データＤｄを合成した合成データとしての高周波成分平滑化画像データＤｂを出力する。
以下、平滑化処理部１１、高周波成分検出部１２、画像データ処理部１３について説明する。

まず、平滑化処理部１１について説明する。本実施の形態１において平滑化処理部１１は注目する画素（以下、注目画素と呼ぶ）およびその周辺に存在する画素が持つ画素値の平均値を出力する平均値フィルタで構成される。すなわち平滑化画像データＤｄは入力画像データＤａに対して平均値フィルタが適応された画像となっている。

次に、高周波成分検出部１２について説明する。図３は高周波成分検出部１２の内部構成を示す図である。高周波成分検出部１２は畳み込みパターン生成部２１、畳み込み演算部２２、高周波成分量算出部２３を備える。畳み込みパターン生成部２１は畳み込みパターンデータＴａを出力する。畳み込み演算部２２は畳み込みパターン生成部２１が出力した畳み込みパターンデータＴａを用いて、入力画像データＤａの画面領域全域に対し、画面領域の一部からなる注目画素ごとに注目画素と注目画素の周辺画素の画素値を畳み込み演算した畳み込み演算結果Ｄｅを出力する。高周波成分量算出部２３は畳み込み演算結果Ｄｅをもとに入力画像データＤａに含まれる高周波成分を算出し、画面領域全域における注目画素ごとの高周波成分の含まれる割合である高周波成分検出結果Ｓｂを出力する。

次に、画像データ処理部１３について説明する。図４は画像データ処理部１３の内部構成を示す図である。画像データ処理部１３は合成割合生成部３１および加重加算部３２を備える。合成割合生成部３１は高周波成分検出結果Ｓｂをもとに合成割合Ｓｃを出力する。なお、合成割合Ｓｃは０以上の値を持つ数値である。加重加算部３２は合成割合Ｓｃに基づいて入力画像データＤａ、平滑化画像データＤｄを加重加算し、その結果を高周波成分平滑化画像データＤｂとして出力する。

合成割合Ｓｃの取りうる最大値をＳｃｍａｘとすると、入力画像データＤａ、平滑化画像データＤｄおよび高周波成分平滑化画像データＤｂの関係は以下の数式で表される。

ここで平滑化画像データＤｄは入力画像データＤａに対して平均値フィルタが適応された画像となっているので、入力画像データＤａと比較すると細部の情報を失いぼやけた画像となっている代わりに、モアレの原因となる高周波成分を含まない画像となっている。すなわち合成割合生成部３１において、入力画像データＤａ画面領域の一部である注目領域（本実施の形態では注目画素）にモアレの原因となる高周波成分が多く含まれている場合、その注目領域（注目画素）での合成割合Ｓｃの値を大きくし、モアレの原因となる高周波成分があまり含まれていない場合、その注目領域（注目画素）での合成割合Ｓｃの値を小さくすることで、画像細部の情報を残しつつ、モアレの原因となる高周波成分は含まない高周波成分平滑化画像データＤｂを得ることが可能になる。

言い換えると合成割合Ｓｃは入力画像データＤａに対する、高周波成分処理部２の通過周波数帯域を制御する係数となる。すなわち合成割合Ｓｃの値がＳｃｍａｘに近づくほど通過周波数帯域が低くなり、逆に合成割合Ｓｃの値が０に近づくほど通過周波数帯域が高くなる。本発明の実施の形態１による高周波成分処理部２では、入力画像データＤａ中の注目領域（注目画素）ごとにモアレの原因となる高周波成分が多く含まれるほど合成割合Ｓｃの値がＳｃｍａｘに近づくよう動作するので、高周波成分処理部２の通過周波数帯域が局所的に制御される。その結果、画像細部の情報を残しつつ、モアレの原因となる高周波成分のみを除去することが可能となる。

つぎに、上記のように注目領域（注目画素）毎に高周波成分が含まれている割合を定量的に示す高周波成分検出結果Ｓｂの演算方法について説明する。高周波成分検出部１２において、畳み込みパターンデータＴａを適切に設定することで、高周波成分検出結果Ｓｂは入力画像データＤａの中にモアレの原因となる高周波成分がどの程度含まれているかを定量的に表す値となる。そして、合成割合生成部３１において高周波成分検出結果Ｓｂをもとに合成割合Ｓｃを求めることによって、モアレの原因となる高周波成分が多く含まれるほど合成割合Ｓｃの値をＳｃｍａｘに近づけ、逆にモアレの原因となる高周波成分があまり含まれない場合は合成割合Ｓｃの値を０に近づけることが可能になる。

モアレの原因となる高周波成分を含む画像の中でも、とくに市松模様を含む箇所を検出する場合を例に説明する。なお、市松模様とは上下左右に階調の異なる画素が周期的に並ぶ状態を表す、画素単位での階調の違いを表現するものであって、実際には、背景色のようにべた塗りのような状態で視認される。

図５は市松模様を含む箇所を検出する場合に畳み込みパターン生成部２１が生成する畳み込みパターンデータＴａを示す図である。本実施の形態１では、画像データＤａ内の１画素を１領域としているので、図５において四角で表される部分が入力画像データＤａにおける各画素に対応し、網点で示された画素が注目画素になる。四角の中に書かれる数字が畳み込み演算の際、各画素値に対して掛けられる係数になる。

すなわち、注目画素の画素値をＶ（ｘ）、注目画素の左隣にある画素の画素値をＶ（ｘ−１）、注目画素の右隣にある画素の画素値をＶ（ｘ＋１）、注目画素のさらに右隣にある画素値をＶ（ｘ＋２）とした場合、畳み込み演算結果Ｄｅは４個の乗算を利用した以下の数式で表される。

つまり、畳み込み演算は、少なくとも注目画素と注目画素の近傍の画素を含む画素群を演算対象とし、畳み込みパターンデータＴａは、演算対象となる画素群内の各画素に対し、連続する画素ごとに正と負を入れ替えた（加算と減算を逆転させた）係数からなるように構成されている。また、畳み込み演算の際、各画素値に対して掛けられる係数が−１もしくは１のいずれかとなっているので、数２に示した計算の乗算部分は加算または減算で表すことができ、以下の数式と等価となる。

数２が乗算を必要とするのに対し、数３は加減算のみで実現でき、ハードウェア化の面で有利である。すなわち畳み込みパターンデータを、１もしくは−１からなる係数とすることで、ハードウェア化時の実装規模を抑えることができる。

図６は入力画像データＤａと畳み込み演算結果Ｄｅの関係を示す図である。図６（ａ）はある入力画像データＤａを表しており、図６（ｂ）は図６（ａ）に示された入力画像データＤａと図５に示された畳み込みパターンデータＴａによる畳み込み演算の結果得られた畳み込み演算結果Ｄｅを表している。また、入力画像はモノクロ画像とする。図６（ａ）において四角で表される部分が各画素に対応し、四角の中に書かれている数字が各画素の画素値に対応している。図６（ｂ）において四角で表される部分が各画素に対応し、四角の中に書かれている数字が畳み込み演算の結果得られた値を示している。なお、画像データの境界近傍の画素に注目して畳み込み演算を行う場合、畳み込みパターンデータＴａで与えられた係数の一部には、その係数と掛け合わせるための画素値を与える画素が存在しない。そのような場合、画素値として０を仮定した。

図６（ａ）において画像の左側では、上下左右に隣接する画素の画素値が周期的に変化するいわゆる市松模様となっており、モアレ発生の原因となる高周波成分を有する。以下、この領域を市松模様領域とよぶ。一方、画像の右側では、隣接する画素の画素値が変化しておらず、モアレ発生の原因となる高周波成分を含んでいない。以下、この領域をベタ領域とよぶ。図６（ｂ）に示された畳み込み演算Ｄｅをみれば明らかなように、市松模様領域では畳み込み演算結果Ｄｅの絶対値が大きな値をとっており、ベタ領域では小さな値となり、市松模様領域とベタ領域の境界付近では中間的な値を取っている。

従って高周波成分量算出部２３が高周波成分検出結果Ｓｂとして、畳み込み演算結果Ｄｅの絶対値を出力するものとすれば、高周波成分検出結果Ｓｂの値は市松模様領域の各注目画素に対して大となり、ベタ領域の各注目画素に対しては小となり、また市松模様領域とベタ領域の境界付近の各注目画素に対してはその中間的な値となる。

言い換えると畳み込み演算を用いることで、特定のパターン（あるいは畳み込みパターンデータＴａ）が入力画像データＤａ中に含まれているかを定量的に把握することが可能になる。また上記のように、畳み込みパターンデータＴａを周期的なデータにすることで、入力画像Ｄａ中に特定の周期の高周波成分（上記の説明では市松模様）がどの程度含まれているかを定量的に把握することが可能になる。

すなわち、高周波成分検出結果Ｓｂの値は、入力画像データＤａ中の各注目画素にどの程度市松模様（高周波成分）が含まれているかに応じて連続的に変化し、かつ市松模様からなる領域が一定以上大きくなればその値が大きくなる。また、高周波成分検出結果Ｓｂの値は明らかに０以上の数値である。すなわち、高周波成分検出結果Ｓｂは、入力画像データＤａの中に問題となる高周波成分がどの程度含まれているかを定量的に表す０以上の値であり、その値が大きいほど、入力画像データＤａ中の各注目画素（領域）に問題となる高周波成分が多く含まれていることを表す。

数１による加重加算において合成割合Ｓｃの値を大きくすれば入力画像データＤａに含まれる高周波成分が除去されるので、問題となる市松模様を除去することが可能になる。しかしながら必要以上に高周波成分を除去すると入力画像データＤａの中の細かい模様（以下、テキスチャと呼ぶ）などの除去したくない部分まで除去してしまう。

そこで、テキスチャ部分は残しつつ、モアレの原因となる高周波成分を含む市松模様を除去することができるよう、高周波成分検出結果Ｓｂの値が大きいほど、合成割合Ｓｃの値を大きくなるように数４のように定めた。以下に演算方法を示す。

１）高周波成分検出結果Ｓｂの値が閾値Ｔｂ未満（Ｓｂ＜Ｔｂ）の場合、合成割合Ｓｃを０とする。これにより、高周波成分検出結果Ｓｂの値が閾値Ｔｂ未満の値を出力するようなテキスチャ部分に対しては高周波成分平滑化の影響を抑えることができる。すなわち閾値Ｔｂの値を適切に設定することでテキスチャは残しつつ、市松模様は除去するといった処理が可能になる。

２）一方、入力画像データＤａの画面領域内の注目画素に市松模様のような高周波成分が多く含まれる場合、高周波成分検出結果Ｓｂの値は大きな値となる。そこで、閾値Ｔｍａｘを設定し、高周波成分検出結果Ｓｂの値が閾値Ｔｍａｘより大きい（Ｓｂ＞Ｔｍａｘ）場合、その注目画素にはモアレ発生の原因となる市松模様のような高周波成分が多く含まれると判断し、合成割合Ｓｃの値を最大値であるＳｃｍａｘとすれば市松模様を効果的に除去することが可能となる。

３）高周波成分検出結果Ｓｂの値がＴｂ以上、Ｔｍａｘ以下（Ｔｂ≦Ｓｂ≦Ｔｍａｘ）の場合、その注目画素が、市松模様のような高周波成分を含むものなのかテキスチャなのか判断しがたい箇所であると考えられる。例えば市松模様とテキスチャの境界近傍（以下、境界部分と呼ぶ）などが挙げられる。このような箇所で平滑化を行うか行わないかの２値的な処理をすると（あるいはＳｃの値として０かＳｃｍａｘしか許さないと）高周波成分平滑化画像データＤｂに不連続性が生じる。すなわちＳｃ＝０が選択された場合は入力画像データＤａがそのまま出力されるが、Ｓｃ＝Ｓｃｍａｘが選択された場合は平滑化画像データＤｄが出力される。入力画像データＤａは高周波成分を含むため、人間の目にははっきりした画像として認識されるが、平滑化画像データＤｄは高周波成分を含まないため、人間の目にはぼやけた画像として認識される。Ｓｃの値として０かＳｃｍａｘしか許されないと、境界部分近傍でははっきりした画像とぼやけた画像が不連続に現れ、それが人間の目には不自然に感じられる。また動画においてこのような不自然な部分（以下、偽輪郭）が現れると人間の目にはそれがちらちらと映り、より不自然さが増すことになる。

そこで、高周波成分検出結果Ｓｂの値がＴｂ以上Ｔｍａｘ以下の場合、合成割合Ｓｃの値は高周波成分検出結果Ｓｂの増加に伴い、０からＳｃｍａｘの間の値を徐々に増加するようにした。したがって境界部分において高周波成分平滑化画像データＤｂは入力画像データＤａと平滑化画像データＤｄの中間的な画像となるので境界部分をぼやかすことができる。言い換えると境界部分における変化をなだらかにすることができる。人間の目はなだらかな変化に対しては鈍感なため、Ｓｃの値として０とＳｃｍａｘしか許さない場合に生じた偽輪郭を見ることもない。すなわち、高周波成分検出結果Ｓｂの値がＴｂ以上Ｔｍａｘ以下の場合、高周波成分検出結果Ｓｂの増加に対して合成割合Ｓｃを単調に増加させることで偽輪郭の発生を防止できる。

なお、数４における傾きＫａの値が以下の数５に示す値の場合、高周波成分検出結果Ｓｂの値が閾値Ｔｍａｘ以上のとき、Ｓｃ＝Ｓｍａｘとなるので、Ｓｂが０からＴｍａｘを超える値を変化したときのＳｃの値は連続的に変化する。

そのため、境界部分を含む高周波成分検出結果Ｓｂの変化に対して合成割合Ｓｃの変化が滑らかとなり、テキスチャ部分に対しては高周波成分平滑化の影響を抑えてテキスチャは残しつつ、市松模様は除去するといった処理が可能になる。

図７は上記数４、数５にもとづいて合成割合Ｓｃを演算したときの、高周波成分検出結果Ｓｂと合成割合Ｓｃの関係を表す図である。図７において横軸（高周波成分検出結果Ｓｂ）は入力画像データＤａの注目領域（画素）中に問題となる高周波成分がどの程度含まれるかを表す量であり、問題となる高周波成分が多くなるほどその値が大きくなる。一方、テキスチャなど残しておきたい成分が多く含まれるとき、高周波成分検出結果Ｓｂの値は小さな値をもつと考えられる。図７から明らかなように、合成割合Ｓｃの値は、入力画像データＤａにモアレの原因となる高周波成分が多く含まれるほどその値がＳｃｍａｘに近づき、逆にモアレの原因となる高周波成分があまり含まれない場合０に近づいている。よって加重加算部３２において、テキスチャ等の細部の情報を残しつつ問題となるモアレの原因となる高周波成分は含まない高周波成分平滑化画像データＤｂを得ることができる。

なお、高周波成分検出結果Ｓｂの値がＴｂ以上Ｔｍａｘ以下の場合、高周波成分検出結果Ｓｂの増加に対して合成割合Ｓｃも単調に増加する式は数４に限ったものではない。

また、本実施の形態１では、高周波成分検出結果Ｓｂを画素ごとに算出するようにしたが、これに限られることはなく、画像データＤａの画面領域の一部からなる複数の画素からなる領域を注目領域としてもよい。この場合、畳み込み演算の対象とする画素群としては、少なくとも注目領域を含めた複数の画素を含む画素群であれば良く、その注目領域内の画素群のみを演算対象としてもよい。

以上に説明したように、高周波成分処理部２から出力される高周波成分平滑化データＤｂにはテキスチャ等の細部の情報を残しつつ、モアレの原因となる高周波成分が含まれていない。そして部分拡大縮小処理部３はモアレの原因となる高周波成分を含まない平滑化画像データＤｂを領域ごとに拡大あるいは縮小した部分拡大縮小画像データＤｃを出力するので、本実施の形態１にかかる画像処理装置ではモアレを抑制した良好な画像を生成することができる。

図８は、本発明の実施の形態１にかかる画像処理装置を内蔵した投射型ディスプレイ装置に代表される画像表示装置の構成を示す図である。図８に示すように、画像表示装置は、光源８１から照射される光が各種光学素子８２を介して変調器８３に入射され、制御信号に応じて変調器８３で変調された光が投射レンズ８４等の光学系を介してスクリーン８５に投射されるようになっている。そして、上記説明した画像処理装置が制御ユニットとして配置され、画像処理装置から出力される合成データに基づいて生成される制御信号に応じて、変調器８３での変調（出力する画素の制御）がなされるようになっている。

このように、画像表示装置は、先に説明した画像処理装置と、光源８１、変調器８２を含む投射手段、変調器８２の像をスクリーン８５に投射させるために利用される投射レンズ８３等の光学系、スクリーン８５などで構成されている。なお、上記投射型ディスプレイ装置は、図８に示したものに限定されるものではなく、他の投射型のディスプレイ装置に上記で説明した画像処理装置を適用するようにしてもよい。

上記説明したように、画像処理装置内部には部分拡大縮小処理部３が含まれており、部分拡大縮小処理部３では入力される画像に対して領域ごとの拡大あるいは縮小が行われる。ここで、領域ごとの拡大あるいは縮小は、例えば画像表示装置を構成する光学系による歪と逆の特性で行うことが望ましい。そうすることによって、例えば画像表示装置を構成する光学系で発生する画像歪を補正することが可能になり、スクリーン８５上に歪のない画像を表示することが可能となる。なお、領域ごとの拡大あるいは縮小は、入力画像を、入力画像とは異なるサンプリング周期で再サンプリングすることで実現する。例えば、画像を部分的に拡大したい領域では、入力画像を入力画像のサンプリング周期（あるいは画素間隔）より短いサンプリング周期で再サンプリングすればよく、画像を部分的に縮小したい領域では、入力画像を入力画像のサンプリング周期（あるいは画素間隔）より長いサンプリング周期で再サンプリングすればよい。

なお、部分拡大縮小処理部３において画像を再サンプリングする際、部分拡大縮小処理部３に対する入力画像に、上記の再サンプリングの周期とは異なる周期で周期的なパターンが含まれていると、再サンプリングの周期との間で干渉を起こし、モアレが発生する場合がある。また、モアレは異なる高周波成分の間で発生しやすいことが知られている。

この実施形態の画像処理装置では、画像処理装置内部の高周波成分検出部１２でモアレの原因となる高周波成分が含まれる程度を高周波成分検出結果Ｓｂとして検出し、画像データ処理部１３において、高周波成分検出結果Ｓｂをもとにモアレの原因となる高周波成分を含まない平滑化画像データＤｂを生成し、部分拡大縮小処理部３において、上記光学系とは逆の特性で平滑化画像データＤｂを部分的に拡大あるいは縮小した後、画像投射装置を介してスクリーン８５上に投射することで、スクリーン８５にモアレのない画像を投射することが可能になる。

なお、画像処理装置の内部構成に関する説明において、平滑化処理部１１は注目画素およびその周辺に存在する画素が持つ画素値の平均値を出力する平均値フィルタで構成されるとしたが、用いられる手段はこの限りでなく、注目画素近傍における画素値の平均的な値を出力するものであればよい。すなわち、注目画素近傍における複数の画素の画素値を加重加算して出力するものであればよい。

ここで、加重加算に用いる画素の数は注目画素近傍に限定し、畳み込み演算部２２で畳み込み演算に用いる画素の数より小さくすることが好ましい。

図９は２種類の異なる平均値フィルタの構成を表す図である。平滑化用係数Ａは注目画素近傍の画素２つを用いて平均値を計算する場合を表しており、平滑化用係数Ｂは注目画素近傍の画素４つを用いて平均値を計算する場合を表している。引き続き、畳み込みパターンデータＴａは図５に示すような畳み込み演算に４画素分の画素値を必要とするものであるとして、平滑化処理部１１における演算に平滑化用係数Ａを用いる場合と平滑化用係数Ｂを用いる場合の違いについて図１０、図１１を用いて述べる。

図１０は２種類の画像データＡ、Ｂを表し、図１１（ａ）は入力画像データＤａとして画像データＡが入力された場合に得られる畳み込み演算結果Ｄｅ、平滑化画像データＤｄを表し、図１１（ｂ）は入力画像データＤａとして画像データＢが入力された場合に得られる畳み込み演算結果Ｄｅ、平滑化画像データＤｄを表す。なお、平滑化用係数Ａを用いた場合に得られる平滑化画像データＤｄを平滑化画像データＡとして、平滑化用係数Ｂを用いた場合に得られる平滑化画像データＤｄを平滑化画像データＢとして示している。また、畳み込み演算を行う場合や、平滑化画像データを計算する際、注目画素が画像データの境界近傍にある場合、一部の画素値については演算に必要な画素値を与える画素が存在しない。そのような場合、画素値として０を仮定した。

図１０において、画像データＡは市松模様を表し、画像データＢは一本の縦線を表している。画像データＡはモアレの原因となるので除去する必要があるが、画像データＢの縦線は高周波であるが周期性（繰り返し性）がないのでモアレの原因とならず、除去する必要がない。

まず、入力画像データＤａとして画像データＡ（市松模様）が入力された場合を考える。この時得られる畳み込み演算結果Ｄｅは図１１（ａ）に示すようにその絶対値が大きな値となっている。したがって合成割合Ｓｃの値も大きくなり、高周波成分平滑化画像データＤｂは入力画像データＤａ、平滑化画像データＤｄのうち平滑化画像データＤｄの比率が大きくなったものとなる。

ここで図１１（ａ）に示すように、平滑化用係数Ａを用いて生成された平滑化画像データＡ、平滑化用係数Ｂを用いて生成された平滑化画像データＢは、ともに画像データＡ（市松模様）を十分平滑化したものとなっている。平滑化係数Ａ、Ｂのどちらを用いても平滑化画像データＤｄとして同じデータを得ることができるので、市松模様を処理するという意味では平滑化用係数Ａ、Ｂともに同じ効果を持つ。

次に、入力画像データＤａとして画像データＢ（縦線）が入力された場合を考える。図１１（ｂ）に示すように、畳み込み演算結果Ｄｅは、縦線の位置を含んだ畳み込みパターンデータＴａと同じ範囲（４画素）内でその絶対値がある程度の大きさをもったものとなる。したがって縦線を含む４画素内において合成割合Ｓｃの値もある程度の大きさとなり、高周波成分平滑化画像データＤｂには平滑化画像データＤｄがある程度含まれたものとなる。

ここで、図１１（ｂ）に示すように、平滑化画像データＤｄにおける縦線の幅は、平滑化画像データＡでは２画素なのに対し、平滑化画像データＢでは４画素になる。画像データＢと平滑化画像データＤｄを加重加算して得られる高周波成分平滑化画像データＤｂについて考えると、平滑化画像データＤｄとして平滑化画像Ａを用いた場合、高周波成分処理画像データＤｂでは縦線の広がりが２画素に抑えられる一方、平滑化画像データＤｄとして平滑化画像Ｂを用いた場合は、高周波成分平滑化画像データＤｂでは直線の幅が４画素までひろがり、縦線がぼやけてしまった印象を与える。

つまり、市松模様のようにモアレの発生原因となる周期性のある高周波成分を含む画像データを処理するという意味では平滑化用係数Ａ、Ｂともに同じ効果をもっているが、高周波成分を含んでいても、モアレの発生原因とならず、縦線などに代表される画像細部の情報を保つという意味では平滑化用係数Ａの方が優れている。これは、注目画素が文字を表示したときのライン部分にあたる場合のように、周期性はなくモアレの原因とはならないが、高周波とみなされるため、高周波成分検出結果Ｓｂの値が高くなってしまう場合に平滑化係数Ａを使った方が、文字のぼやけを低減できることを示す。

すなわち、高周波成分検出部１２によって値の高い高周波検出成分検出結果Ｓｂが出力されるおそれがあるような画像データＤａが入力された場合でも、平滑化画像データＤｄを計算する際に用いる画素を平滑化対象の注目画素と平滑化対象の注目画素に隣接した画素とに限定することにより、平滑化画像データＤｄにおいて局所的な情報を残すようにすることができる。実際には、平滑化画像データＤｄを計算する際に使用する画素の数は畳み込み演算に用いる画素の数より小さくすることで平滑化画像データＤｄの計算に用いる画素を注目画素近傍のものに限定することが可能になる。また、平滑用係数Ａにおいては、注目画素と隣接画素の重みを同一にして計算したが、注目画素の重みを隣接画素より大きく、つまり注目画素に近いほど重みを大きくするようにして計算しても局所的な情報を残す効果を得ることができる。これら、平滑化係数を工夫することによっても、画像細部の情報は保ちつつ、問題となるような高周波成分のみを除去した高周波成分平滑化データＤｂを生成することが可能となる。なお平均値を計算するという観点からみると、平滑化画像データＤｄを計算するための必要最低限な画素の数は２である。

以上のように、本実施の形態１にかかる画像処理装置によれば、入力された画像データＤａの画面領域の一部からなる注目領域ごとに畳み込み演算し、注目領域ごとの高周波成分検出結果Ｓｂを出力する高周波成分検出部１２と、画像データＤａを平滑化した平滑化画像データＤｄを出力する平滑化処理部１１と、高周波成分検出結果Ｓｂをもとに、注目領域ごとに画像データＤａと平滑化画像データＤｄとを合成した高周波成分処理画像データＤｂを出力する画像データ処理部１３と、を備え、画像データ処理部１３は、高周波成分検出結果Ｓｂの値にもとづいて、前記平滑化画像データの合成割合Ｓｃを変化させる（高周波成分検出結果Ｓｂの値が大きいほど、平滑化画像データＤｄの合成割合Ｓｃを高くする）ように構成したので、画像データＤａの中に、市松模様のような高周波成分を含んでいる部分があっても、テキスチャ部分の表示をぼかして画質を低下させることなく、しかも画像を領域ごとに縮小または拡大した際にモアレの発生を低減した画像を表示できる。

とくに、注目領域を１画素で構成するようにしたので、画素単位で画像データＤａと平滑化画像データＤｄとの合成割合を変化させることができ、より効率よく画質を低下させることなく、モアレの発生を低減した画像を表示することが可能となる。

また、高周波成分検出部１２は、畳み込み演算を行うための、畳み込みパターンデータＴａを生成する畳み込みパターン生成部２１と前記注目領域ごとに画像データＤａと畳み込みパターンデータＴａとの畳み込み演算結果Ｄｅを出力する畳み込み演算部２２と、畳み込み演算結果Ｄｅの絶対値を注目領域ごとの高周波成分検出結果Ｓｂとして出力する高周波成分量算出部２３とを有し、畳み込み演算は、少なくとも注目領域を含む複数の画素からなる画素群を演算対象とし、畳み込みパターンデータＴａは、演算対象となる画素群内の各画素に対し、連続する画素ごとに正と負を入れ替えた係数からなる、ように構成したので、市松模様のようにモアレの発生原因となる周期的な高周波成分を含む領域を確実に検出することができる。

さらに畳み込みパターンデータＴａは、「１」および「−１」からなるデータで構成したので、乗算を必要とせず、回路構成が簡略化できる。

平滑化処理部１１は、画像データＤａの画面領域内における注目画素ごとに、注目画素と注目画素の近傍の画素から構成される平滑化対象領域に含まれる各画素のデータから平滑化画像データＤｄを生成するものであって、平滑化対象領域を構成する画素数は、畳み込み演算の演算対象となる画素群の画素数より少なくなるように構成したので、平滑化対象領域が注目画素近傍の画素に限定され、モアレに無関係の周期性のない高周波成分が検出されても、その部分での画像のぼやけを低減することができる。

平滑化対象領域は、注目画素と注目画素に隣接する画素から構成されるようにしたので、平滑化対象領域が注目画素に隣接する画素に限定され、モアレを発生させることのない周期性のない高周波成分が検出されても、その部分での画像のぼやけをより効果的に低減することができる。

また、本実施の形態１にかかる画像処理装置によれば、上記高周波成分処理部２と、高周波成分処理部２から出力される高周波成分処理画像データＤｂの少なくとも一部を拡大または縮小する部分拡大縮小処理部３と、を備えるようにしたので、例えば、部分拡大縮小処理部３にキーストーン歪の逆特性の変換機能を持たせれば、キーストーン歪を補正できるとともに、画像データＤａの中に、市松模様のような高周波成分を含んでいる部分があっても、テキスチャ部分の表示をぼかして画質を低下させることなく、しかも画像を縮小または拡大した際にモアレの発生を低減した画像を表示できる。また、部分拡大縮小処理部３に画面の一部を拡大または縮小するような変換機能を持たせれば、画面レイアウトをさまざまに変化させることができるとともに、画像データＤａの中に、市松模様のような高周波成分を含んでいる部分があっても、テキスチャ部分の表示をぼかして画質を低下させることなく、しかも画像を縮小または拡大した際にモアレの発生を低減した画像を表示できる。

また、本実施の形態１にかかる画像表示装置では、画像処理装置と、画像処理装置から出力された画像データを投影する光学系を有する画像投射装置とを備えており、上記画像処理装置は、入力される画像データの画素又は画素群に対し畳み込み演算を行って画像データの高周波成分を検出し検出結果を出力する高周波成分検出部と、画像データを平滑化した平滑化画像データを出力する平滑化処理部と、画像データと平滑化画像データとを上記検出結果に基づいて定まる合成割合で合成し合成された画像データを出力する画像データ処理部と、画像データ処理部から出力される画像データを、画像投射装置が備える光学系と逆の特性で領域ごとに拡大または縮小する部分拡大縮小処理部とを備えている。そのため、例えば、画像投射装置が備える光学系によって、投射されるスクリーンに対して斜めに映像光を投射することになり、キーストーン歪が発生する場合でも、部分拡大縮小処理部３に光学系あるいはキーストーン歪の逆特性の変換機能を持たせれば、斜め投射に起因するキーストーン歪を補正できるとともに、入力画像の中に、市松模様のような高周波成分を含んでいる部分があっても、テキスチャ部分の表示をぼかして画質を低下させることなく、しかもキーストーン歪を補正した際に発生するモアレを低減した画像を表示できる。

実施の形態２．
上記実施の形態１における説明では、高周波成分処理部２は、注目画素の水平方向に近接する画素を用いて処理を行っていたが、処理に用いる画素はこの限りでなはい。例えば高周波成分処理部の内部に画像保持部を設け、水平方向に近接する画素に加え、垂直方向に近接する画素を用いた処理を行ってもよい。なお、高周波成分処理部以外については実施の形態１と同様であるのでその説明を省略する。

図１２は本発明の実施の形態２による画像処理装置の高周波成分処理部１０２の構成を表す図である。画像保持部１４は、入力画像データＤａの１ライン分の画像データ、あるいは複数ライン分の画像データを保持するメモリによって構成され、複数ラインの画像データを複数ライン画像データＤｆとして出力する。

平滑化処理部１１１は、垂直方向、水平方向に近接した画素を参照して平滑化処理を行う。水平方向に近接する画素だけでなく、垂直方向に近接する画素も参照すること以外は実施の形態１と同様であるので詳細な説明は省略する。また、画像データ処理部１１３の動作についても、実施の形態１と同様であるので説明は省略する。

次に、本実施の形態２に係る高周波成分検出部１１２について説明する。図１３に高周波成分検出部１１２の内部構成を示す。高周波成分検出部１１２は畳み込みパターン生成部１２１、畳み込み演算部１２２および高周波成分検出部１２３からなる。畳み込みパターン生成部１２１は畳み込みパターンデータＴａＡを生成する畳み込みパターンＡ生成部１２１Ａ、畳み込みパターンデータＴａＢを生成する畳み込みパターンＢ生成部１２１Ｂ、畳み込みパターンデータＴａＣを生成する畳み込みパターンＣ生成部１２１Ｃからなる。畳み込み演算部１２２は畳み込みパターンデータＴａＡと入力画像データＤａの畳み込み演算を行った畳み込み演算結果ＤｅＡを生成する畳み込み演算Ａ演算部１２２Ａ、畳み込みパターンデータＴａＢと入力画像データＤａの畳み込み演算を行った畳み込み演算結果ＤｅＢを生成する畳み込み演算Ｂ演算部１２２Ｂ、畳み込みパターンデータＴａＣと入力画像データＤａの畳み込み演算を行った畳み込み演算結果ＤｅＣを生成する畳み込み演算Ｃ演算部１２２Ｃからなる。

本実施の形態２に掛かる高周波成分検出部１１２においては、畳み込みパターン生成部１２１において、複数の畳み込みパターンデータＴａＡ、ＴａＢ、ＴａＣを生成することとしたので、上述した市松模様だけでなく、モアレの原因となる様々な高周波成分を検出できる。

図１４（ａ）にモアレの原因となる周期的な高周波成分として代表的な市松模様、縦縞（上下は同じで左右に階調の異なる画素が周期的に並ぶ状態）、横縞（左右は同じで上限に階調の異なる画素が周期的に並ぶ状態）の画像データを図１４（ｂ）に市松模様検出用の畳み込みパターンデータＴａＡ、縦縞検出用の畳み込みパターンデータＴａＢ、横縞検出用の畳み込みパターンデータＴａＣを示す。

なお、市松、縦縞、横縞検出用の畳み込みパターンデータとしては、それぞれ、＋−の符号（加算か減算かを決定する係数）が市松模様検出用の畳み込みパターンデータＴａＡでは市松模様のように並び、縦縞検出用の畳み込みパターンデータＴａＢでは縦縞状に並び、横縞検出用の畳み込みパターンデータＴａＣは横縞状に並ぶように生成している。

図１５に、図１４（ａ）に示した画像データと、図１４（ｂ）に示した畳み込みパターンデータを用いた畳み込み演算結果を示す。市松模様の画像データに対しては市松模様検出用の畳み込みパターンデータＴａＡとの畳み込み演算結果の絶対値が大となり、縦縞の画像データに対しては縦縞検出用の畳み込みパターンデータＴａＢとの畳み込み演算結果の絶対値が大となり、横縞の画像データに対しては横縞検出用の畳み込みパターンデータＴａＣとの畳み込み演算結果の絶対値が大となっているのがわかる。

例えば畳み込みパターンデータＴａＡとして市松模様検出用の畳み込みパターンデータを出力し、畳み込みパターンデータＴａＢとして縦縞検出用の畳み込みパターンデータを出力し、畳み込みパターンデータＴａＣとして横縞検出用の畳み込みパターンデータを出力すれば、入力画像データＤａに市松模様が多く含まれている場合、畳み込み演算結果ＤｅＡの絶対値が大となり、入力画像データＤａに縦縞が多く含まれている場合、畳み込み演算結果ＤｅＢの絶対値が大となり、入力画像データＤａに横縞が多く含まれている場合、畳み込み演算結果ＤｅＣの絶対値が大となる。

このように、検出が必要となる高周波パターンを模擬した畳み込み演算パターンデータＴａＡ、ＴａＢ、ＴａＣを使用することで、高周波成分量算出部１２３において、畳み込み演算結果ＤｅＡ、ＤｅＢ、ＤｅＣの値をもとにして、問題となる高周波成分がどの程度含まれているかを定量的に表す高周波成分検出結果Ｓｂを生成することが可能となる。例えば畳み込み演算結果ＤｅＡの絶対値、畳み込み演算結果ＤｅＢの絶対値、畳み込み演算結果ＤｅＣの絶対値の中からその最大値を高周波成分検出結果Ｓｂとして出力するといった方法や、畳み込み演算結果ＤｅＡ、ＤｅＢ、ＤｅＣの二乗和を高周波成分検出結果Ｓｂとして出力するといった方法が考えられる。また、畳み込み演算結果ＤｅＡ、ＤｅＢ、ＤｅＣを比較し、例えば、後段の部分拡大縮小部３での拡大・縮小方向が横方向のみの場合は、横方向の拡大・縮小に対するモアレへの影響が小さい横縞の検出を示すＤｅＣの値をＳｂには適用しないなど、検出した高周波成分のパターンに応じて処理を変更するようにしてもよい。

以上のように、本実施の形態２にかかる画像処理装置によれば、高周波成分処理部１０２は、入力画像データＤａの複数ライン分の画像データＤｆを保持して出力する画像保持部１４を備え、畳み込みパターン生成部１１２は、複数種の高周波成分のぞれぞれ（市松模様、縦縞、横縞）に対応した２次元の畳み込みパターンデータ（ＴａＡ、ＴａＢ、ＴａＣ）を生成し、畳み込み演算部１２２は、複数ライン分の画像データＤｆと２次元の畳み込みパターンデータ（ＴａＡ、ＴａＢ、ＴａＣ）のそれぞれとの畳み込み演算結果（ＤｅＡ、ＤｅＢ、ＤｅＣ）を出力するように構成したので、画像データＤａに含まれる複数種の高周波成分を正確に検出することができるとともに、その種類に対応した画像処理を行うことが可能となり、より効率的にテキスチャ部分の表示をぼかして画質を低下させることなく、しかも画像を縮小または拡大した際にモアレの発生を低減した画像を表示できる。

実施の形態３．
上記実施の形態１、２における説明では、入力画像データＤａのチャンネル数は１であることを前提としていたが、入力画像データＤａとして考えられるものはこの限りではない。例えば入力画像データＤａがカラー画像であった場合、入力画像データＤａは赤、緑、青（もしくはＲ、Ｇ、Ｂ）の３成分に分かれるのでそのチャンネル数は３となる。本発明の実施の形態３における画像処理装置では入力画像データＤａのチャンネル数が３の場合を例に複数のチャンネル数からなる場合の処理について説明を行う。なお、チャンネル数が３以外の場合にも、チャンネル数に対応して各部分を構成すれば、本実施の形態３と同様の処理により実現可能である。
また、画像処理装置の高周波成分処理部３０２以外については実施の形態１、２と同様であるのでその説明は省略する。

図１６は本発明の実施の形態３による画像処理装置の高周波成分処理部３０２の構成を示す図である。高周波成分処理部３０２は平滑化処理部３１１、高周波成分検出部３１２、画像データ処理部３１３からなる。なお、画像処理装置３０２の構成はこの限りではなく、実施の形態２のように画像保持部１４を設けてもよい。

入力画像データＤａは赤色の成分を表す入力赤画像データＤａＲ、緑色の成分を表す入力緑画像データＤａＧ、青色の成分を表す入力青画像データＤａＢ、つまり、各色成分ごとの色別画像データからなる。平滑化処理部３１１は、入力赤画像データＤａＲに対して平滑化処理を行った平滑化画像データＤｄＲ、入力緑画像データＤａＧに対して平滑化処理を行った平滑化画像データＤｄＧ、入力青画像データＤａＢに対して平滑化処理を行った平滑化画像データＤｄＢを、つまり、各色成分ごとの色別平滑化画像データを出力する。高周波成分検出部３１２は、入力赤画像データＤａＲに含まれる高周波成分を検出し、その結果を高周波成分検出結果ＳｂＲとして出力するＲ高周波成分検出部３１２Ｒ、入力緑画像データＤａＧに含まれる高周波成分を検出し、その結果を高周波成分検出結果ＳｂＧとして出力するＧ高周波成分検出部３１２Ｇ、入力青画像データＤａＢに含まれる高周波成分を検出し、その結果を高周波成分検出結果ＳｂＢとして出力するＢ高周波成分検出部３１２Ｂからなる。つまり、高周波成分検出部３１２は複数の色成分ごとの色別画像データから色別高周波成分検出結果を生成する。なお、Ｒ高周波成分検出部３１２Ｒ、Ｇ高周波成分検出部３１２Ｇ、Ｂ高周波成分検出部３１２Ｂの個々の動作は高周波成分検出部１２または１１２と同様である。

図１７は画像データ処理部３１３の構成を表す図である。画像データ処理部３１３は合成割合生成部３３１および加重加算部３３２からなる。合成割合生成部３３１はＲ合成割合生成部３３１Ｒ、Ｇ合成割合生成部３３１Ｇ、Ｂ合成割合生成部３３１Ｂからなり、そのおのおのの動作は合成割合生成部３１と同様であり、各々合成割合ＳｃＲ、ＳｃＧ、ＳｃＢを出力する。加重加算部３３２はＲ加重加算部３３２Ｒ、Ｇ加重加算部３３２Ｇ、Ｂ加重加算部３３２Ｂからなり、そのおのおのの動作は加重加算部３２と同様である。すなわち、Ｒ加重加算部３３２Ｒは合成割合ＳｃＲをもとに入力赤画像データＤａＲと平滑化画像データＤｄＲを加重加算した結果をＲ高周波成分平滑化画像データＤｂＲとして出力し、Ｇ加重加算部３３２Ｇは合成割合ＳｃＧをもとに入力緑画像データＤａＧと平滑化画像データＤｄＧを加重加算した結果をＧ高周波成分平滑化画像データＤｂＧとして出力し、Ｂ加重加算部３３２Ｂは合成割合ＳｃＢをもとに入力青画像データＤａＢと平滑化画像データＤｄＢを加重加算した結果をＢ高周波成分平滑化画像データＤｂＢとして出力する。つまり、画像データ処理部３１３は複数の色成分ごとに出力された色別高周波成分検出結果をもとに色別画像データと色別平滑化画像データとを合成した色別高周波成分処理画像データを出力する。このように動作することで、入力画像データＤａがカラー画像のように複数のチャンネルからなる場合でも、モアレの原因となる高周波成分を除去することが可能となる。

以上のように、本実施の形態３にかかる画像処理装置によれば、画像データＤａは複数の色成分（赤、緑、青）ごとの色別画像データＤａＲ、ＤａＧ、ＤａＢからなり、高周波成分検出部３１２は、複数の色成分（赤、緑、青）ごとの色別画像データＤａＲ、ＤａＧ、ＤａＢから高周波成分検出結果を求めた色別高周波成分検出結果ＳｂＲ、ＳｂＧ、ＳｂＢを生成し、平滑化処理部３１１は、複数の色成分（赤、緑、青）ごとに色別画像データＤａＲ、ＤａＧ、ＤａＢを平滑化した色別平滑化画像データＤｄＲ、ＤｄＧ、ＤｄＢを出力し、画像データ処理部３１３は、複数の色成分（赤、緑、青）ごとに色別高周波成分検出結果ＳｂＲ、ＳｂＧ、ＳｂＢをもとに色別画像データＤａＲ、ＤａＧ、ＤａＢと色別平滑化画像データＤｄＲ、ＤｄＧ、ＤｄＢとを合成した色別高周波成分処理画像データＤｂＲ、ＤｂＧ、ＤｂＢを出力する、ように構成したので、入力画像データＤａがカラー画像のように複数のチャンネルからなる場合でも、テキスチャ部分の表示をぼかして画質を低下させることなく、しかも画像を縮小または拡大した際にモアレの発生を低減した画像を表示できる。

実施の形態４．
図１８は本実施の形態４にかかる画像データ処理部３１３ｂを表す図である。本実施の形態４は、実施の形態３と比較（図１７）すると合成割合生成部３３１ｂの構成が異なり、他は同様である。そして、合成割合生成部３３１ｂが代表値生成部３３３とＲＧＢ合成割合生成部３３１ＲＧＢから構成される。代表値生成部３３３は３つの色成分（赤、緑、青）ごとの色別高周波成分検出結果ＳｂＲ、ＳｂＧ、ＳｂＢから３つの色成分（赤、緑、青）に共通する共通高周波成分検出結果ＳｂＣを出力する。共通高周波成分検出結果ＳｂＣとしては例えば色別高周波成分検出結果ＳｂＲ、ＳｂＧ、ＳｂＢの各画素ごとの最大値、最小値あるいは平均値などが考えられる。ＲＧＢ合成割合生成部３３１ＲＧＢは共通高周波成分検出結果ＳｂＣをもとに３つの色成分（赤、緑、青）に共通の共通合成割合ＳｃＣを生成し、加重加算部３３２の色成分ごとの色別加重加算部３３２Ｒ、３３２Ｇ、３３２Ｂのそれぞれに出力する。つまり、画像データ処理部３１３ｂは色別高周波成分検出結果ＳｂＲ、ＳｂＧ、ＳｂＢから複数の色成分（赤、緑、青）に共通する共通高周波成分検出結果ＳｃＣを算出し、算出した共通高周波成分検出結果ＳｃＣをもとに複数の色成分（赤、緑、青）ごとに色別画像データＤａＲ、ＤａＧ、ＤａＢと色別平滑化画像データＤｄＲ、ＤｄＧ、ＤｄＢとを合成した色別高周波成分処理画像データＤｂＲ、ＤｂＧ、ＤｂＢを出力する。合成割合ＳｃＣの求め方は合成割合生成部３１と同様とする。

色別加重加算部３３２Ｒ、３３２Ｇ、３３２Ｂには、すべて同じ値の共通合成割合ＳｃＣが出力される。共通合成割合ＳｃＣはそれぞれ高周波成分処理部３０２の、入力赤画像データＤａＲ、入力緑画像データＤａＧ、入力青画像データＤａＢに対する通過周波数帯域を決める係数であるので、合成割合の値を各色同じとすることで、高周波成分処理部３０２の、入力赤画像データＤａＲ、入力緑画像データＤａＧ、入力青画像データＤａＢに対する通過周波数帯域が常に同じとなるよう制御される。このように制御することで画像のエッジ近傍に不要な色づきが発生することを防止できる。

例えば、入力画像データＤａに含まれるあるエッジ近傍で、高周波成分検出結果ＳｂＲ、ＳｂＧ、ＳｂＢのうち高周波成分検出結果ＳｂＧの値だけ大きかった場合を考える。この時、実施の形態３のように合成割合ＳｃＲ、ＳｃＧ、ＳｃＢの値を個別に求めると、合成割合ＳｃＧの値だけ合成割合ＳｃＲ、ＳｃＢと比べ大きな値となる。その結果、入力緑画像データＤａＧに対する通過周波数帯域のみが低くなるので、注目しているエッジ近傍では、高周波成分平滑化画像データＤｂＲ、ＤｂＢと比べ、高周波成分平滑化画像データＤｂＧの信号レベルのみが低くなり、その結果エッジ近傍が緑の補色となる紫色（マゼンダ）に色づいてしまう。

一方、本実施の形態４のように合成割合ＳｃＲ、ＳｃＧ、ＳｃＢの値を同じにしておけば、注目しているエッジ近傍で、入力赤画像データＤａＲ、入力緑画像データＤａＧ、入力青画像データＤａＢに対する通過周波数帯域が同じになるので、色別高周波成分平滑化画像データＤｂＲ、ＤｂＧ、ＤｂＢの信号レベルも揃う。すなわちエッジ近傍が色づくこともない。

以上のように、本実施の形態４にかかる画像処理装置によれば、画像データＤａは複数の色成分（赤、緑、青）ごとの色別画像データＤａＲ、ＤａＧ、ＤａＢからなり、高周波成分検出部３１２は、複数の色成分（赤、緑、青）ごとの色別画像データＤａＲ、ＤａＧ、ＤａＢから高周波成分検出結果を求めた色別高周波成分検出結果ＳｂＲ、ＳｂＧ、ＳｂＢを生成し、平滑化処理部３１１は、複数の色成分（赤、緑、青）ごとに色別画像データＤａＲ、ＤａＧ、ＤａＢを平滑化した色別平滑化画像データＤｄＲ、ＤｄＧ、ＤｄＢを出力し、画像データ処理部３１３ｂは、色別高周波成分検出結果ＳｂＲ、ＳｂＧ、ＳｂＢから複数の色成分（赤、緑、青）に共通の代表高周波成分検出結果ＳｃＣを算出し、算出した代表高周波成分検出結果ＳｃＣをもとに複数の色成分（赤、緑、青）ごとに色別画像データＤａＲ、ＤａＧ、ＤａＢと色別平滑化画像データＤｄＲ、ＤｄＧ、ＤｄＢとを合成した色別高周波成分処理画像データＤｂＲ、ＤｂＧ、ＤｂＢを出力する、ように構成したので、入力画像データＤａがカラー画像のように複数のチャンネルからなる場合でも、色ずれが生ずることなく、テキスチャ部分の表示をぼかして画質を低下させずに画像を縮小または拡大した際にモアレの発生を低減した画像を表示できる。

実施の形態５．
実施の形態１〜４においてはモアレの原因となる高周波成分の処理、画像歪を補正するための部分拡大縮小処理などの処理を画像処理装置で行っていたが本発明は、上述した実施の形態に限定されず、例えばその一部または全部をソフトウェア処理によって行うこともできる。図１９に本発明をソフトウェア処理にて行う場合のフローチャートを示す。本発明の実施の形態５による画像変換処理のソフトウェアによる処理は高周波成分処理ステップＳＴ２と部分拡大縮小ステップＳＴ３からなる。

そして、高周波成分処理ステップＳＴ２は後述する方法で図示しない入力画像データ読み取りステップにて読み込まれた入力画像データＤａに対して、高周波成分が含まれる部分を平滑化し、得られた画像データを高周波成分平滑化画像データＤｂとして出力する。部分拡大縮小ステップＳＴ３は高周波成分平滑化画像データＤｂを領域ごとに拡大あるいは縮小した部分拡大縮小画像データを出力する。そして出力された部分拡大縮小画像データが図示しない画像表示ステップを経て、例えばリアプロジェクションテレビの画面上へと表示される。

図２０は高周波成分処理ステップＳＴ２の詳細を示すフローチャートである。高周波成分処理ステップＳＴ２は高周波成分検出ステップＳＴ１１、平滑化処理ステップＳＴ１２、画像データ処理ステップＳＴ１３からなる。
高周波成分検出ステップＳＴ１１は入力画像データＤａのチャンネル数が１の場合、実施の形態１または２で説明した高周波成分検出部１２または１１２と同じ演算を行い、高周波成分検出結果Ｓｂを計算する。また、入力画像データＤａのチャンネル数が複数の場合は実施の形態３または４で説明した高周波成分検出部３１２と同じ演算を行う。例えば入力画像データＤａのチャンネル数が赤、青、緑に対応する３であった場合、高周波成分検出結果ＳｂＲ、ＳｂＧ、ＳｂＢを計算する。

平滑化処理ステップＳＴ１２は入力画像データＤａを平滑化した平滑化画像データＤｄを出力する。ここでの演算も入力画像データＤａのチャンネル数に応じて実施の形態１または２で説明した平滑化処理部１１または１１１と同様にするか、実施の形態３、４で説明した平滑化処理部３１１と同様にすればよい。

画像データ処理ステップＳＴ１３は入力画像データＤａのチャンネル数に応じて、実施の形態１または２で説明した画像データ処理部１３または１１３、もしくは実施の形態３または４で説明した画像データ処理部３１３または３１３ｂと同じ演算を行い、高周波成分平滑化画像データＤｂを計算する。

図２１は高周波成分検出ステップＳＴ１１の詳細を示すフローチャートである。高周波成分検出ステップＳＴ１１は入力画像データＤａと畳み込み演算を行うための畳み込みパターンデータを生成する畳み込みパターン生成ステップＳＴ２１と、入力画像データＤａと畳み込みパターンデータの畳み込み演算を行う畳み込み演算ステップＳＴ２２と、畳み込み演算ステップＳＴ２２で行った畳み込み演算の結果をもとにして、入力画像データＤａ内にモアレの原因となる高周波成分がどの程度含まれるかを定量的に求める高周波成分量算出ステップＳＴ２３からなる。各ステップＳＴ２１、ＳＴ２２、ＳＴ２３で行うべき演算については実施の形態１または２で説明した高周波成分検出部１２または１１２、もしくは実施の形態３または４で説明した高周波成分検出部３１２と同様である。

図２２は画像データ処理ステップＳＴ１３の詳細を表すフローチャートである。画像データ処理ステップＳＴ１３は合成割合生成ステップＳＴ３１と加重加算ステップＳＴ３２からなる。合成割合生成ステップＳＴ３１は実施の形態１または２で説明した合成割合生成部３１、または実施の形態３または４で説明した合成割合生成部３３１または３３１ｂと同じ演算を行い、加重加算ステップは実施の形態１または２で説明した加重加算部３２、もしくは実施の形態３または４で説明した加重加算部３３２と同じ演算を行う。ここで加重加算ステップにおける演算は、画像データのチャンネル数に応じて加重加算部３２のように行うか、加重加算部３３２と同様に行うかを決めればよい。また、色成分ごとにデータがある場合、実施の形態３のように色成分ごとに異なる合成割合で演算する場合は合成割合生成部３３１と同様の演算を行う。あるいは、実施の形態４のように各色成分に共通の合成割合で演算する場合は合成割合生成部３３１ｂと同様の演算を行えばよい。その場合、高周波成分平滑化画像データＤｂにおいて不要な色づきが発生することがない。

以上のように、本実施の形態５にかかる画像処理方法によれば、入力された画像データＤａの画面領域の一部からなる注目領域ごとに畳み込み演算し、注目領域ごとの高周波成分検出結果Ｓｂを出力する高周波成分検出ステップＳＴ１１と、画像データＤａを平滑化した平滑化画像データＤｄを出力する平滑化処理ステップＳＴ１２と、高周波成分検出結果Ｓｂをもとに、注目領域ごとに画像データＤａと平滑化画像データＤｄとを合成した高周波成分処理画像データＤｂを出力する画像データ処理ステップＳＴ１３と、を備え、画像データ処理ステップＳＴ１３では、高周波成分検出結果Ｓｂの値にもとづいて、平滑化画像データＤｄの合成割合Ｓｃを変化させる（高周波成分検出結果Ｓｂの値が大きいほど、平滑化画像データＤｄの合成割合Ｓｃを高くする）ように構成したので、画像データＤａの中に、モアレの発生要因となる周期的な高周波成分を含んでいる部分があっても、テキスチャ部分の表示をぼかして画質を低下させることなく、しかも画像を縮小または拡大した際にモアレの発生を低減した画像を表示できる。

以上説明したソフトウェア処理によれば実施の形態１ないし４のいずれかで説明した画像処理装置と同様の動作が実現する。したがって実施の形態１ないし４のいずれかで説明した画像処理装置と同様の作用、効果を奏する。また以上説明したソフトウェア処理は、実施の形態１ないし４のいずれかで説明した画像処理装置同様、画像表示装置の一部として用いることができ、その場合も実施の形態１ないし４のいずれかで説明した画像表示装置と同様の作用、効果を奏する。

本発明の実施の形態１にかかる画像処理装置を示すブロック図である。 本発明の実施の形態１にかかる画像処理装置を示すブロック図である。 本発明の実施の形態１にかかる画像処理装置の部分を示すブロック図である。 本発明の実施の形態１にかかる画像処理装置の部分を示すブロック図である。 本発明の実施の形態１にかかる画像処理装置で用いる畳み込みパターンデータの一例を示す図である。 本発明の実施の形態１にかかる画像処理装置での入力画像データと畳み込み演算結果の一例を示す図である。 本発明の実施の形態１にかかる画像処理装置での高周波成分検出結果と合成割合の関係を示す図である。 本発明の実施の形態１にかかる画像処理装置を示す図である。 本発明の実施の形態１にかかる画像処理装置で用いる平滑化用係数の設定例を示す図である。 本発明の実施の形態１にかかる画像処理装置で処理する入力画像データを示す図である。 本発明の実施の形態１にかかる画像処理装置で処理した、異なる入力画像データ、異なる平滑化用係数に対する畳み込み演算結果、平滑化画像データの演算結果を示す図である。 本発明の実施の形態２にかかる画像処理装置を示すブロック図である。 本発明の実施の形態２にかかる画像処理装置の部分を示すブロック図である。 本発明の実施の形態２にかかる画像処理装置で処理するモアレの原因となる高周波成分の例とそれを検出するための畳み込みパターンデータの例を示す図である。 本発明の実施の形態２にかかる画像処理装置で処理した畳み込み演算結果を示す図である。 本発明の実施の形態３にかかる画像処理装置を示すブロック図である。 本発明の実施の形態３にかかる画像処理装置の部分を示すブロック図である。 本発明の実施の形態４にかかる画像処理装置の部分を示すブロック図である。 本発明の実施の形態５にかかる画像処理方法を示すフローチャートである。 本発明の実施の形態５にかかる画像処理方法を示すフローチャートである。 本発明の実施の形態５にかかる画像処理方法の部分を示すフローチャートである。 本発明の実施の形態５にかかる画像処理方法の部分を示すフローチャートである。

符号の説明

１ 入力端子、 ２、１０２、３０２ 高周波成分処理部、 ３ 部分拡大縮小処理部、 １１、１１１、３１１ 平滑化処理部、 １２、１１２、３１２ 高周波検出部、 １３、１１３、３１３、３１３ｂ 画像データ処理部、 ２１、１２１ 畳み込みパターン生成部、 ２２、１２２ 畳み込み演算部、 ２３、１２３ 高周波成分量算出部、
Ｄａ 画像データ、 Ｄｂ 高周波成分平滑化画像データ、 Ｄｃ 部分拡大縮小画像データ、 Ｄｄ 平滑化画像データ、 Ｓｂ 高周波成分成分検出結果、 Ｓｃ 合成割合、 Ｔａ 畳み込みパターンデータ

Claims (12)

1. 画像データの画素又は画素群に対し畳み込み演算を行って前記画像データの高周波成分を検出し検出結果を出力する高周波成分検出部と、前記画像データを平滑化した平滑化画像データを出力する平滑化処理部と、前記画像データと前記平滑化画像データとを前記検出結果に基づいて定まる合成割合で合成し合成された合成データを出力する画像データ処理部とを備えた画像処理装置において、
   前記平滑化処理部は、前記画像データの画面領域内における注目画素ごとに、前記注目画素と前記注目画素の近傍の画素から構成される平滑化対象領域に含まれる各画素のデータから前記平滑化画像データを生成するものであって、
   前記平滑化対象領域を構成する画素数は、前記畳み込み演算の演算対象となる画素群の画素数より少ないことを特徴とする画像処理装置。
2. 前記高周波成分検出部は、畳み込み演算を行うための、畳み込みパターンデータを生成する畳み込みパターン生成部と、前記画像データの画素又は画素群からなる注目領域ごとに前記画像データと前記畳み込みパターンデータとの畳み込み演算結果を出力する畳み込み演算部と、前記畳み込み演算結果の絶対値を前記高周波成分検出結果として出力する高周波成分量算出部とを有し、前記畳み込み演算は、少なくとも前記注目領域を含む複数の画素からなる画素群を演算対象とし、前記畳み込みパターンデータは、前記演算対象となる画素群内の各画素に対し、連続する画素ごとに正と負を入れ替えた係数からなる、ことを特徴とする請求項１に記載の画像処理装置。
3. 画像データの画素又は画素群に対し畳み込み演算を行って前記画像データの高周波成分を検出し検出結果を出力する高周波成分検出部と、前記画像データを平滑化した平滑化画像データを出力する平滑化処理部と、前記画像データと前記平滑化画像データとを前記検出結果に基づいて定まる合成割合で合成し合成された合成データを出力する画像データ処理部とを備えた画像処理装置において、
   前記高周波成分検出部は、畳み込み演算を行うための、畳み込みパターンデータを生成する畳み込みパターン生成部と、前記画像データの画素又は画素群からなる注目領域ごとに前記画像データと前記畳み込みパターンデータとの畳み込み演算結果を出力する畳み込み演算部と、前記畳み込み演算結果の絶対値を前記高周波成分検出結果として出力する高周波成分量算出部とを有し、前記畳み込み演算は、少なくとも前記注目領域を含む複数の画素からなる画素群を演算対象とし、前記畳み込みパターンデータは、前記演算対象となる画素群内の各画素に対し、連続する画素ごとに正と負を入れ替えた係数からなる、ことを特徴とする画像処理装置。
4. 前記平滑化対象領域は、前記注目画素と前記注目画素に隣接する画素から構成されることを特徴とする請求項１又は請求項２に記載の画像処理装置。
5. 前記画像データ処理部は、前記画像データの複数ライン分の画像データを保持して出力する画像保持部を備え、
   前記畳み込みパターン生成部は、複数種の高周波成分のそれぞれに対応した２次元の畳み込みパターンデータを生成し、
   前記畳み込み演算部は、前記複数ライン分の画像データと前記２次元の畳み込みパターンデータのそれぞれとの畳み込み演算結果を出力する、
   ことを特徴とする請求項２又は請求項３に記載の画像処理装置。
6. 前記画像データは複数の色成分ごとの色別画像データからなり、
   前記高周波成分検出部は、前記複数の色成分ごとの色別画像データから前記高周波成分検出結果を求めた色別高周波成分検出結果を生成し、
   前記平滑化処理部は、前記複数の色成分ごとに前記色別画像データを平滑化した色別平滑化画像データを出力し、
   前記画像データ処理部は、前記複数の色成分ごとに前記色別高周波成分検出結果をもとに前記色別画像データと前記色別平滑化画像データとを合成した合成データを出力する、
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記画像データは複数の色成分ごとの色別画像データからなり、
   前記高周波成分検出部は、前記複数の色成分ごとの色別画像データから前記高周波成分検出結果を求めた色別高周波成分検出結果を生成し、
   前記平滑化処理部は、前記複数の色成分ごとに前記色別画像データを平滑化した色別平滑化画像データを出力し、
   前記画像データ処理部は、前記色別高周波成分検出結果から前記複数の色成分に共通する共通高周波成分検出結果を算出し、算出した共通高周波成分検出結果をもとに前記複数の色成分ごとに前記色別画像データと前記色別平滑化画像データとを合成した合成データを出力する、
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
8. 前記合成データを領域ごとに拡大または縮小する拡大縮小処理部を備えた請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記合成データに対しキーストーン歪補正を行う処理部を備えた請求項１〜７のいずれか１項に記載の画像処理装置。
10. 請求項１〜９のいずれか１項に記載の画像処理装置と、
    前記画像処理装置から出力された合成データをもとに画像を表示する画像表示部と、
    を備えた画像表示装置。
11. 画像データの画素又は画素群に対し畳み込み演算を行って前記画像データの高周波成分を検出し検出結果を出力する高周波成分検出ステップと、前記画像データを平滑化した平滑化画像データを出力する平滑化処理ステップと、前記画像データと前記平滑化画像データとを前記検出結果に基づいて定まる合成割合で合成し合成された合成データを出力する画像データ処理ステップとを含む画像処理方法において、
    前記平滑化処理ステップは、前記画像データの画面領域内における注目画素ごとに、前記注目画素と前記注目画素の近傍の画素から構成される平滑化対象領域に含まれる各画素のデータから前記平滑化画像データを生成し、
    前記平滑化対象領域を構成する画素数は、前記畳み込み演算の演算対象となる画素群の画素数より少ないことを特徴とする画像処理方法。
12. 画像データの画素又は画素群に対し畳み込み演算を行って前記画像データの高周波成分を検出し検出結果を出力する高周波成分検出ステップと、前記画像データを平滑化した平滑化画像データを出力する平滑化処理ステップと、前記画像データと前記平滑化画像データとを前記検出結果に基づいて定まる合成割合で合成し合成された合成データを出力する画像データ処理ステップとを含む画像処理方法において、
    前記高周波成分検出ステップは、畳み込み演算を行うための、畳み込みパターンデータを生成する畳み込みパターン生成ステップと、前記画像データの画素又は画素群からなる注目領域ごとに前記画像データと前記畳み込みパターンデータとの畳み込み演算結果を出力する畳み込み演算ステップと、前記畳み込み演算結果の絶対値を前記高周波成分検出結果として出力する高周波成分量算出ステップとを有し、前記畳み込み演算は、少なくとも前記注目領域を含む複数の画素からなる画素群を演算対象とし、前記畳み込みパターンデータは、前記演算対象となる画素群内の各画素に対し、連続する画素ごとに正と負を入れ替えた係数からなる、ことを特徴とする画像処理方法。

Images