JP2011034226A - Image processing apparatus - Google Patents
Image processing apparatus Download PDFInfo
- Publication number
- JP2011034226A JP2011034226A JP2009178224A JP2009178224A JP2011034226A JP 2011034226 A JP2011034226 A JP 2011034226A JP 2009178224 A JP2009178224 A JP 2009178224A JP 2009178224 A JP2009178224 A JP 2009178224A JP 2011034226 A JP2011034226 A JP 2011034226A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- feature amount
- texture feature
- block
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
この発明は、映像再生機器などに用いられる画像処理装置に関する。 The present invention relates to an image processing apparatus used for video reproduction equipment and the like.
近年、携帯電話機での動画再生時に映像補正処理を行い、ユーザに高品位な映像を提供することが一般的になってきている。そして、低ビットレート映像の品質の改善を行うために、予め設計された複数のフィルタの中から最適なフィルタを選択して適用する手法がある。 In recent years, it has become common to provide a high-quality video to a user by performing video correction processing when playing back a moving picture on a mobile phone. In order to improve the quality of the low bit rate video, there is a method of selecting and applying an optimum filter from a plurality of filters designed in advance.
フィルタリングにおいては、エッジの境界付近において選択されたフィルタを適用すると、エッジ情報やテクスチャ情報が失われることがある。このため、選択されたフィルタを適用する前にエッジ情報を保存するフィルタ（εフィルタやBilateralフィルタなど）によりフィルタの再構成が行われる場合がある（例えば、特許文献１参照）。 In filtering, if a filter selected near the edge boundary is applied, edge information and texture information may be lost. For this reason, the filter may be reconfigured by a filter (such as an ε filter or a Bilateral filter) that stores edge information before applying the selected filter (see, for example, Patent Document 1).
しかし、全ての画素に対し、上記のフィルタを施す画像処理装置では、演算量が多いという問題があった。この問題は、携帯電話機に限らず、映像再生を行う機器の画像処理装置において、広く共通する問題となっている。 However, the image processing apparatus that applies the above-described filter to all pixels has a problem that the amount of calculation is large. This problem is not limited to mobile phones, and is a common problem in image processing apparatuses for devices that perform video playback.
εフィルタやBilateralフィルタをすべての画素に対して適用する従来の画像処理装置では、演算量が多いという問題があった。
この発明は上記の問題を解決すべくなされたもので、εフィルタやBilateralフィルタなどのフィルタを効果的に適用して映像品質の改善を行いながら、演算量を抑制することが可能な画像処理装置を提供することを目的とする。
The conventional image processing apparatus that applies the ε filter or the Bilateral filter to all pixels has a problem that the amount of calculation is large.
The present invention has been made to solve the above problems, and is an image processing apparatus capable of suppressing the amount of calculation while improving the video quality by effectively applying a filter such as an ε filter or a Bilateral filter. The purpose is to provide.
上記の目的を達成するために、この発明は、フレームを構成するブロックごとにフィルタリングを行う画像処理装置において、ブロックごとに、画像の複雑さを示すテクスチャ特徴量を求めるテクスチャ特徴量検出手段と、このテクスチャ特徴量検出手段が検出したテクスチャ特徴量に基づき、ブロックごとにその画像の複雑さが閾値を超えない場合には、第１のフィルタを用いて該当ブロックの画像データにフィルタリングを行い、一方、ブロックごとにその画像の複雑さが閾値を超える場合には、前記第１のフィルタを再構成した第２のフィルタを用いて該当ブロックの画像データにフィルタリングを行うフィルタリング手段とを具備して構成するようにした。 In order to achieve the above object, the present invention provides a texture feature amount detecting means for obtaining a texture feature amount indicating the complexity of an image for each block in an image processing apparatus that performs filtering for each block constituting a frame. Based on the texture feature amount detected by the texture feature amount detection means, if the complexity of the image does not exceed the threshold for each block, the image data of the corresponding block is filtered using the first filter, And a filtering means for filtering the image data of the corresponding block using the second filter obtained by reconstructing the first filter when the complexity of the image exceeds a threshold value for each block. I tried to do it.
以上述べたように、この発明では、画像の複雑さを示すテクスチャ特徴量が閾値を超えない場合には、第１のフィルタを用いて該当ブロックの画像データにフィルタリングを行い、一方、テクスチャ特徴量が閾値を超える場合には、第１のフィルタを再構成した第２のフィルタを用いて該当ブロックの画像データにフィルタリングを行うようにしている。 As described above, in the present invention, when the texture feature amount indicating the complexity of the image does not exceed the threshold, the image data of the corresponding block is filtered using the first filter, while the texture feature amount When the value exceeds the threshold, the image data of the corresponding block is filtered using the second filter obtained by reconstructing the first filter.
したがって、この発明によれば、処理対象の画像が複雑な場合にだけ、フィルタの再構成を行うので、再構成フィルタを効果的に適用して映像品質の改善を行いながら、演算量を抑制することが可能な画像処理装置を提供できる。 Therefore, according to the present invention, since the filter is reconstructed only when the image to be processed is complex, the amount of calculation is suppressed while the image quality is improved by effectively applying the reconstruction filter. It is possible to provide an image processing apparatus that can perform the above processing.
以下、図面を参照して、この発明の一実施形態について説明する。
（第１の実施形態）
図１は、この発明の第１の実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、復号器１０と、メモリ２０と、特徴量算出部３０と、フィルタ情報記憶部４０と、フィルタ選択部５０と、フィルタリング処理部１００とを備える。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 shows the configuration of an image processing apparatus according to the first embodiment of the present invention. The image processing apparatus includes a
復号器１０は、動画像の映像信号を符号化した符号化ストリームが入力され、この符号化ストリームを復号し、これによって、フレームごとの画像データと符号化情報を得る。符号化情報には、量子化パラメータや動きベクトル、ピクチャ情報が含まれる。
The
メモリ２０は、例えば半導体メモリなどを記憶媒体として用いたものであって、復号器１０から出力される画像データを記憶する。
The
特徴量算出部３０は、メモリ２０から処理対象となるフレーム（以下、処理対象フレームと称する）の画像データを読み出す。そして、特徴量算出部３０は、１つのフレームを所定のサイズのブロックに分け、各ブロック毎に、上記画像データに基づいて、映像のエッジ特徴量を算出する。このブロックごとに求めたエッジ特徴量は、ブロックを識別するブロックインデックスが付与されて、フィルタ選択部５０に出力される。なお、特徴量算出部３０は、復号器１０によって得られた符号化情報に基づいて、上記ブロックごとのエッジ特徴量を求めるようにしてもよい。
The feature
フィルタ情報記憶部４０は、種々のエッジ特徴量のテンプレートとフィルタを対応づけて、フィルタ情報として予め記憶する。すなわち、各エッジ特徴量に適用すべきフィルタを、エッジ特徴量のテンプレートに対応づけて、フィルタ情報として予め記憶する。なお、上記フィルタは、フィルタリング対象の画素あるいはその周辺画素を含んだブロックにそれぞれ適用するフィルタ係数のセットであって、このフィルタを適用することにより、画像のエッジ特徴を考慮した出力画像が得られる。
The filter
フィルタ選択部５０は、フィルタ情報記憶部４０が記憶するフィルタ情報を参照し、特徴量算出部３０が求めた各ブロックのエッジ特徴量に対応するフィルタを検出し、この検出したフィルタのインデックス（以下、フィルタインデックスと称する）を上記エッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部１００に出力する。
The filter selection unit 50 refers to the filter information stored in the filter
フィルタリング処理部１００は、上記フィルタデータと画像データに基づいて、フレームを構成する上記ブロック毎に、画像データに対してフィルタリング処理を施すものであって、例えば、図２に示すように構成され、テクスチャ特徴量算出部１１０と、テクスチャ判定部１２０と、フィルタ１３０と、再構成フィルタ１４０と、統合部１５０とを備える。
The
テクスチャ特徴量算出部１１０は、フィルタ選択部５０からフィルタデータが入力されると、このフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、該当ブロックの画像の複雑さを示すテクスチャ特徴量を算出する。そして、テクスチャ特徴量算出部１１０は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０に出力する。
When the filter data is input from the filter selection unit 50, the texture feature
テクスチャ判定部１２０は、テクスチャ特徴量算出部１１０からテクスチャデータが入力されると、このテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスに基づくフィルタを再構成する必要性を判定する。ここで、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象のブロック（以下、処理対象ブロックと称する）の映像が単調な場合には、上記テクスチャデータに含まれるフィルタデータをフィルタ１３０に出力し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記フィルタデータを再構成フィルタ１４０に出力する。
When texture data is input from the texture feature
フィルタ１３０は、テクスチャ判定部１２０からフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
When filter data is input from the
再構成フィルタ１４０は、テクスチャ判定部１２０からフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。また再構成フィルタ１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、このブロックを構成する各画素毎に、読み出したフィルタをεフィルタを用いて再構成して、この再構成したフィルタを対応する各画素に適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
When filter data is input from the
統合部１５０は、処理対象フレームを構成するすべてのブロックについて、フィルタリング処理を施した画像データを得ると、フィルタ１３０および再構成フィルタ１４０にてフィルタリング処理された画像データを、それぞれ対応づけられたブロックインデックスに基づいて、１つのフレームの画像データに統合し、出力する。
When the
次に、上記構成の画像処理装置の動作について説明する。図３は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示すように、画像処理装置は、メモリ２０が記憶するフレーム毎の画像データについて、ステップ３ａ〜３ｉを繰り返すフレームループ制御を実行する。
Next, the operation of the image processing apparatus having the above configuration will be described. FIG. 3 is a flowchart for explaining the operation of the image processing apparatus. As shown in this figure, the image processing apparatus executes frame loop control for repeating
ステップ３ａでは、特徴量算出部３０が、メモリ２０から処理対象フレームの画像データを読み出し、ステップ３ｂに移行する。
ステップ３ｂでは、特徴量算出部３０が、１つのフレームを構成するブロック毎に、読み出した画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。そして、特徴量算出部３０は、このブロックごとに求めたエッジ特徴量にブロックインデックスを付与し、フィルタ選択部５０に出力して、ステップ３ｃに移行する。
In
In step 3b, the feature
ステップ３ｃでは、フィルタ選択部５０が、フィルタ情報記憶部４０が記憶するフィルタ情報を参照し、テンプレートマッチングにより、特徴量算出部３０が求めた各ブロックのエッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部５０は、この読み出したフィルタインデックスを、テンプレートマッチングに用いたエッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部１００に出力し、ステップ３ｄに移行する。
In
ステップ３ｄでは、テクスチャ特徴量算出部１１０が、フィルタ選択部５０から与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出す。そして、テクスチャ特徴量算出部１１０は、この画像データに基づいて、該当ブロックの画像を構成する画素の輝度値を参照し、最大の輝度値と、最小の輝度値を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０に出力し、ステップ３ｅに移行する。
In
ステップ３ｅでは、テクスチャ判定部１２０が、テクスチャ特徴量算出部１１０から与えられたテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
In step 3e, the
具体的には、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記フィルタデータをフィルタ１３０に出力して、ステップ３ｆに移行し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記テクスチャデータに含まれるフィルタデータを再構成フィルタ１４０に出力して、ステップ３ｇに移行する。
Specifically, when the texture feature amount does not exceed the threshold value, that is, when the video of the processing target block is monotonous, the filter data is output to the
ステップ３ｆでは、フィルタ１３０が、テクスチャ判定部１２０から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。
In step 3 f, the
具体的には、下式（１）で示すような演算を行う。なお、下式において、(x,y)はフィルタリング対象の画素の座標を示し、(m,n)はフィルタリング対象の画素を中心とする相対的な座標を示す。そして、h(m,n)はフィルタ、S(x,y)は、フィルタリング対象の画素の輝度値、D(x,y)はフィルタリングされた対象画素の輝度値をそれぞれ示している。
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。
In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the
一方、ステップ３ｇでは、再構成フィルタ１４０が、テクスチャ判定部１２０から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをεフィルタを用いて再構成して、フィルタリングを行う。
On the other hand, in step 3 g, the
具体的には、下式（２）、（３）で示すような演算を行う。すなわち、この式の例では、フィルタリング対象の画素の輝度値S(x,y)がその周辺の画素の輝度値S(x-m,y-n)と比べて差が大きい場合（閾値Thより大きい場合）には、輝度値S(x,y)のみをフィルタリングに用いることで、再構成したフィルタを用いた場合と同じフィルタリングを行う。一方、それ以外の場合には、フィルタ１３０と同じフィルタリングを行っている。
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。
In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the
ステップ３ｈでは、統合部１５０が、それぞれ対応づけられたブロックインデックスに基づいて、フィルタ１３０および再構成フィルタ１４０から、処理対象フレームを構成するすべてのブロックの画像データが入力されたことを検出すると、これらの画像データを統合する。
In
ステップ３ｉでは、ステップ３ｈの統合により、１つのフレームの画像データが完成されたことを確認すると、この画像データを出力し、そして、次のフレームについてステップ３ａから新たな処理を開始する。
In step 3i, when it is confirmed by the integration of
以上のように、上記構成の画像処理装置では、すべてのブロックの画像データに対して再構成フィルタ１４０（εフィルタ）を適用するのではなく、テクスチャ特徴量が閾値を超える、すなわち処理対象ブロックの映像が複雑な場合に限って、再構成フィルタ１４０を適用するようにしている。
したがって、上記構成の画像処理装置によれば、再構成フィルタ１４０がその効果を発揮する複雑なブロックについてのみ適用されるので、演算量を抑制しながら、映像品質を改善することができる。
As described above, the image processing apparatus having the above configuration does not apply the reconstruction filter 140 (ε filter) to the image data of all blocks, but the texture feature amount exceeds the threshold value, that is, the processing target block The
Therefore, according to the image processing apparatus having the above-described configuration, the
なお、上記実施の形態では、再構成フィルタ１４０がεフィルタである場合を例に挙げて説明したが、Bilateralフィルタを採用する場合にも適用できる。すなわち、再構成フィルタ１４０がBilateralフィルタの場合、再構成フィルタ１４０は、ステップ３ｇにおいて以下の処理を行う。
In the above embodiment, the case where the
再構成フィルタ１４０は、テクスチャ判定部１２０から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをBilateralフィルタを用いて再構成して、フィルタリングを行う。
具体的には、下式（４）、（５）で示すような演算を行う。
Specifically, the calculations shown by the following expressions (4) and (5) are performed.
このようにして、再構成されたフィルタを用いてフィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。
このように、Bilateralフィルタを用いてフィルタを再構成する場合にも適用できる。
In this way, the luminance value filtered using the reconstructed filter is integrated into the image data collected for each block, and is output to the
As described above, the present invention can also be applied to a case where a filter is reconfigured using a Bilateral filter.
また上記実施の形態では、テクスチャ特徴量算出部１１０は、ステップ３ｄで説明したように、テクスチャ特徴量を、処理対象のブロックの画像を構成する画素の輝度値に基づいて求めるようにしたが、輝度値に代わって画像データに含まれる色差信号に基づいて、上記テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
すなわち、ステップ３ｄでは、テクスチャ特徴量算出部１１０が、フィルタ選択部５０から与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出す。そして、テクスチャ特徴量算出部１１０は、この画像データに基づいて、該当ブロックの画像を構成する画素の色差信号を参照し、最大の色差と、最小の色差を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０に出力し、ステップ３ｅに移行する。
In other words, in
そして、ステップ３ｅでは、テクスチャ判定部１２０が、テクスチャ特徴量算出部１１０から与えられたテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
このように、色差信号に基づいてテクスチャ特徴量を求めるようにしても、同様の効果が得られる。
In step 3e, the
As described above, the same effect can be obtained even if the texture feature amount is obtained based on the color difference signal.
また、テクスチャ特徴量算出部１１０は、上述した手法により輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めるようにしてもよい。この場合、テクスチャ特徴量算出部１１０は、輝度値に基づく第１テクスチャ特徴量と、色差信号に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
Further, the texture feature
As described above, by determining the texture feature amount based on both the luminance value and the color difference signal, the complexity of the image can be determined more accurately.
そしてまた、上記実施の形態では、テクスチャ特徴量算出部１１０は、テクスチャ特徴量を、処理対象ブロックの画像データのみに基づいて検出するようにしたが、これに代わって例えば、処理対象ブロックの画像データと、上記処理対象ブロックと同じブロック位置の過去のフレーム（処理対象フレームよりも時間的に前のフレーム）の画像データに基づいて、テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
この場合、テクスチャ特徴量算出部１１０は、処理対象ブロックの画像データに基づく第１テクスチャ特徴量と、過去フレームで処理対象ブロックに相当するブロックの画像データに基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、現在と過去の両方の画像データに基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
In this case, the texture feature
As described above, by determining the texture feature amount based on both current and past image data, the complexity of the image can be determined more accurately.
（第２の実施形態）
以下、この発明の第２の実施形態に係わる画像処理装置について説明する。第２の実施形態に係わる画像処理装置の構成は、第１の実施形態に係わる画像処理装置の構成と見かけ上、同じであり、図１に示すように、復号器１０と、メモリ２０と、特徴量算出部３０と、フィルタ情報記憶部４０と、フィルタ選択部５０と、フィルタリング処理部１００とを備える。
(Second Embodiment)
An image processing apparatus according to the second embodiment of the present invention will be described below. The configuration of the image processing apparatus according to the second embodiment is apparently the same as the configuration of the image processing apparatus according to the first embodiment. As shown in FIG. 1, a
第１の実施形態に係わる画像処理装置と第２の実施形態に係わる画像処理装置は、フィルタリング処理部１００の処理内容が異なっているが、見かけ上の構成は同じであることより、図２を参照して説明する。
Although the image processing apparatus according to the first embodiment and the image processing apparatus according to the second embodiment are different in the processing contents of the
すなわち、第２の実施形態に係わる画像処理装置のフィルタリング処理部１００は、テクスチャ特徴量算出部１１０と、テクスチャ判定部１２０と、フィルタ１３０と、再構成フィルタ１４０と、統合部１５０とを備える。
That is, the
テクスチャ特徴量算出部１１０は、フィルタ選択部５０からフィルタデータが入力されると、このフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、該当ブロックの画像の複雑さを示すテクスチャ特徴量を算出する。そして、テクスチャ特徴量算出部１１０は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０に出力する。
When the filter data is input from the filter selection unit 50, the texture feature
テクスチャ判定部１２０は、テクスチャ特徴量算出部１１０からテクスチャデータが入力されると、このテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスに基づくフィルタを再構成する必要性を判定する。ここで、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記テクスチャデータに含まれるフィルタデータをフィルタ１３０に出力し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記フィルタデータを再構成フィルタ１４０に出力する。
When texture data is input from the texture feature
フィルタ１３０は、テクスチャ判定部１２０からフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
When filter data is input from the
再構成フィルタ１４０は、テクスチャ判定部１２０からフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。また再構成フィルタ１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、このブロックを構成する各画素毎に、読み出したフィルタをεフィルタを用いて再構成して、この再構成したフィルタを対応する各画素に適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
When filter data is input from the
統合部１５０は、処理対象フレームを構成するすべてのブロックについて、フィルタリング処理を施した画像データを得ると、フィルタ１３０および再構成フィルタ１４０にてフィルタリング処理された画像データを、それぞれ対応づけられたブロックインデックスに基づいて、１つのフレームの画像データに統合し、出力する。
When the
次に、上記構成の画像処理装置の動作について説明する。図４は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示すように、画像処理装置は、メモリ２０が記憶するフレーム毎の画像データについて、ステップ４ａ〜４ｉを繰り返すフレームループ制御を実行する。
Next, the operation of the image processing apparatus having the above configuration will be described. FIG. 4 is a flowchart for explaining the operation of the image processing apparatus. As shown in this figure, the image processing apparatus executes frame loop control that repeats
ステップ４ａでは、特徴量算出部３０が、メモリ２０から処理対象フレームの画像データを読み出し、ステップ４ｂに移行する。
ステップ４ｂでは、特徴量算出部３０が、１つのフレームを構成するブロック毎に、読み出した画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。そして、特徴量算出部３０は、このブロックごとに求めたエッジ特徴量にブロックインデックスを付与し、フィルタ選択部５０に出力して、ステップ４ｃに移行する。
In
In step 4b, the feature
ステップ４ｃでは、フィルタ選択部５０が、フィルタ情報記憶部４０が記憶するフィルタ情報を参照し、テンプレートマッチングにより、特徴量算出部３０が求めた各ブロックのエッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部５０は、この読み出したフィルタインデックスを、テンプレートマッチングに用いたエッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部１００に出力し、ステップ４ｄに移行する。
In step 4c, the filter selection unit 50 refers to the filter information stored in the filter
ステップ４ｄでは、テクスチャ特徴量算出部１１０が、フィルタ選択部５０から与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出す。そして、テクスチャ特徴量算出部１１０は、この画像データに基づいて、該当ブロックの画像を構成する画素の輝度値を参照し、輝度値の分散（variance）を算出し、その値を画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０に出力し、ステップ４ｅに移行する。
In step 4 d, the texture feature
ステップ４ｅでは、テクスチャ判定部１２０が、テクスチャ特徴量算出部１１０から与えられたテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
In
具体的には、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記フィルタデータをフィルタ１３０に出力して、ステップ４ｆに移行し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記テクスチャデータに含まれるフィルタデータを再構成フィルタ１４０に出力して、ステップ４ｇに移行する。
Specifically, when the texture feature amount does not exceed the threshold value, that is, when the video of the processing target block is monotonous, the filter data is output to the
ステップ４ｆでは、フィルタ１３０が、テクスチャ判定部１２０から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。
In step 4 f, the
具体的には、前述した式（１）で示すような演算を行う。
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。
Specifically, the calculation shown by the above-described equation (1) is performed.
In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the
一方、ステップ４ｇでは、再構成フィルタ１４０が、テクスチャ判定部１２０から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをεフィルタを用いて再構成して、フィルタリングを行う。
On the other hand, in step 4 g, the
具体的には、前述した式（２）、（３）で示すような演算を行う。すなわち、この式の例では、フィルタリング対象の画素の輝度値S(x,y)がその周辺の画素の輝度値S(x-m,y-n)と比べて差が大きい場合（閾値Thより大きい場合）には、輝度値S(x,y)のみをフィルタリングに用いることで、再構成したフィルタを用いた場合と同じフィルタリングを行う。一方、それ以外の場合には、フィルタ１３０と同じフィルタリングを行っている。
Specifically, the calculations shown in the above-described equations (2) and (3) are performed. That is, in the example of this formula, when the luminance value S (x, y) of the pixel to be filtered is larger than the luminance value S (xm, yn) of the surrounding pixels (when it is larger than the threshold Th) Performs the same filtering as when using the reconstructed filter by using only the luminance value S (x, y) for filtering. On the other hand, in the other cases, the same filtering as the
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。
ステップ４ｈでは、統合部１５０が、それぞれ対応づけられたブロックインデックスに基づいて、フィルタ１３０および再構成フィルタ１４０から、処理対象フレームを構成するすべてのブロックの画像データが入力されたことを検出すると、これらの画像データを統合する。
In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the
In
ステップ４ｉでは、ステップ４ｈの統合により、１つのフレームの画像データが完成されたことを確認すると、この画像データを出力し、そして、次のフレームについてステップ４ａから新たな処理を開始する。
In step 4i, when it is confirmed that the image data of one frame is completed by integration of
以上のように、上記構成の画像処理装置では、すべてのブロックの画像データに対して再構成フィルタ１４０（εフィルタ）を適用するのではなく、テクスチャ特徴量が閾値を超える、すなわち処理対象ブロックの映像が複雑な場合に限って、再構成フィルタ１４０を適用するようにしている。
したがって、上記構成の画像処理装置によれば、再構成フィルタ１４０がその効果を発揮する複雑なブロックについてのみ適用されるので、演算量を抑制しながら、映像品質を改善することができる。
As described above, the image processing apparatus having the above configuration does not apply the reconstruction filter 140 (ε filter) to the image data of all blocks, but the texture feature amount exceeds the threshold value, that is, the processing target block The
Therefore, according to the image processing apparatus having the above-described configuration, the
なお、上記実施の形態では、再構成フィルタ１４０がεフィルタである場合を例に挙げて説明したが、Bilateralフィルタを採用する場合にも適用できる。すなわち、再構成フィルタ１４０がBilateralフィルタの場合、再構成フィルタ１４０は、ステップ４ｇにおいて以下の処理を行う。
In the above embodiment, the case where the
再構成フィルタ１４０は、テクスチャ判定部１２０から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをBilateralフィルタを用いて再構成して、フィルタリングを行う。
具体的には、前述した式（４）、（５）で示すような演算を行う。
The
Specifically, the calculations shown in the above-described equations (4) and (5) are performed.
このようにして、再構成されたフィルタを用いてフィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。
このように、Bilateralフィルタを用いてフィルタを再構成する場合にも適用できる。
In this way, the luminance value filtered using the reconstructed filter is integrated into the image data collected for each block, and is output to the
As described above, the present invention can also be applied to a case where a filter is reconfigured using a Bilateral filter.
また上記実施の形態では、テクスチャ特徴量算出部１１０は、ステップ４ｄで説明したように、テクスチャ特徴量を、処理対象のブロックの画像を構成する画素の輝度値に基づいて求めるようにしたが、輝度値に代わって画像データに含まれる色差信号に基づいて、上記テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
すなわち、ステップ４ｄでは、テクスチャ特徴量算出部１１０が、フィルタ選択部５０から与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出す。そして、テクスチャ特徴量算出部１１０は、この画像データに基づいて、該当ブロックの画像を構成する画素の色差信号を参照し、色差信号の分散（variance）を算出し、その値を画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０に出力し、ステップ４ｅに移行する。
That is, in step 4 d, the texture feature
そして、ステップ４ｅでは、テクスチャ判定部１２０が、テクスチャ特徴量算出部１１０から与えられたテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
このように、色差信号に基づいてテクスチャ特徴量を求めるようにしても、同様の効果が得られる。
In
As described above, the same effect can be obtained even if the texture feature amount is obtained based on the color difference signal.
また、テクスチャ特徴量算出部１１０は、上述した手法により輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めるようにしてもよい。この場合、テクスチャ特徴量算出部１１０は、輝度値に基づく第１テクスチャ特徴量と、色差信号に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
Further, the texture feature
As described above, by determining the texture feature amount based on both the luminance value and the color difference signal, the complexity of the image can be determined more accurately.
そしてまた、上記実施の形態では、テクスチャ特徴量算出部１１０は、テクスチャ特徴量を、処理対象ブロックの画像データのみに基づいて検出するようにしたが、これに代わって例えば、処理対象ブロックの画像データと、上記処理対象ブロックと同じブロック位置の過去のフレーム（処理対象フレームよりも時間的に前のフレーム）の画像データとに基づいて、テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
この場合、テクスチャ特徴量算出部１１０は、処理対象ブロックの画像データに基づく第１テクスチャ特徴量と、過去フレームで処理対象ブロックに相当するブロックの画像データに基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、現在と過去の両方の画像データに基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
In this case, the texture feature
As described above, by determining the texture feature amount based on both current and past image data, the complexity of the image can be determined more accurately.
（第３の実施形態）
図５は、この発明の第３の実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、復号器１０と、メモリ２０ａと、特徴量算出部３０ａと、フィルタ情報記憶部４０と、フィルタ選択部５０ａと、フィルタリング処理部１００ａとを備える。
(Third embodiment)
FIG. 5 shows the configuration of an image processing apparatus according to the third embodiment of the present invention. This image processing apparatus includes a
復号器１０は、動画像の映像信号を符号化した符号化ストリームが入力され、この符号化ストリームを復号し、これによって、フレームごとの画像データと符号化情報を得る。符号化情報には、、量子化パラメータや動きベクトル、ピクチャ情報が含まれる。
メモリ２０ａは、例えば半導体メモリなどを記憶媒体として用いたものであって、復号器１０から出力される画像データおよび後述するテクスチャデータを記憶する。
The
The
特徴量算出部３０ａは、メモリ２０ａから処理対象となるフレーム（以下、処理対象フレームと称する）の画像データを読み出す。そして、特徴量算出部３０ａは、１つのフレームを所定のサイズのブロックに分け、各ブロック毎に、上記画像データに基づいて、映像のエッジ特徴量を算出する。このブロックごとに求めたエッジ特徴量は、ブロックを識別するブロックインデックスが付与されて、フィルタ選択部５０ａに出力される。なお、特徴量算出部３０ａは、復号器１０によって得られた符号化情報に基づいて、上記ブロックごとのエッジ特徴量を求めるようにしてもよい。
The feature
フィルタ情報記憶部４０は、種々のエッジ特徴量のテンプレートとフィルタを対応づけて、フィルタ情報として予め記憶する。すなわち、各エッジ特徴量に適用すべきフィルタを、エッジ特徴量のテンプレートに対応づけて、フィルタ情報として予め記憶する。なお、上記フィルタは、フィルタリング対象の画素およびその周辺画素にそれぞれ適用するフィルタ係数のセットである。
The filter
フィルタ選択部５０ａは、フィルタ情報記憶部４０が記憶するフィルタ情報を参照し、特徴量算出部３０ａが求めた各ブロックのエッジ特徴量に対応するフィルタを検出し、この検出したフィルタのインデックス（以下、フィルタインデックスと称する）を上記エッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部１００ａに出力する。
The filter selection unit 50a refers to the filter information stored in the filter
フィルタリング処理部１００ａは、上記フィルタデータと画像データに基づいて、フレームを構成する上記ブロック毎に、画像データに対してフィルタリング処理を施すものであって、例えば、図６に示すように構成され、テクスチャ特徴量算出部１１０ａと、テクスチャ判定部１２０ａと、フィルタ１３０と、再構成フィルタ１４０と、統合部１５０とを備える。
The
テクスチャ特徴量算出部１１０ａは、フィルタ選択部５０ａからフィルタデータが入力されると、このフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、この画像データに基づいて、該当ブロックの画像の複雑さを示すテクスチャ特徴量を算出する。そして、テクスチャ特徴量算出部１１０ａは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０ａに出力する。
When the filter data is input from the filter selection unit 50a, the texture feature
テクスチャ判定部１２０ａは、テクスチャ特徴量算出部１１０ａからテクスチャデータが入力されると、このテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスに基づくフィルタを再構成する必要性を判定する。ここで、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記テクスチャデータに含まれるフィルタデータをフィルタ１３０に出力し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記フィルタデータを再構成フィルタ１４０に出力する。
When the texture data is input from the texture feature
フィルタ１３０は、テクスチャ判定部１２０ａからフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
When the filter data is input from the
再構成フィルタ１４０は、テクスチャ判定部１２０ａからフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。また再構成フィルタ１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、この画像データに基づいて、このブロックを構成する各画素毎に、読み出したフィルタをεフィルタを用いて再構成して、この再構成したフィルタを対応する各画素に適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
When the filter data is input from the
統合部１５０は、処理対象フレームを構成するすべてのブロックについて、フィルタリング処理を施した画像データを得ると、フィルタ１３０および再構成フィルタ１４０にてフィルタリング処理された画像データを、それぞれ対応づけられたブロックインデックスに基づいて、１つのフレームの画像データに統合し、出力する。
When the
次に、上記構成の画像処理装置の動作について説明する。図７は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示すように、画像処理装置は、１つのフレームを構成するすべてのブロックについて、ステップ７ａ〜７ｅを繰り返すフレームループ制御を実行し、これが完了すると、ステップ７ｆ〜７ｋの処理を実行する。
Next, the operation of the image processing apparatus having the above configuration will be described. FIG. 7 is a flowchart for explaining the operation of the image processing apparatus. As shown in this figure, the image processing apparatus executes frame loop control that repeats
ステップ７ａでは、特徴量算出部３０ａが、メモリ２０ａから処理対象フレームの画像データを読み出し、ステップ７ｂに移行する。
ステップ７ｂでは、特徴量算出部３０ａが、１つのフレームを構成するブロック毎に、読み出した画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。そして、特徴量算出部３０ａは、このブロックごとに求めたエッジ特徴量にブロックインデックスを付与し、フィルタ選択部５０ａに出力して、ステップ７ｃに移行する。
In
In step 7b, the feature
ステップ７ｃでは、フィルタ選択部５０ａが、フィルタ情報記憶部４０が記憶するフィルタ情報を参照し、テンプレートマッチングにより、特徴量算出部３０ａが求めた各ブロックのエッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部５０ａは、この読み出したフィルタインデックスを、テンプレートマッチングに用いたエッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部１００ａに出力し、ステップ７ｄに移行する。
In step 7c, the filter selection unit 50a refers to the filter information stored in the filter
ステップ７ｄでは、テクスチャ特徴量算出部１１０ａが、フィルタ選択部５０ａから与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出す。そして、テクスチャ特徴量算出部１１０ａは、この画像データに基づいて、該当ブロックの画像を構成する画素の輝度値を参照し、最大の輝度値と、最小の輝度値を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０ａは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、メモリ２０ａに記録し、ステップ７ｅに移行する。
In step 7d, the texture feature
ステップ７ｅでは、テクスチャ特徴量算出部１１０ａが、ステップ７ａで読み出した画像データのフレームを構成するすべてのブロックについて、テクスチャデータを生成したことを確認すると、ステップ７ｆに移行し、一方、すべてのブロックについてテクスチャデータが生成されていない場合には、ステップ７ｂに移行して、残るブロックについて処理を継続させる。
In
ステップ７ｆでは、テクスチャ判定部１２０ａが、メモリ２０ａから処理対象フレームを構成するブロックのテクスチャデータを読み出し、ステップ７ｇに移行する。
ステップ７ｇでは、テクスチャ判定部１２０ａが、ステップ７ｆで読み出したテクスチャデータに含まれるテクスチャ特徴量に基づいて、各テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
In
In step 7g, the
具体的には、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記フィルタデータをフィルタ１３０ａに出力して、ステップ７ｈに移行し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記テクスチャデータに含まれるフィルタデータを再構成フィルタ１４０に出力して、ステップ７ｉに移行する。
Specifically, when the texture feature amount does not exceed the threshold value, that is, when the video of the processing target block is monotonous, the filter data is output to the filter 130a, and the process proceeds to step 7h. Exceeds the threshold value, that is, when the video of the processing target block is complex, the filter data included in the texture data is output to the
ステップ７ｈでは、フィルタ１３０ａが、テクスチャ判定部１２０ａから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０ａは、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。
In step 7h, the filter 130a reads out the filter corresponding to the filter index included in the filter data given from the
具体的には、前述した式（１）で示すような演算を行う。
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０ａに出力される。
Specifically, the calculation shown by the above-described equation (1) is performed.
In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the integration unit 150a together with the block index.
一方、ステップ７ｉでは、再構成フィルタ１４０が、テクスチャ判定部１２０ａから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをεフィルタを用いて再構成して、フィルタリングを行う。
On the other hand, in step 7 i, the
具体的には、前述した式（２）、（３）で示すような演算を行う。すなわち、この式の例では、フィルタリング対象の画素の輝度値S(x,y)がその周辺の画素の輝度値S(x-m,y-n)と比べて差が大きい場合（閾値Thより大きい場合）には、輝度値S(x,y)のみをフィルタリングに用いることで、再構成したフィルタを用いた場合と同じフィルタリングを行う。一方、それ以外の場合には、フィルタ１３０ａと同じフィルタリングを行っている。 Specifically, the calculations shown in the above-described equations (2) and (3) are performed. That is, in the example of this formula, when the luminance value S (x, y) of the pixel to be filtered is larger than the luminance value S (xm, yn) of the surrounding pixels (when it is larger than the threshold Th) Performs the same filtering as when using the reconstructed filter by using only the luminance value S (x, y) for filtering. On the other hand, in the other cases, the same filtering as the filter 130a is performed.
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０ａに出力される。 In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the integration unit 150a together with the block index.
ステップ７ｊでは、統合部１５０ａが、それぞれ対応づけられたブロックインデックスに基づいて、フィルタ１３０ａおよび再構成フィルタ１４０から、処理対象フレームを構成するすべてのブロックの画像データが入力されたことを検出すると、これらの画像データを統合する。
In step 7j, when the integration unit 150a detects that the image data of all the blocks constituting the processing target frame is input from the filter 130a and the
ステップ７ｋでは、ステップ７ｊの統合により、１つのフレームの画像データが完成されたことを確認すると、この画像データを出力し、そして、次のフレームについてステップ７ａから新たな処理を開始する。
In step 7k, when it is confirmed by the integration of step 7j that the image data of one frame is completed, this image data is output, and a new process is started from
以上のように、上記構成の画像処理装置では、すべてのブロックの画像データに対して再構成フィルタ１４０（εフィルタ）を適用するのではなく、テクスチャ特徴量が閾値を超える、すなわち処理対象ブロックの映像が複雑な場合に限って、再構成フィルタ１４０を適用するようにしている。
したがって、上記構成の画像処理装置によれば、再構成フィルタ１４０がその効果を発揮する複雑なブロックについてのみ適用されるので、演算量を抑制しながら、映像品質を改善することができる。
As described above, the image processing apparatus having the above configuration does not apply the reconstruction filter 140 (ε filter) to the image data of all blocks, but the texture feature amount exceeds the threshold value, that is, the processing target block The
Therefore, according to the image processing apparatus having the above-described configuration, the
なお、上記実施の形態では、再構成フィルタ１４０がεフィルタである場合を例に挙げて説明したが、Bilateralフィルタを採用する場合にも適用できる。すなわち、再構成フィルタ１４０がBilateralフィルタの場合、再構成フィルタ１４０は、ステップ７ｉにおいて以下の処理を行う。
In the above embodiment, the case where the
再構成フィルタ１４０は、テクスチャ判定部１２０ａから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをBilateralフィルタを用いて再構成して、フィルタリングを行う。
具体的には、前述した式（４）、（５）で示すような演算を行う。
The
Specifically, the calculations shown in the above-described equations (4) and (5) are performed.
このようにして、再構成されたフィルタを用いてフィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。
このように、Bilateralフィルタを用いてフィルタを再構成する場合にも適用できる。
In this way, the luminance value filtered using the reconstructed filter is integrated into the image data collected for each block, and is output to the
As described above, the present invention can also be applied to a case where a filter is reconfigured using a Bilateral filter.
また上記実施の形態では、テクスチャ特徴量算出部１１０ａは、ステップ７ｄで説明したように、テクスチャ特徴量を、処理対象のブロックの画像を構成する画素の輝度値に基づいて求めるようにしたが、輝度値に代わって画像データに含まれる色差信号に基づいて、上記テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
すなわち、ステップ７ｄでは、テクスチャ特徴量算出部１１０ａが、フィルタ選択部５０ａから与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出す。そして、テクスチャ特徴量算出部１１０ａは、この画像データに基づいて、該当ブロックの画像を構成する画素の色差信号を参照し、最大の色差と、最小の色差を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０ａは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、メモリ２０ａに記録し、ステップ７ｅに移行する。
このように、色差信号に基づいてテクスチャ特徴量を求めるようにしても、同様の効果が得られる。
In other words, in step 7d, the texture feature
As described above, the same effect can be obtained even if the texture feature amount is obtained based on the color difference signal.
また、テクスチャ特徴量算出部１１０ａは、上述した手法により輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めるようにしてもよい。この場合、テクスチャ特徴量算出部１１０ａは、輝度値に基づく第１テクスチャ特徴量と、色差信号に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０ａが、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
The texture feature
As described above, by determining the texture feature amount based on both the luminance value and the color difference signal, the complexity of the image can be determined more accurately.
そしてまた、上記実施の形態では、テクスチャ特徴量算出部１１０ａは、テクスチャ特徴量を、処理対象ブロックの画像データのみに基づいて検出するようにしたが、これに代わって例えば、処理対象ブロックの画像データと、上記処理対象ブロックと同じブロック位置の過去のフレーム（処理対象フレームよりも時間的に前のフレーム）の画像データとに基づいて、テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
この場合、テクスチャ特徴量算出部１１０ａは、処理対象ブロックの画像データに基づく第１テクスチャ特徴量と、過去フレームで処理対象ブロックに相当するブロックの画像データに基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０ａが、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、現在と過去の両方の画像データに基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
In this case, the texture feature
As described above, by determining the texture feature amount based on both current and past image data, the complexity of the image can be determined more accurately.
さらにまた、メモリ２０ａは、過去の複数のフレームについて、テクスチャデータを記憶しておくようにし、テクスチャ判定部１２０ａは、処置対象となるブロックについて、このブロックのテクスチャデータに含まれるテクスチャ特徴量と、過去の同じ位置のブロックのテクスチャデータに含まれるテクスチャ特徴量を比較する。
Furthermore, the
そして、その差が予め設定した閾値を超える場合には、ステップ７ｈに移行し、一方、超えない場合には、ステップ７ｉに移行して、それぞれフィルタリングを行うようにしてもよい。 If the difference exceeds a preset threshold value, the process proceeds to step 7h. If not, the process proceeds to step 7i to perform filtering.
（第４の実施形態）
以下、この発明の第４の実施形態に係わる画像処理装置について説明する。第４の実施形態に係わる画像処理装置の構成は、第３の実施形態に係わる画像処理装置の構成と見かけ上、同じであり、図５に示すように、復号器１０と、メモリ２０ａと、特徴量算出部３０ａと、フィルタ情報記憶部４０と、フィルタ選択部５０と、フィルタリング処理部１００ａとを備える。
(Fourth embodiment)
The image processing apparatus according to the fourth embodiment of the present invention will be described below. The configuration of the image processing apparatus according to the fourth embodiment is apparently the same as the configuration of the image processing apparatus according to the third embodiment. As shown in FIG. 5, the
第３の実施形態に係わる画像処理装置と第４の実施形態に係わる画像処理装置は、フィルタリング処理部１００ａの処理内容が異なっているが、見かけ上の構成は同じであることより、図６を参照して説明する。
Although the image processing apparatus according to the third embodiment and the image processing apparatus according to the fourth embodiment are different in the processing contents of the
すなわち、第４の実施形態に係わる画像処理装置のフィルタリング処理部１００ａは、テクスチャ特徴量算出部１１０ａと、テクスチャ判定部１２０ａと、フィルタ１３０と、再構成フィルタ１４０と、統合部１５０とを備える。
That is, the
テクスチャ特徴量算出部１１０ａは、フィルタ選択部５０ａからフィルタデータが入力されると、このフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、この画像データに基づいて、該当ブロックの画像の複雑さを示すテクスチャ特徴量を算出する。そして、テクスチャ特徴量算出部１１０ａは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０ａに出力する。
When the filter data is input from the filter selection unit 50a, the texture feature
テクスチャ判定部１２０ａは、テクスチャ特徴量算出部１１０ａからテクスチャデータが入力されると、このテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスに基づくフィルタを再構成する必要性を判定する。ここで、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記テクスチャデータに含まれるフィルタデータをフィルタ１３０に出力し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記フィルタデータを再構成フィルタ１４０に出力する。
When the texture data is input from the texture feature
フィルタ１３０は、テクスチャ判定部１２０ａからフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
When the filter data is input from the
再構成フィルタ１４０は、テクスチャ判定部１２０ａからフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。また再構成フィルタ１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、この画像データに基づいて、このブロックを構成する各画素毎に、読み出したフィルタをεフィルタを用いて再構成して、この再構成したフィルタを対応する各画素に適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
When the filter data is input from the
統合部１５０は、処理対象フレームを構成するすべてのブロックについて、フィルタリング処理を施した画像データを得ると、フィルタ１３０および再構成フィルタ１４０にてフィルタリング処理された画像データを、それぞれ対応づけられたブロックインデックスに基づいて、１つのフレームの画像データに統合し、出力する。
When the
次に、上記構成の画像処理装置の動作について説明する。図８は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示すように、画像処理装置は、１つのフレームを構成するすべてのブロックについて、ステップ８ａ〜８ｅを繰り返すフレームループ制御を実行し、これが完了すると、ステップ８ｆ〜８ｋの処理を実行する。 Next, the operation of the image processing apparatus having the above configuration will be described. FIG. 8 is a flowchart for explaining the operation of the image processing apparatus. As shown in this figure, the image processing apparatus executes frame loop control that repeats steps 8a to 8e for all blocks constituting one frame, and when this is completed, executes the processing of steps 8f to 8k.
ステップ８ａでは、特徴量算出部３０ａが、メモリ２０ａから処理対象フレームの画像データを読み出し、ステップ８ｂに移行する。
ステップ８ｂでは、特徴量算出部３０ａが、１つのフレームを構成するブロック毎に、読み出した画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。そして、特徴量算出部３０ａは、このブロックごとに求めたエッジ特徴量にブロックインデックスを付与し、フィルタ選択部５０ａに出力して、ステップ８ｃに移行する。
In step 8a, the feature
In
ステップ８ｃでは、フィルタ選択部５０ａが、フィルタ情報記憶部４０が記憶するフィルタ情報を参照し、テンプレートマッチングにより、特徴量算出部３０ａが求めた各ブロックのエッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部５０ａは、この読み出したフィルタインデックスを、テンプレートマッチングに用いたエッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部１００ａに出力し、ステップ８ｄに移行する。
In step 8c, the filter selection unit 50a refers to the filter information stored in the filter
ステップ８ｄでは、テクスチャ特徴量算出部１１０ａが、フィルタ選択部５０ａから与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出す。そして、テクスチャ特徴量算出部１１０ａは、この画像データに基づいて、該当ブロックの画像を構成する画素の輝度値を参照し、輝度値の分散（variance）を算出し、その値を画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０ａは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、メモリ２０ａに記録し、ステップ８ｅに移行する。
In
ステップ８ｅでは、テクスチャ特徴量算出部１１０ａが、ステップ８ａで読み出した画像データのフレームを構成するすべてのブロックについて、テクスチャデータを生成したことを確認すると、ステップ８ｆに移行し、一方、すべてのブロックについてテクスチャデータが生成されていない場合には、ステップ８ｂに移行して、残るブロックについて処理を継続させる。
In step 8e, when the texture feature
ステップ８ｆでは、テクスチャ判定部１２０ａが、メモリ２０ａから処理対象フレームを構成するブロックのテクスチャデータを読み出し、ステップ８ｇに移行する。
ステップ８ｇでは、テクスチャ判定部１２０ａが、ステップ８ｆで読み出したテクスチャデータに含まれるテクスチャ特徴量に基づいて、各テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
In step 8f, the
In step 8g, the
具体的には、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記フィルタデータをフィルタ１３０ａに出力して、ステップ８ｈに移行し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記テクスチャデータに含まれるフィルタデータを再構成フィルタ１４０に出力して、ステップ８ｉに移行する。
Specifically, when the texture feature amount does not exceed the threshold value, that is, when the video of the processing target block is monotonous, the filter data is output to the filter 130a, and the process proceeds to step 8h. Exceeds the threshold value, that is, when the video of the processing target block is complex, the filter data included in the texture data is output to the
ステップ８ｈでは、フィルタ１３０ａが、テクスチャ判定部１２０ａから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０ａは、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。
In step 8h, the filter 130a reads a filter corresponding to the filter index included in the filter data given from the
具体的には、前述した式（１）で示すような演算を行う。
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０ａに出力される。
Specifically, the calculation shown by the above-described equation (1) is performed.
In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the integration unit 150a together with the block index.
一方、ステップ８ｉでは、再構成フィルタ１４０が、テクスチャ判定部１２０ａから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをεフィルタを用いて再構成して、フィルタリングを行う。
On the other hand, in step 8 i, the
具体的には、前述した式（２）、（３）で示すような演算を行う。すなわち、この式の例では、フィルタリング対象の画素の輝度値S(x,y)がその周辺の画素の輝度値S(x-m,y-n)と比べて差が大きい場合（閾値Thより大きい場合）には、輝度値S(x,y)のみをフィルタリングに用いることで、再構成したフィルタを用いた場合と同じフィルタリングを行う。一方、それ以外の場合には、フィルタ１３０ａと同じフィルタリングを行っている。 Specifically, the calculations shown in the above-described equations (2) and (3) are performed. That is, in the example of this formula, when the luminance value S (x, y) of the pixel to be filtered is larger than the luminance value S (xm, yn) of the surrounding pixels (when it is larger than the threshold Th) Performs the same filtering as when using the reconstructed filter by using only the luminance value S (x, y) for filtering. On the other hand, in the other cases, the same filtering as the filter 130a is performed.
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０ａに出力される。 In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the integration unit 150a together with the block index.
ステップ８ｊでは、統合部１５０ａが、それぞれ対応づけられたブロックインデックスに基づいて、フィルタ１３０ａおよび再構成フィルタ１４０から、処理対象フレームを構成するすべてのブロックの画像データが入力されたことを検出すると、これらの画像データを統合する。
In Step 8j, when the integration unit 150a detects that the image data of all the blocks constituting the processing target frame is input from the filter 130a and the
ステップ８ｋでは、ステップ８ｊの統合により、１つのフレームの画像データが完成されたことを確認すると、この画像データを出力し、そして、次のフレームについてステップ８ａから新たな処理を開始する。 In step 8k, when it is confirmed by the integration of step 8j that the image data of one frame is completed, this image data is output, and a new process is started from step 8a for the next frame.
以上のように、上記構成の画像処理装置では、すべてのブロックの画像データに対して再構成フィルタ１４０（εフィルタ）を適用するのではなく、テクスチャ特徴量が閾値を超える、すなわち処理対象ブロックの映像が複雑な場合に限って、再構成フィルタ１４０を適用するようにしている。
したがって、上記構成の画像処理装置によれば、再構成フィルタ１４０がその効果を発揮する複雑なブロックについてのみ適用されるので、演算量を抑制しながら、映像品質を改善することができる。
As described above, the image processing apparatus having the above configuration does not apply the reconstruction filter 140 (ε filter) to the image data of all blocks, but the texture feature amount exceeds the threshold value, that is, the processing target block The
Therefore, according to the image processing apparatus having the above-described configuration, the
なお、上記実施の形態では、再構成フィルタ１４０がεフィルタである場合を例に挙げて説明したが、Bilateralフィルタを採用する場合にも適用できる。すなわち、再構成フィルタ１４０がBilateralフィルタの場合、再構成フィルタ１４０は、ステップ８ｉにおいて以下の処理を行う。
In the above embodiment, the case where the
再構成フィルタ１４０は、テクスチャ判定部１２０ａから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをBilateralフィルタを用いて再構成して、フィルタリングを行う。
具体的には、前述した式（４）、（５）で示すような演算を行う。
The
Specifically, the calculations shown in the above-described equations (4) and (5) are performed.
このようにして、再構成されたフィルタを用いてフィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。
このように、Bilateralフィルタを用いてフィルタを再構成する場合にも適用できる。
In this way, the luminance value filtered using the reconstructed filter is integrated into the image data collected for each block, and is output to the
As described above, the present invention can also be applied to a case where a filter is reconfigured using a Bilateral filter.
また上記実施の形態では、テクスチャ特徴量算出部１１０ａは、ステップ８ｄで説明したように、テクスチャ特徴量を、処理対象のブロックの画像を構成する画素の輝度値に基づいて求めるようにしたが、輝度値に代わって画像データに含まれる色差信号に基づいて、上記テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
すなわち、ステップ８ｄでは、テクスチャ特徴量算出部１１０ａが、フィルタ選択部５０ａから与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出す。そして、テクスチャ特徴量算出部１１０ａは、この画像データに基づいて、該当ブロックの画像を構成する画素の色差信号を参照し、色差信号の分散（variance）を算出し、その値を画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０ａは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、メモリ２０ａに記録し、ステップ８ｅに移行する。
このように、色差信号に基づいてテクスチャ特徴量を求めるようにしても、同様の効果が得られる。
In other words, in
As described above, the same effect can be obtained even if the texture feature amount is obtained based on the color difference signal.
また、テクスチャ特徴量算出部１１０ａは、上述した手法により輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めるようにしてもよい。この場合、テクスチャ特徴量算出部１１０ａは、輝度値に基づく第１テクスチャ特徴量と、色差信号に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０ａが、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
The texture feature
As described above, by determining the texture feature amount based on both the luminance value and the color difference signal, the complexity of the image can be determined more accurately.
そしてまた、上記実施の形態では、テクスチャ特徴量算出部１１０ａは、テクスチャ特徴量を、処理対象ブロックの画像データのみに基づいて検出するようにしたが、これに代わって例えば、処理対象ブロックの画像データと、上記処理対象ブロックと同じブロック位置の過去のフレーム（処理対象フレームよりも時間的に前のフレーム）の画像データとに基づいて、テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
この場合、テクスチャ特徴量算出部１１０ａは、処理対象ブロックの画像データに基づく第１テクスチャ特徴量と、過去フレームで処理対象ブロックに相当するブロックの画像データに基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０ａが、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、現在と過去の両方の画像データに基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
In this case, the texture feature
As described above, by determining the texture feature amount based on both current and past image data, the complexity of the image can be determined more accurately.
さらにまた、メモリ２０ａは、過去の複数のフレームについて、テクスチャデータを記憶しておくようにし、テクスチャ判定部１２０ａは、処置対象となるブロックについて、このブロックのテクスチャデータに含まれるテクスチャ特徴量と、過去の同じ位置のブロックのテクスチャデータに含まれるテクスチャ特徴量を比較する。
Furthermore, the
そして、その差が予め設定した閾値を超える場合には、ステップ８ｈに移行し、一方、超えない場合には、ステップ８ｉに移行して、それぞれフィルタリングを行うようにしてもよい。 If the difference exceeds a preset threshold value, the process proceeds to step 8h. If not, the process proceeds to step 8i to perform filtering.
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. Further, for example, a configuration in which some components are deleted from all the components shown in the embodiment is also conceivable. Furthermore, you may combine suitably the component described in different embodiment.
その一例として例えば、上記実施の形態では、特徴量算出部３０が求めたエッジ特徴量に応じてフィルタ選択部５０が適用するフィルタを選択するものとして説明したが、これに代わって例えば、エッジ特徴量によらず、所定のフィルタを適用することを前提とする画像処理装置に適用することも可能である。すなわち、フィルタ１３０が予め設定されたフィルタを適用する画像処理装置に適用しても、同様の効果を奏する。
For example, in the above-described embodiment, the filter selection unit 50 selects the filter to be applied according to the edge feature amount obtained by the feature
また上記実施の形態では、テクスチャ特徴量算出部１１０（あるいはテクスチャ特徴量算出部１１０ａ）は、テクスチャ特徴量を、フィルタが参照するブロックに含まれる画素の情報（輝度値または／および色差信号）に基づいて求めるようにしたが、これに限定されるものではなく、ブロックよりも大きい所定の範囲、もしくはブロックよりも小さい所定の範囲の画素の情報（輝度値または／および色差信号）に基づいて求めるようにしてもよい。
Further, in the above embodiment, the texture feature amount calculation unit 110 (or the texture feature
そして、上記実施の形態では、適用するフィルタの切り替えを、ブロック単位で行うものとして説明したが、これに限定されるものではなく、ブロックよりも大きい所定の範囲、もしくはブロックよりも小さい所定の範囲について、適用するフィルタを切り替えるようにしてもよい。 In the above embodiment, switching of the filter to be applied is described as being performed in units of blocks. However, the present invention is not limited to this, and the predetermined range larger than the block or the predetermined range smaller than the block is not limited thereto. The filter to be applied may be switched.
すなわち、フレームをSxT画素、テクスチャ特徴量算出をIxJ画素、フィルタのタップをMxN画素とした場合、S,T,I,J,MおよびNの値をそれぞれ１以上の任意の整数に設定して実現することができ、前述したように、上記の実施の形態に例示したサイズに限定されるものではない。 That is, if the frame is SxT pixel, the texture feature value calculation is IxJ pixel, and the filter tap is MxN pixel, the values of S, T, I, J, M, and N are set to any integers of 1 or more, respectively. As described above, the present invention is not limited to the size exemplified in the above embodiment.
また例えば、画素の輝度値あるいは色差信号について、その最大値・最小値、あるいは分散のいずれか一方に基づいて、テクスチャ特徴量を求めるようにしたが、両方を用いるようにしてもよい。 In addition, for example, with respect to the luminance value or the color difference signal of the pixel, the texture feature amount is obtained based on either the maximum value / minimum value or the variance, but both may be used.
例えば、テクスチャ特徴量算出部１１０（あるいはテクスチャ特徴量算出部１１０ａ）は、輝度値の最大値・最小値の差に基づく第１テクスチャ特徴量と、輝度値の分散に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０（あるいはテクスチャ判定部１２０ａ）が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
For example, the texture feature amount calculation unit 110 (or the texture feature
あるいは、テクスチャ特徴量算出部１１０（あるいはテクスチャ特徴量算出部１１０ａ）は、色差信号の最大値・最小値の差に基づく第１テクスチャ特徴量と、色差信号の分散に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０（あるいはテクスチャ判定部１２０ａ）が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
Alternatively, the texture feature amount calculation unit 110 (or the texture feature
また、テクスチャ特徴量算出部１１０（あるいはテクスチャ特徴量算出部１１０ａ）は、輝度値の最大値・最小値の差に基づく第１テクスチャ特徴量と、色差信号の分散に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０（あるいはテクスチャ判定部１２０ａ）が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
In addition, the texture feature amount calculation unit 110 (or the texture feature
あるいは、テクスチャ特徴量算出部１１０（あるいはテクスチャ特徴量算出部１１０ａ）は、色差信号の最大値・最小値の差に基づく第１テクスチャ特徴量と、輝度値の分散に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０（あるいはテクスチャ判定部１２０ａ）が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
Alternatively, the texture feature amount calculation unit 110 (or the texture feature
このように、１種類の情報を異なる２種類の評価、あるいは２種類の情報を異なる２種類の評価によってテクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
In this manner, the complexity of the image can be determined more accurately by obtaining the texture feature amount by using two different evaluations for one type of information or two different types of evaluation for two types of information.
In addition, it goes without saying that the present invention can be similarly implemented even if various modifications are made without departing from the gist of the present invention.
１０…復号器、２０，２０ａ…メモリ、３０，３０ａ…特徴量算出部、４０…フィルタ情報記憶部、５０，５０ａ…フィルタ選択部、１００，１００ａ…フィルタリング処理部、１１０，１１０ａ…テクスチャ特徴量算出部、１２０，１２０ａ…テクスチャ判定部、１３０…フィルタ、１４０…再構成フィルタ、１５０…統合部。
DESCRIPTION OF
Claims (17)
前記ブロックごとに、画像の複雑さを示すテクスチャ特徴量を求めるテクスチャ特徴量検出手段と、
このテクスチャ特徴量検出手段が検出したテクスチャ特徴量に基づき、ブロックごとにその画像の複雑さが閾値を超えない場合には、第１のフィルタを用いて該当ブロックの画像データにフィルタリングを行い、一方、ブロックごとにその画像の複雑さが閾値を超える場合には、前記第１のフィルタを再構成した第２のフィルタを用いて該当ブロックの画像データにフィルタリングを行うフィルタリング手段とを具備したことを特徴とする画像処理装置。 In an image processing apparatus that performs filtering for each block constituting a frame,
Texture feature amount detecting means for obtaining a texture feature amount indicating the complexity of the image for each block;
Based on the texture feature amount detected by the texture feature amount detection means, if the complexity of the image does not exceed the threshold for each block, the image data of the corresponding block is filtered using the first filter, And a filtering means for filtering the image data of the corresponding block using the second filter reconstructed from the first filter when the complexity of the image exceeds a threshold value for each block. A featured image processing apparatus.
前記テクスチャ特徴量検出手段は、処理対象のフレームのブロックと、このブロックと同じ位置の過去フレームのブロックに基づいて、前記テクスチャ特徴量を求めることを特徴とする請求項１に記載の画像処理装置。 Furthermore, the image data storage means for storing the image data of the past frame temporally prior to the frame to be processed,
The image processing apparatus according to claim 1, wherein the texture feature amount detection unit obtains the texture feature amount based on a block of a frame to be processed and a block of a past frame at the same position as the block. .
前記テクスチャ特徴量検出手段は、処理対象のフレームのブロックに基づいて、第２テクスチャ特徴量を求め、この第２テクスチャ特徴量と、前記テクスチャ特徴量記憶手段が記憶する第１テクスチャ特徴量とに基づいて、前記テクスチャ特徴量を求めることを特徴とする請求項１に記載の画像処理装置。 Furthermore, it comprises a texture feature amount storage means for storing the texture feature amount of the past frame temporally prior to the processing target frame obtained by the texture feature amount detection means as a first texture feature amount,
The texture feature amount detection unit obtains a second texture feature amount based on the block of the processing target frame, and the second texture feature amount and the first texture feature amount stored by the texture feature amount storage unit. The image processing apparatus according to claim 1, wherein the texture feature amount is obtained based on the image feature amount.
前記ブロックごとにエッジの特徴量を検出するエッジ特徴量検出手段と、
このエッジ特徴量検出した特徴量に基づいて、前記ブロックごとにフィルタを選択するフィルタ選択手段とを備え、
前記フィルタリング手段は、前記テクスチャ特徴量検出手段が検出したテクスチャ特徴量に基づき、ブロックごとにその画像の複雑さが閾値を超えない場合には、前記フィルタ選択手段が選択したフィルタを用いて該当ブロックの画像データにフィルタリングを行い、一方、ブロックごとにその画像の複雑さが閾値を超える場合には、前記フィルタ選択手段が選択したフィルタを再構成したフィルタを用いて該当ブロックの画像データにフィルタリングを行うことを特徴とする請求項１に記載の画像処理装置。 Further, filter storage means for storing the edge feature amount and the filter included in the block in association with each other;
Edge feature value detection means for detecting edge feature values for each block;
Filter selection means for selecting a filter for each block based on the feature quantity detected by the edge feature quantity,
The filtering means uses the filter selected by the filter selection means when the complexity of the image does not exceed a threshold for each block based on the texture feature quantity detected by the texture feature quantity detection means. On the other hand, when the complexity of the image exceeds a threshold value for each block, the image data of the corresponding block is filtered using a filter obtained by reconstructing the filter selected by the filter selection unit. The image processing apparatus according to claim 1, wherein the image processing apparatus performs the processing.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009178224A JP2011034226A (en) | 2009-07-30 | 2009-07-30 | Image processing apparatus |
| US12/726,672 US20100290716A1 (en) | 2009-05-18 | 2010-03-18 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009178224A JP2011034226A (en) | 2009-07-30 | 2009-07-30 | Image processing apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011034226A true JP2011034226A (en) | 2011-02-17 |
Family
ID=43763257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009178224A Abandoned JP2011034226A (en) | 2009-05-18 | 2009-07-30 | Image processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011034226A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012137890A1 (en) * | 2011-04-05 | 2012-10-11 | シャープ株式会社 | Image filter apparatus, decoder apparatus, encoder apparatus, and data structure |
| KR20160049954A (en) * | 2014-10-28 | 2016-05-10 | 삼성디스플레이 주식회사 | Image processing apparatus, image processing method, and image processing program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002005544A1 (en) * | 2000-07-06 | 2002-01-17 | Seiko Epson Corporation | Image processing method, recording medium, and image processing device |
| JP2004254158A (en) * | 2003-02-21 | 2004-09-09 | Pentax Corp | Image processor |
| JP2004326493A (en) * | 2003-04-25 | 2004-11-18 | Sony Corp | Device, method, recording medium and program for signal processing |
| JP2006180268A (en) * | 2004-12-22 | 2006-07-06 | Sony Corp | Image processing apparatus, image processing method, program, and recording medium |
-
2009
- 2009-07-30 JP JP2009178224A patent/JP2011034226A/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002005544A1 (en) * | 2000-07-06 | 2002-01-17 | Seiko Epson Corporation | Image processing method, recording medium, and image processing device |
| JP2004254158A (en) * | 2003-02-21 | 2004-09-09 | Pentax Corp | Image processor |
| JP2004326493A (en) * | 2003-04-25 | 2004-11-18 | Sony Corp | Device, method, recording medium and program for signal processing |
| JP2006180268A (en) * | 2004-12-22 | 2006-07-06 | Sony Corp | Image processing apparatus, image processing method, program, and recording medium |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012137890A1 (en) * | 2011-04-05 | 2012-10-11 | シャープ株式会社 | Image filter apparatus, decoder apparatus, encoder apparatus, and data structure |
| KR20160049954A (en) * | 2014-10-28 | 2016-05-10 | 삼성디스플레이 주식회사 | Image processing apparatus, image processing method, and image processing program |
| KR102296510B1 (en) * | 2014-10-28 | 2021-09-03 | 삼성디스플레이 주식회사 | Image processing apparatus, image processing method, and image processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8983175B2 (en) | Video processing method and device for depth extraction | |
| JP4455487B2 (en) | Decoding device, decoding method, and program | |
| JP5053373B2 (en) | Adaptive pixel-based filtering | |
| US20130169834A1 (en) | Photo extraction from video | |
| JP2005006275A (en) | Device, method, and program for generating interpolation frame | |
| JP2010157163A (en) | Image processing method and image processor | |
| KR20160004379A (en) | Methods of image fusion for image stabilization | |
| JP2008016904A (en) | Noise suppression method, program for noise suppression method, recording medium for recording program for noise suppression method, and noise suppression apparatus | |
| JP2008054267A (en) | Image processing apparatus, image encoding device and image decoding device | |
| JP2009251839A (en) | Image signal processing circuit, image display apparatus, and image signal processing method | |
| JP2008042565A (en) | Motion picture decoding device, and its method | |
| JP2010109834A (en) | Noise reduction apparatus, noise reduction method, and program | |
| US8681877B2 (en) | Decoding apparatus, decoding control apparatus, decoding method, and program | |
| TW201233191A (en) | Image processing device, image processing method, and program | |
| JP2004159311A (en) | Image processing apparatus and image processing method | |
| JP2008301336A (en) | Image processing device, image encoding device and image decoding device | |
| JP2011065580A (en) | Image processing apparatus, display device and image processing method | |
| KR101493694B1 (en) | Image processing apparatus, method for processing image, and recording medium storing program to implement the method | |
| JP2007334457A (en) | Image processor and image processing method | |
| JP2011065581A (en) | Image processor, display device, and image processing method | |
| JP2007512750A (en) | Detection of local image space-temporal details in video signals | |
| JP2011034226A (en) | Image processing apparatus | |
| JP2005150903A (en) | Image processing apparatus, noise elimination method, and noise elimination program | |
| JP2005287006A (en) | Image processing method, image processing program, recording medium provided with image processing program recorded thereon, and image processing apparatus | |
| JP2010219807A (en) | Image processing device and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110406 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110830 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120511 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121106 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20121113 |