JP2011034226A - Image processing apparatus - Google Patents
Image processing apparatus Download PDFInfo
- Publication number
- JP2011034226A JP2011034226A JP2009178224A JP2009178224A JP2011034226A JP 2011034226 A JP2011034226 A JP 2011034226A JP 2009178224 A JP2009178224 A JP 2009178224A JP 2009178224 A JP2009178224 A JP 2009178224A JP 2011034226 A JP2011034226 A JP 2011034226A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- feature amount
- texture feature
- block
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
この発明は、映像再生機器などに用いられる画像処理装置に関する。 The present invention relates to an image processing apparatus used for video reproduction equipment and the like.
近年、携帯電話機での動画再生時に映像補正処理を行い、ユーザに高品位な映像を提供することが一般的になってきている。そして、低ビットレート映像の品質の改善を行うために、予め設計された複数のフィルタの中から最適なフィルタを選択して適用する手法がある。 In recent years, it has become common to provide a high-quality video to a user by performing video correction processing when playing back a moving picture on a mobile phone. In order to improve the quality of the low bit rate video, there is a method of selecting and applying an optimum filter from a plurality of filters designed in advance.
フィルタリングにおいては、エッジの境界付近において選択されたフィルタを適用すると、エッジ情報やテクスチャ情報が失われることがある。このため、選択されたフィルタを適用する前にエッジ情報を保存するフィルタ(εフィルタやBilateralフィルタなど)によりフィルタの再構成が行われる場合がある(例えば、特許文献1参照)。 In filtering, if a filter selected near the edge boundary is applied, edge information and texture information may be lost. For this reason, the filter may be reconfigured by a filter (such as an ε filter or a Bilateral filter) that stores edge information before applying the selected filter (see, for example, Patent Document 1).
しかし、全ての画素に対し、上記のフィルタを施す画像処理装置では、演算量が多いという問題があった。この問題は、携帯電話機に限らず、映像再生を行う機器の画像処理装置において、広く共通する問題となっている。 However, the image processing apparatus that applies the above-described filter to all pixels has a problem that the amount of calculation is large. This problem is not limited to mobile phones, and is a common problem in image processing apparatuses for devices that perform video playback.
εフィルタやBilateralフィルタをすべての画素に対して適用する従来の画像処理装置では、演算量が多いという問題があった。
この発明は上記の問題を解決すべくなされたもので、εフィルタやBilateralフィルタなどのフィルタを効果的に適用して映像品質の改善を行いながら、演算量を抑制することが可能な画像処理装置を提供することを目的とする。
The conventional image processing apparatus that applies the ε filter or the Bilateral filter to all pixels has a problem that the amount of calculation is large.
The present invention has been made to solve the above problems, and is an image processing apparatus capable of suppressing the amount of calculation while improving the video quality by effectively applying a filter such as an ε filter or a Bilateral filter. The purpose is to provide.
上記の目的を達成するために、この発明は、フレームを構成するブロックごとにフィルタリングを行う画像処理装置において、ブロックごとに、画像の複雑さを示すテクスチャ特徴量を求めるテクスチャ特徴量検出手段と、このテクスチャ特徴量検出手段が検出したテクスチャ特徴量に基づき、ブロックごとにその画像の複雑さが閾値を超えない場合には、第1のフィルタを用いて該当ブロックの画像データにフィルタリングを行い、一方、ブロックごとにその画像の複雑さが閾値を超える場合には、前記第1のフィルタを再構成した第2のフィルタを用いて該当ブロックの画像データにフィルタリングを行うフィルタリング手段とを具備して構成するようにした。 In order to achieve the above object, the present invention provides a texture feature amount detecting means for obtaining a texture feature amount indicating the complexity of an image for each block in an image processing apparatus that performs filtering for each block constituting a frame. Based on the texture feature amount detected by the texture feature amount detection means, if the complexity of the image does not exceed the threshold for each block, the image data of the corresponding block is filtered using the first filter, And a filtering means for filtering the image data of the corresponding block using the second filter obtained by reconstructing the first filter when the complexity of the image exceeds a threshold value for each block. I tried to do it.
以上述べたように、この発明では、画像の複雑さを示すテクスチャ特徴量が閾値を超えない場合には、第1のフィルタを用いて該当ブロックの画像データにフィルタリングを行い、一方、テクスチャ特徴量が閾値を超える場合には、第1のフィルタを再構成した第2のフィルタを用いて該当ブロックの画像データにフィルタリングを行うようにしている。 As described above, in the present invention, when the texture feature amount indicating the complexity of the image does not exceed the threshold, the image data of the corresponding block is filtered using the first filter, while the texture feature amount When the value exceeds the threshold, the image data of the corresponding block is filtered using the second filter obtained by reconstructing the first filter.
したがって、この発明によれば、処理対象の画像が複雑な場合にだけ、フィルタの再構成を行うので、再構成フィルタを効果的に適用して映像品質の改善を行いながら、演算量を抑制することが可能な画像処理装置を提供できる。 Therefore, according to the present invention, since the filter is reconstructed only when the image to be processed is complex, the amount of calculation is suppressed while the image quality is improved by effectively applying the reconstruction filter. It is possible to provide an image processing apparatus that can perform the above processing.
以下、図面を参照して、この発明の一実施形態について説明する。
(第1の実施形態)
図1は、この発明の第1の実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、復号器10と、メモリ20と、特徴量算出部30と、フィルタ情報記憶部40と、フィルタ選択部50と、フィルタリング処理部100とを備える。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 shows the configuration of an image processing apparatus according to the first embodiment of the present invention. The image processing apparatus includes a
復号器10は、動画像の映像信号を符号化した符号化ストリームが入力され、この符号化ストリームを復号し、これによって、フレームごとの画像データと符号化情報を得る。符号化情報には、量子化パラメータや動きベクトル、ピクチャ情報が含まれる。
The
メモリ20は、例えば半導体メモリなどを記憶媒体として用いたものであって、復号器10から出力される画像データを記憶する。
The
特徴量算出部30は、メモリ20から処理対象となるフレーム(以下、処理対象フレームと称する)の画像データを読み出す。そして、特徴量算出部30は、1つのフレームを所定のサイズのブロックに分け、各ブロック毎に、上記画像データに基づいて、映像のエッジ特徴量を算出する。このブロックごとに求めたエッジ特徴量は、ブロックを識別するブロックインデックスが付与されて、フィルタ選択部50に出力される。なお、特徴量算出部30は、復号器10によって得られた符号化情報に基づいて、上記ブロックごとのエッジ特徴量を求めるようにしてもよい。
The feature
フィルタ情報記憶部40は、種々のエッジ特徴量のテンプレートとフィルタを対応づけて、フィルタ情報として予め記憶する。すなわち、各エッジ特徴量に適用すべきフィルタを、エッジ特徴量のテンプレートに対応づけて、フィルタ情報として予め記憶する。なお、上記フィルタは、フィルタリング対象の画素あるいはその周辺画素を含んだブロックにそれぞれ適用するフィルタ係数のセットであって、このフィルタを適用することにより、画像のエッジ特徴を考慮した出力画像が得られる。
The filter
フィルタ選択部50は、フィルタ情報記憶部40が記憶するフィルタ情報を参照し、特徴量算出部30が求めた各ブロックのエッジ特徴量に対応するフィルタを検出し、この検出したフィルタのインデックス(以下、フィルタインデックスと称する)を上記エッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部100に出力する。
The filter selection unit 50 refers to the filter information stored in the filter
フィルタリング処理部100は、上記フィルタデータと画像データに基づいて、フレームを構成する上記ブロック毎に、画像データに対してフィルタリング処理を施すものであって、例えば、図2に示すように構成され、テクスチャ特徴量算出部110と、テクスチャ判定部120と、フィルタ130と、再構成フィルタ140と、統合部150とを備える。
The
テクスチャ特徴量算出部110は、フィルタ選択部50からフィルタデータが入力されると、このフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、この画像データに基づいて、該当ブロックの画像の複雑さを示すテクスチャ特徴量を算出する。そして、テクスチャ特徴量算出部110は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部120に出力する。
When the filter data is input from the filter selection unit 50, the texture feature
テクスチャ判定部120は、テクスチャ特徴量算出部110からテクスチャデータが入力されると、このテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスに基づくフィルタを再構成する必要性を判定する。ここで、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象のブロック(以下、処理対象ブロックと称する)の映像が単調な場合には、上記テクスチャデータに含まれるフィルタデータをフィルタ130に出力し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記フィルタデータを再構成フィルタ140に出力する。
When texture data is input from the texture feature
フィルタ130は、テクスチャ判定部120からフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ130は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部150に出力される。
When filter data is input from the
再構成フィルタ140は、テクスチャ判定部120からフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。また再構成フィルタ140は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、この画像データに基づいて、このブロックを構成する各画素毎に、読み出したフィルタをεフィルタを用いて再構成して、この再構成したフィルタを対応する各画素に適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部150に出力される。
When filter data is input from the
統合部150は、処理対象フレームを構成するすべてのブロックについて、フィルタリング処理を施した画像データを得ると、フィルタ130および再構成フィルタ140にてフィルタリング処理された画像データを、それぞれ対応づけられたブロックインデックスに基づいて、1つのフレームの画像データに統合し、出力する。
When the
次に、上記構成の画像処理装置の動作について説明する。図3は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示すように、画像処理装置は、メモリ20が記憶するフレーム毎の画像データについて、ステップ3a〜3iを繰り返すフレームループ制御を実行する。
Next, the operation of the image processing apparatus having the above configuration will be described. FIG. 3 is a flowchart for explaining the operation of the image processing apparatus. As shown in this figure, the image processing apparatus executes frame loop control for repeating
ステップ3aでは、特徴量算出部30が、メモリ20から処理対象フレームの画像データを読み出し、ステップ3bに移行する。
ステップ3bでは、特徴量算出部30が、1つのフレームを構成するブロック毎に、読み出した画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。そして、特徴量算出部30は、このブロックごとに求めたエッジ特徴量にブロックインデックスを付与し、フィルタ選択部50に出力して、ステップ3cに移行する。
In
In step 3b, the feature
ステップ3cでは、フィルタ選択部50が、フィルタ情報記憶部40が記憶するフィルタ情報を参照し、テンプレートマッチングにより、特徴量算出部30が求めた各ブロックのエッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部50は、この読み出したフィルタインデックスを、テンプレートマッチングに用いたエッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部100に出力し、ステップ3dに移行する。
In
ステップ3dでは、テクスチャ特徴量算出部110が、フィルタ選択部50から与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出す。そして、テクスチャ特徴量算出部110は、この画像データに基づいて、該当ブロックの画像を構成する画素の輝度値を参照し、最大の輝度値と、最小の輝度値を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部110は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部120に出力し、ステップ3eに移行する。
In
ステップ3eでは、テクスチャ判定部120が、テクスチャ特徴量算出部110から与えられたテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
In step 3e, the
具体的には、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記フィルタデータをフィルタ130に出力して、ステップ3fに移行し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記テクスチャデータに含まれるフィルタデータを再構成フィルタ140に出力して、ステップ3gに移行する。
Specifically, when the texture feature amount does not exceed the threshold value, that is, when the video of the processing target block is monotonous, the filter data is output to the
ステップ3fでは、フィルタ130が、テクスチャ判定部120から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ130は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。
In step 3 f, the
具体的には、下式(1)で示すような演算を行う。なお、下式において、(x,y)はフィルタリング対象の画素の座標を示し、(m,n)はフィルタリング対象の画素を中心とする相対的な座標を示す。そして、h(m,n)はフィルタ、S(x,y)は、フィルタリング対象の画素の輝度値、D(x,y)はフィルタリングされた対象画素の輝度値をそれぞれ示している。
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部150に出力される。
In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the
一方、ステップ3gでは、再構成フィルタ140が、テクスチャ判定部120から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ再構成部140は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをεフィルタを用いて再構成して、フィルタリングを行う。
On the other hand, in step 3 g, the
具体的には、下式(2)、(3)で示すような演算を行う。すなわち、この式の例では、フィルタリング対象の画素の輝度値S(x,y)がその周辺の画素の輝度値S(x-m,y-n)と比べて差が大きい場合(閾値Thより大きい場合)には、輝度値S(x,y)のみをフィルタリングに用いることで、再構成したフィルタを用いた場合と同じフィルタリングを行う。一方、それ以外の場合には、フィルタ130と同じフィルタリングを行っている。
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部150に出力される。
In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the
ステップ3hでは、統合部150が、それぞれ対応づけられたブロックインデックスに基づいて、フィルタ130および再構成フィルタ140から、処理対象フレームを構成するすべてのブロックの画像データが入力されたことを検出すると、これらの画像データを統合する。
In
ステップ3iでは、ステップ3hの統合により、1つのフレームの画像データが完成されたことを確認すると、この画像データを出力し、そして、次のフレームについてステップ3aから新たな処理を開始する。
In step 3i, when it is confirmed by the integration of
以上のように、上記構成の画像処理装置では、すべてのブロックの画像データに対して再構成フィルタ140(εフィルタ)を適用するのではなく、テクスチャ特徴量が閾値を超える、すなわち処理対象ブロックの映像が複雑な場合に限って、再構成フィルタ140を適用するようにしている。
したがって、上記構成の画像処理装置によれば、再構成フィルタ140がその効果を発揮する複雑なブロックについてのみ適用されるので、演算量を抑制しながら、映像品質を改善することができる。
As described above, the image processing apparatus having the above configuration does not apply the reconstruction filter 140 (ε filter) to the image data of all blocks, but the texture feature amount exceeds the threshold value, that is, the processing target block The
Therefore, according to the image processing apparatus having the above-described configuration, the
なお、上記実施の形態では、再構成フィルタ140がεフィルタである場合を例に挙げて説明したが、Bilateralフィルタを採用する場合にも適用できる。すなわち、再構成フィルタ140がBilateralフィルタの場合、再構成フィルタ140は、ステップ3gにおいて以下の処理を行う。
In the above embodiment, the case where the
再構成フィルタ140は、テクスチャ判定部120から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ再構成部140は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをBilateralフィルタを用いて再構成して、フィルタリングを行う。
具体的には、下式(4)、(5)で示すような演算を行う。
Specifically, the calculations shown by the following expressions (4) and (5) are performed.
このようにして、再構成されたフィルタを用いてフィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部150に出力される。
このように、Bilateralフィルタを用いてフィルタを再構成する場合にも適用できる。
In this way, the luminance value filtered using the reconstructed filter is integrated into the image data collected for each block, and is output to the
As described above, the present invention can also be applied to a case where a filter is reconfigured using a Bilateral filter.
また上記実施の形態では、テクスチャ特徴量算出部110は、ステップ3dで説明したように、テクスチャ特徴量を、処理対象のブロックの画像を構成する画素の輝度値に基づいて求めるようにしたが、輝度値に代わって画像データに含まれる色差信号に基づいて、上記テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
すなわち、ステップ3dでは、テクスチャ特徴量算出部110が、フィルタ選択部50から与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出す。そして、テクスチャ特徴量算出部110は、この画像データに基づいて、該当ブロックの画像を構成する画素の色差信号を参照し、最大の色差と、最小の色差を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部110は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部120に出力し、ステップ3eに移行する。
In other words, in
そして、ステップ3eでは、テクスチャ判定部120が、テクスチャ特徴量算出部110から与えられたテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
このように、色差信号に基づいてテクスチャ特徴量を求めるようにしても、同様の効果が得られる。
In step 3e, the
As described above, the same effect can be obtained even if the texture feature amount is obtained based on the color difference signal.
また、テクスチャ特徴量算出部110は、上述した手法により輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めるようにしてもよい。この場合、テクスチャ特徴量算出部110は、輝度値に基づく第1テクスチャ特徴量と、色差信号に基づく第2テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第1および第2テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部120が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
Further, the texture feature
As described above, by determining the texture feature amount based on both the luminance value and the color difference signal, the complexity of the image can be determined more accurately.
そしてまた、上記実施の形態では、テクスチャ特徴量算出部110は、テクスチャ特徴量を、処理対象ブロックの画像データのみに基づいて検出するようにしたが、これに代わって例えば、処理対象ブロックの画像データと、上記処理対象ブロックと同じブロック位置の過去のフレーム(処理対象フレームよりも時間的に前のフレーム)の画像データに基づいて、テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
この場合、テクスチャ特徴量算出部110は、処理対象ブロックの画像データに基づく第1テクスチャ特徴量と、過去フレームで処理対象ブロックに相当するブロックの画像データに基づく第2テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第1および第2テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部120が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、現在と過去の両方の画像データに基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
In this case, the texture feature
As described above, by determining the texture feature amount based on both current and past image data, the complexity of the image can be determined more accurately.
(第2の実施形態)
以下、この発明の第2の実施形態に係わる画像処理装置について説明する。第2の実施形態に係わる画像処理装置の構成は、第1の実施形態に係わる画像処理装置の構成と見かけ上、同じであり、図1に示すように、復号器10と、メモリ20と、特徴量算出部30と、フィルタ情報記憶部40と、フィルタ選択部50と、フィルタリング処理部100とを備える。
(Second Embodiment)
An image processing apparatus according to the second embodiment of the present invention will be described below. The configuration of the image processing apparatus according to the second embodiment is apparently the same as the configuration of the image processing apparatus according to the first embodiment. As shown in FIG. 1, a
第1の実施形態に係わる画像処理装置と第2の実施形態に係わる画像処理装置は、フィルタリング処理部100の処理内容が異なっているが、見かけ上の構成は同じであることより、図2を参照して説明する。
Although the image processing apparatus according to the first embodiment and the image processing apparatus according to the second embodiment are different in the processing contents of the
すなわち、第2の実施形態に係わる画像処理装置のフィルタリング処理部100は、テクスチャ特徴量算出部110と、テクスチャ判定部120と、フィルタ130と、再構成フィルタ140と、統合部150とを備える。
That is, the
テクスチャ特徴量算出部110は、フィルタ選択部50からフィルタデータが入力されると、このフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、この画像データに基づいて、該当ブロックの画像の複雑さを示すテクスチャ特徴量を算出する。そして、テクスチャ特徴量算出部110は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部120に出力する。
When the filter data is input from the filter selection unit 50, the texture feature
テクスチャ判定部120は、テクスチャ特徴量算出部110からテクスチャデータが入力されると、このテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスに基づくフィルタを再構成する必要性を判定する。ここで、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記テクスチャデータに含まれるフィルタデータをフィルタ130に出力し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記フィルタデータを再構成フィルタ140に出力する。
When texture data is input from the texture feature
フィルタ130は、テクスチャ判定部120からフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ130は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部150に出力される。
When filter data is input from the
再構成フィルタ140は、テクスチャ判定部120からフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。また再構成フィルタ140は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、この画像データに基づいて、このブロックを構成する各画素毎に、読み出したフィルタをεフィルタを用いて再構成して、この再構成したフィルタを対応する各画素に適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部150に出力される。
When filter data is input from the
統合部150は、処理対象フレームを構成するすべてのブロックについて、フィルタリング処理を施した画像データを得ると、フィルタ130および再構成フィルタ140にてフィルタリング処理された画像データを、それぞれ対応づけられたブロックインデックスに基づいて、1つのフレームの画像データに統合し、出力する。
When the
次に、上記構成の画像処理装置の動作について説明する。図4は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示すように、画像処理装置は、メモリ20が記憶するフレーム毎の画像データについて、ステップ4a〜4iを繰り返すフレームループ制御を実行する。
Next, the operation of the image processing apparatus having the above configuration will be described. FIG. 4 is a flowchart for explaining the operation of the image processing apparatus. As shown in this figure, the image processing apparatus executes frame loop control that repeats
ステップ4aでは、特徴量算出部30が、メモリ20から処理対象フレームの画像データを読み出し、ステップ4bに移行する。
ステップ4bでは、特徴量算出部30が、1つのフレームを構成するブロック毎に、読み出した画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。そして、特徴量算出部30は、このブロックごとに求めたエッジ特徴量にブロックインデックスを付与し、フィルタ選択部50に出力して、ステップ4cに移行する。
In
In step 4b, the feature
ステップ4cでは、フィルタ選択部50が、フィルタ情報記憶部40が記憶するフィルタ情報を参照し、テンプレートマッチングにより、特徴量算出部30が求めた各ブロックのエッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部50は、この読み出したフィルタインデックスを、テンプレートマッチングに用いたエッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部100に出力し、ステップ4dに移行する。
In step 4c, the filter selection unit 50 refers to the filter information stored in the filter
ステップ4dでは、テクスチャ特徴量算出部110が、フィルタ選択部50から与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出す。そして、テクスチャ特徴量算出部110は、この画像データに基づいて、該当ブロックの画像を構成する画素の輝度値を参照し、輝度値の分散(variance)を算出し、その値を画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部110は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部120に出力し、ステップ4eに移行する。
In step 4 d, the texture feature
ステップ4eでは、テクスチャ判定部120が、テクスチャ特徴量算出部110から与えられたテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
In
具体的には、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記フィルタデータをフィルタ130に出力して、ステップ4fに移行し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記テクスチャデータに含まれるフィルタデータを再構成フィルタ140に出力して、ステップ4gに移行する。
Specifically, when the texture feature amount does not exceed the threshold value, that is, when the video of the processing target block is monotonous, the filter data is output to the
ステップ4fでは、フィルタ130が、テクスチャ判定部120から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ130は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。
In step 4 f, the
具体的には、前述した式(1)で示すような演算を行う。
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部150に出力される。
Specifically, the calculation shown by the above-described equation (1) is performed.
In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the
一方、ステップ4gでは、再構成フィルタ140が、テクスチャ判定部120から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ再構成部140は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをεフィルタを用いて再構成して、フィルタリングを行う。
On the other hand, in step 4 g, the
具体的には、前述した式(2)、(3)で示すような演算を行う。すなわち、この式の例では、フィルタリング対象の画素の輝度値S(x,y)がその周辺の画素の輝度値S(x-m,y-n)と比べて差が大きい場合(閾値Thより大きい場合)には、輝度値S(x,y)のみをフィルタリングに用いることで、再構成したフィルタを用いた場合と同じフィルタリングを行う。一方、それ以外の場合には、フィルタ130と同じフィルタリングを行っている。
Specifically, the calculations shown in the above-described equations (2) and (3) are performed. That is, in the example of this formula, when the luminance value S (x, y) of the pixel to be filtered is larger than the luminance value S (xm, yn) of the surrounding pixels (when it is larger than the threshold Th) Performs the same filtering as when using the reconstructed filter by using only the luminance value S (x, y) for filtering. On the other hand, in the other cases, the same filtering as the
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部150に出力される。
ステップ4hでは、統合部150が、それぞれ対応づけられたブロックインデックスに基づいて、フィルタ130および再構成フィルタ140から、処理対象フレームを構成するすべてのブロックの画像データが入力されたことを検出すると、これらの画像データを統合する。
In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the
In
ステップ4iでは、ステップ4hの統合により、1つのフレームの画像データが完成されたことを確認すると、この画像データを出力し、そして、次のフレームについてステップ4aから新たな処理を開始する。
In step 4i, when it is confirmed that the image data of one frame is completed by integration of
以上のように、上記構成の画像処理装置では、すべてのブロックの画像データに対して再構成フィルタ140(εフィルタ)を適用するのではなく、テクスチャ特徴量が閾値を超える、すなわち処理対象ブロックの映像が複雑な場合に限って、再構成フィルタ140を適用するようにしている。
したがって、上記構成の画像処理装置によれば、再構成フィルタ140がその効果を発揮する複雑なブロックについてのみ適用されるので、演算量を抑制しながら、映像品質を改善することができる。
As described above, the image processing apparatus having the above configuration does not apply the reconstruction filter 140 (ε filter) to the image data of all blocks, but the texture feature amount exceeds the threshold value, that is, the processing target block The
Therefore, according to the image processing apparatus having the above-described configuration, the
なお、上記実施の形態では、再構成フィルタ140がεフィルタである場合を例に挙げて説明したが、Bilateralフィルタを採用する場合にも適用できる。すなわち、再構成フィルタ140がBilateralフィルタの場合、再構成フィルタ140は、ステップ4gにおいて以下の処理を行う。
In the above embodiment, the case where the
再構成フィルタ140は、テクスチャ判定部120から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ再構成部140は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをBilateralフィルタを用いて再構成して、フィルタリングを行う。
具体的には、前述した式(4)、(5)で示すような演算を行う。
The
Specifically, the calculations shown in the above-described equations (4) and (5) are performed.
このようにして、再構成されたフィルタを用いてフィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部150に出力される。
このように、Bilateralフィルタを用いてフィルタを再構成する場合にも適用できる。
In this way, the luminance value filtered using the reconstructed filter is integrated into the image data collected for each block, and is output to the
As described above, the present invention can also be applied to a case where a filter is reconfigured using a Bilateral filter.
また上記実施の形態では、テクスチャ特徴量算出部110は、ステップ4dで説明したように、テクスチャ特徴量を、処理対象のブロックの画像を構成する画素の輝度値に基づいて求めるようにしたが、輝度値に代わって画像データに含まれる色差信号に基づいて、上記テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
すなわち、ステップ4dでは、テクスチャ特徴量算出部110が、フィルタ選択部50から与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出す。そして、テクスチャ特徴量算出部110は、この画像データに基づいて、該当ブロックの画像を構成する画素の色差信号を参照し、色差信号の分散(variance)を算出し、その値を画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部110は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部120に出力し、ステップ4eに移行する。
That is, in step 4 d, the texture feature
そして、ステップ4eでは、テクスチャ判定部120が、テクスチャ特徴量算出部110から与えられたテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
このように、色差信号に基づいてテクスチャ特徴量を求めるようにしても、同様の効果が得られる。
In
As described above, the same effect can be obtained even if the texture feature amount is obtained based on the color difference signal.
また、テクスチャ特徴量算出部110は、上述した手法により輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めるようにしてもよい。この場合、テクスチャ特徴量算出部110は、輝度値に基づく第1テクスチャ特徴量と、色差信号に基づく第2テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第1および第2テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部120が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
Further, the texture feature
As described above, by determining the texture feature amount based on both the luminance value and the color difference signal, the complexity of the image can be determined more accurately.
そしてまた、上記実施の形態では、テクスチャ特徴量算出部110は、テクスチャ特徴量を、処理対象ブロックの画像データのみに基づいて検出するようにしたが、これに代わって例えば、処理対象ブロックの画像データと、上記処理対象ブロックと同じブロック位置の過去のフレーム(処理対象フレームよりも時間的に前のフレーム)の画像データとに基づいて、テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
この場合、テクスチャ特徴量算出部110は、処理対象ブロックの画像データに基づく第1テクスチャ特徴量と、過去フレームで処理対象ブロックに相当するブロックの画像データに基づく第2テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第1および第2テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部120が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、現在と過去の両方の画像データに基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
In this case, the texture feature
As described above, by determining the texture feature amount based on both current and past image data, the complexity of the image can be determined more accurately.
(第3の実施形態)
図5は、この発明の第3の実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、復号器10と、メモリ20aと、特徴量算出部30aと、フィルタ情報記憶部40と、フィルタ選択部50aと、フィルタリング処理部100aとを備える。
(Third embodiment)
FIG. 5 shows the configuration of an image processing apparatus according to the third embodiment of the present invention. This image processing apparatus includes a
復号器10は、動画像の映像信号を符号化した符号化ストリームが入力され、この符号化ストリームを復号し、これによって、フレームごとの画像データと符号化情報を得る。符号化情報には、、量子化パラメータや動きベクトル、ピクチャ情報が含まれる。
メモリ20aは、例えば半導体メモリなどを記憶媒体として用いたものであって、復号器10から出力される画像データおよび後述するテクスチャデータを記憶する。
The
The
特徴量算出部30aは、メモリ20aから処理対象となるフレーム(以下、処理対象フレームと称する)の画像データを読み出す。そして、特徴量算出部30aは、1つのフレームを所定のサイズのブロックに分け、各ブロック毎に、上記画像データに基づいて、映像のエッジ特徴量を算出する。このブロックごとに求めたエッジ特徴量は、ブロックを識別するブロックインデックスが付与されて、フィルタ選択部50aに出力される。なお、特徴量算出部30aは、復号器10によって得られた符号化情報に基づいて、上記ブロックごとのエッジ特徴量を求めるようにしてもよい。
The feature
フィルタ情報記憶部40は、種々のエッジ特徴量のテンプレートとフィルタを対応づけて、フィルタ情報として予め記憶する。すなわち、各エッジ特徴量に適用すべきフィルタを、エッジ特徴量のテンプレートに対応づけて、フィルタ情報として予め記憶する。なお、上記フィルタは、フィルタリング対象の画素およびその周辺画素にそれぞれ適用するフィルタ係数のセットである。
The filter
フィルタ選択部50aは、フィルタ情報記憶部40が記憶するフィルタ情報を参照し、特徴量算出部30aが求めた各ブロックのエッジ特徴量に対応するフィルタを検出し、この検出したフィルタのインデックス(以下、フィルタインデックスと称する)を上記エッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部100aに出力する。
The filter selection unit 50a refers to the filter information stored in the filter
フィルタリング処理部100aは、上記フィルタデータと画像データに基づいて、フレームを構成する上記ブロック毎に、画像データに対してフィルタリング処理を施すものであって、例えば、図6に示すように構成され、テクスチャ特徴量算出部110aと、テクスチャ判定部120aと、フィルタ130と、再構成フィルタ140と、統合部150とを備える。
The
テクスチャ特徴量算出部110aは、フィルタ選択部50aからフィルタデータが入力されると、このフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20aから読み出し、この画像データに基づいて、該当ブロックの画像の複雑さを示すテクスチャ特徴量を算出する。そして、テクスチャ特徴量算出部110aは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部120aに出力する。
When the filter data is input from the filter selection unit 50a, the texture feature
テクスチャ判定部120aは、テクスチャ特徴量算出部110aからテクスチャデータが入力されると、このテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスに基づくフィルタを再構成する必要性を判定する。ここで、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記テクスチャデータに含まれるフィルタデータをフィルタ130に出力し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記フィルタデータを再構成フィルタ140に出力する。
When the texture data is input from the texture feature
フィルタ130は、テクスチャ判定部120aからフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ130は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20aから読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部150に出力される。
When the filter data is input from the
再構成フィルタ140は、テクスチャ判定部120aからフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。また再構成フィルタ140は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20aから読み出し、この画像データに基づいて、このブロックを構成する各画素毎に、読み出したフィルタをεフィルタを用いて再構成して、この再構成したフィルタを対応する各画素に適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部150に出力される。
When the filter data is input from the
統合部150は、処理対象フレームを構成するすべてのブロックについて、フィルタリング処理を施した画像データを得ると、フィルタ130および再構成フィルタ140にてフィルタリング処理された画像データを、それぞれ対応づけられたブロックインデックスに基づいて、1つのフレームの画像データに統合し、出力する。
When the
次に、上記構成の画像処理装置の動作について説明する。図7は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示すように、画像処理装置は、1つのフレームを構成するすべてのブロックについて、ステップ7a〜7eを繰り返すフレームループ制御を実行し、これが完了すると、ステップ7f〜7kの処理を実行する。
Next, the operation of the image processing apparatus having the above configuration will be described. FIG. 7 is a flowchart for explaining the operation of the image processing apparatus. As shown in this figure, the image processing apparatus executes frame loop control that repeats
ステップ7aでは、特徴量算出部30aが、メモリ20aから処理対象フレームの画像データを読み出し、ステップ7bに移行する。
ステップ7bでは、特徴量算出部30aが、1つのフレームを構成するブロック毎に、読み出した画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。そして、特徴量算出部30aは、このブロックごとに求めたエッジ特徴量にブロックインデックスを付与し、フィルタ選択部50aに出力して、ステップ7cに移行する。
In
In step 7b, the feature
ステップ7cでは、フィルタ選択部50aが、フィルタ情報記憶部40が記憶するフィルタ情報を参照し、テンプレートマッチングにより、特徴量算出部30aが求めた各ブロックのエッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部50aは、この読み出したフィルタインデックスを、テンプレートマッチングに用いたエッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部100aに出力し、ステップ7dに移行する。
In step 7c, the filter selection unit 50a refers to the filter information stored in the filter
ステップ7dでは、テクスチャ特徴量算出部110aが、フィルタ選択部50aから与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出す。そして、テクスチャ特徴量算出部110aは、この画像データに基づいて、該当ブロックの画像を構成する画素の輝度値を参照し、最大の輝度値と、最小の輝度値を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部110aは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、メモリ20aに記録し、ステップ7eに移行する。
In step 7d, the texture feature
ステップ7eでは、テクスチャ特徴量算出部110aが、ステップ7aで読み出した画像データのフレームを構成するすべてのブロックについて、テクスチャデータを生成したことを確認すると、ステップ7fに移行し、一方、すべてのブロックについてテクスチャデータが生成されていない場合には、ステップ7bに移行して、残るブロックについて処理を継続させる。
In
ステップ7fでは、テクスチャ判定部120aが、メモリ20aから処理対象フレームを構成するブロックのテクスチャデータを読み出し、ステップ7gに移行する。
ステップ7gでは、テクスチャ判定部120aが、ステップ7fで読み出したテクスチャデータに含まれるテクスチャ特徴量に基づいて、各テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
In
In step 7g, the
具体的には、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記フィルタデータをフィルタ130aに出力して、ステップ7hに移行し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記テクスチャデータに含まれるフィルタデータを再構成フィルタ140に出力して、ステップ7iに移行する。
Specifically, when the texture feature amount does not exceed the threshold value, that is, when the video of the processing target block is monotonous, the filter data is output to the filter 130a, and the process proceeds to step 7h. Exceeds the threshold value, that is, when the video of the processing target block is complex, the filter data included in the texture data is output to the
ステップ7hでは、フィルタ130aが、テクスチャ判定部120aから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ130aは、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。
In step 7h, the filter 130a reads out the filter corresponding to the filter index included in the filter data given from the
具体的には、前述した式(1)で示すような演算を行う。
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部150aに出力される。
Specifically, the calculation shown by the above-described equation (1) is performed.
In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the integration unit 150a together with the block index.
一方、ステップ7iでは、再構成フィルタ140が、テクスチャ判定部120aから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ再構成部140は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをεフィルタを用いて再構成して、フィルタリングを行う。
On the other hand, in step 7 i, the
具体的には、前述した式(2)、(3)で示すような演算を行う。すなわち、この式の例では、フィルタリング対象の画素の輝度値S(x,y)がその周辺の画素の輝度値S(x-m,y-n)と比べて差が大きい場合(閾値Thより大きい場合)には、輝度値S(x,y)のみをフィルタリングに用いることで、再構成したフィルタを用いた場合と同じフィルタリングを行う。一方、それ以外の場合には、フィルタ130aと同じフィルタリングを行っている。 Specifically, the calculations shown in the above-described equations (2) and (3) are performed. That is, in the example of this formula, when the luminance value S (x, y) of the pixel to be filtered is larger than the luminance value S (xm, yn) of the surrounding pixels (when it is larger than the threshold Th) Performs the same filtering as when using the reconstructed filter by using only the luminance value S (x, y) for filtering. On the other hand, in the other cases, the same filtering as the filter 130a is performed.
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部150aに出力される。 In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the integration unit 150a together with the block index.
ステップ7jでは、統合部150aが、それぞれ対応づけられたブロックインデックスに基づいて、フィルタ130aおよび再構成フィルタ140から、処理対象フレームを構成するすべてのブロックの画像データが入力されたことを検出すると、これらの画像データを統合する。
In step 7j, when the integration unit 150a detects that the image data of all the blocks constituting the processing target frame is input from the filter 130a and the
ステップ7kでは、ステップ7jの統合により、1つのフレームの画像データが完成されたことを確認すると、この画像データを出力し、そして、次のフレームについてステップ7aから新たな処理を開始する。
In step 7k, when it is confirmed by the integration of step 7j that the image data of one frame is completed, this image data is output, and a new process is started from
以上のように、上記構成の画像処理装置では、すべてのブロックの画像データに対して再構成フィルタ140(εフィルタ)を適用するのではなく、テクスチャ特徴量が閾値を超える、すなわち処理対象ブロックの映像が複雑な場合に限って、再構成フィルタ140を適用するようにしている。
したがって、上記構成の画像処理装置によれば、再構成フィルタ140がその効果を発揮する複雑なブロックについてのみ適用されるので、演算量を抑制しながら、映像品質を改善することができる。
As described above, the image processing apparatus having the above configuration does not apply the reconstruction filter 140 (ε filter) to the image data of all blocks, but the texture feature amount exceeds the threshold value, that is, the processing target block The
Therefore, according to the image processing apparatus having the above-described configuration, the
なお、上記実施の形態では、再構成フィルタ140がεフィルタである場合を例に挙げて説明したが、Bilateralフィルタを採用する場合にも適用できる。すなわち、再構成フィルタ140がBilateralフィルタの場合、再構成フィルタ140は、ステップ7iにおいて以下の処理を行う。
In the above embodiment, the case where the
再構成フィルタ140は、テクスチャ判定部120aから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ再構成部140は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20aから読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをBilateralフィルタを用いて再構成して、フィルタリングを行う。
具体的には、前述した式(4)、(5)で示すような演算を行う。
The
Specifically, the calculations shown in the above-described equations (4) and (5) are performed.
このようにして、再構成されたフィルタを用いてフィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部150に出力される。
このように、Bilateralフィルタを用いてフィルタを再構成する場合にも適用できる。
In this way, the luminance value filtered using the reconstructed filter is integrated into the image data collected for each block, and is output to the
As described above, the present invention can also be applied to a case where a filter is reconfigured using a Bilateral filter.
また上記実施の形態では、テクスチャ特徴量算出部110aは、ステップ7dで説明したように、テクスチャ特徴量を、処理対象のブロックの画像を構成する画素の輝度値に基づいて求めるようにしたが、輝度値に代わって画像データに含まれる色差信号に基づいて、上記テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
すなわち、ステップ7dでは、テクスチャ特徴量算出部110aが、フィルタ選択部50aから与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20aから読み出す。そして、テクスチャ特徴量算出部110aは、この画像データに基づいて、該当ブロックの画像を構成する画素の色差信号を参照し、最大の色差と、最小の色差を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部110aは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、メモリ20aに記録し、ステップ7eに移行する。
このように、色差信号に基づいてテクスチャ特徴量を求めるようにしても、同様の効果が得られる。
In other words, in step 7d, the texture feature
As described above, the same effect can be obtained even if the texture feature amount is obtained based on the color difference signal.
また、テクスチャ特徴量算出部110aは、上述した手法により輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めるようにしてもよい。この場合、テクスチャ特徴量算出部110aは、輝度値に基づく第1テクスチャ特徴量と、色差信号に基づく第2テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第1および第2テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部120aが、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
The texture feature
As described above, by determining the texture feature amount based on both the luminance value and the color difference signal, the complexity of the image can be determined more accurately.
そしてまた、上記実施の形態では、テクスチャ特徴量算出部110aは、テクスチャ特徴量を、処理対象ブロックの画像データのみに基づいて検出するようにしたが、これに代わって例えば、処理対象ブロックの画像データと、上記処理対象ブロックと同じブロック位置の過去のフレーム(処理対象フレームよりも時間的に前のフレーム)の画像データとに基づいて、テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
この場合、テクスチャ特徴量算出部110aは、処理対象ブロックの画像データに基づく第1テクスチャ特徴量と、過去フレームで処理対象ブロックに相当するブロックの画像データに基づく第2テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第1および第2テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部120aが、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、現在と過去の両方の画像データに基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
In this case, the texture feature
As described above, by determining the texture feature amount based on both current and past image data, the complexity of the image can be determined more accurately.
さらにまた、メモリ20aは、過去の複数のフレームについて、テクスチャデータを記憶しておくようにし、テクスチャ判定部120aは、処置対象となるブロックについて、このブロックのテクスチャデータに含まれるテクスチャ特徴量と、過去の同じ位置のブロックのテクスチャデータに含まれるテクスチャ特徴量を比較する。
Furthermore, the
そして、その差が予め設定した閾値を超える場合には、ステップ7hに移行し、一方、超えない場合には、ステップ7iに移行して、それぞれフィルタリングを行うようにしてもよい。 If the difference exceeds a preset threshold value, the process proceeds to step 7h. If not, the process proceeds to step 7i to perform filtering.
(第4の実施形態)
以下、この発明の第4の実施形態に係わる画像処理装置について説明する。第4の実施形態に係わる画像処理装置の構成は、第3の実施形態に係わる画像処理装置の構成と見かけ上、同じであり、図5に示すように、復号器10と、メモリ20aと、特徴量算出部30aと、フィルタ情報記憶部40と、フィルタ選択部50と、フィルタリング処理部100aとを備える。
(Fourth embodiment)
The image processing apparatus according to the fourth embodiment of the present invention will be described below. The configuration of the image processing apparatus according to the fourth embodiment is apparently the same as the configuration of the image processing apparatus according to the third embodiment. As shown in FIG. 5, the
第3の実施形態に係わる画像処理装置と第4の実施形態に係わる画像処理装置は、フィルタリング処理部100aの処理内容が異なっているが、見かけ上の構成は同じであることより、図6を参照して説明する。
Although the image processing apparatus according to the third embodiment and the image processing apparatus according to the fourth embodiment are different in the processing contents of the
すなわち、第4の実施形態に係わる画像処理装置のフィルタリング処理部100aは、テクスチャ特徴量算出部110aと、テクスチャ判定部120aと、フィルタ130と、再構成フィルタ140と、統合部150とを備える。
That is, the
テクスチャ特徴量算出部110aは、フィルタ選択部50aからフィルタデータが入力されると、このフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20aから読み出し、この画像データに基づいて、該当ブロックの画像の複雑さを示すテクスチャ特徴量を算出する。そして、テクスチャ特徴量算出部110aは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部120aに出力する。
When the filter data is input from the filter selection unit 50a, the texture feature
テクスチャ判定部120aは、テクスチャ特徴量算出部110aからテクスチャデータが入力されると、このテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスに基づくフィルタを再構成する必要性を判定する。ここで、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記テクスチャデータに含まれるフィルタデータをフィルタ130に出力し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記フィルタデータを再構成フィルタ140に出力する。
When the texture data is input from the texture feature
フィルタ130は、テクスチャ判定部120aからフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ130は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20aから読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部150に出力される。
When the filter data is input from the
再構成フィルタ140は、テクスチャ判定部120aからフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。また再構成フィルタ140は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20aから読み出し、この画像データに基づいて、このブロックを構成する各画素毎に、読み出したフィルタをεフィルタを用いて再構成して、この再構成したフィルタを対応する各画素に適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部150に出力される。
When the filter data is input from the
統合部150は、処理対象フレームを構成するすべてのブロックについて、フィルタリング処理を施した画像データを得ると、フィルタ130および再構成フィルタ140にてフィルタリング処理された画像データを、それぞれ対応づけられたブロックインデックスに基づいて、1つのフレームの画像データに統合し、出力する。
When the
次に、上記構成の画像処理装置の動作について説明する。図8は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示すように、画像処理装置は、1つのフレームを構成するすべてのブロックについて、ステップ8a〜8eを繰り返すフレームループ制御を実行し、これが完了すると、ステップ8f〜8kの処理を実行する。 Next, the operation of the image processing apparatus having the above configuration will be described. FIG. 8 is a flowchart for explaining the operation of the image processing apparatus. As shown in this figure, the image processing apparatus executes frame loop control that repeats steps 8a to 8e for all blocks constituting one frame, and when this is completed, executes the processing of steps 8f to 8k.
ステップ8aでは、特徴量算出部30aが、メモリ20aから処理対象フレームの画像データを読み出し、ステップ8bに移行する。
ステップ8bでは、特徴量算出部30aが、1つのフレームを構成するブロック毎に、読み出した画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。そして、特徴量算出部30aは、このブロックごとに求めたエッジ特徴量にブロックインデックスを付与し、フィルタ選択部50aに出力して、ステップ8cに移行する。
In step 8a, the feature
In
ステップ8cでは、フィルタ選択部50aが、フィルタ情報記憶部40が記憶するフィルタ情報を参照し、テンプレートマッチングにより、特徴量算出部30aが求めた各ブロックのエッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部50aは、この読み出したフィルタインデックスを、テンプレートマッチングに用いたエッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部100aに出力し、ステップ8dに移行する。
In step 8c, the filter selection unit 50a refers to the filter information stored in the filter
ステップ8dでは、テクスチャ特徴量算出部110aが、フィルタ選択部50aから与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出す。そして、テクスチャ特徴量算出部110aは、この画像データに基づいて、該当ブロックの画像を構成する画素の輝度値を参照し、輝度値の分散(variance)を算出し、その値を画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部110aは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、メモリ20aに記録し、ステップ8eに移行する。
In
ステップ8eでは、テクスチャ特徴量算出部110aが、ステップ8aで読み出した画像データのフレームを構成するすべてのブロックについて、テクスチャデータを生成したことを確認すると、ステップ8fに移行し、一方、すべてのブロックについてテクスチャデータが生成されていない場合には、ステップ8bに移行して、残るブロックについて処理を継続させる。
In step 8e, when the texture feature
ステップ8fでは、テクスチャ判定部120aが、メモリ20aから処理対象フレームを構成するブロックのテクスチャデータを読み出し、ステップ8gに移行する。
ステップ8gでは、テクスチャ判定部120aが、ステップ8fで読み出したテクスチャデータに含まれるテクスチャ特徴量に基づいて、各テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
In step 8f, the
In step 8g, the
具体的には、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記フィルタデータをフィルタ130aに出力して、ステップ8hに移行し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記テクスチャデータに含まれるフィルタデータを再構成フィルタ140に出力して、ステップ8iに移行する。
Specifically, when the texture feature amount does not exceed the threshold value, that is, when the video of the processing target block is monotonous, the filter data is output to the filter 130a, and the process proceeds to step 8h. Exceeds the threshold value, that is, when the video of the processing target block is complex, the filter data included in the texture data is output to the
ステップ8hでは、フィルタ130aが、テクスチャ判定部120aから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ130aは、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。
In step 8h, the filter 130a reads a filter corresponding to the filter index included in the filter data given from the
具体的には、前述した式(1)で示すような演算を行う。
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部150aに出力される。
Specifically, the calculation shown by the above-described equation (1) is performed.
In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the integration unit 150a together with the block index.
一方、ステップ8iでは、再構成フィルタ140が、テクスチャ判定部120aから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ再構成部140は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをεフィルタを用いて再構成して、フィルタリングを行う。
On the other hand, in step 8 i, the
具体的には、前述した式(2)、(3)で示すような演算を行う。すなわち、この式の例では、フィルタリング対象の画素の輝度値S(x,y)がその周辺の画素の輝度値S(x-m,y-n)と比べて差が大きい場合(閾値Thより大きい場合)には、輝度値S(x,y)のみをフィルタリングに用いることで、再構成したフィルタを用いた場合と同じフィルタリングを行う。一方、それ以外の場合には、フィルタ130aと同じフィルタリングを行っている。 Specifically, the calculations shown in the above-described equations (2) and (3) are performed. That is, in the example of this formula, when the luminance value S (x, y) of the pixel to be filtered is larger than the luminance value S (xm, yn) of the surrounding pixels (when it is larger than the threshold Th) Performs the same filtering as when using the reconstructed filter by using only the luminance value S (x, y) for filtering. On the other hand, in the other cases, the same filtering as the filter 130a is performed.
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部150aに出力される。 In this way, the filtered luminance value is integrated into the image data collected for each block, and is output to the integration unit 150a together with the block index.
ステップ8jでは、統合部150aが、それぞれ対応づけられたブロックインデックスに基づいて、フィルタ130aおよび再構成フィルタ140から、処理対象フレームを構成するすべてのブロックの画像データが入力されたことを検出すると、これらの画像データを統合する。
In Step 8j, when the integration unit 150a detects that the image data of all the blocks constituting the processing target frame is input from the filter 130a and the
ステップ8kでは、ステップ8jの統合により、1つのフレームの画像データが完成されたことを確認すると、この画像データを出力し、そして、次のフレームについてステップ8aから新たな処理を開始する。 In step 8k, when it is confirmed by the integration of step 8j that the image data of one frame is completed, this image data is output, and a new process is started from step 8a for the next frame.
以上のように、上記構成の画像処理装置では、すべてのブロックの画像データに対して再構成フィルタ140(εフィルタ)を適用するのではなく、テクスチャ特徴量が閾値を超える、すなわち処理対象ブロックの映像が複雑な場合に限って、再構成フィルタ140を適用するようにしている。
したがって、上記構成の画像処理装置によれば、再構成フィルタ140がその効果を発揮する複雑なブロックについてのみ適用されるので、演算量を抑制しながら、映像品質を改善することができる。
As described above, the image processing apparatus having the above configuration does not apply the reconstruction filter 140 (ε filter) to the image data of all blocks, but the texture feature amount exceeds the threshold value, that is, the processing target block The
Therefore, according to the image processing apparatus having the above-described configuration, the
なお、上記実施の形態では、再構成フィルタ140がεフィルタである場合を例に挙げて説明したが、Bilateralフィルタを採用する場合にも適用できる。すなわち、再構成フィルタ140がBilateralフィルタの場合、再構成フィルタ140は、ステップ8iにおいて以下の処理を行う。
In the above embodiment, the case where the
再構成フィルタ140は、テクスチャ判定部120aから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部40から読み出す。またフィルタ再構成部140は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20aから読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをBilateralフィルタを用いて再構成して、フィルタリングを行う。
具体的には、前述した式(4)、(5)で示すような演算を行う。
The
Specifically, the calculations shown in the above-described equations (4) and (5) are performed.
このようにして、再構成されたフィルタを用いてフィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部150に出力される。
このように、Bilateralフィルタを用いてフィルタを再構成する場合にも適用できる。
In this way, the luminance value filtered using the reconstructed filter is integrated into the image data collected for each block, and is output to the
As described above, the present invention can also be applied to a case where a filter is reconfigured using a Bilateral filter.
また上記実施の形態では、テクスチャ特徴量算出部110aは、ステップ8dで説明したように、テクスチャ特徴量を、処理対象のブロックの画像を構成する画素の輝度値に基づいて求めるようにしたが、輝度値に代わって画像データに含まれる色差信号に基づいて、上記テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
すなわち、ステップ8dでは、テクスチャ特徴量算出部110aが、フィルタ選択部50aから与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ20aから読み出す。そして、テクスチャ特徴量算出部110aは、この画像データに基づいて、該当ブロックの画像を構成する画素の色差信号を参照し、色差信号の分散(variance)を算出し、その値を画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部110aは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、メモリ20aに記録し、ステップ8eに移行する。
このように、色差信号に基づいてテクスチャ特徴量を求めるようにしても、同様の効果が得られる。
In other words, in
As described above, the same effect can be obtained even if the texture feature amount is obtained based on the color difference signal.
また、テクスチャ特徴量算出部110aは、上述した手法により輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めるようにしてもよい。この場合、テクスチャ特徴量算出部110aは、輝度値に基づく第1テクスチャ特徴量と、色差信号に基づく第2テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第1および第2テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部120aが、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
The texture feature
As described above, by determining the texture feature amount based on both the luminance value and the color difference signal, the complexity of the image can be determined more accurately.
そしてまた、上記実施の形態では、テクスチャ特徴量算出部110aは、テクスチャ特徴量を、処理対象ブロックの画像データのみに基づいて検出するようにしたが、これに代わって例えば、処理対象ブロックの画像データと、上記処理対象ブロックと同じブロック位置の過去のフレーム(処理対象フレームよりも時間的に前のフレーム)の画像データとに基づいて、テクスチャ特徴量を求めるようにしてもよい。
In the above embodiment, the texture feature
この場合、テクスチャ特徴量算出部110aは、処理対象ブロックの画像データに基づく第1テクスチャ特徴量と、過去フレームで処理対象ブロックに相当するブロックの画像データに基づく第2テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第1および第2テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部120aが、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
このように、現在と過去の両方の画像データに基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
In this case, the texture feature
As described above, by determining the texture feature amount based on both current and past image data, the complexity of the image can be determined more accurately.
さらにまた、メモリ20aは、過去の複数のフレームについて、テクスチャデータを記憶しておくようにし、テクスチャ判定部120aは、処置対象となるブロックについて、このブロックのテクスチャデータに含まれるテクスチャ特徴量と、過去の同じ位置のブロックのテクスチャデータに含まれるテクスチャ特徴量を比較する。
Furthermore, the
そして、その差が予め設定した閾値を超える場合には、ステップ8hに移行し、一方、超えない場合には、ステップ8iに移行して、それぞれフィルタリングを行うようにしてもよい。 If the difference exceeds a preset threshold value, the process proceeds to step 8h. If not, the process proceeds to step 8i to perform filtering.
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. Further, for example, a configuration in which some components are deleted from all the components shown in the embodiment is also conceivable. Furthermore, you may combine suitably the component described in different embodiment.
その一例として例えば、上記実施の形態では、特徴量算出部30が求めたエッジ特徴量に応じてフィルタ選択部50が適用するフィルタを選択するものとして説明したが、これに代わって例えば、エッジ特徴量によらず、所定のフィルタを適用することを前提とする画像処理装置に適用することも可能である。すなわち、フィルタ130が予め設定されたフィルタを適用する画像処理装置に適用しても、同様の効果を奏する。
For example, in the above-described embodiment, the filter selection unit 50 selects the filter to be applied according to the edge feature amount obtained by the feature
また上記実施の形態では、テクスチャ特徴量算出部110(あるいはテクスチャ特徴量算出部110a)は、テクスチャ特徴量を、フィルタが参照するブロックに含まれる画素の情報(輝度値または/および色差信号)に基づいて求めるようにしたが、これに限定されるものではなく、ブロックよりも大きい所定の範囲、もしくはブロックよりも小さい所定の範囲の画素の情報(輝度値または/および色差信号)に基づいて求めるようにしてもよい。
Further, in the above embodiment, the texture feature amount calculation unit 110 (or the texture feature
そして、上記実施の形態では、適用するフィルタの切り替えを、ブロック単位で行うものとして説明したが、これに限定されるものではなく、ブロックよりも大きい所定の範囲、もしくはブロックよりも小さい所定の範囲について、適用するフィルタを切り替えるようにしてもよい。 In the above embodiment, switching of the filter to be applied is described as being performed in units of blocks. However, the present invention is not limited to this, and the predetermined range larger than the block or the predetermined range smaller than the block is not limited thereto. The filter to be applied may be switched.
すなわち、フレームをSxT画素、テクスチャ特徴量算出をIxJ画素、フィルタのタップをMxN画素とした場合、S,T,I,J,MおよびNの値をそれぞれ1以上の任意の整数に設定して実現することができ、前述したように、上記の実施の形態に例示したサイズに限定されるものではない。 That is, if the frame is SxT pixel, the texture feature value calculation is IxJ pixel, and the filter tap is MxN pixel, the values of S, T, I, J, M, and N are set to any integers of 1 or more, respectively. As described above, the present invention is not limited to the size exemplified in the above embodiment.
また例えば、画素の輝度値あるいは色差信号について、その最大値・最小値、あるいは分散のいずれか一方に基づいて、テクスチャ特徴量を求めるようにしたが、両方を用いるようにしてもよい。 In addition, for example, with respect to the luminance value or the color difference signal of the pixel, the texture feature amount is obtained based on either the maximum value / minimum value or the variance, but both may be used.
例えば、テクスチャ特徴量算出部110(あるいはテクスチャ特徴量算出部110a)は、輝度値の最大値・最小値の差に基づく第1テクスチャ特徴量と、輝度値の分散に基づく第2テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第1および第2テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部120(あるいはテクスチャ判定部120a)が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
For example, the texture feature amount calculation unit 110 (or the texture feature
あるいは、テクスチャ特徴量算出部110(あるいはテクスチャ特徴量算出部110a)は、色差信号の最大値・最小値の差に基づく第1テクスチャ特徴量と、色差信号の分散に基づく第2テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第1および第2テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部120(あるいはテクスチャ判定部120a)が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
Alternatively, the texture feature amount calculation unit 110 (or the texture feature
また、テクスチャ特徴量算出部110(あるいはテクスチャ特徴量算出部110a)は、輝度値の最大値・最小値の差に基づく第1テクスチャ特徴量と、色差信号の分散に基づく第2テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第1および第2テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部120(あるいはテクスチャ判定部120a)が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
In addition, the texture feature amount calculation unit 110 (or the texture feature
あるいは、テクスチャ特徴量算出部110(あるいはテクスチャ特徴量算出部110a)は、色差信号の最大値・最小値の差に基づく第1テクスチャ特徴量と、輝度値の分散に基づく第2テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第1および第2テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部120(あるいはテクスチャ判定部120a)が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
Alternatively, the texture feature amount calculation unit 110 (or the texture feature
このように、1種類の情報を異なる2種類の評価、あるいは2種類の情報を異なる2種類の評価によってテクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
In this manner, the complexity of the image can be determined more accurately by obtaining the texture feature amount by using two different evaluations for one type of information or two different types of evaluation for two types of information.
In addition, it goes without saying that the present invention can be similarly implemented even if various modifications are made without departing from the gist of the present invention.
10…復号器、20,20a…メモリ、30,30a…特徴量算出部、40…フィルタ情報記憶部、50,50a…フィルタ選択部、100,100a…フィルタリング処理部、110,110a…テクスチャ特徴量算出部、120,120a…テクスチャ判定部、130…フィルタ、140…再構成フィルタ、150…統合部。
DESCRIPTION OF
Claims (17)
前記ブロックごとに、画像の複雑さを示すテクスチャ特徴量を求めるテクスチャ特徴量検出手段と、
このテクスチャ特徴量検出手段が検出したテクスチャ特徴量に基づき、ブロックごとにその画像の複雑さが閾値を超えない場合には、第1のフィルタを用いて該当ブロックの画像データにフィルタリングを行い、一方、ブロックごとにその画像の複雑さが閾値を超える場合には、前記第1のフィルタを再構成した第2のフィルタを用いて該当ブロックの画像データにフィルタリングを行うフィルタリング手段とを具備したことを特徴とする画像処理装置。 In an image processing apparatus that performs filtering for each block constituting a frame,
Texture feature amount detecting means for obtaining a texture feature amount indicating the complexity of the image for each block;
Based on the texture feature amount detected by the texture feature amount detection means, if the complexity of the image does not exceed the threshold for each block, the image data of the corresponding block is filtered using the first filter, And a filtering means for filtering the image data of the corresponding block using the second filter reconstructed from the first filter when the complexity of the image exceeds a threshold value for each block. A featured image processing apparatus.
前記テクスチャ特徴量検出手段は、処理対象のフレームのブロックと、このブロックと同じ位置の過去フレームのブロックに基づいて、前記テクスチャ特徴量を求めることを特徴とする請求項1に記載の画像処理装置。 Furthermore, the image data storage means for storing the image data of the past frame temporally prior to the frame to be processed,
The image processing apparatus according to claim 1, wherein the texture feature amount detection unit obtains the texture feature amount based on a block of a frame to be processed and a block of a past frame at the same position as the block. .
前記テクスチャ特徴量検出手段は、処理対象のフレームのブロックに基づいて、第2テクスチャ特徴量を求め、この第2テクスチャ特徴量と、前記テクスチャ特徴量記憶手段が記憶する第1テクスチャ特徴量とに基づいて、前記テクスチャ特徴量を求めることを特徴とする請求項1に記載の画像処理装置。 Furthermore, it comprises a texture feature amount storage means for storing the texture feature amount of the past frame temporally prior to the processing target frame obtained by the texture feature amount detection means as a first texture feature amount,
The texture feature amount detection unit obtains a second texture feature amount based on the block of the processing target frame, and the second texture feature amount and the first texture feature amount stored by the texture feature amount storage unit. The image processing apparatus according to claim 1, wherein the texture feature amount is obtained based on the image feature amount.
前記ブロックごとにエッジの特徴量を検出するエッジ特徴量検出手段と、
このエッジ特徴量検出した特徴量に基づいて、前記ブロックごとにフィルタを選択するフィルタ選択手段とを備え、
前記フィルタリング手段は、前記テクスチャ特徴量検出手段が検出したテクスチャ特徴量に基づき、ブロックごとにその画像の複雑さが閾値を超えない場合には、前記フィルタ選択手段が選択したフィルタを用いて該当ブロックの画像データにフィルタリングを行い、一方、ブロックごとにその画像の複雑さが閾値を超える場合には、前記フィルタ選択手段が選択したフィルタを再構成したフィルタを用いて該当ブロックの画像データにフィルタリングを行うことを特徴とする請求項1に記載の画像処理装置。 Further, filter storage means for storing the edge feature amount and the filter included in the block in association with each other;
Edge feature value detection means for detecting edge feature values for each block;
Filter selection means for selecting a filter for each block based on the feature quantity detected by the edge feature quantity,
The filtering means uses the filter selected by the filter selection means when the complexity of the image does not exceed a threshold for each block based on the texture feature quantity detected by the texture feature quantity detection means. On the other hand, when the complexity of the image exceeds a threshold value for each block, the image data of the corresponding block is filtered using a filter obtained by reconstructing the filter selected by the filter selection unit. The image processing apparatus according to claim 1, wherein the image processing apparatus performs the processing.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009178224A JP2011034226A (en) | 2009-07-30 | 2009-07-30 | Image processing apparatus |
US12/726,672 US20100290716A1 (en) | 2009-05-18 | 2010-03-18 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009178224A JP2011034226A (en) | 2009-07-30 | 2009-07-30 | Image processing apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011034226A true JP2011034226A (en) | 2011-02-17 |
Family
ID=43763257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009178224A Abandoned JP2011034226A (en) | 2009-05-18 | 2009-07-30 | Image processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011034226A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012137890A1 (en) * | 2011-04-05 | 2012-10-11 | シャープ株式会社 | Image filter apparatus, decoder apparatus, encoder apparatus, and data structure |
KR20160049954A (en) * | 2014-10-28 | 2016-05-10 | 삼성디스플레이 주식회사 | Image processing apparatus, image processing method, and image processing program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002005544A1 (en) * | 2000-07-06 | 2002-01-17 | Seiko Epson Corporation | Image processing method, recording medium, and image processing device |
JP2004254158A (en) * | 2003-02-21 | 2004-09-09 | Pentax Corp | Image processor |
JP2004326493A (en) * | 2003-04-25 | 2004-11-18 | Sony Corp | Device, method, recording medium and program for signal processing |
JP2006180268A (en) * | 2004-12-22 | 2006-07-06 | Sony Corp | Image processing apparatus, image processing method, program, and recording medium |
-
2009
- 2009-07-30 JP JP2009178224A patent/JP2011034226A/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002005544A1 (en) * | 2000-07-06 | 2002-01-17 | Seiko Epson Corporation | Image processing method, recording medium, and image processing device |
JP2004254158A (en) * | 2003-02-21 | 2004-09-09 | Pentax Corp | Image processor |
JP2004326493A (en) * | 2003-04-25 | 2004-11-18 | Sony Corp | Device, method, recording medium and program for signal processing |
JP2006180268A (en) * | 2004-12-22 | 2006-07-06 | Sony Corp | Image processing apparatus, image processing method, program, and recording medium |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012137890A1 (en) * | 2011-04-05 | 2012-10-11 | シャープ株式会社 | Image filter apparatus, decoder apparatus, encoder apparatus, and data structure |
KR20160049954A (en) * | 2014-10-28 | 2016-05-10 | 삼성디스플레이 주식회사 | Image processing apparatus, image processing method, and image processing program |
KR102296510B1 (en) * | 2014-10-28 | 2021-09-03 | 삼성디스플레이 주식회사 | Image processing apparatus, image processing method, and image processing program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8983175B2 (en) | Video processing method and device for depth extraction | |
JP4455487B2 (en) | Decoding device, decoding method, and program | |
JP5053373B2 (en) | Adaptive pixel-based filtering | |
US20130169834A1 (en) | Photo extraction from video | |
JP2005006275A (en) | Device, method, and program for generating interpolation frame | |
JP2010157163A (en) | Image processing method and image processor | |
KR20160004379A (en) | Methods of image fusion for image stabilization | |
JP2008016904A (en) | Noise suppression method, program for noise suppression method, recording medium for recording program for noise suppression method, and noise suppression apparatus | |
JP2008054267A (en) | Image processing apparatus, image encoding device and image decoding device | |
JP2009251839A (en) | Image signal processing circuit, image display apparatus, and image signal processing method | |
JP2008042565A (en) | Motion picture decoding device, and its method | |
JP2010109834A (en) | Noise reduction apparatus, noise reduction method, and program | |
US8681877B2 (en) | Decoding apparatus, decoding control apparatus, decoding method, and program | |
TW201233191A (en) | Image processing device, image processing method, and program | |
JP2004159311A (en) | Image processing apparatus and image processing method | |
JP2008301336A (en) | Image processing device, image encoding device and image decoding device | |
JP2011065580A (en) | Image processing apparatus, display device and image processing method | |
KR101493694B1 (en) | Image processing apparatus, method for processing image, and recording medium storing program to implement the method | |
JP2007334457A (en) | Image processor and image processing method | |
JP2011065581A (en) | Image processor, display device, and image processing method | |
JP2007512750A (en) | Detection of local image space-temporal details in video signals | |
JP2011034226A (en) | Image processing apparatus | |
JP2005150903A (en) | Image processing apparatus, noise elimination method, and noise elimination program | |
JP2005287006A (en) | Image processing method, image processing program, recording medium provided with image processing program recorded thereon, and image processing apparatus | |
JP2010219807A (en) | Image processing device and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110406 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110830 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120511 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121106 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20121113 |