JP2013110528A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2013110528A JP2013110528A JP2011253197A JP2011253197A JP2013110528A JP 2013110528 A JP2013110528 A JP 2013110528A JP 2011253197 A JP2011253197 A JP 2011253197A JP 2011253197 A JP2011253197 A JP 2011253197A JP 2013110528 A JP2013110528 A JP 2013110528A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- evaluation value
- divided region
- divided
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【課題】処理対象の画像信号に基づいて、ブロックノイズを検出することが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】入力画像信号が示す画像が分割された分割領域ごとに、分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類する分割領域種別分類部と、分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するノイズ評価値算出部と、分割領域ごとに算出されるノイズ評価値に基づいて、ブロックノイズを検出するノイズ検出部と、を備える画像処理装置が提供される。
【選択図】図1
【解決手段】入力画像信号が示す画像が分割された分割領域ごとに、分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類する分割領域種別分類部と、分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するノイズ評価値算出部と、分割領域ごとに算出されるノイズ評価値に基づいて、ブロックノイズを検出するノイズ検出部と、を備える画像処理装置が提供される。
【選択図】図1
Description
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
近年、例えばVOD(Video On Demand)などのように、インターネット(Internet)を介して動画像を配信するサービスの普及が進んでいる。また、例えば日本では、テレビジョン放送がデジタル化している。例えば上記のような、動画像配信サービスや、デジタルテレビジョン放送において、高解像度のデジタル画像の配信や放送を可能とした技術の一つとして、画像圧縮技術がある。画像圧縮技術の規格としては、例えば、ISO/IEC MPEG(Motion Picture Experts Group)とITU−T VCEG(Video Coding Experts Group)とが共同で標準化した、MPEG−2やH.264/MPEG−4 AVC(以下、「H.264」と示す場合がある。)が挙げられる。MPEG−2やH.264は、動画像符号化国際標準規格として、様々な機器において採用されている。
例えばMPEG−2やH.264では、Block base符号化と呼ばれる符号化方式が用いられている。ここで、Block base符号化では、画像をブロックに分割し、ブロック単位で予測処理、変換処理、量子化処理が行われる。そのため、Block base符号化が用いられる場合には、復号化された画像をみるユーザに、ブロックノイズ(Block noise)と呼ばれるブロック状のノイズ(歪み)が認識されてしまうことが起こりうる。
ブロックノイズは、圧縮難易度が高い映像や圧縮率が高い場合に発生しやすく、特に、ブロックノイズ抑制機能を有さないMPEG−2では、デブロッキング・フィルタ(De-blocking filter)を有するH.264に比べてブロックノイズの発生が顕著となる。そのため、例えば、テレビ受像機やPC(Personal Computer)などのような、MPEG−2やH.264の画像を再生可能な機器では、画像の高画質化を図るために、ブロックノイズを検出して、検出したノイズを低減する機能を有することが望まれている。
このような中、符号化に起因するノイズの低減を図る技術が開発されている。符号化に起因するノイズの低減を図る技術としては、例えば、特許文献1に記載の技術や、特許文献2に記載の技術、特許文献3に記載の技術、非特許文献1に記載の技術が挙げられる。
Wu H. R. and Yuen M., "A Generalized Block-edge Impairment Metric for Video Coding", IEEE Signal Processing Letters, Vol.4, Issue 11, p.317-320 (Nov, 1997)
ブロックノイズを検出する方法としては、例えば、ブロック境界における隣接画素の差分値の大きさに基づいて検出する方法が挙げられる。上記方法では、例えば、ブロック境界における隣接画素差分値が所定の閾値以上の値を有するときに、隣接ブロック間に不自然な段差、つまりブロックノイズが発生している可能性が高いとして、当該隣接画素差分値をブロックノイズ量として検出する。
しかしながら、上記のような単純な方法が用いられる場合には、圧縮前の画像にエッジ(Edge)やテクスチャ(Texture)など、隣接画素差分値が大きくなる画像構造が含まれるときには、当該画像構造をブロックノイズとして誤検出する恐れがある。ここで、ブロックノイズを低減する処理として、例えば、ブロック境界の段差をなくすためにローパス・フィルタ(Low−pass filter)をかけて高周波成分を低減するという処理が用いられた場合には、上記のようなブロックノイズの誤検出は、ローパス・フィルタによって、処理後の画像がぼけるという副作用を引き起こす可能性がある。
よって、上記のような単純な方法を用いたとしても、ブロックノイズを検出できるとは限らない。
例えば特許文献1に記載の技術では、ブロック境界における隣接画素の差分値だけでなく、ブロック境界の少なくとも片側の複数画素から予測した予測画素値との差分値を、ブロックノイズ検出のための評価値とする。そして、例えば特許文献1に記載の技術では、上記評価値を画面内で累積した累積値の大きさによって、ブロックノイズ発生の有無を判定する。よって、例えば特許文献1に記載の技術を用いる場合には、上記のような単純な方法を用いる場合よりも、ブロックノイズを検出することができる可能性はある。
しかしながら、例えば特許文献1に記載の技術では、画像を1次元信号列として見た場合におけるブロック境界の段差しか考慮しておらず、画像をみるユーザがブロックノイズとして知覚する要因となる画像構造が考慮されていない。よって、例えば特許文献1に記載の技術を用いたとしても、例えば、ブロック境界の段差が、画像本来の画像構造によるものなのか、または、圧縮に起因する歪みによって生じたものなのかや、ブロック境界の段差が、画像をみるユーザがブロックノイズとして知覚できるレベルの段差であるか否かを判定することは、困難である。
また、例えば非特許文献1に記載の技術では、ブロック境界の隣接画素差分値をブロック内の隣接画素差分値の平均値で除することにより、テクスチャなど画素値の分散が大きくなる領域ではブロックノイズを評価するブロックノイズ評価値が小さくなるように制御している。よって、例えば非特許文献1に記載の技術を用いる場合には、上記のような単純な方法を用いる場合よりも、ブロックノイズを検出することができる可能性はある。
しかしながら、例えば非特許文献1に記載の技術では、特許文献1に記載の技術と同様に、画像を1次元信号列として見た場合におけるブロック境界の段差しか考慮しておらず、画像をみるユーザがブロックノイズとして知覚する要因となる画像構造が考慮されていない。よって、例えば非特許文献1に記載の技術を用いたとしても、特許文献1に記載の技術と同様に、例えば、ブロック境界の段差が、画像本来の画像構造によるものなのか、または、圧縮に起因する歪みによって生じたものなのかや、ブロック境界の段差が、画像をみるユーザがブロックノイズとして知覚できるレベルの段差であるか否かを判定することは、困難である。
また、例えば特許文献2に記載の技術では、モスキートノイズ(Mosquito noise)やブロックノイズを低減するために、画像を定義する複数の画素(Pixel)の各画素を、“Texture”、“Edge”、“Near edge”、“Flat”、“Near flat”というような、画像領域種別に分類している。また、例えば特許文献2に記載の技術では、分類された画像領域種別を利用して各画素における虚構画像統計特性を推定し、当該虚構画像統計特性を利用してノイズ低減のための時間・空間フィルタリングを実行している。
しかしながら、例えば特許文献2に記載の技術では、画像構造によって、エッジ、テクスチャ、フラットなどの種別に分類しているが、例えば特許文献2に記載の技術では、分類した種別が、例えば、エッジ領域ではエッジを保存するフィルタリングを施し、フラット領域では比較的強いローパス・フィルタで画像をぼかすなど、ノイズ低減の適応化処理に用いられている。つまり、例えば特許文献2に記載の技術では、分類結果がブロックノイズが発生しやすい領域を特定するために用いられており、例えば特許文献2に記載の技術を用いたとしても、発生したブロックノイズのノイズ量を評価することはできない。
また、例えば特許文献3に記載の技術では、画像を複数のブロックに分割し、各画素の強度の分散を算出して、各ブロックにおいて最大分散を有する画素を特定する。そして、例えば特許文献3に記載の技術では、最大分散に応じて各ブロックを、“Edge block”、“Texture block”、“平滑Block”に分類し、分類した種別に応じて、ノイズ低減のためのフィルタリング方法を適用的に変更する。
しかしながら、例えば特許文献3に記載の技術では、特許文献2に記載の技術と同様に、画像構造によって、エッジ、テクスチャなどの種別に分類しているが、例えば特許文献3に記載の技術では、特許文献2に記載の技術と同様に、分類した種別がノイズ低減の適応化処理に用いられている。つまり、例えば特許文献3に記載の技術では、分類結果が、特許文献2に記載の技術と同様に、ブロックノイズが発生しやすい領域を特定するために用いられており、例えば特許文献3に記載の技術を用いたとしても、発生したブロックノイズのノイズ量を評価することはできない。
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、処理対象の画像信号に基づいて、ブロックノイズを検出することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
上記目的を達成するために、本発明の第1の観点によれば、入力画像信号が示す画像が分割された分割領域ごとに、上記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類する分割領域種別分類部と、上記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するノイズ評価値算出部と、上記分割領域ごとに算出される上記ノイズ評価値に基づいて、ブロックノイズを検出するノイズ検出部と、を備える画像処理装置が提供される。
かかる構成によって、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
また、上記ノイズ評価値算出部は、分類された種別に基づいて重み係数を設定する重み係数設定部と、設定された重み係数と、上記分割領域の境界における隣接する画素の画素値の差分を示す差分値とを乗算して、上記ノイズ評価値を算出する評価値算出部と、を備えていてもよい。
また、上記重み係数設定部は、さらに、上記分割領域に対応する上記入力画像信号の色情報、および/または、上記分割領域に対応する上記入力画像信号の輝度情報に基づいて、上記重み係数を設定してもよい。
また、上記重み係数設定部は、処理対象の分割領域における種別と、上記処理対象の分割領域の境界に隣接する2つの分割領域における種別とに基づいて、上記重み係数を設定してもよい。
また、上記ノイズ評価値算出部は、分類された種別に基づいて、上記ノイズ評価値を算出する算出処理を切り替えてもよい。
また、上記ノイズ検出部は、上記ノイズ評価値が、所定の閾値により定められる範囲内に収まる場合に、上記ノイズ評価値に対応する分割領域にブロックノイズが存在すると判定してもよい。
また、上記目的を達成するために、本発明の第2の観点によれば、入力画像信号が示す画像が分割された分割領域ごとに、上記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類するステップと、上記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するステップと、上記分割領域ごとに算出される上記ノイズ評価値に基づいて、ブロックノイズを検出するステップと、を有する画像処理方法が提供される。
かかる方法を用いることによって、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
また、上記目的を達成するために、本発明の第3の観点によれば、入力画像信号が示す画像が分割された分割領域ごとに、上記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類するステップ、上記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するステップ、上記分割領域ごとに算出される上記ノイズ評価値に基づいて、ブロックノイズを検出するステップ、をコンピュータに実行させるためのプログラムが提供される。
かかるプログラムを用いることによって、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
本発明によれば、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(本発明の実施形態に係る画像処理方法)
本発明の実施形態に係る画像処理装置の構成について説明する前に、本発明の実施形態に係る画像処理方法について説明する。また、以下では、本発明の実施形態に係る画像処理装置が、処理対象の画像信号(以下、「入力画像信号」と示す場合がある。)に対して、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
本発明の実施形態に係る画像処理装置の構成について説明する前に、本発明の実施形態に係る画像処理方法について説明する。また、以下では、本発明の実施形態に係る画像処理装置が、処理対象の画像信号(以下、「入力画像信号」と示す場合がある。)に対して、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
ここで、本発明の実施形態に係る入力画像信号としては、例えば、MPEG−2や、H.264/MPEG−4 AVCなど、Block base符号化と呼ばれる符号化方式により符号化された動画像(または、複数の静止画像)や静止画像を示す画像信号が挙げられる。以下では、本発明の実施形態に係る画像処理装置が、フレーム画像(静止画像)からなる動画像を示す画像信号を処理するものとして説明する。ここで、本発明の実施形態に係るフレーム画像とは、例えば、動画像の1フレーム(動画像がインタレース画像の場合には、1フィールドに対応する。)に対応する画像である。以下では、本発明の実施形態に係る画像処理装置が、時間順に1フレームずつ入力される画像信号を処理する場合を例に挙げて説明する。
また、本発明の実施形態に係る画像処理装置は、例えば、本発明の実施形態に係る画像処理装置がテレビ塔などから送信された放送波を(直接的、またはセットトップボックスなどを介して間接的に)受信してデコードした結果得られる画像信号を、入力画像信号として処理する。なお、本発明の実施形態に係る画像処理装置が処理する入力画像信号は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、ネットワークを介して(または直接的に)外部装置から送信された入力画像信号を処理することも可能である。また、本発明の実施形態に係る画像処理装置は、例えば、記憶部(後述する)や、本発明の実施形態に係る画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、本発明の実施形態に係る画像処理装置が、例えば、画像(動画像/静止画像)を撮像することが可能な撮像部(後述する)を備えている場合、すなわち、本発明の実施形態に係る画像処理装置が撮像装置として機能する場合には、本発明の実施形態に係る画像処理装置は、例えば、当該撮像部(後述する)により撮像された画像(動画像/静止画像)に対応する画像信号を処理してもよい。
本発明の実施形態に係る画像処理装置は、入力画像信号が示す画像が分割された分割領域ごとに、分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別(以下、「領域種別」と示す場合がある。)を分類する(分割領域種別分類処理)。
ここで、本発明の実施形態に係る分割領域としては、例えば、4×4画素の矩形の領域や、8×8画素の矩形の領域、16×16画素の矩形の領域など、符号化ブロックサイズに対応する領域が挙げられる。本発明の実施形態に係る画像処理装置は、例えば、入力画像信号をデコードしたデコーダから、ブロック境界の情報を取得することによって、符号化ブロックサイズに対応する領域を、分割領域とする。なお、本発明の実施形態に係る分割領域は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、符号化ブロックサイズが未知の場合には、H.264の最小ブロックサイズである4×4画素の矩形の領域など、予め規定された大きさの領域を、分割領域としてもよい。
また、本発明の実施形態に係る分割領域の種別(領域種別)としては、例えば、“フラット領域”、“グラデーション領域”、“テクスチャ領域”、“エッジ領域”、“ランダム領域”という、画像構造(フラット、グラデーション、テクスチャ、エッジ、ランダム)に基づく領域のうちのいずれか2つ以上が挙げられる。なお、上記各領域種別の特徴については、後述する。
本発明の実施形態に係る画像処理装置は、分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出する(ノイズ評価値算出処理)。そして、本発明の実施形態に係る画像処理装置は、分割領域ごとに算出されるノイズ評価値に基づいて、ブロックノイズを検出する(ノイズ検出処理)。
本発明の実施形態に係る画像処理装置は、入力画像信号に基づき分類された画像構造を示す領域種別に基づいて、分割領域の境界(以下、「ブロック境界」と示す場合がある。)の不連続性を示すブロックノイズ評価値を算出する。よって、本発明の実施形態に係る画像処理装置は、分割領域の境界において生じた画素値の段差が、画像本来の構造による段差であるのか、または、ノイズによる段差であるのかを、より正確に評価することが可能である。
したがって、本発明の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、ブロックノイズをより高精度に検出することができる。
また、本発明の実施形態に係る画像処理装置は、入力画像信号に基づき分類された画像構造を示す領域種別に基づいてブロックノイズを検出するので、本発明の実施形態に係るブロックノイズの検出結果に基づき、ブロックノイズを低減する処理(以下、「ノイズ低減処理」と示す場合がある。)を行えば、例えば、発生するブロックノイズを十分に低減することができないこと、過度のブロックノイズの低減処理が行われてしまうことなどによる、処理後の画像における画質の低下は防止される。
以下、本発明の実施形態に係る画像処理装置の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
(本発明の実施形態に係る画像処理装置)
図1は、本発明の実施形態に係る画像処理装置100の構成の一例を示すブロック図である。画像処理装置100は、例えば、分割領域設定部102と、分割領域種別分類部104と、ノイズ評価値算出部106と、ノイズ検出部108とを備える。
図1は、本発明の実施形態に係る画像処理装置100の構成の一例を示すブロック図である。画像処理装置100は、例えば、分割領域設定部102と、分割領域種別分類部104と、ノイズ評価値算出部106と、ノイズ検出部108とを備える。
また、画像処理装置100は、例えば、制御部(図示せず)や、ROM(Read Only Memory。図示せず)、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)、外部装置と通信を行うための通信部(図示せず)、撮像部(図示せず)などを備えていてもよい。画像処理装置100は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
ここで、制御部(図示せず)は、例えば、CPU(Central Processing Unit)や各種処理回路などで構成され、画像処理装置100全体を制御する。また、制御部(図示せず)は、例えば、分割領域設定部102、分割領域種別分類部104、ノイズ評価値算出部106、およびノイズ検出部108(または、これらのうちの1または2以上の部)の役目を果たしてもよい。なお、分割領域設定部102、分割領域種別分類部104、ノイズ評価値算出部106、およびノイズ検出部108は、各部の処理を実現可能な専用の(または汎用の)処理回路で構成されていてもよいことは、言うまでもない。
また、制御部(図示せず)は、例えば、ノイズ低減処理が行われた画像信号(以下、「出力画像信号」と示す。)をエンコードして、記憶部(図示せず)に記録する、および/または、出力画像信号が示す画像を表示部(図示せず)や外部表示装置の表示画面に表示させるなど、出力画像信号に対する処理を行う役目を果たしてもよい。
ROM(図示せず)は、制御部(図示せず)が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部(図示せず)により実行されるプログラムなどを一時的に記憶する。
記憶部(図示せず)は、画像処理装置100が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、画像処理装置100から着脱可能であってもよい。
操作部(図示せず)としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置100は、例えば、画像処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)と接続することもできる。
表示部(図示せず)としては、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機ELディスプレイ(organic ElectroLuminescence display)などが挙げられる。なお、表示部(図示せず)は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置100は、表示部(図示せず)の有無に関わらず、画像処理装置100の外部装置としての表示デバイス(例えば、外部ディスプレイなど)と接続することもできる。
通信部(図示せず)は、画像処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部装置と無線/有線で通信を行う。ここで、通信部(図示せず)としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、LANやWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN;Wireless Local Area Network)や基地局を介した無線WAN(WWAN;Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
撮像部(図示せず)は、静止画像または動画像を撮像する役目を果たす。撮像部(図示せず)を備える場合には、画像処理装置100は、例えば、撮像部(図示せず)における撮像により生成された画像信号を処理することが可能である。
ここで、本発明の実施形態に係る撮像部(図示せず)としては、例えば、レンズ/撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、White Balance補正処理、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理などが挙げられる。
以下、図1に示す第1の実施形態に係る画像処理装置100の構成例について説明しつつ、画像処理装置100における処理(画像処理方法に係る処理)の一例について説明する。
分割領域設定部102は、入力画像信号に基づいて、入力画像信号が示す画像に対して分割領域を設定する。
分割領域種別分類部104は、本発明の実施形態に係る画像処理方法に係る上記分割領域種別分類処理を主導的に行う役目を果たし、設定された分割領域ごとに、分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別(領域種別)を分類する。
図2A〜図2Eは、本発明の実施形態に係る分割領域種別分類部104が分類する分割領域の種別の一例を示す説明図であり、分割領域に含まれる画素の画素特徴の一例を示している。ここで、図2A〜図2Eは、分割領域が4×4画素の矩形の領域である場合を示している(図2Aに示す(A)〜図2Eに示す(A))。また、図2Aはフラット領域、図2Bはグラデーション領域、図2Cはテクスチャ領域、図2Dはエッジ領域、図2Eはランダム領域をそれぞれ示している。また、図2Aに示す(A)〜図2Eに示す(A)は、分割領域に含まれる画素の画素値を明度で表しており、図2Aに示す(B)〜図2Eに示す(B)、および図2Aに示す(C)〜図2Eに示す(C)は、図2Aの(A)〜図2Eの(A)における方向1および方向2からみた画素値を一次元信号で表している。
図2Aに示すように、フラット領域では、分割領域内における画素値がほぼ一定であるため、隣接画素差分値は極めて小さくなる。また、図2Bに示すように、グラデーション領域では、隣接する画素の差分値(以下、「隣接画素差分値」と示す。)が比較的小さく、また、一定の方向に傾斜しているため隣接画素差分値は方向性を有する。また、図2Cに示すように、テクスチャ領域では、グラデーション領域と同様に隣接画素差分値は比較的小さいが、グラデーション領域と異なり、隣接画素差分値は方向性は有さない。また、図2Dに示すように、エッジ領域では、隣接画素差分値が大きい画素が一定方向に連続しているため、隣接画素差分値は方向性を有する。また、図2Eに示すように、ランダム領域では、画素値のばらつきが大きいことから、隣接画素差分値もばらつきが大きくなり、隣接画素差分値は方向性を有さない。
分割領域種別分類部104は、設定された分割領域ごとに、分割領域に含まれる画素の画素特徴と、上記のような各領域の特徴とに基づいて、分割領域の種別を分類する。より具体的には、分割領域種別分類部104は、例えば、分割領域に含まれる画素の隣接画素差分値を、画素特徴を示す特徴値として用いることによって、分割領域の種別を分類する。
図3は、本発明の実施形態に係る分割領域種別分類部104における処理の一例を説明するための説明図である。ここで、図3に示すAは、注目画素Pcと、注目画素Pcに対して隣接する8方向の画素P0〜P7とを示している。分割領域内の座標を(x,y)とおくと、図3のAにおける0〜7の各方向に対応する隣接画素差分値d0(x,y)〜d7(x,y)は、例えば下記の数式1〜数式8で表される。
また、図3に示すBは、中心にある4×4画素の分割領域内の画素に対して各方向の隣接画素差分値を算出したものを、中心にある分割領域と隣接する8方向の分割領域内の画素の画素値としたものを示している。ここで、図3のBに示す隣接する分割領域において、値のない画素は、当該画素に対応する方向の画素が分割領域外にあるため、隣接画素差分値を算出しない画素である。
分割領域種別分類部104は、例えば、上記数式1〜数式8に示す演算を行うことによって隣接画素差分値を算出し、算出された隣接画素差分値を、画素特徴を示す特徴値とする。そして、分割領域種別分類部104は、算出された隣接画素差分値(画素特徴を示す特徴値)に基づいて、分割領域の種別を分類する。
なお、本発明の実施形態に係る分割領域種別分類部104における、特徴値の算出処理は、上記に限られない。例えば、分割領域種別分類部104は、算出された隣接画素差分値を予め定めた量子化幅によって量子化した値を、特徴値として算出してもよい。より具体的には、分割領域種別分類部104は、例えば、量子化幅をQとすると、“d/Q”の値を算出し、算出された値を、画素特徴を示す特徴値とする。上記“d/Q”の値を画素特徴を示す特徴値とすることによって、例えば、微小な画素値変動に起因する隣接画素差分値のばらつきを抑制することができる。なお、本発明の実施形態に係る量子化の方法は、上記に限られず、一様量子化でもよいし、画素値に応じて量子化幅を変えるような量子化でもよい。例えば、本発明の実施形態に係る量子化の他の方法としては、人間は中低輝度の変化に敏感であるという視覚特性に基づいて、中低輝度の値の隣接画素差分値dを細かく量子化するなどの方法が挙げられる。
より具体的に、分割領域種別分類部104における処理について説明する。図4は、本発明の実施形態に係る分割領域種別分類部104における処理の一例を示す流れ図である。ここで、分割領域種別分類部104は、分割領域設定部102において設定された分割領域ごとに、図4に示す処理を行う。
分割領域種別分類部104は、処理対象の分割領域における隣接画素差分値d(画素特徴を示す特徴値の一例)を算出する(S100)。ここで、分割領域種別分類部104は、例えば上記数式1〜数式8に示す演算を行うことによって、図3のAにおける0〜7の各方向に対応する隣接画素差分値dを算出する。なお、分割領域種別分類部104は、ステップS100において、例えば、“d/Q”の値を、画素特徴を示す特徴値として算出してもよい。
ステップS100において隣接画素差分値dが算出されると、分割領域種別分類部104は、隣接画素差分値dの絶対値和SUM(|d|)を算出する(S102)。分割領域種別分類部104は、例えば下記の数式9によって、絶対値和SUM(|d|)を算出する。ここで、数式9に示す“m”は、方向を示し、また、数式9に示す“X”“Y”は、分割領域のサイズによって定まる分割領域内の座標(x,y)の最大値を示す。
ステップS102において絶対値和SUM(|d|)が算出されると、分割領域種別分類部104は、絶対値和SUM(|d|)が閾値Th1よりも小さいか否か(または、閾値Th1以下であるか否か)を判定する(S104)。ここで、上記閾値Th1は、例えば、予め設定された固定値であってもよいし、画像処理装置100のユーザなどによって変更することが可能な可変値であってもよい。
ステップS104において絶対値和SUM(|d|)が閾値Th1よりも小さいと判定された場合には、分割領域種別分類部104は、処理対象の分割領域を、“フラット領域”と判定する(S106)。そして、分割領域種別分類部104は、処理対象の分割領域に対する処理を終了する。
また、ステップS104において絶対値和SUM(|d|)が閾値Th1よりも小さいと判定されない場合には、分割領域種別分類部104は、隣接画素差分値dの分散値和VAR(d)を算出する(S108)。分割領域種別分類部104は、例えば下記の数式10によって、分散値和VAR(d)を算出する。ここで、数式10に示す“Ave()”は、()内の値の平均値を示す。
ステップS108において分散値和VAR(d)が算出されると、分割領域種別分類部104は、分散値和VAR(d)が閾値Th2よりも小さいか否か(または、閾値Th2以下であるか否か)を判定する(S110)。ここで、上記閾値Th2は、例えば、予め設定された固定値であってもよいし、画像処理装置100のユーザなどによって変更することが可能な可変値であってもよい。
ステップS110において分散値和VAR(d)が閾値Th2よりも小さいと判定された場合には、分割領域種別分類部104は、分割領域内のグラデーションの方向性を示すDIRECT(dgrad)を算出する(S112)。分割領域種別分類部104は、例えば、下記の数式11によって、方向0〜7のうち隣接画素差分値dの和が最大となる方向における差分値の符号和を、DIRECT(dgrad)として算出する。ここで、数式11に示す“dmax”は、隣接画素差分値d0〜d7のうち、和が最大となる方向の隣接画素差分値を示す。また、数式10に示す“Sign()”は、例えば下記の数式12で表される。
ステップS112においてDIRECT(dgrad)が算出されると、分割領域種別分類部104は、DIRECT(dgrad)が閾値Th3よりも大きいか否か(または、閾値Th3以上であるか否か)を判定する(S114)。ここで、上記閾値Th3は、例えば、予め設定された固定値であってもよいし、画像処理装置100のユーザなどによって変更することが可能な可変値であってもよい。
ステップS114においてDIRECT(dgrad)が閾値Th3よりも大きいと判定された場合には、分割領域種別分類部104は、処理対象の分割領域を、“グラデーション領域”と判定する(S116)。そして、分割領域種別分類部104は、処理対象の分割領域に対する処理を終了する。
また、ステップS114においてDIRECT(dgrad)が閾値Th3よりも大きいと判定されない場合には、分割領域種別分類部104は、処理対象の分割領域を、“テクスチャ領域”と判定する(S118)。そして、分割領域種別分類部104は、処理対象の分割領域に対する処理を終了する。
ステップS110において分散値和VAR(d)が閾値Th2よりも小さいと判定されない場合には、分割領域種別分類部104は、分割領域内のエッジの方向性を示すDIRECT(dedge)を算出する(S120)。分割領域種別分類部104は、例えば、下記の数式13によって、方向0〜7のうちある一定以上の大きさを有する隣接画素差分値dの和が最大となる方向における差分値の符号和を、DIRECT(dedge)として算出する。ここで、数式11に示す“dhmax”は、例えば予め設定された閾値TH以上の大きさを有する値の和が最大となる方向を示す。また、数式13に示す“hSign()”は、例えば下記の数式14で表される。
ステップS120においてDIRECT(dedge)が算出されると、分割領域種別分類部104は、DIRECT(dedge)が閾値Th4よりも大きいか否か(または、閾値Th4以上であるか否か)を判定する(S122)。ここで、上記閾値Th4は、例えば、予め設定された固定値であってもよいし、画像処理装置100のユーザなどによって変更することが可能な可変値であってもよい。
ステップS122においてDIRECT(dedge)が閾値Th4よりも大きいと判定された場合には、分割領域種別分類部104は、処理対象の分割領域を、“エッジ領域”と判定する(S124)。そして、分割領域種別分類部104は、処理対象の分割領域に対する処理を終了する。
また、ステップS122においてDIRECT(dedge)が閾値Th4よりも大きいと判定されない場合には、分割領域種別分類部104は、処理対象の分割領域を、“ランダム領域”と判定する(S126)。そして、分割領域種別分類部104は、処理対象の分割領域に対する処理を終了する。
分割領域種別分類部104は、例えば図4に示す処理を行うことによって、算出した隣接画素差分値(画素特徴を示す特徴値)に基づいて、処理対象の分割領域を、“フラット領域”、“グラデーション領域”、“テクスチャ領域”、“エッジ領域”、“ランダム領域”のいずれかに分類することができる。
なお、本発明の実施形態に係る分割領域種別分類部104における処理は、上記に限られない。例えば図4では、木構造の条件判定によって、分割領域の種別を分類しているが、分割領域種別分類部104は、上記数式9、上記数式10、上記数式11、上記数式13に示す演算によって算出される値をまず算出し、算出後に分割領域の種別に係る判定を行ってもよい。また、例えば図4では、“フラット領域”であるか否かを初めに判定しているが、分割領域種別分類部104は、例えば、任意の順序で分割領域の種別の判定を行うことが可能である。
また、分割領域種別分類部104は、エッジ領域の判定方法として、例えば、SobelなどのEdge operatorを用いたエッジ検出手法を用いてもよい。また、分割領域種別分類部104は、フラット領域の判定方法として、例えば、8方向全ての画素値の分散が、ある一定以下になるという条件を用いてもよい。
分割領域種別分類部104は、例えば、入力画像信号が示す画像において設定された全ての分割領域について、上記のように分割領域の種別を分類し、分類結果を示す領域種別情報を、ノイズ評価値算出部106へ伝達する。
なお、本発明の実施形態に係る画像処理装置100における処理は、上記に限られない。例えば、画像処理装置100は、入力画像信号が示す画像において設定された分割領域をラスタースキャン(Raster scan)順に走査し、分類(分割領域種別分類部104における処理)、評価(後述するノイズ評価値算出部106における処理)、検出(後述するノイズ検出部108における処理)の一連の処理を、1分割領域ずつ行ってもよい。また、分割領域種別分類部104は、例えば、分類した分割領域の種別を示す領域種別情報を、後段の処理において用いる範囲で保持する。
再度図1を参照して、本発明の実施形態に係る画像処理装置100の構成の一例について説明する。ノイズ評価値算出部106は、本発明の実施形態に係る画像処理方法に係る上記ノイズ評価値算出処理を主導的に行う役目を果たし、分割領域ごとに、分割領域種別分類部104において分類された種別に基づいてノイズ評価値を算出する。より具体的には、ノイズ評価値算出部106は、例えば、ブロック境界(分割領域の境界)に対して、ノイズ評価値を算出する。
図5は、本発明の実施形態に係るノイズ評価値算出部106における処理の一例を説明するための説明図である。ここで、図5に示すAは、分割領域が設定された画像を示しており、図5に示すBは、図5のAに示す画像の一部の分割領域を示している。以下では、図5に示す分割領域Aが評価対象(処理対象)の分割領域である場合を例に挙げて、ノイズ評価値算出部106における処理の一例について説明する。
ノイズ評価値算出部106は、評価対象の分割領域Aと、分割領域Aと隣接する分割領域B、Cそれぞれとのブロック境界(ブロック境界A−B、ブロック境界A−C)におけるノイズ評価値を算出する。ここで、画像処理装置100が、入力画像信号が示す画像において設定された分割領域をラスタースキャンしながらノイズ評価値を算出する構成である場合には、ノイズ評価値算出部106は、例えば、評価対象の分割領域を図5のBにおける左から右、上から下に走査し、評価対象の分割領域の左または上に隣接する分割領域との境界におけるノイズ評価値を算出することによって、画像全体のノイズ評価値を算出する。
以下、より具体的に、ノイズ評価値算出部106の構成について説明する。
(1)ノイズ評価値算出部106の第1の構成例
図6は、本発明の実施形態に係るノイズ評価値算出部106の第1の構成例を示すブロック図である。ここで、図6に示す第1の構成例に係るノイズ評価値算出部106は、重み係数を用いたノイズ評価値算出方法によって、ノイズ評価値を算出する構成を示している。
図6は、本発明の実施形態に係るノイズ評価値算出部106の第1の構成例を示すブロック図である。ここで、図6に示す第1の構成例に係るノイズ評価値算出部106は、重み係数を用いたノイズ評価値算出方法によって、ノイズ評価値を算出する構成を示している。
第1の構成例に係るノイズ評価値算出部106は、重み係数設定部110と、評価値算出部112とを備え、分割領域設定部102において設定された分割領域に対応する画像(以下、「分割領域画像」と示す。)と、分割領域種別分類部104において分類された領域種別(分割領域の種別)とに基づいて、分割領域ごとにノイズ評価値を算出する。そして、第1の構成例に係るノイズ評価値算出部106は、算出したノイズ評価値をノイズ検出部108へ伝達する。
重み係数設定部110は、分割領域種別分類部104において分類された領域種別に基づいて重み係数を設定する。
ここで、例えば人間の視覚特性には、例えば、画像構造の連続性が高ければ高いほどブロック境界に不連続が生じた場合にブロックノイズとして知覚しやすいという特性や、輝度の違いよりも色相・彩度の違い対して鈍感であるという特性、さらに、明るさに対する視感度が高輝度または低輝度よりも中低輝度付近で明るさの違いに敏感であるという特性がある。そこで、重み係数設定部110は、例えば、上記のような人間の視覚特性を考慮し、重み係数を、分類された領域種別と、人間の視覚特性とに基づいて設定する。
より具体的には、重み係数設定部110は、例えば下記の数式15の演算により重み係数wを算出することによって、重み係数wを設定する。ここで、数式15に示す“wtype”は、領域種別(分割領域の種別)に関する重み係数、数式15に示す“wcol”は、分割領域に対応する入力画像信号の色情報に関する重み係数、数式15に示す“wlum”は、分割領域に対応する入力画像信号の輝度情報に関する重み係数をそれぞれ示す。
図7は、本発明の実施形態に係る重み係数設定部110における処理の一例を説明するための説明図である。図7に示すAは、重み係数設定部110が、領域種別に関する重み係数を決定する場合に参照するテーブルの一例を示している。ここで、図7のAに示すテーブルでは、分割領域内の隣接する画素の画素値の相関が高く、連続性が高い領域種別において値が大きくなるように“wtype”の値が設定されている。また、図7に示すBは、重み係数設定部110が、色情報に関する重み係数を決定する場合に参照するテーブルの一例を示している。ここで、図7のBに示すテーブルでは、画像を輝度と色差成分に分離して処理する場合に、色差の値よりも輝度の値が大きくなるように“wcol”の値が設定されている。また、図7に示すCは、重み係数設定部110が、輝度情報に関する重み係数を決定する場合に参照するテーブルの一例を示している。ここで、図7のCに示すテーブルでは、輝度値が8bit(0〜255)の値をとる場合に、中低輝度で値が大きくなるように“wlum”の値が設定されている。
重み係数設定部110は、例えば、図7に示すテーブルを参照して“wtype”、“wcol”、“wlum”を決定し、上記数式15によって、重み係数wを算出する。
なお、重み係数設定部110における重み係数wの算出処理は、上記に限られない。例えば、上記では、図7に示すテーブルを用いて決定される“wtype”、“wcol”、“wlum”を用いて重み係数wを算出する例を示したが、重み係数設定部110は、上記視覚特性を考慮して重み係数を設定することが可能な任意の方法を用いて、重み係数wを算出することができる。また、重み係数設定部110は、例えば、“領域種別(分割領域の種別)に関する重み係数”と、“領域種別に関する重み係数、または、色情報に関する重み係数および輝度情報に関する重み係数”とに基づいて、重み係数wを算出してもよい。さらに、重み係数設定部110は、例えば、領域種別に関する重み係数を、重み係数wとすることも可能である。
再度図6を参照して、第1の構成例に係るノイズ評価値算出部106の構成について説明する。評価値算出部112は、分割領域画像と、重み係数設定部110が設定した重み係数wとに基づいて、ノイズ評価値を算出する。より具体的には、評価値算出部112は、例えば、設定された重み係数wと、ブロック境界(分割領域の境界)における隣接する画素の画素値の差分を示す差分値とを乗算して、ノイズ評価値を算出する。
図8は、本発明の実施形態に係る評価値算出部112における処理の一例を説明するための説明図である。ここで、図8は、図5に示す評価対象の分割領域Aに含まれる画素と、分割領域Aと隣接する分割領域Bに含まれる画素との一例を、1次元信号列で示している。
評価値算出部112は、ブロック境界の段差Dを、ブロック境界を挟んで隣接する画素の画素値の差分を用いて、例えば“D=P(3)−P(4)”のように算出する。そして、評価値算出部112は、ブロック境界の段差Dと重み係数wとに基づいて、例えば下記の数式16に示す演算により、ノイズ評価値Eを算出する。
なお、本発明の実施形態に係る評価値算出部112における、ノイズ評価値Eの算出処理は、上記に限られない。例えば、評価値算出部112は、評価対象の分割領域(以下、「評価対象分割領域」と示す場合がある。)における重み係数だけでなく、当該評価対象の分割領域に隣接する分割領域(以下、「隣接分割領域」と示す場合がある。)における重み係数とを用いて、ノイズ評価値Eを算出することも可能である。
より具体的には、評価値算出部112は、例えば下記の数式17により、評価対象分割領域における重み係数と隣接分割領域における重み係数とを用いて、ノイズ評価値Eを算出する。ここで、数式17に示す“wA”は、評価対象分割領域における重み係数を示し、数式17に示す“wB”は、隣接分割領域における重み係数を示す。
また、評価値算出部112は、例えば、評価対象分割領域の領域種別と、隣接分割領域の領域種別との違いを考慮したノイズ評価値Eを算出することも可能である。図9は、本発明の実施形態に係る評価値算出部112における処理の他の例を説明するための説明図である。
より具体的には、評価値算出部112は、例えば、図9に示すAのように領域種別ごとに基準値PTを設定し、また、図9に示すBのように評価対象分割領域の基準値PTAと隣接分割領域の基準値PTBの差分絶対値|PTA−PTB|に対して重み係数wptを設定する。そして、評価値算出部112は、例えば、上記数式16または上記数式17により算出されたEに対して、設定した重み係数wptをさらに乗算することによって、ノイズ評価値Eを算出する。
さらに、評価値算出部112は、例えば、グラデーション領域およびエッジ領域については、同じ領域種別の分割領域が隣接している場合であっても、方向が大きく異なると画像を見るユーザがブロックノイズを知覚しやすいことに基づいて、評価対象分割領域と隣接分割領域とにおける方向の差異が大きければ重み係数を大きくし、また、当該方向の差異が小さければ重み係数を小さくするように設定することもできる。ここで、評価値算出部112は、例えば、図3のAに示す8方向の場合、方向0に対して方向1や方向7のように隣り合う方向は、方向の差異が小さいと判定し、また、方向0に対して180度方向が異なる方向4は、方向の差異が大きいと判定する。
評価値算出部112は、例えば上記のように、評価対象分割領域だけでなく隣接分割領域の領域種別や色情報、輝度値を考慮した重み係数を用いることによって、上述した従来のノイズ検出方法を用いる場合よりも、より人間の視覚特性に基づいた信頼性の高いノイズ評価値Eを得ることができる。
(2)ノイズ評価値算出部106の第2の構成例
本発明の実施形態に係るノイズ評価値算出部106の構成は、図6に示す第1の構成例に係るノイズ評価値算出部106の構成に限られない。図10は、本発明の実施形態に係るノイズ評価値算出部106の第2の構成例を示すブロック図である。ここで、図10に示す第2の構成例に係るノイズ評価値算出部106は、評価方法の適応的な切替を用いたノイズ評価値算出方法によって、ノイズ評価値を算出する構成を示している。
本発明の実施形態に係るノイズ評価値算出部106の構成は、図6に示す第1の構成例に係るノイズ評価値算出部106の構成に限られない。図10は、本発明の実施形態に係るノイズ評価値算出部106の第2の構成例を示すブロック図である。ここで、図10に示す第2の構成例に係るノイズ評価値算出部106は、評価方法の適応的な切替を用いたノイズ評価値算出方法によって、ノイズ評価値を算出する構成を示している。
第2の構成例に係るノイズ評価値算出部106は、フラット領域評価値算出部114と、グラデーション領域評価値算出部116と、テクスチャ領域評価値算出部118と、エッジ領域評価値算出部120と、ランダム領域評価値算出部122と、スイッチSWとを備える。第2の構成例に係るノイズ評価値算出部106は、分割領域種別分類部104から伝達される領域種別(分割領域の種別)に基づいて、ノイズ評価値を算出する算出処理を切り替えることによって、当該領域種別に対応するノイズ評価値をノイズ検出部108へ伝達する。
スイッチSWは、分割領域種別分類部104から伝達される領域種別情報に基づいて、領域種別情報が示す領域種別に対応するノイズ評価値の算出処理を行う評価値算出部に接続する。ここで、スイッチSWとしては、例えば、FET(Field Effect Transistor)で構成されたスイッチが挙げられるが、本発明の実施形態に係るスイッチは、上記に限られない。
フラット領域評価値算出部114は、フラット領域に対するノイズ評価値を算出する。フラット領域評価値算出部114は、例えば下記の数式18に示すように、評価対象分割領域と隣接分割領域とのブロック境界における隣接画素の差分値Dの絶対値を、ノイズ評価値Eとして算出する。
グラデーション領域評価値算出部116は、グラデーション領域に対するノイズ評価値を算出する。図11は、本発明の実施形態に係るグラデーション領域評価値算出部116における処理の一例を説明するための説明図である。
グラデーション領域評価値算出部116は、図11の矢印で示されたグラデーション方向によってノイズ評価値Eの算出方法を変える。例えば、図11に示すBのように、ブロック境界がグラデーション方向に対して平行になる場合には、フラット領域と同様に、上記数式18によってノイズ評価値Eを算出する。
また、図11に示すA、Cのように、ブロック境界がグラデーション方向に対して交わる場合には、グラデーション領域評価値算出部116は、図3のBに示すの0〜7の8方向のうち、評価対象分割領域に対して隣接分割領域が位置する方向(例えば、図3のBにおいて、隣接分割領域が評価対象分割領域の左に位置する場合は方向5)の隣接画素差分値の平均値daveを用いてノイズ評価値Eを算出する。より具体的には、グラデーション領域評価値算出部116は、例えば下記の数式19によって、ノイズ評価値Eを算出する。
テクスチャ領域評価値算出部118は、テクスチャ領域に対するノイズ評価値を算出する。テクスチャ領域評価値算出部118は、例えば下記の数式20に示すように、評価対象分割領域内の評価対象分割領域に対して隣接分割領域が位置する方向の隣接画素差分値の標準偏差dsigmaを用いてノイズ評価値Eを算出する。
エッジ領域評価値算出部120は、エッジ領域に対するノイズ評価値を算出する。図12、図13は、本発明の実施形態に係るエッジ領域評価値算出部120における処理の一例を説明するための説明図である。
エッジ領域評価値算出部120は、図12の矢印で示されたエッジ方向によってノイズ評価値Eの算出方法を変える。例えば、図12に示すAのように、ブロック境界がエッジ方向に対して垂直になる場合には、フラット領域と同様に、上記数式18によってノイズ評価値Eを算出する。
また、図12に示すB、Cの場合には、エッジ領域評価値算出部120は、エッジ方向に対して垂直な方向の隣接画素差分値Ddirectの絶対値をノイズ評価値Eとする。より具体的には、エッジ領域評価値算出部120は、例えば下記の数式21によって、ノイズ評価値Eを算出する。つまり、エッジ領域評価値算出部120は、図13に示すBの場合には、図13のAに示す方向で隣接画素差分値Ddirectを下記の数式21によって算出し、また、図13に示すCの場合には、図13のBに示す方向で隣接画素差分値Ddirectを下記の数式21によって算出する。
ランダム領域評価値算出部122は、ランダム領域に対するノイズ評価値を算出する。図14は、本発明の実施形態に係るランダム領域評価値算出部122における処理の一例を説明するための説明図である。
ランダム領域評価値算出部122は、例えば下記の数式22に示すように、評価対象分割領域のブロック境界画素の平均値と、隣接分割領域のブロック境界画素の平均値との差分値Daveの絶対値を、ノイズ評価値Eとして算出する。ここで、例えば図14に示すように、評価対象分割領域のブロック境界画素値PA(0)〜PA(3)と、隣接分割領域のブロック境界画素値PB(0)〜PB(3)を用いると、Daveの値は、例えば下記の数式23で表される。
第2の構成例に係るノイズ評価値算出部106は、例えば、スイッチSWにより接続された評価値算出部それぞれが上記のような処理を行うことによって、分割領域種別分類部104から伝達される領域種別(分割領域の種別)に基づいて、ノイズ評価値を算出する算出処理を切り替え、当該領域種別に対応するノイズ評価値を算出する。
なお、本発明の実施形態に係る第2の構成例に係るノイズ評価値算出部106を構成する、各評価値算出部におけるノイズ評価値の算出処理は、上記に限られない。例えば、第2の構成例に係るノイズ評価値算出部106は、評価対象分割領域を基準として算出したノイズ評価値だけでなく、隣接分割領域を基準として算出したノイズ評価値を用いてノイズ評価値Eを算出することも可能である。
より具体的には、例えば、図5に示すBにおいて分割領域Aを評価対象分割領域とした場合におけるブロック境界A−Bのノイズ評価値をEA、図5に示すBにおいて分割領域Bを評価対象分割領域とした場合におけるブロック境界A−Bのノイズ評価値をEBとおくと、第2の構成例に係るノイズ評価値算出部106は、例えば下記の数式24によって、ノイズ評価値Eを算出することができる。ここで、数式24に示す“Max()”は、()内の最大値を示す。
また、第2の構成例に係るノイズ評価値算出部106は、例えば、図6に示す第1の構成例に係るノイズ評価値算出部106と同様に、評価対象分割領域と隣接分割領域との領域種別の違いを考慮し、算出されたノイズ評価値Eに対してさらに重み係数wptを乗算したものを、ノイズ評価値Eとしてもよい。
さらに、第2の構成例に係るノイズ評価値算出部106は、例えば、図6に示す第1の構成例に係るノイズ評価値算出部106と同様に、グラデーション領域およびエッジ領域については、同じ領域種別の分割領域が隣接している場合であっても、方向が大きく異なると画像を見るユーザがブロックノイズを知覚しやすいことに基づいて、評価対象分割領域と隣接分割領域とにおける方向の差異が大きければ重み係数を大きくし、また、当該方向の差異が小さければ重み係数を小さくするように設定してもよい。第2の構成例に係るノイズ評価値算出部106は、例えば、算出されたノイズ評価値Eに対してさらに設定された重み係数を乗算することによって、ノイズ評価値Eを算出することができる。
第2の構成例に係るノイズ評価値算出部106は、例えば上記のように、評価対象分割領域の領域種別によってノイズ評価値の算出方法を適応的に切り替えることによって、上述した従来のノイズ検出方法を用いる場合よりも、より人間の視覚特性に基づいた信頼性の高いノイズ評価値Eを得ることができる。また、第2の構成例に係るノイズ評価値算出部106は、さらに、隣接分割領域の領域種別を考慮することによって、上述した従来のノイズ検出方法を用いる場合よりも、より人間の視覚特性に基づいた信頼性の高いノイズ評価値Eを得ることができる。
なお、本発明の実施形態に係るノイズ評価値算出部106における、評価方法の適応的な切替を用いたノイズ評価値算出方法によってノイズ評価値を算出する構成は、図10に示す構成に限られない。例えば、図10では、5つの分割領域の種別全てに対応する処理を適応的に切り替える構成を示したが、本発明の実施形態に係るノイズ評価値算出部106は、5つの分割領域の種別のうちの、少なくとも2つ以上の分割領域の種別に対応する処理を、適応的に切り替えてもよい。
また、本発明の実施形態に係るノイズ評価値算出部106は、図6に示す第1の構成例に係る重み係数設定部110を、図10に示す各評価値算出部の前段にさらに備える構成をとることも可能である。本発明の実施形態に係るノイズ評価値算出部106は、上記構成をとることによって、さらに第1の構成例に係る重み係数を用いて、評価対象分割領域の領域種別によってノイズ評価値の算出方法を適応的に切り替えることができる。
再度図1を参照して、本発明の実施形態に係る画像処理装置100の構成の一例について説明する。ノイズ検出部108は、本発明の実施形態に係る画像処理方法に係る上記ノイズ検出処理を主導的に行う役目を果たし、分割領域ごとに算出されるノイズ評価値に基づいて、ブロックノイズを検出する。
また、ノイズ検出部108は、例えば、ブロックノイズの検出結果を示す信号(または、検出結果を示すデータ)を、通信部(図示せず)を介してノイズ低減処理を行う機能を有する外部装置に送信する。なお、本発明の実施形態に係る画像処理装置がノイズ低減処理を行うノイズ低減部(図示せず)を備える場合、すなわち、本発明の実施形態に係る画像処理装置がノイズ低減処理を行う機能を有する場合には、ノイズ検出部108は、例えば、ブロックノイズの検出結果を示す信号をノイズ低減部(図示せず)に伝達してもよい。
図15は、本発明の実施形態に係るノイズ検出部108の構成の一例を示すブロック図である。ノイズ検出部108は、例えば、ブロックノイズ判定部124と、評価値累積部126と、累積範囲制御部128とを備える。ノイズ検出部108は、例えば、分割領域種別設定部104から伝達される領域種別情報と、ノイズ評価値算出部106から伝達されるノイズ評価値とに基づいて、分割領域ごとにブロックノイズを検出する。
ブロックノイズ判定部124は、伝達されるノイズ評価値が、ブロックノイズを示す値として適切な値であるか否かを判定する。より具体的には、ブロックノイズ判定部124は、例えば下記の条件1および条件2の2つの条件に基づいて、ノイズ評価値が、ブロックノイズを示す値として適切な値であるか否かを判定する。
・条件1:ある一定以下のノイズ評価値では、ブロック境界の段差は視覚的に目立ちにくく、ブロックノイズとして視認されない可能性が高い。
・条件2:ある一定以上のノイズ評価値では、ブロック境界の段差は画像構造の一部である可能性が高い。
・条件2:ある一定以上のノイズ評価値では、ブロック境界の段差は画像構造の一部である可能性が高い。
ブロックノイズ判定部124は、上記条件1、上記条件2に基づき、例えば下記の数式25によりブロックノイズの判定結果を示す値Enoiseを算出する。ここで、数式25に示す“ELower”は、ノイズ評価値Eの閾値の下限値を示し、数式25に示す“EUpper”は、ノイズ評価値Eの閾値の上限値(ただし、ELower<EUpper)を示している。
ここで、ブロックノイズ判定部124は、例えば、伝達される領域種別情報が示す領域種別に応じて、閾値の下限値ELowerと閾値の上限値EUpperとを適応的に変更する。閾値の下限値ELowerと閾値の上限値EUpperとを適応的に変更する方法としては、例えば、評価対象分割領域を中心とした所定の範囲内の周辺の分割領域の領域種別に基づいて、ブロックノイズの視認性が高いフラット領域やグラデーション領域などが連続して存在する場合に、閾値の下限値ELowerを基準値よりも小さく設定し、また、ブロックノイズの視認性が低いランダム領域などが連続して存在する場合に、閾値の上限値EUpperを基準値よりも高く設定する方法が挙げられる。
なお、本発明の実施形態に係る閾値の下限値ELowerと閾値の上限値EUpperとを適応的に変更する方法は、上記に限られない。例えば、ブロックノイズ判定部124は、周辺のエッジ領域内のエッジの隣接画素差分値Dedgeを画像を構成する主要なエッジの強度であるとし、閾値の上限値EUpperを隣接画素差分値Dedgeより小さく設定してもよい。閾値の上限値EUpperを隣接画素差分値Dedgeより小さく設定することによって、ブロックノイズ判定部124は、エッジをブロックノイズと判定する誤判定を抑制することが可能となる。
また、閾値の下限値ELowerと閾値の上限値EUpperとは、領域種別に応じて適応的に変更されることに限られず、例えば、予め設定された固定値であってもよいし、画像処理装置100のユーザなどによって変更することが可能な可変値であってもよい。
ブロックノイズ判定部124が、例えば上記数式25によりブロックノイズの判定結果を示す値Enoiseを算出することによって、ノイズ検出部108は、ノイズ評価値が、所定の閾値により定められる範囲内に収まる場合に、ノイズ評価値に対応する分割領域にブロックノイズが存在すると判定することができる。
評価値累積部126は、ブロックノイズ判定部124から伝達されるブロックノイズの判定結果を示す値Enoiseを、後述する累積範囲制御部128により制御される範囲内で累積し、累積した結果を、ブロックノイズの検出結果とする。ここで、評価値累積部126が累積する、ブロックノイズの判定結果を示す値Enoiseの累積値は、ブロックノイズ量に該当する。
なお、評価値累積部126における処理は、上記に限られない。例えば、評価値累積部126は、累積値そのものではなく、累積値から画素単位の平均値を算出し、算出した平均値を、ブロックノイズの検出結果としてもよい。また、評価値累積部126は、例えば、ブロックノイズの判定結果を示す値Enoiseに所定の範囲を設定して正規化した値を、ブロックノイズの検出結果とすることも可能である。
累積範囲制御部128は、評価値累積部126におけるブロックノイズの判定結果を示す値Enoiseを累積する範囲を制御する。図16は、本発明の実施形態に係る累積範囲制御部128における処理の一例を説明するための説明図である。
例えば図16のAに示すように、累積範囲制御部128が累積範囲を画素単位とした場合には、評価値累積部126は、図16のAに示す網掛け部分に対応するブロックノイズの判定結果を示す値Enoiseの累積値を、ブロックノイズの検出結果とする。また、例えば図16のBに示すように、累積範囲制御部128が累積範囲を分割領域単位とした場合には、評価値累積部126は、図16のBに示す網掛け部分に対応するブロックノイズの判定結果を示す値Enoiseの累積値を、ブロックノイズの検出結果とする。そして、例えば図16のCに示すように、累積範囲制御部128が累積範囲を複数の分割領域を含む領域単位とした場合には、評価値累積部126は、図16のCに示す網掛け部分に対応するブロックノイズの判定結果を示す値Enoiseの累積値を、ブロックノイズの検出結果とする。
なお、本発明の実施形態に係る累積範囲制御部128における累積する範囲の制御は、上記に限られない。例えば、累積範囲制御部128は、画像全体を累積する範囲としてもよい。
上記のように累積範囲制御部128において、評価値累積部126におけるブロックノイズの判定結果を示す値Enoiseを累積する範囲を制御することによって、ノイズ検出部108は、所望の単位でブロックノイズ量を算出し、ブロックノイズを検出することができる。
本発明の実施形態に係る画像処理装置100は、例えば図1に示す構成によって、本発明の実施形態に係る画像処理方法に係る処理(例えば、上記分割領域種別分類処理、上記ノイズ評価値算出処理、および上記ノイズ検出処理)を実現する。画像処理装置100は、例えば図1に示す構成によって、従来のブロック境界の段差の大きさのみを考慮する方式に比べて、画像構造の連続性を考慮したブロックノイズ評価値を算出することが可能となるので、ブロックノイズの検出精度を向上させることができる。また、画像処理装置100は、例えば図1に示す構成によって、人間が見てブロックノイズとして知覚しやすいか否かを考慮したブロックノイズの検出が可能となる。
したがって、画像処理装置100は、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
なお、本発明の実施形態に係る画像処理装置の構成は、図1に示す構成に限られない。例えば、図1では分割領域設定部102を備える構成を示しているが、本発明の実施形態に係る画像処理装置は、分割領域設定部102を備えず、分割領域種別分類部104が分割領域設定部102の機能をさらに有していてもよい。
以上、本発明の実施形態として画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置や、PCやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話やスマートフォンなどの通信装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理IC(Integrated Circuit)に適用することもできる。
(本発明の実施形態に係るプログラム)
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム(例えば、上記分割領域種別分類処理、上記ノイズ評価値算出処理、および上記ノイズ検出処理など、本発明の実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム)によって、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム(例えば、上記分割領域種別分類処理、上記ノイズ評価値算出処理、および上記ノイズ検出処理など、本発明の実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム)によって、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
100 画像処理装置
102 分割領域設定部
104 分割領域種別分類部
106 ノイズ評価値算出部
108 ノイズ検出部
110 重み係数設定部
112 評価値算出部
114 フラット領域評価値算出部
116 グラデーション領域評価値算出部
118 テクスチャ領域評価値算出部
120 エッジ領域評価値算出部
122 ランダム領域評価値算出部
124 ブロックノイズ判定部
126 評価値累積部
128 累積範囲制御部
102 分割領域設定部
104 分割領域種別分類部
106 ノイズ評価値算出部
108 ノイズ検出部
110 重み係数設定部
112 評価値算出部
114 フラット領域評価値算出部
116 グラデーション領域評価値算出部
118 テクスチャ領域評価値算出部
120 エッジ領域評価値算出部
122 ランダム領域評価値算出部
124 ブロックノイズ判定部
126 評価値累積部
128 累積範囲制御部
Claims (8)
- 入力画像信号が示す画像が分割された分割領域ごとに、前記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類する分割領域種別分類部と、
前記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するノイズ評価値算出部と、
前記分割領域ごとに算出される前記ノイズ評価値に基づいて、ブロックノイズを検出するノイズ検出部と、
を備えることを特徴とする、画像処理装置。 - 前記ノイズ評価値算出部は、
分類された種別に基づいて重み係数を設定する重み係数設定部と、
設定された重み係数と、前記分割領域の境界における隣接する画素の画素値の差分を示す差分値とを乗算して、前記ノイズ評価値を算出する評価値算出部と、
を備えることを特徴とする、請求項1に記載の画像処理装置。 - 前記重み係数設定部は、さらに、前記分割領域に対応する前記入力画像信号の色情報、および/または、前記分割領域に対応する前記入力画像信号の輝度情報に基づいて、前記重み係数を設定する、請求項2に記載の画像処理装置。
- 前記重み係数設定部は、処理対象の分割領域における種別と、前記処理対象の分割領域の境界に隣接する2つの分割領域における種別とに基づいて、前記重み係数を設定することを特徴とする、請求項2、または3に記載の画像処理装置。
- 前記ノイズ評価値算出部は、分類された種別に基づいて、前記ノイズ評価値を算出する算出処理を切り替えることを特徴とする、請求項1に記載の画像処理装置。
- 前記ノイズ検出部は、前記ノイズ評価値が、所定の閾値により定められる範囲内に収まる場合に、前記ノイズ評価値に対応する分割領域にブロックノイズが存在すると判定することを特徴とする、請求項1〜5のいずれか1項に記載の画像処理装置。
- 入力画像信号が示す画像が分割された分割領域ごとに、前記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類するステップと、
前記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するステップと、
前記分割領域ごとに算出される前記ノイズ評価値に基づいて、ブロックノイズを検出するステップと、
を有することを特徴とする、画像処理方法。 - 入力画像信号が示す画像が分割された分割領域ごとに、前記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類するステップ、
前記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するステップ、
前記分割領域ごとに算出される前記ノイズ評価値に基づいて、ブロックノイズを検出するステップ、
をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011253197A JP2013110528A (ja) | 2011-11-18 | 2011-11-18 | 画像処理装置、画像処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011253197A JP2013110528A (ja) | 2011-11-18 | 2011-11-18 | 画像処理装置、画像処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013110528A true JP2013110528A (ja) | 2013-06-06 |
Family
ID=48706900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011253197A Pending JP2013110528A (ja) | 2011-11-18 | 2011-11-18 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013110528A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017026051A1 (ja) * | 2015-08-11 | 2017-02-16 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2018105195A1 (ja) * | 2016-12-07 | 2018-06-14 | 三菱電機株式会社 | 映像障害検知装置、映像障害検知方法、及びプログラム |
-
2011
- 2011-11-18 JP JP2011253197A patent/JP2013110528A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017026051A1 (ja) * | 2015-08-11 | 2017-02-16 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US20180130187A1 (en) * | 2015-08-11 | 2018-05-10 | Olympus Corporation | Image processing apparatus, image processing method, and image processing program |
JPWO2017026051A1 (ja) * | 2015-08-11 | 2018-05-31 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US10565688B2 (en) * | 2015-08-11 | 2020-02-18 | Olympus Corporation | Image processing apparatus, image processing method, and image processing program |
WO2018105195A1 (ja) * | 2016-12-07 | 2018-06-14 | 三菱電機株式会社 | 映像障害検知装置、映像障害検知方法、及びプログラム |
JPWO2018105195A1 (ja) * | 2016-12-07 | 2019-03-28 | 三菱電機株式会社 | 映像障害検知装置、映像障害検知方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2461977C2 (ru) | Сжатие и снятие сжатия изображения | |
US10397574B2 (en) | Video coding quantization parameter determination suitable for video conferencing | |
KR101033065B1 (ko) | 비디오 및 이미지 신호 비트 심도 변환 | |
JP4599446B2 (ja) | 階調制御装置および階調制御方法 | |
US20140254663A1 (en) | Video coding method using at least evaluated visual quality and related video coding apparatus | |
US10609416B2 (en) | Apparatuses and methods for filtering noise from a video signal | |
JP6300565B2 (ja) | 動画像符号化装置、プログラム、および、集積回路 | |
TWI422228B (zh) | 去方塊濾波方法及影像處理裝置 | |
EP3014880A2 (en) | Encoding video captured in low light | |
JP4804107B2 (ja) | 画像符号化装置、画像符号化方法及びそのプログラム | |
KR20110025888A (ko) | 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 프로그램, 및 집적 회로 | |
EP2317769A1 (en) | Luminance dependent quantization | |
CN102939759A (zh) | 图像处理设备和方法 | |
JP6052319B2 (ja) | 動画像符号化装置 | |
JP2016506201A (ja) | デジタルビデオストリーム中の圧縮ノイズを低減する方法および装置 | |
JP2013168739A (ja) | 画像処理システム、及び、画像処理方法 | |
JP2013110528A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
KR101871946B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
JP2013110701A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
EP4013053A1 (en) | Adaptive quality boosting for low latency video coding | |
JP2013150066A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP4126298B2 (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 | |
JP2013106213A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2013110529A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2013120983A (ja) | 画像処理装置、画像処理方法、およびプログラム |