JP4194479B2 - 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents

Description

本発明は静止画像又は動画像を複数のブロックに領域分割し、ブロック毎に符号化処理を行う画像符号化方式を用いた場合の画質評価、並びに、高画質化技術に関するものである。

デジタル画像の有効利用のためには効率的に記憶、伝送する必要があり、画像データの圧縮符号化は必須技術と言える。画像データを圧縮する方法としては、画像符号化の標準符号化方式であるＪＰＥＧ(Joint Photographic Experts Group)やＭＰＥＧ(Motion Picture Experts Group)で知られているように、圧縮対象となる画像データについてブロック分割して、動画像の場合には必要に応じて動き補償を用いて画像間予測によって差分信号を生成し、該ブロック単位に離散コサイン変換（以下ＤＣＴと呼ぶ）等の直交変換を用いて直交変換係数（以下ＤＣＴ係数と呼ぶ）に変換してエントロピー符号する方式が一般的に知られている。これは直交変換を用いることにより相関性の強い画像信号は周波数軸上では低周波領域に集中して分布するという、画像の持つ相関性を積極的に利用するものである。

例えばＪＰＥＧやＭＰＥＧにおいて、原画像は通常８×８画素のブロックに分割され、ブロック毎に２次元ＤＣＴを行う。そして符号量を減らすために、ＤＣＴ係数に対して量子化テーブルと量子化スケール値を用いて量子化を行う。この際、人間の視覚特性を考慮して視覚的に敏感な低周波成分については小さい量子化テーブル値を用いて量子化し、鈍感な高周波成分については大きな量子化テーブル値で量子化を行うことによって、視覚的な劣化が少なく効率的に量子化を行い、量子化されたＤＣＴ係数（以下量子化ＤＣＴ係数と呼ぶ）を得ることができる。また、出力される画像の符号量を一定の範囲に収めるために、現在のビットレートや総符号量により変化する量子化スケール値を用いて量子化する方式が一般的に用いられている。

ここで動画像や静止画像を大きな解像度で、かつ長時間（静止画像の場合には多くの枚数）フラッシュメモリ等の限られた容量の記憶装置に記憶する場合、圧縮率を大きくすることで単位時間あたりのデータサイズであるビットレートを下げる必要が生じる。

このようなビットレートを下げるための手法として量子化スケール値を大きくすることで値がゼロとなる量子化ＤＣＴ係数を増加させる手法が一般的に用いられ、この量子化処理を行うことでエントロピー符号化においてより効率的な圧縮を行うことができる。

しかし、ブロック単位で周波数変換を行ったＤＣＴ係数に対して量子化を行うために、量子化スケール値を大きくして粗く量子化を行った場合にはブロックの境界において大きな歪、いわゆるブロック歪が生じてしまい、画質劣化が顕著になるという問題点がある。このようなブロック歪を低減させる手法としてローパスフィルタ（以下ＬＰＦと呼ぶ）等のフィルタを用いる手法が一般的に用いられている。復号化装置の出力に対してＬＰＦを用いればこのブロック歪を効果的に削減できるが、このような復号化装置における処理はＪＰＥＧ、ＭＰＥＧ等の画像符号化国際標準の内容からは逸脱し、特定の復号化装置でしか実現することができない。ＪＰＥＧ、ＭＰＥＧ等の画像符号化国際標準に準拠した一般的なソフトウェアに実装されているような復号化装置で処理される事を想定する場合には、ブロック歪の発生を抑制するような処理を符号化装置内において行う必要がある。

符号化装置においてブロック歪の発生を抑制する手段としては、量子化パラメータを適応的に変化させる方法、符号化の前段に位置する画像処理部におけるフィルタ処理装置のフィルタ特性を変化させる方法が一般的に用いられている。

量子化パラメータを適応的に変化させる方法としては１つの画像内においてブロック歪を検出し、ブロック歪が生じている部分は量子化スケール値を小さくし、ブロック歪がほとんど生じていない部分は量子化スケール値を大きくすることで、所望のビットレートを実現しながらブロック歪の発生を抑制する方法が一般的に用いられている。このように量子化パラメータを変化させる場合にはブロック歪を正確に検出する必要が生じ、検出を誤った場合にはブロック歪が増加してしまう場合がある。

またブロック歪低減のために符号化装置前段に位置する画像処理部内のフィルタ処理装置を用いる場合、一般的にフィルタはＬＰＦが用いられる。これは一般的にブロック歪は高周波成分を多く含むためであり、ＬＰＦを用いることによりブロック歪が発生する高周波成分を予め低減するためでもる。同時に高周波成分の値がゼロでない量子化ＤＣＴ係数を減少させることができ、エントロピー符号化の符号化効率を向上させることができる。このようにＬＰＦを用いることにより復号画像のブロック歪の低減が可能となる。

符号化装置においてＬＰＦを用いる場合の問題点としてブロック歪が生じていない場合にＬＰＦを適用すると、原画像の高周波成分を削ってしまうことにより画質がボケてしまうという問題、物体のエッジにて境界が滑らかでなくなる、いわゆるモスキートノイズが生じてしまい、フィルタ処理をしない場合よりも画質が劣化してしまうという問題がある。

以上の理由から低ビットレートにおける画質劣化を最小限に抑えるためにはブロック歪による画質劣化を正確に定量評価し、その結果から適応的に量子化パラメータや、フィルタ特性を決定する必要がある。

ブロック歪検出手法の第一の従来手法としては、符号化時の量子化パラメータよりブロック歪等の出現を予測するものがある（特許文献１）。また第二の従来手法としては、ビデオコーデックにおける後処理フィルタの制御方式においては復号した画像についてブロック内における隣接画素との差分値とブロック境界における隣接画素との差分値を比較してブロック歪を検出するものがある（特許文献２）。そして、第三の従来手法としては、原画像と復号画像との誤差を計算し、まず誤差がある閾値以下ならば０とみなす。そして誤差がある一定以上ならばブロック境界において隣接画素との差分値を計算し、各ブロック境界についてブロック辺の長さだけの自乗平均を取ったものを計算する。人間の視覚特性を考慮して、前記自乗平均の結果とブロック内の輝度の分散値との比を、各ブロックのブロック歪の定量評価尺度としている（特許文献３）。
特開２００３−０１８６００公報 特開平７−３８７６２号公報 特開平５−２１９３８４号公報

しかしながら、上記第一の従来手法において、ブロック歪は対象となる画像によって生じやすさが異なるために、量子化スケール値とブロック歪発生の関係を正確に予測するのは困難である。よって量子化スケール値からブロック歪の発生を予測する場合には精度が低く、誤判定が生じてしまうという問題がある。この誤判定が生じてしまった場合には前述のように量子化パラメータの変更やフィルタ特性の変更等により、かえって画質が悪化してしまう等の問題点がある。

また前記第二の従来手法においては復号画像のみで判定を行うのでブロック境界と物体のエッジが一致した場合にブロック歪が生じていないにも関わらず、物体のエッジをブロック歪と誤判定してしまうという問題がある。

また前記第三の従来手法においてはブロック境界のみの値で判断をしているので、画面全体で劣化が生じているのか、ブロック境界においてブロック歪のみが顕著に生じているかの判断が難しくなる。また自乗平均を計算し、かつブロック内の輝度分散値との比を計算しているために、計算が複雑であり、ハードウェアでの実現が困難であるという問題点がある。

本発明は係る問題点に鑑みなされたものであり、簡単な構成により符号化画像データより得られた復号画像のブロック歪みを客観的に評価するための情報を生成する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
設定された符号化パラメータによる量子化スケールに基づいて原画像データを圧縮符号化し、得られた符号化データで表わされる復号画像の画質を評価するための情報を生成する画像処理装置であって、
前記原画像データを、複数画素で構成されるブロック単位に、設定された符号化パラメータに従って圧縮符号化する符号化手段と、
該符号化手段で得られた符号化データを復号することで復号画像データを生成する復号手段と、
前記原画像データに対して、隣接する画素の差分値を演算することにより、第１の空間微分値を算出する第１の空間微分演算手段と、
前記復号画像データに対して、隣接する画素の差分値を演算することにより、第２の空間微分値を算出する第２の空間微分演算手段と、
前記第１の空間微分値と、該第１の空間微分値と空間上対応する前記第２の空間微分値との誤差値を演算することにより、前記符号化手段で符号化された画像のブロック歪みの指標となる評価情報を演算する評価情報演算手段とを備える。

本発明の構成によれば、ブロック単位の圧縮符号化技術を利用した符号化データに基づく画像のブロック歪を定量評価するための情報を得ることができる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

図１は、実施形態における画像処理装置のブロック構成図である。

図示において、１００は本実施形態の主要部分であるブロック歪み評価部であって、内部には空間微分器１０１、１０２、及び評価情報演算部１０３を含むものである。１０４は符号化対象の原画像を入力する画像入力部であって、イメージスキャナ、或いはデジタルカメラ等から無圧縮の画像データを入力するものである。１０５は入力した原画画像を記憶する画像記憶部１０５である。１０６は画像記憶部１０５に記憶された原画像データを圧縮符号化する圧縮符号化部、１０７は圧縮符号化部１０６で圧縮符号化する際の符号化パラメータを入力する符号化パラメータ入力部である。１０８は圧縮符号化したデータを復号し、復号画像を生成する復号部である。１０９はブロック歪み評価部１００からの情報を出力する出力部である。

＜第１の実施形態＞
上記構成において、ブロック歪み評価部１００におけるブロック歪の定量評価指標の算出方法を以下に説明する。

なお、実施形態では、ブロック歪の定量評価指標をＢＮＤ(Blocking Noise Degree)と表し、当該画素の画面内の主走査（水平）画素位置ｉ、副走査（垂直）画素位置ｊ（以下画素位置（ｉ，ｊ）と表す）における水平方向のブロック歪の定量評価指標をＢＮＤ＿ｈ（ｉ，ｊ）、垂直方向のブロック歪の定量評価指標をＢＮＤ＿ｖ（ｉ，ｊ）と表す。また原画像は輝度成分及び色差成分を有しているが、ブロック歪の定量評価は輝度成分値のみを用いて行われるものとする。

先ず、原画像をＸ（画像記憶部１０５に記憶された画像）、復号部１０８で復号して得られた画像（復号画像）をＹと定義する。そして、原画像Ｘ中の注目画素の画素値（輝度成分値）をＸ（ｉ，ｊ）と表現した場合、図１２に示すような分布を有することになる。復号画像Ｙについても同様である。

そして、原画像Ｘの水平方向及び垂直方向の微分値Ｘ’＿ｈ（ｉ，ｊ）、Ｘ’＿ｖ（ｉ，ｊ）、並びに、復号画像Ｙの水平方向、垂直方向の微分値Ｙ’＿ｈ（ｉ，ｊ）、Ｙ’＿ｖ（ｉ，ｊ）を次のようにして求める。
X'_h(i,j) = X(i,j) - X(i+1,j)
X'_v(i,j) = X(i,j) - X(i,j+1)
Y'_h(i,j) = Y(i,j) - Y(i+1,j)
Y'_v(i,j) = Y(i,j) - Y(i,j+1) （式１）

そして、原画像Ｘと復号画像Ｙの各方向の定量評価指標値ＢＮＤ＿ｈ（ｉ，ｊ）、ＢＮＤ＿ｖ（ｉ，ｊ）を次の様に求める。
BND_h(i,j) = |X'_h(i,j) - Y'_h(i,j)|
BND_v(i,j) = |X'_v(i,j) - Y'_v(i,j)| （式２）

上記処理を行う、本第１の実施形態におけるブロック歪み評価部１００では、上記の定量評価指標ＢＮＤ＿ｈ（ｉ，ｊ）及びＢＮＤ＿ｖ（ｉ，ｊ）を求めるわけであるから、以下により詳しく説明する。

空間微分器１０１は原画像Ｘの空間微分値を算出するものであり、空間微分器１０２は復号画像Ｙの空間微分値を算出するものである。ただし、これら２つの空間微分器１０１、１０２は共に同じ画素位置の空間微分値を算出するため同期している。評価情報演算部１０３は、これら２つの空間微分器１０１、１０２の微分値を入力し、ブロック歪の定量評価指標ＢＮＤ＿ｈ（ｉ，ｊ）及びＢＮＤ＿ｖ（ｉ，ｊ）を求める。

図１に示したブロック歪み評価部１００の構成を、より具体的に示すのが図２である。ただし、図２は、水平方向の定量評価指標ＢＮＤ＿ｈ（ｉ，ｊ）を求める構成を示している。垂直方向の定量評価指標ＢＮＤ＿ｈ（ｉ，ｊ）を求める構成は、入力する画素の入力方向が垂直方向となるだけで実質的に同じであり、以下の説明から明らかなので省略する。

図２において、減算器２０１は原画像Ｘの水平１ライン中の隣接する２つの画素値の差分、すなわち、Ｘ'＿ｈ（ｉ，ｊ）を算出する。隣接する２画素の値を得るには、１画素分だけ遅延するラッチ（フリップフロップ）を用意し、このラッチを介さずに入力した画素データと、ラッチを介した画素データを利用すれば実現できる。

一方、減算器２０２も同様に、復号画像Ｙの水平１ライン中の隣接する２つの画素値の差分、すなわち、Ｙ'＿ｈ（ｉ，ｊ）を算出する。減算器２０３は、減算器２０１、２０２からの出力値を減じることで、原画像Ｘ及び復号画像Ｙにおける水平方向の微分値の誤差を得る。この誤差は、この時点で正負の符号を有するものであるので、絶対値化器２０４で絶対値に変換することで、水平方向の評価指標値ＢＮＤ＿ｈ（ｉ，ｊ）を得る。

上記の如く、図２の構成は非常に単純な構成により水平方向の評価指標値ＢＮＤ＿ｈ（ｉ，ｊ）を得ることに成功していることが理解できよう。同様に、垂直方向の評価指標値ＢＮＤ＿ｖ（ｉ，ｊ）については、入力する画素が水平ラインでははく、垂直な列になる点で異なるものの、図２と同様の簡単な構成により得ることができる。また、同様の理由でソフトウェアで実現する場合にあっても、その処理は単純であるため非常に高速に処理できるのは明らかである。

さて、標準的な自然画像（例えばデジタルカメラやイメージスキャナで写真を読取った無圧縮の画像）を用いて実際に符号化処理を行い、符号化により生じた水平方向の空間微分値の誤差について測定したところ、図３のようになった。

図３はある静止画像について３種類の量子化スケール値を用いて符号化した場合の水平方向の空間微分値誤差と画素位置の関係を示している（１６×１６のマクロブロック分のみ抽出）。図３においてＱは量子化スケール値を表している。また、画素位置の中心（画素位置＝８）がブロック境界をまたいで空間微分を行った位置を表している。図３から分かるように量子化スケール値を大きくした場合(Ｑ＝２４)、つまり粗く量子化を行い量子化誤差が大きく生じている場合、ブロック境界における空間微分値誤差がブロック内の値よりも突出してきている様子がわかる。このような場合においてはブロック境界にて顕著な歪、すなわちブロック歪が生じていることを示している。

ところで、量子化スケール値とブロック歪の発生の関係については画像に依存する（ブロック歪が発生しやすい画像と発生しにくい画像がある）ので一概に決定することができない。しかし、量子化スケール値を大きくするに従ってブロック境界における空間微分値誤差が突出してくるというのは他の画像について符号化処理を行った場合にも見られた現象であった。

上記のようなブロック境界に発生する歪みは、量子化スケール値に依存するものの、その一方で原画像によっても依存し、且つ、１つの原画像に着目したとしてもある部分では歪みが少なく、ある部分では歪みが大きいということもある。従って、ユーザは、原画像のデータサイズに対する符号化データサイズ（或いは圧縮率）と、符号化画像より得られた復号画像の評価指標値との兼ねないで、ユーザが望む符号化データを生成するため、上記の評価指標値を何らかの手段でユーザに提示することが望ましい。図１３は実施形態における機能実現手段をパーソナルコンピュータ等の汎用情報処理装置に実装した場合におけるユーザインタフェースを示している。

図１３において、１３００はユーザインタフェースとなるウインドウを示している。１３０１は原画像のファイルを所在を入力するファイル名フィールドであり、無圧縮の画像を選択するものである。なお、ボタン１３０２をクリックすることで、ファイル選択のためのブラウザを表示し選択することも可能となっている。なお、ファイルの指定ではなく、イメージスキャナやデジタルカメラ等から無圧縮の画像を直接入力するようにしても良い。

１３０３は、指定された原画像を表示する表示領域であり、１３０４は原画像を圧縮符号化した後の復号画像を表示する領域である。なお、圧縮符号化後のファイルは原画像と同じパスに拡張子「jpg」として保存されるものとする。

１３０５は量子化テーブルを選択するためのものであり、ここではコンボボックス形式にした（量子化テーブルを選択するためであればいかなる形態でもよいのは勿論である）。すなわち、図示の右端をクリックすることで、予め登録された複数の量子化テーブルが表示され、ユーザはその中の１つを選択することで圧縮符号化時の量子化テーブルを決定することになる（デフォルトでは「量子化テーブル１」が選択）。１３０６は圧縮符号化の開始を指示するボタンであり、このボタン１３０６をクリックすることで、指定された原画像を、指定された量子化テーブルを利用してＪＰＥＧ圧縮符号化を行い、その結果えられた圧縮符号化データを復号し、それを領域１３０４に表示することになる。

１３０７は歪み評価結果表示領域であって、実施形態では、先に説明したように水平方向、及び、垂直方向のブロック歪み評価指標値を演算するので、図示の如く２つの表示領域１３０８、１３０９を設けた。

以下、図１３におけるウインドウ１３００で示される評価アプリケーションの動作処理手順を図１４のフローチャートに従って説明する。

先ず、ステップＳ１で原画像のファイル名を入力する（もしくは原画像を入力する）。この入力が行われると、図１３の領域１３０３にその画像が表示される。なお、領域１３０３に対して原画像のサイズが大きいのが一般的であるから、間引き処理、複数画素の平均して１画素を生成する等を行い、縮小画像を生成して表示する。また、原画像のデータサイズを図示のように表示する。

次いで、ステップＳ２に進み、符号化パラメータ（実施形態では量子化テーブル）を決定する。これは図１３におけるコンボボックス１３０５を操作することで行う。この後、ステップＳ３にて符号化開始ボタン１３０６がクリックされるのを待つことになる。

符号化の開始の指示があると、処理はステップＳ４に進み、指定（入力）された原画像を、そのときに指定された符号化パラメータ（量子化テーブル）に従って圧縮符号化処理を行う。圧縮符号化された画像データは、原画像と同じ位置、或いは予め設定された場所にＪＰＥＧファイルとして保存する。

圧縮符号化が完了すると、ステップＳ５に進み、作成された圧縮符号化データを復号し、その復号画像を領域１３０４に表示する。このときの表示処理そのものは原画像と同様にして表示する。そして、その際には、圧縮符号化したファイルのデータサイズも併せて表示する（圧縮率でも良いし、両方を表示しても良い）。

次いで、ステップＳ６に進み、先に説明した処理を行うことで水平、垂直方向の評価指標値を演算処理を行い、ステップＳ７にて演算した結果を視覚的に分かりやすいように画像化して領域１３０８、１３０９それぞれに表示する。このあと、ステップＳ８で処理を終えるとの指示があれば本処理を終えるが、圧縮符号化サイズ（或いは圧縮率）と歪みとの関係に不満がある場合には、ステップＳ２からの処理を繰り返すことになる。

上記処理中、ステップＳ７での処理について具体例を以下に説明する。実施形態では、ＪＰＥＧ符号化を例にしている。ここでＤＣＴ処理が８×８画素ブロックを単位に行っているとする。

個々のブロックのサイズが既知であるから、各ブロック間の境界位置も既知である。また、各ブロックには水平方向に隣接する２つのブロックが存在し、且つ、垂直方向にも２つのブロックが隣接することになる（画像の端のブロックは水平方向、垂直方向の少なくとも一方に隣接するブロックが存在しない）。

実施形態では、ブロック境界における歪み評価指標値を問題にしている。そこで、８×８画素ブロックの境界に位置する画素３０画素以外の、内部の６×６画素領域の水平方向の評価指標値の平均値（以下、ブロック内水平評価指標値という）と、内部の６×６画素領域の垂直方向の評価指標値の平均値（以下、ブロック内垂直評価指標値という）を求める。そして、水平方向の境界に位置する左右の１６個の評価値の平均値（以下、ブロック境界水平評価指標値という）、垂直方向の境界に位置する上下の１６個の評価値の平均値（以下、ブロック境界垂直評価指標値という）を求める。

そして、ブロック境界水平評価指標値からブロック内水平評価指標値を減算した結果を、該当するブロックの水平方向のブロック歪み評価量として決定する。同様に、ブロック境界垂直評価指標値からブロック内垂直評価指標値を減算した結果をそのブロックの垂直方向のブロック歪み評価量として決定する。

このようにして得られた水平及び垂直方向のブロック非積み評価量を輝度情報として、図１３における領域１３０８、１３０９それぞれに表示する。従って、ユーザは輝度が高いほど、そのブロック歪みが高いことを知ることができるので、他の符号化パラメータを選択する指標を得ることができるようになる。なお、ここでは輝度のグレイスケールで歪みを表現したが、色別で表現しても良い。

以上説明したように本実施形態によれば、画像を圧縮符号化した際に、その圧縮した結果を復号した復号画像が、原画像に対する客観的なブロック歪み量をユーザに知らしめることが可能となる。また、ユーザは、圧縮後のデータサイズや圧縮率と、ブロック歪みとの関係を着目しながらデータサイズと画質を決めることが可能になる。

なお、上記はパーソナルコンピュータ等の汎用情報処理装置にアプリケーションとして実装する例を示したが、例えばデジタルカメラ等に実装しても良い。デジタルカメラにおいては表示画面は限られたサイズであるので、図１３のような表示は難しいので、それぞれの画像表示領域を適宜切り換える等を行うことになるであろう。

＜第２の実施形態＞
次に第２の実施形態を説明する。本第２の実施形態においては、水平方向及び数直方向のブロック歪の定量評価指標ＢＮＤ＿ｈ（ｉ，ｊ）、ＢＮＤ＿ｖ（ｉ，ｊ）を以下のようにして求める。
BND_h(i,j) = Dh(i,j)/(Dh_av)
BND_v(i,j) = Dv(i,j)/(Dv_av)
Dh(i,j)= |X'_h(i,j) - Y’_h(i,j)|
Dv(i,j)= |X'_v(i,j) - Y’_v(i,j)|

このＢＮＤ＿ｈ（ｉ，ｊ）、ＢＮＤ＿ｖ（ｉ，ｊ）が大きい程ブロック歪が大きく生じていると言える。なお、Ｄｈ（ｉ，ｊ）、Ｄｖ（ｉ，ｊ）は、それぞれ水平、垂直方向の符号化処理による空間微分値誤差を表し、Ｄｈ＿ａｖはＤｈ（ｉ．ｊ）に関して、同じブロック内の垂直位置が同じである画素についての空間微分値誤差の平均を計算したものである。Ｄｖ＿ａｖはＤｖ（ｉ，ｊ）に関して同じブロック内の水平位置が同じである画素についての空間微分値誤差の平均を計算したものである。

第２の実施形態において空間微分値の計算は垂直方向、垂直方向を別々に、中心差分公式による数値微分を用いて行った。中心差分公式による数値微分を用いた場合、原画像の輝度値Ｘ（ｉ，ｊ）の水平方向の空間微分値Ｘ'＿（ｉ，ｊ）、垂直方向の空間微分値Ｘ'＿ｖ（ｉ，ｊ）は以下のように得ることができる。復号画像についても同様である。
X'_h(i,j) = (X(i-1,j) - X(i+1,j))/2
X'_v(i,j) = (X(i-1,j) - X(i,j+1))/2

図４は本第２の実施形態におけるブロック歪の定量評価指標（水平方向のみ、垂直方向も同様の構成となる）の算出の構成を示している。

図示されるように減算器４０１、減算器４０２、除算器４０３、除算器４０４、減算器４０５、絶対値化器４０６、除算器４０７を含む。図４において減算器４０１、除算器４０３は中心差分方式を用いた数値微分演算を行うためにＸ（ｉ−１，ｊ）とＸ（ｉ＋１，ｊ）の差分、および“２”による除算を行う。同様に減算器４０２、除算器４０４はＹ（ｉ−１，ｊ）とＹ（ｉ＋１，ｊ）の差分、及び“２”による除算を行う。減算器４０５は空間微分値の符号化処理による誤差を計算するために、除算器４０３と除算器４０４の出力の差分を計算している。絶対値化器４０６は誤差を正の値に統一するための絶対値化を行い、当該ブロックの水平方向の空間微分値誤差Ｄｈ（ｉ，ｊ）を出力する。除算器４０７はブロック内での平均空間微分値誤差と当該画素における空間微分値である絶対値化器４０６との比を計算し、結果であるＢＮＤ＿ｈ（ｉ，ｊ）を出力している。

本第２の実施形態において、ブロック境界におけるＢＮＤ＿ｈ（ｉ，ｊ）が大きくなった場合に、ブロック境界における空間微分値誤差がブロック内の平均値よりも突出していることを表しており、ブロック歪が発生していると考えられる。実際に自然画を用いて符号化を行ったところ、おおよそＢＮＤ＿ｈ（ｉ，ｊ）が“１．２”より大きくなった場合に視覚的にブロック歪が目立つようになる、ということが確認できた。前述したように量子化スケール値を大きくするに従ってブロック境界における空間微分値誤差が周辺画素における値に比べて突出してくるというのはどのような画像においてもほぼ見受けられる現象である。よってこのように、空間微分値誤差に関してブロック境界における値とブロック内における値とを相対的に比較することにより、対象となる画像に依存せず、より正確にブロック歪の発生を検出し、定量評価することが可能となる。なお、第２の実施形態においてはブロック内の空間微分値誤差を表す値として平均値を用いたが、より計算が簡単になるようにブロック内の中央値等を用いることもできる。

また、実際の評価結果の表示方法は、第１の実施形態における図１３、図１４に沿って行うものとし、その説明については省略する。かかる点は、以下に説明する各実施形態でも同様である。

＜第３の実施形態＞
第３の実施形態を説明する。本第３の実施形態においては、以下のように人間の視覚特性（空間微分値に関する）を考慮してブロック歪の評価指標の計算を行っている点を特徴とする。第３の実施形態における水平方向及び数直方向のブロック歪の定量評価指標ＢＮＤ＿ｈ（ｉ，ｊ）、ＢＮＤ＿ｖ（ｉ，ｊ）は以下のようにして求める。
BND_h(i,j) = Dh(i,j)/(α×X'_h(i,j) + β)
BND_v(i,j) = Dv(i,j)/(α×X'_v(i,j) + β)

このＢＮＤ＿ｈ（ｉ，ｊ）、ＢＮＤ＿ｖ（ｉ，ｊ）が大きい程ブロック歪が大きく生じていると言える。ここで、空間微分値誤差Ｄｈ（ｉ，ｊ）、Ｄｖ（ｉ，ｊ）については第２の実施形態と、空間微分演算については第１の実施形態と同様の計算を行っている。また原画像の空間微分値に係る係数α及び固定値βは人間の視覚特性に関する空間微分値のブロック歪の定量評価指標への影響を示している。αが大きくなり、βが小さくなる場合に空間微分値のブロック歪の定量評価指標への影響が大きくなる。

図５は本第３の実施形態におけるブロック歪の定量評価指標（水平方向のみ、垂直方向についても同様の構成となる）の算出するための構成を示している。

図示されるように減算器５０１、減算器５０２、減算器５０３、絶対値化器５０４、乗算器５０５、加算器５０６、除算器５０７を含む。図５において減算器５０１、減算器５０２は前進差分方式による数値微分法を用いて原画像Ｘと復号画像Ｙについて水平方向の空間微分演算を行う。減算器５０３は空間微分値の符号化処理による誤差を計算するために、減算器５０１と減算器５０２の出力の差分を計算している。絶対値化器５０４は誤差を正の値に統一するための絶対値化を行い、当該ブロックの水平方向の空間微分値誤差Ｄｈ（ｉ，ｊ）を出力する。乗算器５０５において視覚特性を考慮するために原画像の空間微分値Ｘ'_ｈ（ｉ，ｊ）と係数αとの乗算を行っている。加算器５０６においてはゼロによる割り算を防ぐために、乗算器５０５の出力と固定値βとの加算を行っている。除算器５０７は人間の視覚特性を考慮するために、絶対値化器５０４の出力と加算器５０６の出力との比を計算し、結果であるブロック歪の定量評価指標ＢＮＤ＿ｈ（ｉ，ｊ）を出力している。

本第３の実施形態においては、ブロック境界に大きな歪が生じ、かつブロック歪が目立ちやすい原画像の平坦部にブロック歪が生じている場合にＢＮＤ＿ｈ（９ｉ，ｊ）が大きくなるので、視覚的な劣化として目立つブロック歪をより正確に検出することが可能となる。

また図５に示されているように、視覚特性として考慮に入れる原画像の空間微分値は減算器５０１の出力を用いることができるのでハードウェアでこのようなブロック歪定量評価器を実現する場合に少ない回路構成で実現できることがわかる。

＜第４の実施形態＞
本第４の実施形態においては、以下のように、人間の視覚特性（原画像の輝度値に関する）を考慮してブロック歪の定量評価指標の計算を行う。

先ず、本第４の実施形態において、水平方向及び数直方向のブロック歪の定量評価指標ＢＮＤ＿ｈ（ｉ，ｊ）、ＢＮＤ＿ｖ（ｉ，ｊ）を以下のようにして求める。
BND_h(i,j) = W_lum(i,j)×Dh(i,j)
BND_v(i,j) = W_lum(i,j)×Dv(i,j)

このＢＮＤ＿ｈ（ｉ，ｊ）、ＢＮＤ＿ｖ（ｉ，ｊ）が大きい程ブロック歪が大きく生じていると言える。ここで、空間微分値誤差Ｄｈ（ｉ，ｊ）、Ｄｖ（ｉ，ｊ）については第２の実施形態と、空間微分演算については第１の実施形態と同様の計算を行っている。またＷ＿ｌｕｍ（ｉ，ｊ）は原画像の輝度値Ｘ（ｉ，ｊ）に対応したブロック歪の定量評価指標に係る係数である。原画像の輝度値と係数の関係を図６に示す。図６に示されている関係は輝度値がある範囲内にある場合にはブロック歪が視覚的に目立ち、範囲外にある場合には目立ちにくいという人間の視覚特性を考慮して決定された。

図７は本第４の実施形態におけるブロック歪の定量評価指標（水平方向のみ、垂直方向についても同様の構成となる）の算出に係る構成を示している。図示されるように減算器７０１、減算器７０２、減算器７０３、絶対値化器７０４、記憶装置７０５、乗算器７０６を含む。

図７において減算器７０１、減算器７０２は前進差分方式による数値微分法を用いて原画像と復号画像について水平方向の空間微分演算を行う（垂直方向も同様であるので省略）。減算器７０３は空間微分値の符号化処理による誤差を計算するために、減算器７０１と減算器７０２の出力の差分を計算している。絶対値化器７０４は誤差を正の値に統一するための絶対値化を行い、当該ブロックの水平方向の空間微分値誤差Ｄｈ（ｉ，ｊ）を出力する。記憶装置７０５は、原画像の輝度値Ｘ（ｉ，ｊ）が入力されると図６に示されている対応した係数の値Ｗ＿ｌｕｍ（ｉ，ｊ）を出力する。乗算器７０６は絶対値化器７０４から出力されるＤｈ（ｉ，ｊ）に記憶装置７０５から出力される係数Ｗ＿ｌｕｍ（ｉ，ｊ）を乗じ、結果であるＢＮＤ＿ｈ（ｉ，ｊ）を出力する。

本第４の実施形態においては、ブロック境界に大きな歪が生じており、かつ輝度値がブロック歪の目立つ範囲内に存在する場合にＢＮＤ＿ｈ（ｉ，ｊ）が大きくなるので、視覚的な劣化として目立つブロック歪をより正確に検出することが可能となる。

＜第５の実施形態＞
本第５の実施形態においては、人間の視覚特性（注目画素の画面内における位置に関する）を考慮してブロック歪の評価指標の計算を行うものである。本第５の実施形態において、水平方向及び数直方向のブロック歪の定量評価指標ＢＮＤ＿ｈ（ｉ，ｊ）、ＢＮＤ＿ｖ（ｉ，ｊ）は以下のように表す。
BND_h(i,j) = P_x(i,j)×Dh(i,j)
BND_v(i,j) = P_x(i,j)×Dv(i,j)

このＢＮＤ＿ｈ（ｉ，ｊ）、ＢＮＤ＿ｖ（ｉ，ｊ）が大きい程ブロック歪が大きく生じていると言える。ここで、空間微分値誤差Ｄｈ（ｉ，ｊ）、Ｄｖ（ｉ，ｊ）については第２の実施形態と、空間微分演算については第１の実施形態と同様の計算を行っている。またＰ＿ｘ（ｉ，ｊ）は当該画素の画素位置（ｉ，ｊ）に対応したブロック歪の定量評価指標に係る係数である。当該画素の画面内における位置と係数の関係を図８に示す。図８の升目中の数字がマクロブロックの位置に対応したブロック歪の定量評価指標に係る係数Ｐ＿ｘ（ｉ，ｊ）を示しており、マクロブロック内においては全て同じ係数を用いる。図８は当該画素が画面内の中心に近い程ブロック歪が視覚的に目立ち、画面内の端に近い程目立ちにくいという人間の視覚特性を考慮して決定された。なお、図８はマス目の数が９×９であるが、勿論、これは原画像のサイズに応じたものとなる。要するに、画像の中心位置ほど、Ｐ＿ｘの値を大きくするものであることは望ましいことを示している。

図９は本第５の実施形態におけるブロック歪の定量評価指標（水平方向のみ、垂直方向についても同様の構成となる）の算出する構成を示している。図示されるように減算器９０１、減算器９０２、減算器９０３、絶対値化器９０４、記憶装置９０５、乗算器９０６を含む。

図９において減算器９０１、減算器９０２は前進差分方式による数値微分法を用いて原画像と復号画像について水平方向の空間微分演算を行う。減算器９０３は空間微分値の符号化処理による誤差を計算するために、減算器９０１と減算器９０２の出力の差分を計算している。絶対値化器９０４は誤差を正の値に統一するための絶対値化を行い、当該ブロックの水平方向の空間微分値誤差Ｄｈ（ｉ，ｊ）を出力する。記憶装置９０５は、当該画素の画面内における位置（ｉ，ｊ）をアドレスとして入力されると図８に示される対応した係数の値Ｐ＿ｘ（ｉ，ｊ）を出力する。乗算器９０６は絶対値化器９０４から出力されるＤｈ（ｉ，ｊ）に記憶装置９０５から出力される係数Ｐ＿ｘ（ｉ，ｊ）を乗じ、結果であるＢＮＤ＿ｈ（ｉ，ｊ）を出力する。

本第５の実施形態においては、ブロック境界において大きな歪が生じており、画面の中心付近に存在する場合にブロック歪を示すBND_h(i,j)が大きくなるので、視覚的な劣化として目立つブロック歪を、より正確に検出することが可能となる。

＜第６の実施形態＞
本第６の実施形態は、動画像符号化装置において前記ブロック歪定量評価器を実装したものである。

図１０は本第６の実施形態における動画像符号化装置のブロック構成図である。図示に示すように、本装置は、減算器１００１、ＤＣＴ演算器１００２、量子化器１００３、スキャン処理器１００４、エントロピー符号化器１００５、逆量子化器１００６、逆ＤＣＴ演算器１００７、加算器１００８、記憶装置１００９、動き検出器及び動き補償器１０１０、記憶装置１０１１、ブロック歪定量評価器１０１２を含む。

図１０において、減算器１００１はフレーム内の情報のみで符号化を行うフレーム内符号化においては減算処理が実行されずにＤＣＴ演算器１００２へ、入力の原画像データを出力する。一方、時間的に異なるフレームからの予測を行うフレーム間予測符号化においては、入力の原画像データから動き検出器及び補償器より出力される動き検出画像データを減算して、減算結果の予測誤差をＤＣＴ演算器１００２へ出力する。

ＤＣＴ演算器１００２は、ブロック分割された入力データに対し、該ブロック単位にＤＣＴ変換を施し、ＤＣＴ係数を量子化器１００３へ出力する。量子化器１００３は、ブロック内の位置に対応する量子化テーブル値と当該ブロックの量子化スケール値を用いてＤＣＴ係数を量子化し、全ての量子化ＤＣＴ係数をスキャン処理器１００４へ出力し、同時に逆量子化器１００６に出力する。スキャン処理器１００４は符号化モードに応じてジグザグスキャン、垂直スキャン及び水平スキャン等のスキャン処理を行う。エントロピー符号化器１００５はスキャン処理器１００４の出力をエントロピー符号化し、符号として出力する。

ここで第６の実施形態の動画像符号化装置においては動き検出及び動き補償を行うために、逆量子化器１００６、逆ＤＣＴ演算器１００７を用いて局所復号化処理が行われる。

逆量子化器１００６においては当該ブロックの量子化スケール値を用いて当該ブロックの量子化ＤＣＴ係数の逆量子化が行われ、逆量子化係数を逆ＤＣＴ演算器１００７へ出力する。逆ＤＣＴ演算器１００７は逆量子化されたＤＣＴ係数に対し、該ブロック単位に逆ＤＣＴ変換を施し、復号した予測誤差を加算器１００８へ出力する。加算器１００８は動き検出器及び動き補償器１０１０から出力された予測値と逆ＤＣＴ演算器からの復号された予測誤差を加算することにより復号化された参照画像（復号フレーム）として記憶装置１００９に記憶する。

ここで、動画像符号化装置に実装されたブロック歪定量評価器１０１２は記憶装置１０１１に記憶された原画像の輝度成分と、加算器１００８から得られる復号画像の輝度成分を入力とする。そしてブロック歪定量評価手段を用いてブロック歪を定量評価し、結果であるブロック歪の定量評価指標を出力する。ここでブロック歪定量評価器は前記各実施形態のいずれの方式でも用いることが可能である。図１０に示す通り、ブロック歪定量評価器の入力となる復号画像は一般的な動画像符号化方式における局所復号化装置により算出されるものなので、復号画像の計算のために特別な回路の増加を必要としない。よって動画像符号化装置において最小限の回路規模の増加でブロック歪定量評価器を実装することができ、以下に示すような高画質化処理を行うことが可能となる。

なお、評価量を確認する場合には、各フレーム毎の評価量を入力する動画像と同様に、歪みの大きい位置を高い輝度（或いは色を変える等）とする動画像として表示することになる。

一般的に動画は時間的な相関が強く、同じ符号化を行った場合には現在のピクチャにおけるブロック歪と次のピクチャにおいて生じるブロック歪の間にも強い相関がある。よって現在のピクチャの情報から次のピクチャに対するブロック歪の低減処理（ブロック歪を低減させる部分及び低減処理の強弱）を決定する。

図１０においてはブロック歪定量評価器１０１２から出力される定量評価指標を量子化器１００３にフィードバックし、ある一部のマクロブロックにのみブロック歪が生じている場合には次のピクチャにおいて同じ位置に相当するマクロブロックの量子化スケール値を小さくし、ブロック歪の生じていないマクロブロックの量子化スケール値を上げるというような処理を行うことで指定されたビットレートを保ちながら画面全体として生じるブロック歪を低減させることが可能となる。なお、予め複数の閾値を設け、マクロブロックのブロック歪みの指標値がどの閾値間にあるかに基づいて歪みレベルを求め、それに応じた量子化スケール値を選択するようにすれば実現できる。

動画像符号化装置においてこのような処理を行うことにより、低ビットレートで符号化し、ＭＰＥＧ等の動画像符号化国際標準に準拠した一般的な復号化装置によって復号した場合においても画質劣化を最小限に抑えることが可能となる。

＜第７の実施形態＞
第７の実施形態においては、デジタルビデオカメラ等の動画撮影装置に適用した例を説明する。

図１１は本第７の実施形態における動画像撮影装置内の画像処理装置、及び動画像符号化装置をブロック図である。図示されるように本装置には、画像処理部１１０１、画像処理部内のフィルタ処理装置１１０２、動画像符号化装置１１０３、記憶装置１１０４、ブロック歪定量評価器１１０５を含む。

本第７の実施形態の動画撮影装置においては撮影光学系からの電気信号に対して画像処理部１１０１内部のフィルタ処理装置１１０２においてフィルタ処理を行ってから原画像を動画像符号化装置１１０３に出力する。ここでフィルタ処理の周波数特性を変化させることにより動画像符号化装置１１０３に入力される原画像の周波数特性を変化させることが可能である。

図１１において動画像処理装置１１０３は第６の実施形態に示した動画像処理装置と同様の構成になっており、符号を出力すると同時に局所復号化装置から復号画像を出力する。

ブロック歪定量評価器１１０５は記憶装置１１０４に記憶した原画像の輝度成分、及び動画像符号化装置１１０３からの復号された復号画像を入力とする。そして第１乃至第５の実施形態のいずれかのブロック歪定量評価手段を用いて定量評価を行い、結果であるブロック歪の定量評価指標を画像処理部内のフィルタ処理装置１１０２へ出力する。フィルタ処理装置１１０２においては入力されたブロック歪定量評価指標（ブロック歪の発生している箇所、度合いの情報）を用いてフィルタ処理装置のフィルタの周波数特性を変化させる。このフィルタ処理はブロック処理の単位等に依存せず、ブロック境界を含んだ広い範囲等任意の範囲でフィルタ処理を変化させることが可能であり、ブロック境界に生じるブロック歪を低減させることが可能である。ブロック歪が大きく生じている部分には、次のピクチャの同じ部分に対してよりカットオフ周波数の低いローパスフィルタとなるようにフィルタ特性を変化させる。カットオフ周波数を下げることにより、動画像符号化装置に入力される原画像においてブロック歪が発生する周波数成分を含む高周波成分が予め低減され、かつエントロピー符号化部において符号化効率が向上する。結果として、復号画像におけるブロック歪を低減させることが可能となる。

このように動画像符号化装置においてブロック歪定量評価器１１０５を実装することにより正確にブロック歪を定量評価し、必要な場合にのみブロック歪低減処理を実行することができる。よって、低ビットレートで符号化し、ＭＰＥＧ等の動画像符号化国際標準に準拠した一般的な復号化装置によって復号した場合においても画質劣化を最小限に抑えることが可能となる。

＜他の実施形態＞
上記第１乃至第７の実施形態は、その基本構成として図１に示すように、空間微分器１０１で原画像の空間微分値を演算し、空間微分器１０２で復号画像の微分値を演算し、比較器１０３で、その２つの演算結果を受けて評価情報演算部１０３によって評価量を決定するものであった。

本発明はかかる点に限定されるものではない。すなわち、図１５に示すように、先ず、原画像Ｘと復号画像Ｙとの差分を減算器１５０１により演算し、空間微分器１５０２にてその差分値の微分値を演算し、比較器１５０３にて評価量を決定するようにしても良い。

図１６は、その具体的な構成例を示している。同図は水平方向の定量評価指標値ＢＮＤ＿ｈ（ｉ，ｊ）を得るための構成を示し、ちょうど先に説明した第１の実施形態に対応するものであり、第１の実施形態の変形例とするものである。

すなわち、減算器１６０１では原画像及び復号画像の注目画素位置（ｉ，ｊ）の差分値を演算し、その結果を出力する。また、減算器１６０２は、減算器１６０１からの値と、注目画素に隣接する画素位置（ｉ＋１，ｊ）における原画像及び復号画像の差分値を減算することで、２つの画像の差分値の空間微分値（水平方向の微分値）を演算する。

ここで、減算器１６０１の減算結果をＥ、減算器１６０２の減算結果をＥ’として表現すると、減算器１６０１は、
E(i,j) = X(i,j) - Y(i,j)
を演算していることになる。

そして、減算器１６０２は、
E'(i,j) = E(i,j) - E(i+1,j)
= X(i,j) - Y(i,j) - {X(i+1,j) - Y(i+1,j)}
= {X(i,j) - X(i+1,j)} - {Y(i,j) - Y(i+1,j)}
= X'_h(i,j) - Y'_h(i,j)
となる。

この結果を絶対値化器１６０３にて絶対値とするわけであるから、絶対値化器１６０３の出力をＳＤＥ(Spatial Derivation of coding Error)としたとき、ＳＤＥ（ｉ，ｊ）は、先の第１の実施形態におけるＢＮＤ＿ｈ（ｉ，ｊ）と等価のものとなるのは明らかである。

ＳＤＥ（ｉ，ｊ）は次に除算器１６０４に入力され、注目画素位置（ｉ，ｊ）が存在するブロックの平均ＳＤＥ値（＝ＳＤＥave）で除算し、その結果を本実施形態におけるＢＮＤ＿ｈ（ｉ，ｊ）として出力する。なお、ＳＤＥaveを算出する際には、ブロックの境界の画素が除外し、それよりも内側に位置するＳＤＥを利用してもよい。

ブロック歪みは図３に示すようにブロックの境界付近で発生しやすいわけであるから、実施形態におけるＢＮＤ＿ｈ（ｉ，ｊ）はブロック境界付近では１よりも大きくなり易く、ブロック内では１近傍の値となることになるので、このＢＮＤ＿ｈ（ｉ，ｊ）を歪みの評価量とすることが可能となる。垂直方向の評価量も同様にできるのは明らかである。

なお、この評価量のユーザへの報知方法は第１の実施形態と同様であるものとし、その詳細は省略する。

以下は、上記第２乃至第５の実施形態における変形例である。

図１７は、第２の実施形態（図４）に対応するものである。図４では減算器４０１には原画像Ｘ中の画素データＸ（ｉ−１，ｊ）とＸ（ｉ＋１，ｊ）が入力され、減算器４０２には復号画像Ｙ中の画素データＹ（ｉ−１，ｊ）、Ｙ（ｉ＋１，ｊ）が入力されたのに対し、図１７では減算器１７０１にはＸ（ｉ−１，ｊ）とＹ（ｉ−１，ｊ）が入力され、減算器１７０２にはＸ（ｉ＋１，ｊ）とＹ（ｉ＋１，ｊ）が入力される点であり、他は同じであるので説明は省略する。

図１８は第３の実施形態の図５に対応するものである。ただし、減算器１８０５により原画像ＸのＸ（ｉ，ｊ）からＸ（ｉ＋１，ｊ）を減じる構成と、ＳＤＥaveの概念を取り入れた点についての特徴を付加している点のみ異なる。それ以外のアルゴリズムについては、上記説明から明らかであるのでその詳述については省略する。

図１９は第４の実施形態の図７に対応するものである。図１９と図７との差は、入力するデータが異なる点と、図１９ではＳＤＥaveの概念を取り入れた点についての特徴を付加している点のみである。それ以外のアルゴリズムについては上記説明から明らかであるのでその詳述については省略する。

図２０は第５の実施形態における図９に対応するものである。図２０と図９との差は、入力するデータが異なる点と、図２０ではＳＤＥaveの概念を取り入れた点についての特徴を付加している点のみである。それ以外のアルゴリズムについては上記説明から明らかであるのでその詳述については省略する。

なお、図１５に示す構成概念は、第６、第７の実施形態にも適用できるのはこれまでの説明からも明らかである。

また、以上各実施形態を説明したが、先に説明したように、汎用の情報処理装置で実行されるアプリケーションプログラムによって各実施形態の機能を実現できるのは明らかである。従って、本発明はかかるコンピュータプログラムをもその範疇とするのは明らかである。更に、通常、コンピュータ上で実行されプログラムは、ＣＤＲＯＭ等のコンピュータ可読記憶媒体をそのコンピュータにセットし、システムにコピーもしくはインストールするものであるから、このようなコンピュータ可読記憶媒体も本発明の範疇に入るのは明らかである。

実施形態におけるブロック歪定量評価装置の機能ブロック構成図である。 第１の実施形態における歪み評価装置のブロック構成図である。 第１の実施形態における画面内の位置とブロック歪定量評価指標の関係を示す図である。 第２の実施形態における歪み評価装置のブロック構成図である。 第３の実施形態における歪み評価装置のブロック構成図である。 第４の実施形態における原画像の輝度値とブロック歪定量評価指標の係数の関係を示す図である。 第４の実施形態における歪み評価装置のブロック構成図である。 第５の実施形態における注目画素の画面内の位置とブロック歪定量評価指標の係数の関係を示す図である。 第５の実施形態における歪み評価装置のブロック構成図である。 第６の実施形態における動画像符号化装置のブロック構成図である。 本第７の実施形態における動画像撮影装置内の画像処理装置及び動画像符号化装置のブロック構成図である。 注目画素と周辺画素の位置関係を示す図である。 第１の実施形態における評価結果を表示するためのアプリケーションウインドウを示す図である。 図１３のアプリケーションの処理手順を示すフローチャートである。 実施形態におけるブロック歪定量評価装置の変形例の機能ブロック構成図である。 第１の実施形態の変形例の歪み評価装置のブロック構成図である。 第２の実施形態の変形例の歪み評価装置のブロック構成図である。 第３の実施形態の変形例の歪み評価装置のブロック構成図である。 第４の実施形態の変形例の歪み評価装置のブロック構成図である。 第５の実施形態の変形例の歪み評価装置のブロック構成図である。

Claims (17)

1. 設定された符号化パラメータによる量子化スケールに基づいて原画像データを圧縮符号化し、得られた符号化データで表わされる復号画像の画質を評価するための情報を生成する画像処理装置であって、
   前記原画像データを、複数画素で構成されるブロック単位に、設定された符号化パラメータに従って圧縮符号化する符号化手段と、
   該符号化手段で得られた符号化データを復号することで復号画像データを生成する復号手段と、
   前記原画像データに対して、隣接する画素の差分値を演算することにより、第１の空間微分値を算出する第１の空間微分演算手段と、
   前記復号画像データに対して、隣接する画素の差分値を演算することにより、第２の空間微分値を算出する第２の空間微分演算手段と、
   前記第１の空間微分値と、該第１の空間微分値と空間上対応する前記第２の空間微分値との誤差値を演算することにより、前記符号化手段で符号化された画像のブロック歪みの指標となる評価情報を演算する評価情報演算手段と
   を備えることを特徴とする画像処理装置。
2. 前記第１、第２の空間微分演算手段それぞれは、水平方向に隣接する画素の差分値、及び、垂直方向に隣接する画素の差分値の少なくとも一方を演算することを特徴とする請求項１に記載の画像処理装置。
3. 前記評価情報演算手段は、前記原画像データ及び前記復号画像データの、水平方向のそれぞれの差分値及び垂直方向それぞれの差分値の少なくとも一方の誤差値を演算することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記評価情報演算手段は、更に、前記誤差値を、ブロック内の平均誤差値により除算することを特徴とする請求項３に記載の画像処理装置。
5. 前記評価情報演算手段は更に、該誤差値と空間上対応する前記第１の空間微分値に基づいて前記評価情報を補正する補正手段を備えることを特徴とする請求項１に記載の画像処理装置。
6. 前記補正手段は、前記誤差値を、該誤差値と空間上対応する前記第１の空間微分値で除算することにより前記評価情報を補正することを特徴とする請求項５に記載の画像処理装置。
7. 前記第１、第２の空間微分演算手段は、画像データの輝度成分の差分値を演算し、更に、前記原画像データ中の注目画素の輝度値に応じて前記評価情報演算手段の演算結果を補正する補正手段を備えることを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
8. 前記補正手段は、前記輝度成分の取り得る範囲を低、中、高輝度の３つの領域に分けた場合、
   前記中輝度領域では、前記低及び高輝度領域よりも大きな値の補正係数を用いて補正し、
   前記低輝度領域では輝度が低くなるほど、前記高輝度領域では輝度が高くなるほど小さくなる補正係数を用いて補正することを特徴とする請求項７に記載の画像処理装置。
9. 前記第１、第２の空間微分演算手段は、画像の輝度成分の差分値を演算し、
   更に、原画像データ中の注目画素の位置に応じて前記評価情報演算手段の演算結果を補正する補正手段を備えることを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
10. 前記補正手段は、原画像の領域を中央部と周辺部に分けた場合、
    前記中央部では、前記周辺部よりも大きな値の補正係数を用いて補正し、
    前記周辺部では、画像の境界に近いほど小さな値の補正係数を用いて補正することを特徴とする請求項９に記載の画像処理装置。
11. 更に、原画像データ、復号画像データ、それぞれのデータサイズと符号化データの圧縮率の少なくとも一方、前記評価情報演算手段による演算結果を可視画像として表示する表示手段を備えることを特徴とする請求項１乃至１０のいずれか１つに記載の画像処理装置。
12. 更に、前記原画像データは動画像となる各フレームであって、前記評価情報演算手段の演算結果に基づいて各ブロックの評価情報を演算し、次フレームの該当する各ブロックの量子化スケール値を調整する手段を備えることを特徴とする請求項１に記載の画像処理装置。
13. 前記符号化パラメータは、量子化スケール値であることを特徴とする請求項１乃至１２のいずれか１つに記載の画像処理装置。
14. 更に、前記原画像データは動画像となる各フレームであって、前記評価情報演算手段の演算結果に基づいて各ブロックの評価情報を演算し、次フレーム中の該当する各ブロックのローパスフィルタを周波数特性を決定する手段を備えることを特徴とする請求項１に記載の画像処理装置。
15. 設定された符号化パラメータによる量子化スケールに基づいて原画像データを圧縮符号化し、得られた符号化データで表わされる復号画像の画質を評価するための情報を生成する画像処理装置の制御方法であって、
    符号化手段が、前記原画像データを、複数画素で構成されるブロック単位に、設定された符号化パラメータに従って圧縮符号化する符号化工程と、
    復号手段が、該符号化工程で得られた符号化データを復号することで復号画像データを生成する復号工程と、
    第１の空間微分演算手段が、前記原画像データに対して、隣接する画素の差分値を演算することにより、第１の空間微分値を算出する第１の空間微分演算工程と、
    第２の空間微分演算手段が、前記復号画像データに対して、隣接する画素の差分値を演算することにより、第２の空間微分値を算出する第２の空間微分演算工程と、
    評価情報演算手段が、前記第１の空間微分値と、該第１の空間微分値と空間上対応する前記第２の空間微分値との誤差値を演算することにより、前記符号化工程で符号化された画像のブロック歪みの指標となる評価情報を演算する評価情報演算工程と
    を備えることを特徴とする画像処理装置の制御方法。
16. コンピュータに読込ませ実行させることで、設定された符号化パラメータによる量子化スケールに基づいて原画像データを圧縮符号化し、得られた符号化データで表わされる復号画像の画質を評価するための情報を生成するための画像処理装置として機能させるコンピュータプログラムであって、
    前記原画像データを、複数画素で構成されるブロック単位に、設定された符号化パラメータに従って圧縮符号化する符号化手段と、
    該符号化手段で得られた符号化データを復号することで復号画像データを生成する復号手段と、
    前記原画像データに対して、隣接する画素の差分値を演算することにより、第１の空間微分値を算出する第１の空間微分演算手段と、
    前記復号画像データに対して、隣接する画素の差分値を演算することにより、第２の空間微分値を算出する第２の空間微分演算手段と、
    前記第１の空間微分値と、該第１の空間微分値と空間上対応する前記第２の空間微分値との誤差値を演算することにより、前記符号化手段で符号化された画像のブロック歪みの指標となる評価情報を演算する評価情報演算手段と
    して機能させることを特徴とするコンピュータプログラム。
17. 請求項１６に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images