JP2008287329A - Image evaluation device and image evaluation program - Google Patents
Image evaluation device and image evaluation program Download PDFInfo
- Publication number
- JP2008287329A JP2008287329A JP2007129188A JP2007129188A JP2008287329A JP 2008287329 A JP2008287329 A JP 2008287329A JP 2007129188 A JP2007129188 A JP 2007129188A JP 2007129188 A JP2007129188 A JP 2007129188A JP 2008287329 A JP2008287329 A JP 2008287329A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image quality
- evaluation
- processed
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像の画質を評価するための画像評価装置、および画像評価プログラムに関する。 The present invention relates to an image evaluation apparatus and an image evaluation program for evaluating the image quality of an image.
次のようなデータ解析装置が知られている。このデータ解析装置は、画質の評価対象となる画像と、画質を評価するためのパラメータと、評価結果を示す図表またはグラフと、種々の制御ボタンとを同時に表示する(例えば、特許文献1)。 The following data analysis apparatuses are known. This data analysis apparatus simultaneously displays an image to be evaluated for image quality, a parameter for evaluating image quality, a chart or graph indicating the evaluation result, and various control buttons (for example, Patent Document 1).
しかしながら、従来のデータ解析装置を用いて、原画像を画像処理して得た処理後画像の画質を評価しようとした場合には、処理後画像の画質が原画像からどの程度劣化しているかを評価することはできなかった。 However, when trying to evaluate the image quality of the processed image obtained by image processing of the original image using a conventional data analysis apparatus, how much the image quality of the processed image is degraded from the original image. It was not possible to evaluate.
本発明は、原画像を画像処理して得た処理後画像の画質を評価するために、原画像と処理後画像とを、画質の劣化現象を表す複数の特徴量を用いて比較して、画像処理に起因する処理後画像における画質の劣化を、画質の劣化現象を表す特徴量ごとに評価し、原画像、処理後画像、および評価結果を表示することを特徴とする。
本発明では、原画像と、画質の劣化現象が異なる複数の処理後画像のそれぞれとを、画質の劣化現象を表す特徴量を用いて比較して評価を行い、原画像、複数の処理後画像、および各処理後画像ごとの評価結果を表示するようにしてもよい。
また、処理後画像に代えて、画質の劣化現象を表す特徴量を可視化した画像を表示するようにしてもよく、評価結果を、数値、または数値を模式化した図形により表示するようにしてもよい。
画質の劣化現象を表す特徴量は、ぼやけの度合いを表す特徴量、ブロック歪みの大きさを表す特徴量、ランダムノイズの大きさを表す特徴量、および各コマ間の明るさの変化度合いを表す特徴量の少なくともいずれかであることが好ましい。
In order to evaluate the image quality of the processed image obtained by performing image processing on the original image, the present invention compares the original image and the processed image using a plurality of feature amounts representing a deterioration phenomenon of the image quality, It is characterized in that degradation of image quality in a processed image resulting from image processing is evaluated for each feature amount representing a phenomenon of degradation in image quality, and an original image, a processed image, and an evaluation result are displayed.
In the present invention, the original image and each of a plurality of processed images having different image quality degradation phenomena are compared and evaluated using feature amounts representing the image quality degradation phenomenon, and the original image and the plurality of processed images are evaluated. The evaluation result for each processed image may be displayed.
In addition, instead of the processed image, an image in which a feature amount representing a deterioration phenomenon of image quality is visualized may be displayed, and the evaluation result may be displayed as a numerical value or a figure in which the numerical value is modeled. Good.
The feature quantity representing the image quality deterioration phenomenon represents the feature quantity representing the degree of blurring, the feature quantity representing the magnitude of block distortion, the feature quantity representing the magnitude of random noise, and the degree of change in brightness between frames. It is preferably at least one of the feature amounts.
本発明によれば、処理後画像の画質が原画像からどの程度劣化しているかを評価することができる。 According to the present invention, it is possible to evaluate how much the image quality of the processed image is degraded from the original image.
図1は、本実施の形態における画像評価装置の一実施の形態の構成を示すブロック図である。画像評価装置100は、例えばパソコン(パーソナルコンピュータ)であって、操作部材101と、接続IF(インターフェース)102と、制御装置103と、HDD(ハードディスクドライブ)104と、モニタ105とを備えている。
FIG. 1 is a block diagram showing a configuration of an embodiment of an image evaluation apparatus according to the present embodiment. The
操作部材101は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続IF102は、デジタルカメラなどの外部装置を接続するためのインターフェースであって、例えばデジタルカメラと有線接続を行うためのUSBインターフェースや、無線接続を行うための無線LANモジュールなどが使用される。本実施の形態では、例えば、この接続IF102を介してデジタルカメラから画像データ(静止画データまたは動画データ)が取り込まれる。
The
HDD104は、接続IF102を介して取り込まれた画像データや、制御装置103で実行される種々のプログラム等を記録するための記録装置である。本実施の形態では、HDD104には画像データとして、複数フレームの画像で構成される動画データが記録されているものとする。例えば、動画撮影機能付きのデジタルカメラやデジタルビデオカメラで撮影され、所定のファイル形式、例えばMPEG形式に圧縮された動画データ(処理後動画データ)、および圧縮を行う前の元動画データ(処理前動画データ)が、それぞれ記録されているものとする。
The HDD 104 is a recording device for recording image data captured via the connection IF 102 and various programs executed by the
モニタ105は、例えば液晶モニタであって、制御装置103から出力される表示用データを表示する。
The
制御装置103は、CPU、メモリ、およびその他の周辺回路によって構成され、画質評価部103aと、評価結果出力部103bとを機能的に備えている。画質評価部103aは、HDD104に記録されている処理後画像データが、処理前画像データと比較してどの程度画質が劣化しているかを評価する。すなわち、動画データは、データサイズを小さくするために圧縮を行うことによって、一般的に画質が劣化する。画質劣化の要因としては、例えば、ぼやけ、ブロック歪み、ランダムノイズ、およびフリッカなどが考えられる。
The
なお、画質評価部103aは、ぼやけ、ブロック歪み、ランダムノイズの各要因については、処理前動画データと処理後動画データの対応するフレーム間でどの程度の差があるかを数値化して判定することによって、処理後動画データにおける画質の劣化を評価する。また、フリッカについては、処理前動画データのちらつき、すなわち各コマ間の明るさの変化と、処理後動画データのちらつきとに、どの程度の差があるかを数値化して判定することによって、処理後動画データの画質の劣化を評価する。以下、画質劣化の各要因ごとに、画質評価部103aによる画質評価処理の具体例について説明する。
Note that the image
(A)ぼやけによる画質の劣化の評価
画質評価部103aは、ぼやけの度合いを表す特徴量である空間情報特徴エラー率ER_SIを次式(1)により算出することによって、処理後動画データがぼやけによってどの程度劣化しているかを評価する。
ここで、画像における空間情報特徴SIの算出方法について説明する。空間情報特徴SIは、次のようにして算出することができる。まず、画像に対して図2(a)に示す水平方向Sobelフィルタをかけて、水平方向の成分を検出した画像V(i,j)を得る。また、画像に対して図2(b)に示す垂直方向Sobelフィルタをかけて、垂直方向の成分を検出した画像H(i,j)を得る。そして、次式(2)により、この画像V(i,j)とH(i,j)とに基づいて、水平方向および垂直方向の微分画像を合成したエッジ画像R(i,j)を算出する。
そして、このエッジ画像R(i,j)を用いて、次式(3)により空間情報特徴SIを算出することができる。ここでは、画像サイズがM×N(pixel)であるものとして次式(3)を定義する。
処理後動画データにぼやけによる画質の劣化が発生している場合には、処理前動画データに比べてエッジ度が低下することになるため、式(1)で算出した空間情報特徴エラー率ER_SIは負の値をとる。よって、画質評価部103aは、空間情報特徴エラー率ER_SIが負の値であるときに、ぼやけによる画質の劣化があると判定する。そして、空間情報特徴エラー率ER_SIの絶対値をとって、これをぼやけによる画質の劣化度合いを表す値とする。
When the processed moving image data is deteriorated in image quality due to blurring, the edge degree is lower than that of the unprocessed moving image data. Therefore, the spatial information feature error rate ER_SI calculated by Expression (1) is Takes a negative value. Therefore, the image
(B)ブロック歪みによる画質の劣化の評価
画質評価部103aは、ブロック歪みを表すパラメータである水平垂直・非水平垂直特徴エラー率ER_HVを次式(4)により算出することによって、処理後動画データが、ブロック歪みによってどの程度劣化しているかを評価する。
ここで、画像における水平垂直・非水平垂直特徴aの算出方法について説明する。まず、上述した画像V(i,j)とH(i,j)とに基づいて、次式(5)によりエッジ角特徴θ(i,j)を算出する。
そして、式(2)で算出したエッジ画像R(i,j)と、式(5)で算出したエッジ角特徴θ(i,j)とを用いて、水平垂直領域HV(i,j)と、非水平垂直領域HV*(i,j)を次式(6)および(7)により定義する。
水平垂直・非水平垂直特徴aは、算出した水平垂直領域HV(i,j)と非水平垂直領域HV*(i,j)との比で表され、次式(8)により算出される。なお、次式(8)も画像サイズがM×N(pixel)であるものとして定義する。
水平垂直方向の成分を含まない画像においては、水平垂直・非水平垂直特徴aは、0に近い値が算出される。処理後動画データにブロック歪みによる画質の劣化が発生している場合には、処理前動画データに比べて垂直水平成分が多くなるため、式(4)で算出した水平垂直・非水平垂直特徴エラー率ER_HVは正の値をとる。よって、画質評価部103aは、水平垂直・非水平垂直特徴エラー率ER_HVが正の値であるときに、ブロック歪みによる画質の劣化があると判定する。そして、水平垂直・非水平垂直特徴エラー率ER_HVの値をブロック歪みによる画質の劣化度合いを表す値とする。
In an image that does not include a component in the horizontal and vertical directions, a value close to 0 is calculated for the horizontal / vertical / non-horizontal vertical feature a. If the image quality deteriorates due to block distortion in the processed moving image data, the vertical and horizontal components increase compared to the unprocessed moving image data. Therefore, the horizontal vertical / non-horizontal vertical feature error calculated by Equation (4) The rate ER_HV takes a positive value. Therefore, the image
(C)ランダムノイズによる画質の劣化の評価
画質評価部103aは、処理前動画データにおけるランダムノイズの量に対する処理後動画データにおけるランダムノイズの量Dを、処理前動画データのエッジ特徴量RO(i,j)、および処理後動画データのエッジ特徴量RP(i,j)に基づいて次式(9)および(10)により算出することによって、処理後動画データが、ランダムノイズによってどの程度劣化しているかを評価する。なお、次式(10)は、画像サイズがM×N(pixel)であるものとして定義する。
画質評価部103aは、ランダムノイズの量Dが正の値をとるときに、ランダムノイズによる画質の劣化があると判定する。そして、ランダムノイズの量Dの値をランダムノイズによる画質の劣化度合いを表す値とする。
The image
(D)フリッカによる画質の劣化の評価
画質評価部103aは、フレーム単位にフリッカによる画質の劣化を評価するために、次式(11)および(12)によって、フレームごとのフリッカ用のエラー率ER_Fを算出する。
なお、式(11)で算出されるDist(t)は、任意の時間tにおける1フレーム画像(tフレーム目)と任意の時間t+1における1フレーム画像(t+1フレーム目)との間の画像の明るさの変化量(距離)を表している。また、式(12)におけるDisto(t)は処理前動画データを構成する任意の時間tおよびt+1における各フレーム画像に基づいて算出したDist(t)を表しており、DistP(t)は処理後動画データを構成する任意の時間tおよびt+1における各フレーム画像に基づいて算出したDist(t)を表している。
Note that Dist (t) calculated by Expression (11) is the brightness of the image between the one frame image (t frame) at an arbitrary time t and the one frame image (t + 1 frame) at an arbitrary
画質評価部103aは、フレーム毎のフリッカ用のエラー率ER_Fが正の値をとるときに、フリッカによる画質の劣化があると判定する。そして、フレーム毎のフリッカ用のエラー率ER_Fの値をフリッカによる画質の劣化度合いを表す値とする。
When the flicker error rate ER_F for each frame takes a positive value, the image
以上説明した処理によって、画質評価部103aは、画質の劣化現象を表す特徴量を用いて処理前動画データと処理後動画データとを比較することによって、画像処理に起因する処理後動画データにおける画質の劣化を、画質の劣化現象を表す特徴量ごとに評価することができる。なお、ここで、画質の劣化現象を表す特徴量は、上述した画像のぼやけの度合いを表す特徴量である空間情報特徴エラー率ER_SI、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ER_HV、ランダムノイズの大きさを表す特徴量であるランダムノイズの量D、および各コマ間の明るさの変化度合いを表す特徴量であるフレーム毎のフリッカ用のエラー率ER_Fをいう。
Through the processing described above, the image
評価結果出力部103bは、画質評価部103aによる画質の評価結果をモニタ105に出力して表示する。本実施の形態では、評価結果出力部103bは、使用者が、画質の劣化状況を上述した各要因ごとに把握できるように、それぞれの画質の劣化現象を表す特徴量を数値、または数値を模式化した図形により表示する。例えば、図4に示すように、処理前動画データ4a、処理後画像データ4b、画質の劣化現象を表す特徴量の数値データ4c、および画質の劣化現象を表す特徴量を模式的に表したインジケータ4cを一画面内に表示する。なお、評価結果出力部103bは、処理前動画データ4aおよび処理後画像データ4bとともに、数値データ4cとインジケータ4cのいずれか一方のみを表示するようにしてもよい。
The evaluation
なお、インジケータ4cは、上述した処理で算出した4つの画質の劣化現象を表す特徴量のそれぞれごとに表示されている。すなわち、画像のぼやけの度合いを表す特徴量である空間情報特徴エラー率ER_SIに基づいて特定される画像劣化の度合いを表したインジケータ4c−1、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ER_HVに基づいて特定される画像劣化の度合いを表したインジケータ4c−2、ランダムノイズの大きさを表す特徴量であるランダムノイズの量Dに基づいて特定される画像劣化の度合いを表したインジケータ4c−3、および各コマ間の明るさの変化度合いを表す特徴量であるフレーム毎のフリッカ用のエラー率ER_Fに基づいて特定される画像劣化の度合いを表したインジケータ4c−4が表示されている。 The indicator 4c is displayed for each of the feature amounts representing the four image quality deterioration phenomena calculated by the above-described processing. That is, the indicator 4c-1 that represents the degree of image degradation specified based on the spatial information feature error rate ER_SI that is a feature amount that represents the degree of blurring of the image, and the horizontal and vertical that is the feature amount that represents the magnitude of block distortion. An indicator 4c-2 representing the degree of image degradation identified based on the non-horizontal vertical feature error rate ER_HV, and an image degradation identified based on the amount of random noise D, which is a feature amount representing the magnitude of random noise. 4c-3 indicating the degree of image degradation, and indicator 4c representing the degree of image degradation specified based on the flicker error rate ER_F for each frame, which is a feature amount indicating the degree of change in brightness between frames. -4 is displayed.
これによって、使用者は画面上で、処理前動画データ4aと処理後動画データ4bとを見比べることができ、さらに、処理後動画データの画質の劣化状況を数値データ4cおよびインジケータ4dにより視覚的に把握することができる。
As a result, the user can compare the unprocessed moving
なお、上述したように、画質評価部103aによる画質の評価は、処理後動画データの各フレームに対して行われる。このため、図4に示す画面上では、使用者によって動画の再生が指示されると、処理前動画データ4aおよび処理後動画データ4bは同時に再生される。すなわち、画面上には、処理前動画データ4aと処理後動画データ4bの対応するフレームが同時に表示され、所定のフレームレートでそれぞれのフレームが切り替えられる。
As described above, the image quality evaluation by the image
そして、画質評価部103aは、再生中の各フレームごとに、上述した画質の評価処理を行い、その評価結果を逐次画面上に表示していく。すなわち、数値データ4cおよびインジケータ4dを逐次更新していく。これによって、図4に示す画面上では、処理前動画データ4aおよび処理後動画データ4bの表示中のフレームに対する画質の評価結果が、数値データ4cおよびインジケータ4dに表示され、表示するコマの切り替わりとともに、数値データ4cおよびインジケータ4dの表示内容も更新されていくことになる。
Then, the image
図5は、本実施の形態における画像評価装置100の処理を示すフローチャートである。図5に示す処理は、使用者によって処理後動画データの再生が指示されることにより、処理後動画データの再生が開始されると起動するプログラムとして制御装置103によって実行される。
FIG. 5 is a flowchart showing the processing of the
ステップS10において、画質評価部103aは、処理前動画データおよび処理後動画データの1フレーム目を読み込んで、ステップS20へ進む。ステップS20では、画質評価部103aは、読み込んだ処理前動画データのフレームと、処理後動画データのフレームとを比較することによって、上述した画質の劣化現象を表す特徴量を算出する。すなわち、画像のぼやけの度合いを表す特徴量である空間情報特徴エラー率ER_SI、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ER_HV、ランダムノイズの大きさを表す特徴量であるランダムノイズの量D、および各コマ間の明るさの変化度合いを表す特徴量であるフレーム毎のフリッカ用のエラー率ER_Fをそれぞれ算出する。その後、ステップS30へ進む。
In step S10, the image
ステップS30では、評価結果出力部103bは、図4で上述したように、処理前動画データ4a、処理後画像データ4b、画質の劣化現象を表す特徴量の数値データ4c、および画質の劣化現象を表す特徴量を模式的に表したインジケータ4cを一画面内に表示する。その後、ステップS40へ進み、画質評価部103aは、画質評価を行ったフレームが、動画データの最終フレームであるか否かを判断する。否定判断した場合には、ステップS50へ進んで、処理前動画データおよび処理後動画データの次フレームを読み込んで、ステップS20へ戻る。これに対して、肯定判断した場合には、処理を終了する。
In step S30, as described above with reference to FIG. 4, the evaluation
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
(1)画質評価部103aは、処理前動画データと処理後動画データとを、画質の劣化現象を表す特徴量を用いて比較して、画像処理に起因する処理後動画データにおける画質の劣化を、画質の劣化現象を表す複数の特徴量ごとに評価した。そして、評価結果出力部103bは、処理前動画データ、処理後動画データ、および評価結果をモニタ105に表示するようにした。これによって、使用者は、処理後動画データの画質が処理前動画データの画質と比較してどの程度劣化しているかを把握することができる。
According to the present embodiment described above, the following operational effects can be obtained.
(1) The image
(2)評価結果出力部103bは、画質の評価結果を、数値、または数値を模式化した図形、すなわちインジケータにより表示するようにした。これによって、使用者は、画質の評価結果を視覚的に把握することができる。
(2) The evaluation
(3)画質の劣化現象を表す特徴量は、ぼやけの度合いを表す特徴量、ブロック歪みの大きさを表す特徴量、ランダムノイズの大きさを表す特徴量、および各コマ間の明るさの変化度合いを表す特徴量とした。これによって、主な画質の劣化要因を対象として画質の評価を行うことができ、使用者は、処理後動画データの画質の劣化状況を的確に把握することができる。 (3) The feature quantity representing the image quality deterioration phenomenon is a feature quantity representing the degree of blurring, a feature quantity representing the magnitude of block distortion, a feature quantity representing the magnitude of random noise, and a change in brightness between frames. A feature amount representing the degree was used. As a result, the image quality can be evaluated with respect to the main image quality deterioration factors, and the user can accurately grasp the deterioration state of the image quality of the processed moving image data.
―変形例―
なお、上述した実施の形態の画像評価装置は、以下のように変形することもできる。
(1)上述した実施の形態では、評価結果出力部103bは、図4に示したように、画質の劣化現象を表す特徴量をインジケータ4cで表示するようにし、表示中のフレームが切り替わるごとに、インジケータ4cの表示内容も表示中のフレームの特徴量を示すように更新する例について説明した。しかしながら、評価結果出力部103bは、各フレームごとにインジケータ4cを表示して画質の劣化現象を表す特徴量を模式的に表すだけでなく、動画全体の特徴量の変化状況を折れ線グラフ等により表すようにしてもよい。
-Modification-
The image evaluation apparatus according to the above-described embodiment can be modified as follows.
(1) In the above-described embodiment, as shown in FIG. 4, the evaluation
(2)上述した実施の形態では、評価結果出力部103bは、図4に示したように、処理前動画データ4a、処理後画像データ4b、画質の劣化現象を表す特徴量の数値データ4c、および画質の劣化現象を表す特徴量を模式的に表したインジケータ4cを一画面内に表示する例について説明した。しかしながら、評価結果出力部103bは、処理後画像データ4bに代えて、画質の劣化現象を表す特徴量を可視化した画像を生成して表示するようにしてもよい。図6は、処理後画像データ4bに代えて、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ER_HVを可視化した画像6aを表示した場合を示している。これによって、使用者は、処理後動画データ内で画質の劣化が発生している箇所を特定することができる。
(2) In the above-described embodiment, the evaluation
(3)上述した実施の形態では、画質評価部103aは、処理後動画データの画質の劣化状況を各特徴量ごとに評価する例について説明した。しかしながら、画質評価部103aは、さらに、上述した処理で算出したそれぞれの画質の劣化現象を表す特徴量に基づいて、処理後動画データの画質を総合的に評価するようにしてもよい。
(3) In the above-described embodiment, the example in which the image
例えば、画質評価部103aは、画像のぼやけの度合いを表す特徴量である空間情報特徴エラー率ER_SI、ブロック歪みの大きさを表す特徴量である水平垂直・非水平垂直特徴エラー率ER_HV、ランダムノイズの大きさを表す特徴量であるランダムノイズの量D、および各コマ間の明るさの変化度合いを表す特徴量であるフレーム毎のフリッカ用のエラー率ER_Fのそれぞれに対して重み付けを行った評価値Rを次式(13)によって算出する。なお、次式(13)において、w1〜w4は、各特徴量に付加する重み値であって、その値はあらかじめ設定されている。
R=w1・ER_SI+w2・ER_HV+w3・D+w4・ER_F ・・・(13)
For example, the image
R = w1, ER_SI + w2, ER_HV + w3, D + w4, ER_F (13)
そして、画質評価部103aは、式(13)で算出した評価値Rと、あらかじめ設定した閾値Tとを比較し、R>Tならば画質評価は合格、R≦Tならば画質評価は不合格といったように、処理後動画データの各フレームについて画質の総合的な評価を行う。
Then, the image
あるいは、ER_SIに対する閾値をT1、ER_HVに対する閾値をT2、Dに対する閾値をT3、およびER_Fに対する閾値をT4としてあらかじめ設定しておき、各特徴量とそれぞれに対応する閾値とを比較した結果、特徴量>閾値、例えばER_SI>T1が成り立てば1を返し、成り立たない場合には0を返す関数funcを定義しておく。この関数funcは、例えば、func(ER_SI>T1)のように表記し、ER_SI>T1が成り立つ場合には、func(ER_SI>T1)=1となり、成り立たない場合には、func(ER_SI>T1)=0となる。 Alternatively, the threshold value for ER_SI is set in advance as T1, the threshold value for ER_HV is T2, the threshold value for D is T3, and the threshold value for ER_F is T4. As a result of comparing each feature value with the corresponding threshold value, the feature value A function func is defined that returns 1 if> threshold, for example, ER_SI> T1, and returns 0 if not. This function func is expressed as, for example, func (ER_SI> T1). When ER_SI> T1 holds, func (ER_SI> T1) = 1, and when it does not hold, func (ER_SI> T1) = 0.
画質評価部103aは、この関数を用いた次式(14)によって評価値R´を算出し、このR´とあらかじめ設定した閾値T´とを比較する。画質評価部103aは、R´>T´ならば画質評価は合格、R´≦T´ならば画質評価は不合格といったように、処理後動画データの各フレームについて画質の総合的な評価を行うようにしてもよい。
R´=func(ER_SI>T1)+func(ER_HV>T2)+func(D>T3)+func(ER_F>T4) ・・・(14)
The image
R ′ = func (ER_SI> T1) + func (ER_HV> T2) + func (D> T3) + func (ER_F> T4) (14)
評価結果出力部103bは、画質評価部103aによるこの総合的な画質の評価結果をモニタ105へ出力して表示する。以上の処理により、画質評価部103aは、処理後動画データの画質の劣化状況を各特徴量ごとに評価するとともに、処理後動画データの総合的な画質を評価することもできる。
The evaluation
(4)上述した実施の形態では、デジタルカメラ等で所定のファイル形式、例えばMPEG形式に圧縮された動画データを処理後動画データとした。そして、画質評価部103aは、当該処理後動画データと圧縮を行う前の元動画データである処理前動画データとを比較することによって、画質の劣化現象を表す特徴量ごとに処理後動画データを構成する各フレームの画質を評価する例について説明した。しかしながら、処理前動画データとして、使用者によって任意に画質が劣化された動画データを用いるようにしてもよい。これによって、使用者は、動画データの画質を任意に変化させ、それにより、処理前画像と比較してどの程度画質が劣化するかをシミュレーションすることができる。
(4) In the above-described embodiment, moving image data compressed into a predetermined file format, for example, MPEG format by a digital camera or the like is used as processed moving image data. Then, the image
なお、使用者は以下のようにして、処理前動画データの画質を劣化させた処理後動画データを作成することができる。ここでは、次の(a)〜(d)に示すように、処理前動画データに対してぼかしを付加して画質を劣化させる場合、ブロック歪みを付加して画質を劣化させる場合、ランダムノイズを付加して画質を劣化させる場合、およびフリッカを付加して画質を劣化させる場合について説明する。 Note that the user can create post-processing video data in which the image quality of the pre-processing video data is degraded as follows. Here, as shown in the following (a) to (d), when the image quality is deteriorated by adding blur to the pre-processing moving image data, the random noise is added when the image quality is deteriorated by adding block distortion. A case where image quality is deteriorated by adding and a case where image quality is deteriorated by adding flicker will be described.
(a)処理前動画データに対してぼかしを付加して画質を劣化させる場合
処理前動画データを構成する各フレームをぼかす方法としては、各フレームの画像データに対して正規分布フィルタをかける方法がある。例えば、処理前動画データを構成する各フレーム(原画像)をf(x,y)とし、ぼかしを付加した画像(ぼかし画像)をF(x,y)とすると、ぼかし画像F(x,y)は、次式(15)および(16)によって表される。
(b)処理前動画データに対してブロック歪みを付加して画質を劣化させる場合
ブロック歪みは、DCTのような直行変換を使って座標変換し、逆変換の際の誤差によって生じるものである。したがって、処理前動画データの各フレームに対してブロック歪みを付加するためには、実際にDCT変換を行い、誤差が入るように逆変換を行えばよい。例えば、原画像を8×8(pixel)の小領域に分割し、その小領域をf(x,y)とし、その小領域に対応するDCT変換後のデータをF(u,v)とした場合には、DCT変換および逆変換は、それぞれ次式(17)および(18)に示すようになる。
(c)処理前動画データに対してランダムノイズを付加して画質を劣化させる場合
処理前動画データを構成する各フレームに付加するランラムノイズとしては、例えばガウスノイズが考えられる。例えば、(0,1)上の一様分布に従う乱数X=(X1,X2)を次式(19)および(20)を用いて変換すると、μ=0、σ=1の正規分布関数になる。
ここでは、この乱数Xを用いて、処理前動画データを構成する各フレームにガウスノイズを付加する。具体的には、処理前動画データを構成する各フレーム(原画像)をf(x,y)とし、ガウスノイズを付加した後の画像をF(x,y)とした場合には、画像F(x,y)は、次式(21)で表される。なお、次式(21)において、randは、一様分布に従う乱数X=(X1,X2)を入力すると、正規分布となるY1およびY2を出力する。
(d)処理前動画データに対してフリッカを付加して画質を劣化させる場合
フリッカは、フレームごとに画面全体の平均輝度が周期的に変化することによって、動画がちらついて見える現象をいうため、次式(22)によって、各フレームの輝度値を周期的に変化させれば、処理前動画データに対してフリッカを付加することができる。
なお、このように、使用者が動画データの画質を任意に変化させて、画質の劣化状態をシミュレーションする場合には、複数のパターンで画質を劣化させ、各パターンについて処理前動画データとの比較を行うことが考えられる。このため、処理前動画データに対して、異なる画像劣化の要因が付加され、複数の処理後動画データが作成された場合には、画質評価部103aは、それぞれの処理後動画データを対象として、上述した画質の評価を行う。そして、評価結果出力部103bは、複数の処理後動画データについての評価結果を同一画面上に表示するようにしてもよい。
In this way, when the user arbitrarily changes the image quality of the moving image data and simulates the deterioration state of the image quality, the image quality is deteriorated with a plurality of patterns, and each pattern is compared with the unprocessed moving image data. Can be considered. Therefore, when different factors of image degradation are added to the pre-processing video data and a plurality of post-processing video data are created, the image
例えば、使用者によって、処理前動画データに対して、(a)で上述した方法でぼかしが付加された第1の処理後動画データと、(b)で上述した方法でブロック歪みが付加され、さらに(c)で上述した方法でランダムノイズが付加された第2の処理後動画データとが作成されたとする。この場合には、画質評価部103aは、第1の処理後動画データおよび第2の処理後動画データのそれぞれを対象として、画質の評価を行う。
For example, the user adds the first post-processing moving image data to which the blurring has been added by the method described above in (a) and the block distortion by the method described above in (b). Furthermore, it is assumed that the second post-processing moving image data to which random noise is added is created by the method described above in (c). In this case, the image
そして、評価結果出力部103bは、例えば図7に示すように、処理前動画データ4a、画質の劣化現象を表す特徴量の数値データ4c、第1の処理後動画データ7a、第1の処理後動画データの画質の劣化現象を表す特徴量を模式的に表したインジケータ7b、第2の処理後動画データ7c、および第2の処理後動画データの画質の劣化現象を表す特徴量を模式的に表したインジケータ7dを一画面上に表示する。また、原画像に基づいて画像の圧縮条件を変えて複数の処理後画像を作成し、作成した各処理後画像データの評価結果を同一画面上に表示するようにしてもよい。これによって、使用者は、複数の処理後画像データに対する評価結果を、一画面上で比較することができる。
Then, for example, as shown in FIG. 7, the evaluation
(5)上述した実施の形態では、画質の評価対象を動画データとし、処理前動画データの各フレームと、処理後動画データの対応するフレーム間で画質を比較して評価する例について説明した。しかしながら、本発明は、静止画同士を比較して画質の劣化状況を評価する場合にも適用可能である。すなわち、原画像と画像処理が施された処理後画像とを対象として、処理後画像が原画像と比較してどの程度画質が劣化しているかを評価することもできる。このように、静止画同士を比較する場合には、画質の劣化要因としてフリッカは考慮する必要がない。なお、カメラの連写機能を用いて複数枚の静止画を連続して撮影した場合には、各コマ間で明るさが変化する場合があるため、フリッカを考慮するようにしてもよい。 (5) In the above-described embodiment, the example in which the evaluation target of the image quality is the moving image data and the image quality is compared and evaluated between each frame of the pre-processing moving image data and the corresponding frame of the processed moving image data has been described. However, the present invention can also be applied to the case where the degradation state of image quality is evaluated by comparing still images. That is, for the original image and the processed image subjected to the image processing, it is possible to evaluate how much the image quality of the processed image is degraded compared to the original image. In this way, when comparing still images, it is not necessary to consider flicker as a deterioration factor of image quality. In addition, when a plurality of still images are continuously shot using the continuous shooting function of the camera, flicker may be taken into consideration because the brightness may change between frames.
(6)上述した実施の形態では、画像評価装置100としてパソコンを用いる例について説明した。しかしながら、本発明における動画評価装置100は、動画を再生して表示することができる他の機器に適用することもできる。例えば、動画再生機能を備えたデジタルカメラや携帯電話に適用することで、これらの機器上でも画質の評価を行うことができるようになる。
(6) In the above-described embodiment, an example in which a personal computer is used as the
また、図5に示した画質評価部103aおよび評価結果出力部103bによる処理を既述したプログラム(画質評価プログラム)を、使用者が画像を編集するための画像編集装置や、パソコン上で実行される画像編集アプリケーションに組み込むようにしてもよい。これによって、使用者は、画質評価プログラムを実行して得られる図4に示す画面を見て画質の劣化状況を把握した上で、その劣化を軽減するように画像の編集を行なうことができ、画像編集作業の効率を向上することができる。
Further, the program (image quality evaluation program) in which the processing by the image
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。 Note that the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired.
100 画像評価装置、101 操作部材、102 接続IF、103 制御装置、103a 画質評価部、103b 評価結果出力部、104 HDD、105 モニタ
DESCRIPTION OF
Claims (6)
前記原画像と前記処理後画像とを、画質の劣化現象を表す複数の特徴量を用いて比較して、前記画像処理に起因して生じた前記処理後画像における画質の劣化を、前記画質の劣化現象を表す特徴量ごとに評価する評価手段と、
前記原画像、前記処理後画像、および前記評価手段による評価結果を表示する表示制御手段とを備えることを特徴とする画像評価装置。 An image evaluation apparatus for evaluating the image quality of a processed image obtained by image processing of an original image,
The original image and the processed image are compared by using a plurality of feature amounts representing a deterioration phenomenon of image quality, and the deterioration of the image quality in the processed image caused by the image processing is An evaluation means for evaluating each feature amount representing a deterioration phenomenon;
An image evaluation apparatus comprising: the original image, the processed image, and display control means for displaying an evaluation result by the evaluation means.
前記評価手段は、前記原画像と、あらかじめ作成された前記画質の劣化現象が異なる複数の処理後画像のそれぞれとを、前記画質の劣化現象を表す特徴量を用いて比較して前記評価を行い、
前記表示制御手段は、前記原画像、前記複数の処理後画像、および各処理後画像ごとの前記評価結果を表示することを特徴とする画像評価装置。 The image evaluation apparatus according to claim 1,
The evaluation means performs the evaluation by comparing the original image with each of a plurality of post-processed images having different image quality deterioration phenomena created in advance using a feature amount representing the image quality deterioration phenomenon. ,
The display control means displays the original image, the plurality of processed images, and the evaluation result for each processed image.
前記表示制御手段は、前記処理後画像に代えて、前記画質の劣化現象を表す特徴量を可視化した画像を表示することを特徴とする画像評価装置。 The image evaluation apparatus according to claim 1 or 2,
The image evaluation apparatus, wherein the display control means displays an image in which a feature amount representing the deterioration phenomenon of the image quality is visualized instead of the processed image.
前記表示制御手段は、前記評価結果を、数値、または前記数値を模式化した図形により表示することを特徴とする画像評価装置。 In the image evaluation apparatus according to any one of claims 1 to 3,
The display control means displays the evaluation result as a numerical value or a graphic modeled on the numerical value.
前記画質の劣化現象を表す特徴量は、ぼやけの度合いを表す特徴量、ブロック歪みの大きさを表す特徴量、ランダムノイズの大きさを表す特徴量、および各コマ間の明るさの変化度合いを表す特徴量の少なくともいずれかであることを特徴とする画像評価装置。 In the image evaluation apparatus according to any one of claims 1 to 4,
The feature amount representing the image quality deterioration phenomenon includes a feature amount representing the degree of blurring, a feature amount representing the magnitude of block distortion, a feature amount representing the magnitude of random noise, and the degree of change in brightness between frames. An image evaluation apparatus characterized by being at least one of feature quantities to be expressed.
コンピュータに、
前記原画像と前記処理後画像とを、画質の劣化現象を表す複数の特徴量を用いて比較して、前記画像処理に起因する前記処理後画像における画質の劣化を、前記画質の劣化現象を表す特徴量ごとに評価する評価手順と、
前記原画像、前記処理後画像、および前記評価手順での評価結果を表示する表示制御手順とを実行させるための画像評価プログラム。 An image evaluation program for evaluating the quality of a processed image obtained by image processing of an original image,
On the computer,
The original image and the processed image are compared using a plurality of feature amounts representing a deterioration phenomenon of image quality, and the deterioration of the image quality in the processed image caused by the image processing is compared with the deterioration phenomenon of the image quality. An evaluation procedure for evaluating each feature amount to be represented;
An image evaluation program for executing the original image, the processed image, and a display control procedure for displaying an evaluation result in the evaluation procedure.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007129188A JP5095263B2 (en) | 2007-05-15 | 2007-05-15 | Image evaluation apparatus and image evaluation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007129188A JP5095263B2 (en) | 2007-05-15 | 2007-05-15 | Image evaluation apparatus and image evaluation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008287329A true JP2008287329A (en) | 2008-11-27 |
JP5095263B2 JP5095263B2 (en) | 2012-12-12 |
Family
ID=40147016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007129188A Active JP5095263B2 (en) | 2007-05-15 | 2007-05-15 | Image evaluation apparatus and image evaluation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5095263B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010206244A (en) * | 2009-02-27 | 2010-09-16 | Nec Corp | Image degradation evaluation system, image degradation evaluation method, and image degradation evaluation program |
WO2013021880A1 (en) * | 2011-08-08 | 2013-02-14 | アイキューブド研究所株式会社 | Content processing device, content processing method, and recording medium |
JP2017169233A (en) * | 2017-05-25 | 2017-09-21 | 株式会社ニコン | Image processing apparatus |
CN113597765A (en) * | 2019-03-18 | 2021-11-02 | 谷歌有限责任公司 | Frame stacking for coding artifacts |
CN114666634A (en) * | 2022-03-21 | 2022-06-24 | 北京达佳互联信息技术有限公司 | Image quality detection result display method, device, equipment and storage medium |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05176179A (en) * | 1991-12-20 | 1993-07-13 | Toppan Printing Co Ltd | Method and device for estimating picture data subject to compression/expansion processing |
JPH06125545A (en) * | 1992-10-12 | 1994-05-06 | Toko Inc | Image quality evaluating method for image compressing and expanding device |
JPH1063859A (en) * | 1996-08-22 | 1998-03-06 | Fuji Xerox Co Ltd | Method for evaluating picture quality and device therefor |
JP2000298724A (en) * | 1999-04-12 | 2000-10-24 | Mitsubishi Electric Corp | Image quality improving system |
JP2002112007A (en) * | 2000-09-29 | 2002-04-12 | Minolta Co Ltd | Image processing system, image pick-up device, image processing method, and recording medium recording image processing method therein |
JP2002300460A (en) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | Image processor and image processing program |
JP2004289524A (en) * | 2003-03-24 | 2004-10-14 | Fuji Photo Film Co Ltd | Picture quality evaluating method and program |
JP2005260902A (en) * | 2004-02-10 | 2005-09-22 | Nippon Hoso Kyokai <Nhk> | Image feature value detection apparatus, image quality improving apparatus, display device, and receiver |
JP2006093757A (en) * | 2004-09-21 | 2006-04-06 | Olympus Corp | Image processing apparatus, imaging apparatus, and image processing program |
-
2007
- 2007-05-15 JP JP2007129188A patent/JP5095263B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05176179A (en) * | 1991-12-20 | 1993-07-13 | Toppan Printing Co Ltd | Method and device for estimating picture data subject to compression/expansion processing |
JPH06125545A (en) * | 1992-10-12 | 1994-05-06 | Toko Inc | Image quality evaluating method for image compressing and expanding device |
JPH1063859A (en) * | 1996-08-22 | 1998-03-06 | Fuji Xerox Co Ltd | Method for evaluating picture quality and device therefor |
JP2000298724A (en) * | 1999-04-12 | 2000-10-24 | Mitsubishi Electric Corp | Image quality improving system |
JP2002112007A (en) * | 2000-09-29 | 2002-04-12 | Minolta Co Ltd | Image processing system, image pick-up device, image processing method, and recording medium recording image processing method therein |
JP2002300460A (en) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | Image processor and image processing program |
JP2004289524A (en) * | 2003-03-24 | 2004-10-14 | Fuji Photo Film Co Ltd | Picture quality evaluating method and program |
JP2005260902A (en) * | 2004-02-10 | 2005-09-22 | Nippon Hoso Kyokai <Nhk> | Image feature value detection apparatus, image quality improving apparatus, display device, and receiver |
JP2006093757A (en) * | 2004-09-21 | 2006-04-06 | Olympus Corp | Image processing apparatus, imaging apparatus, and image processing program |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010206244A (en) * | 2009-02-27 | 2010-09-16 | Nec Corp | Image degradation evaluation system, image degradation evaluation method, and image degradation evaluation program |
KR101884965B1 (en) * | 2011-08-08 | 2018-08-02 | 아이큐브드 연구소 주식회사 | Content processing device, content processing method, and recording medium |
WO2013021880A1 (en) * | 2011-08-08 | 2013-02-14 | アイキューブド研究所株式会社 | Content processing device, content processing method, and recording medium |
JP2013038588A (en) * | 2011-08-08 | 2013-02-21 | I-Cubed Research Center Inc | Content processing device, content processing method, and program |
KR20140044854A (en) * | 2011-08-08 | 2014-04-15 | 아이큐브드 연구소 주식회사 | Content processing device, content processing method, and recording medium |
CN103733619A (en) * | 2011-08-08 | 2014-04-16 | I<sup>3</sup>研究所股份有限公司 | Content processing device, content processing method, and recording medium |
US9628672B2 (en) | 2011-08-08 | 2017-04-18 | I-Cubed Research Center Inc. | Content processing apparatus, content processing method, and storage medium |
JP2017169233A (en) * | 2017-05-25 | 2017-09-21 | 株式会社ニコン | Image processing apparatus |
CN113597765A (en) * | 2019-03-18 | 2021-11-02 | 谷歌有限责任公司 | Frame stacking for coding artifacts |
JP2022527443A (en) * | 2019-03-18 | 2022-06-02 | グーグル エルエルシー | Frame overlay for coded artifacts |
JP7438234B2 (en) | 2019-03-18 | 2024-02-26 | グーグル エルエルシー | Frame overlay for coding artifacts |
CN114666634A (en) * | 2022-03-21 | 2022-06-24 | 北京达佳互联信息技术有限公司 | Image quality detection result display method, device, equipment and storage medium |
CN114666634B (en) * | 2022-03-21 | 2024-03-19 | 北京达佳互联信息技术有限公司 | Picture quality detection result display method, device, equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP5095263B2 (en) | 2012-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5243833B2 (en) | Image signal processing circuit, image display device, and image signal processing method | |
US8379102B2 (en) | Image processing apparatus and image processing method for generating high dynamic range images | |
JP4415188B2 (en) | Image shooting device | |
JP4345940B2 (en) | Camera shake image correction method, recording medium, and imaging apparatus | |
JP5242248B2 (en) | Defect detection apparatus, defect detection method, defect detection program, and recording medium | |
JP5095263B2 (en) | Image evaluation apparatus and image evaluation program | |
JP2021163190A (en) | Information processing apparatus, information processing method and program | |
WO2010116400A1 (en) | Object movement detection device and method | |
JP4875564B2 (en) | Flicker correction apparatus and flicker correction method | |
CN110769210B (en) | Method and device for generating HDR image | |
JP4539964B2 (en) | Image segmentation | |
JP6520920B2 (en) | Image processing device | |
JP2012003469A (en) | Image processing program, image processing device and imaging apparatus | |
JP2007306083A (en) | Imaging apparatus and signal processing apparatus | |
US8345157B2 (en) | Image processing apparatus and image processing method thereof | |
JP2019045981A (en) | Image processing apparatus, image processing method, and program | |
JP4982331B2 (en) | Image evaluation apparatus and image evaluation program | |
JP2018190394A (en) | Data extension method and device in monitoring video | |
US11838631B2 (en) | Image processing device, image processing method, non-transitory computer-readable storage medium | |
JP2009182935A (en) | Image processor and image processing method, program, and recording medium | |
JP2012205190A (en) | Image processing apparatus and program | |
JP4408120B2 (en) | Video quality estimation apparatus, method, and program | |
JP2012156968A (en) | Image processing device, image processing method, and program | |
JP2008259242A (en) | Image processing apparatus, image processing method, recording medium, and program | |
JP2022067173A (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20100325 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110926 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120821 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5095263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150928 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |