JP5234812B2 - Video quality estimation apparatus, method, and program - Google Patents

Video quality estimation apparatus, method, and program Download PDF

Info

Publication number
JP5234812B2
JP5234812B2 JP2009187668A JP2009187668A JP5234812B2 JP 5234812 B2 JP5234812 B2 JP 5234812B2 JP 2009187668 A JP2009187668 A JP 2009187668A JP 2009187668 A JP2009187668 A JP 2009187668A JP 5234812 B2 JP5234812 B2 JP 5234812B2
Authority
JP
Japan
Prior art keywords
video
amount
value
video signal
boundary line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009187668A
Other languages
Japanese (ja)
Other versions
JP2011041077A (en
Inventor
太一 河野
和久 山岸
孝典 林
淳 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009187668A priority Critical patent/JP5234812B2/en
Publication of JP2011041077A publication Critical patent/JP2011041077A/en
Application granted granted Critical
Publication of JP5234812B2 publication Critical patent/JP5234812B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、映像品質推定技術に関し、特にＩＰネットワーク経由で行う映像通信に関する映像品質を推定する技術に関する。   The present invention relates to a video quality estimation technique, and more particularly to a technique for estimating video quality related to video communication performed via an IP network.

ＩＰネットワークや端末機器の発展に伴い、ＩＰＴＶサービス、映像配信サービス、ＴＶ電話サービスなど、映像メディアを用いた映像通信サービスが普及してきている。
映像メディアを用いた通信の場合、ネットワークの利用効率を向上させるため情報量圧縮（符号化）が行われる。符号化された映像メディアは、原映像、すなわち劣化のない映像信号と比較して、高周波成分の欠落やブロックノイズの増加などにより、ぼけ・にじみ・モザイク状の歪、ぎくしゃく感などといった現象を招く。このため、ユーザが知覚する品質、すなわちユーザ体感品質（QoE：Quality of Experience）は低下する。
このような映像通信サービスを品質良く提供するためには、サービス提供に先立った品質設計やサービス提供中の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な映像品質評価技術が必要となる。 With the development of IP networks and terminal devices, video communication services using video media, such as IPTV services, video distribution services, and TV phone services, have become widespread.
In the case of communication using video media, information amount compression (encoding) is performed in order to improve network utilization efficiency. Encoded video media causes phenomena such as blurring, blurring, mosaic distortion, and jerky feeling due to missing high-frequency components and increased block noise compared to the original video, that is, a video signal without deterioration. . For this reason, the quality perceived by the user, that is, the quality of experience (QoE) is lowered.
In order to provide such a video communication service with high quality, quality design prior to service provision and quality management during service provision are important. For this purpose, the quality enjoyed by the user can be expressed appropriately. A simple and efficient video quality evaluation technique is required.

従来、例えば非特許文献１では、映像品質に影響を与える、ビットレートやパケット損失率などの品質パラメータから映像品質を推定する映像品質評価法が提案されている。また、例えば非特許文献２，３では、原映像信号、すなわち劣化のない映像信号と、劣化映像信号、すなわち符号化劣化やパケット損失劣化を含む映像信号とを比較することで、映像品質を推定する映像品質評価法が提案されている。これらの客観評価技術は、ある一定条件下で主観品質の統計的曖昧さと同程度の推定誤差で主観品質を推定可能である。   Conventionally, for example, Non-Patent Document 1 proposes a video quality evaluation method for estimating video quality from quality parameters such as bit rate and packet loss rate that affect video quality. For example, in Non-Patent Documents 2 and 3, video quality is estimated by comparing an original video signal, that is, a video signal without deterioration, and a degraded video signal, that is, a video signal including encoding degradation and packet loss degradation. A video quality evaluation method has been proposed. These objective evaluation techniques can estimate the subjective quality with an estimation error similar to the statistical ambiguity of the subjective quality under a certain condition.

ＩＴＵ−Ｔ勧告Ｇ．１０７０ITU-T Recommendation G. 1070 ＩＴＵ−Ｔ勧告Ｊ．２４７ITU-T Recommendation J.I. 247 ＩＴＵ−Ｔ勧告Ｊ．１４４ITU-T Recommendation J.I. 144 "A Computational Approach to Edge Detection", by J.F. Canny, IEEE Transactions on Pattern Analysis and Machine Intelligence, 8, pp.769-798, 1986"A Computational Approach to Edge Detection", by J.F.Canny, IEEE Transactions on Pattern Analysis and Machine Intelligence, 8, pp.769-798, 1986 "NO-REFERENCE PERCEPTUAL QUALITY ASSESSMENT OF JPEG COMPRESSED IMAGES", by Zhou Wang, H. R. Sheikh and Alan C. Bovik, IEEE International Conference on Image Processing, 1, pp.477-480, 2002"NO-REFERENCE PERCEPTUAL QUALITY ASSESSMENT OF JPEG COMPRESSED IMAGES", by Zhou Wang, H. R. Sheikh and Alan C. Bovik, IEEE International Conference on Image Processing, 1, pp.477-480, 2002 ＩＴＵ−Ｔ勧告Ｐ．９１１ITU-T recommendation P.I. 911

しかしながら、前述した非特許文献１では、例えば動きの多い・少ないに基づく映像種別や、例えば圧縮効率の高いＨ．２４６エンコーダ、ＧｏＰなどの符号化パラメータに基づく端末の実装状況を仮定して、映像品質を推定しているため、映像品質のコンテンツ依存性やコーデック実装依存性を考慮することができない。   However, in the above-mentioned Non-Patent Document 1, for example, video types based on a lot of movement / less movement, for example, H.P. Since the video quality is estimated on the assumption that the terminal is mounted based on coding parameters such as H.246 encoder and GoP, the content dependency and codec mounting dependency of the video quality cannot be considered.

図６は、映像品質のコンテンツ依存性を示す説明図である。図７は、映像品質のコーデック実装依存性を示す説明図である。
映像品質は、図６のように、同一ビットレート条件でも、映像コンテンツの違いにより映像品質が異なるという、コンテンツ依存性を有している。また、映像品質は、図７のように、同一ビットレート条件においても、コーデックの実装の違いにより映像品質が異なるという、実装依存性を有している。したがって、映像品質を精度よく推定するためには、コンテンツ依存性およびコーデック実装依存性を加味する必要がある。 FIG. 6 is an explanatory diagram showing content dependency of video quality. FIG. 7 is an explanatory diagram showing codec mounting dependency of video quality.
As shown in FIG. 6, the video quality has content dependency that the video quality differs depending on the video content even under the same bit rate condition. Further, as shown in FIG. 7, the video quality has an implementation dependency that the video quality varies depending on the implementation of the codec even under the same bit rate condition. Therefore, in order to accurately estimate the video quality, it is necessary to consider content dependency and codec implementation dependency.

このようなコンテンツ依存性およびコーデック実装依存性を加味した映像品質を推定するためには、映像受信端末２が受信する映像信号のみを用いることが有効である。しかしながら、前述した非特許文献２、３では、受信する映像信号の他に原映像信号を必要とすることから、ユーザが利用するＳＴＢなどのエンド端末での映像品質を推定することは困難である。   In order to estimate the video quality in consideration of such content dependency and codec implementation dependency, it is effective to use only the video signal received by the video receiving terminal 2. However, in Non-Patent Documents 2 and 3 described above, since the original video signal is required in addition to the received video signal, it is difficult to estimate the video quality at the end terminal such as STB used by the user. .

本発明はこのような課題を解決するためのものであり、映像品質のコンテンツ依存性やコーデック実装依存性を考慮して、映像品質を高い精度で推定できる映像品質推定技術を提供することを目的としている。   The present invention is for solving such problems, and an object of the present invention is to provide a video quality estimation technique capable of estimating video quality with high accuracy in consideration of content dependency and codec implementation dependency of video quality. It is said.

このような目的を達成するために、本発明にかかる映像品質推定装置は、ＩＰネットワークを介して受信した符号化映像データを映像受信端末で復号して得られた映像に対して、ユーザが体感する映像品質を推定する映像品質推定装置であって、映像受信端末から取得した映像信号から、符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出部と、特徴量から映像品質を算出する映像品質算出部とを備えている。   In order to achieve such an object, the video quality estimation apparatus according to the present invention allows a user to experience a video obtained by decoding encoded video data received via an IP network with a video receiving terminal. A video quality estimation apparatus that estimates video quality to be extracted, a feature quantity extraction unit that extracts a feature quantity indicating a degree of deterioration of the video by encoding processing from a video signal acquired from a video receiving terminal, and a video from the feature quantity And a video quality calculation unit for calculating the quality.

この際、特徴量抽出部で、離散コサイン変換処理に起因して発生するブロックノイズが映像信号に含まれている量を示すブロックノイズ量を、映像信号から特徴量として算出するブロックノイズ量算出部、離散コサイン変換処理に起因して低減する高周波成分が映像信号に含まれている量を示す高周波成分量を、映像信号から特徴量として算出する高周波成分量算出部、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、映像信号から特徴量として算出する動き量算出部のうち、いずれか１つ以上またはすべてを含むようにしてもよい。   At this time, the feature amount extraction unit calculates a block noise amount indicating the amount of block noise generated due to the discrete cosine transform processing included in the video signal as a feature amount from the video signal. , A high-frequency component amount calculation unit that calculates a high-frequency component amount indicating the amount that a high-frequency component to be reduced due to discrete cosine transform processing is included in the video signal as a feature amount from the video signal, pixels that change between adjacent frames You may make it include any one or more or all the motion amount calculation parts which calculate the motion amount which shows the magnitude | size of a value change as a feature-value from a video signal.

また、ブロックノイズ量算出部で、映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線近隣のブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値をブロックノイズ量として算出するようにしてもよい。   Further, in the block noise amount calculation unit, for each frame constituting the edge video signal obtained by applying the edge extraction filter to the video signal, based on the boundary line of the pixel block which is a processing unit of the discrete cosine transform processing, Calculate the ratio of the pixel value average value of the pixels included in the block boundary line area near the boundary line and the pixel value average value of the pixels included in the non-block boundary line area other than the block boundary line area, and calculate these ratios. A value averaged in each frame may be calculated as a block noise amount.

また、高周波成分量算出部で、映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出するようにしてもよい。   Further, the high-frequency component amount calculation unit calculates, for each frame constituting the video signal, the number of extreme value pixels whose pixel value gradient changes in at least one of the horizontal direction and the vertical direction among the pixels included in the frame screen. Alternatively, a value obtained by dividing the number of pixels in the frame screen excluding the screen end pixel may be calculated, and a value obtained by averaging these values in each frame may be calculated as the high-frequency component amount.

また、動き量算出部で、映像信号を構成するフレームのうち隣接する２つのフレームごとに、当該２つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を動き量として算出するようにしてもよい。   Further, in the motion amount calculation unit, for every two adjacent frames of the frames constituting the video signal, the standard deviation indicating the distribution of these difference values for the difference values of the pixel values at the same pixel position between the two frames. A value may be calculated, and a value obtained by averaging these standard deviation values in each frame may be calculated as a motion amount.

また、映像品質算出部で、特徴量および特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、映像品質を算出するようにしてもよい。   In addition, the video quality calculation unit may calculate the video quality by a linear sum of a feature amount and a value obtained by multiplying individual coefficients by a multiplication value of the feature amounts.

また、本発明にかかる映像品質推定方法は、ＩＰネットワークを介して受信した符号化映像データを映像受信端末で復号して得られた映像に対して、ユーザが体感する映像品質を推定する映像品質推定方法であって、映像受信端末から取得した映像信号から、当該映像に対する符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出ステップと、特徴量から映像品質を算出する映像品質算出ステップとを備えている。   Also, the video quality estimation method according to the present invention is a video quality estimation method for estimating a video quality experienced by a user with respect to a video obtained by decoding encoded video data received via an IP network at a video receiving terminal. An estimation method, a feature amount extracting step for extracting a feature amount indicating a degree of deterioration of the video by encoding processing on the video from a video signal acquired from a video receiving terminal, and a video for calculating video quality from the feature amount A quality calculation step.

この際、特徴量抽出ステップとして、離散コサイン変換処理に起因して発生するブロックノイズが映像信号に含まれている量を示すブロックノイズ量を、映像信号から特徴量として算出するブロックノイズ量算出ステップ、離散コサイン変換処理に起因して除去される高周波成分が映像信号に含まれている量を示す高周波成分量を、映像信号から特徴量として算出する高周波成分量算出ステップ、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、映像信号から特徴量として算出する動き量算出ステップのうち、いずれか１つ以上またはすべてを含むようにしてもよい。   At this time, as a feature amount extraction step, a block noise amount calculation step of calculating a block noise amount indicating an amount of block noise generated due to the discrete cosine transform processing from the video signal as a feature amount. A high-frequency component amount calculating step for calculating a high-frequency component amount indicating the amount of the high-frequency component removed due to the discrete cosine transform processing from the video signal as a feature amount, and changes between adjacent frames Any one or more or all of the motion amount calculation steps for calculating the motion amount indicating the magnitude of the change in the pixel value as the feature amount from the video signal may be included.

また、ブロックノイズ量算出ステップで、映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線近隣のブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値をブロックノイズ量として算出するようにしてもよい。   Further, in the block noise amount calculation step, for each frame constituting the edge video signal obtained by applying the edge extraction filter to the video signal, based on the boundary line of the pixel block which is a processing unit of the discrete cosine transform processing, Calculate the ratio of the pixel value average value of the pixels included in the block boundary line area near the boundary line and the pixel value average value of the pixels included in the non-block boundary line area other than the block boundary line area, and calculate these ratios. A value averaged in each frame may be calculated as a block noise amount.

また、高周波成分量算出ステップで、映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出するようにしてもよい。   Further, in the high-frequency component amount calculating step, for each frame constituting the video signal, the number of extreme value pixels whose pixel value gradient changes in at least one of the horizontal direction and the vertical direction among the pixels included in the frame screen is calculated. Alternatively, a value obtained by dividing the number of pixels in the frame screen excluding the screen end pixel may be calculated, and a value obtained by averaging these values in each frame may be calculated as the high-frequency component amount.

また、動き量算出ステップで、映像信号を構成するフレームのうち隣接する２つのフレームごとに、当該２つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を動き量として算出するようにしてもよい。   Also, in the motion amount calculation step, for each two adjacent frames of the frames constituting the video signal, the standard deviation indicating the distribution of these difference values for the difference values of the pixel values at the same pixel position between the two frames. A value may be calculated, and a value obtained by averaging these standard deviation values in each frame may be calculated as a motion amount.

また、映像品質算出ステップで、特徴量および特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、映像品質を算出するようにしてもよい。   Further, in the video quality calculation step, the video quality may be calculated by a linear sum of a feature value and a value obtained by multiplying the multiplication value of the feature values by individual coefficients.

また、本発明にかかるプログラムは、コンピュータを、前述したいずれか１つの映像品質推定装置を構成する各部として機能させるためのものである。   Further, the program according to the present invention is for causing a computer to function as each unit constituting any one of the above-described video quality estimation apparatuses.

本発明によれば、映像品質のコンテンツ依存性やコーデック実装依存性を考慮して、映像品質を高い精度で推定できる。このため、映像通信サービスを利用するユーザに対して、ある一定以上の映像品質を提供できているかどうかを、より正確に判断することができる。これにより、提供中のサービスの品質実態を把握・管理することが可能となる。   According to the present invention, video quality can be estimated with high accuracy in consideration of content dependency and codec mounting dependency of video quality. For this reason, it is possible to more accurately determine whether or not a video quality higher than a certain level can be provided to a user who uses the video communication service. This makes it possible to grasp and manage the quality of the service being provided.

本実施の形態にかかる映像品質推定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the video quality estimation apparatus concerning this Embodiment. 画素位置と輝度値の関係を示す説明図である。It is explanatory drawing which shows the relationship between a pixel position and a luminance value. 本実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。It is a flowchart which shows the video quality estimation process of the video quality estimation apparatus concerning this Embodiment. ブロック境界領域とブロック境界線との関係を示す説明図である。It is explanatory drawing which shows the relationship between a block boundary area | region and a block boundary line. 品質特性係数テーブルの例である。It is an example of a quality characteristic coefficient table. 映像品質のコンテンツ依存性を示す説明図である。It is explanatory drawing which shows the content dependence of video quality. 映像品質のコーデック実装依存性を示す説明図である。It is explanatory drawing which shows the codec mounting dependence of video quality.

次に、本発明の一実施の形態について図面を参照して説明する。
［映像品質推定装置］
まず、図１を参照して、本実施の形態にかかる映像品質推定装置について説明する。図１は、本実施の形態にかかる映像品質推定装置の構成を示すブロック図である。 Next, an embodiment of the present invention will be described with reference to the drawings.
[Video quality estimation device]
First, a video quality estimation apparatus according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing the configuration of the video quality estimation apparatus according to this embodiment.

この映像品質推定装置１０は、全体としてサーバ装置やパーソナルコンピュータなどの情報処理装置からなり、映像通信サービスを利用して、ＩＰネットワーク３を介して映像配信装置１から受信した符号化映像データを、映像受信端末２で復号して得られた映像について、当該映像を視聴したユーザが知覚する映像品質Ｖ、すなわちユーザ体感品質を、当該映像の映像信号Ｓに基づいて推定する機能を有している。   The video quality estimation device 10 is composed of an information processing device such as a server device or a personal computer as a whole, and uses encoded video data received from the video distribution device 1 via the IP network 3 using a video communication service. The video obtained by decoding at the video receiving terminal 2 has a function of estimating the video quality V perceived by the user viewing the video, that is, the user experience quality based on the video signal S of the video. .

［本発明の原理］
本発明は、映像受信端末２が受信再生した映像信号Ｓから符号化劣化に関する特徴量を抽出し、これら特徴量に基づき映像品質Ｖを算出することで、コンテンツ依存性およびコーデック実装依存性を加味した映像品質Ｖを推定する。具体的には、以下の３つの品質特性を捉えた特徴量、すなわちブロックノイズ量Ｂ、高周波成分量Ｈ、および動き量Ｔを、映像信号Ｓから抽出する。 [Principle of the present invention]
In the present invention, feature quantities relating to coding degradation are extracted from the video signal S received and reproduced by the video receiving terminal 2, and the video quality V is calculated based on these feature quantities, thereby taking into account content dependency and codec implementation dependency. Estimated video quality V. Specifically, a feature quantity that captures the following three quality characteristics, that is, a block noise quantity B, a high-frequency component quantity H, and a motion quantity T are extracted from the video signal S.

［ブロックノイズ量］
通常、映像符号化処理では、入力映像の画面を、例えば８ｘ８画素からなる矩形のブロックに区分し、ブロックごとに離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）処理を適用して画素値の高周波成分を削減しているため、ブロックの境界線の画素値（輝度値、色差値）に原映像には存在しない不自然なエッジが生じる。このエッジをブロックノイズという。このため、このようなブロックノイズ量が増加すると、ブロック境界線が顕著になり映像品質が低下する。本発明では、このブロックノイズの量を捉えた特徴量をブロックノイズ量Ｂと定義する。 [Block noise amount]
Usually, in the video encoding process, the input video screen is divided into rectangular blocks of, for example, 8 × 8 pixels, and a discrete cosine transform (DCT) process is applied to each block to generate high-frequency components of pixel values. Due to the reduction, an unnatural edge that does not exist in the original image occurs in the pixel value (luminance value, color difference value) of the block boundary line. This edge is called block noise. For this reason, when the amount of block noise increases, block boundary lines become conspicuous and video quality deteriorates. In the present invention, a feature amount that captures the amount of block noise is defined as a block noise amount B.

劣化した映像信号にエッジ抽出フィルタを適用すると、ブロックノイズの発生したブロックの境界からエッジが抽出される。また、符号化された映像は、ブロック境界以外では高周波成分の情報が削減されるため、エッジの量が減少する。
したがって、ブロックノイズ量Ｂを抽出するためには、ブロック境界線付近の領域、すなわちブロック境界領域と、それ以外の領域、すなわち非ブロック境界領域とのエッジ量の平均値の比を算出することが有効である。本発明では、ブロック境界領域と非ブロック境界領域とのエッジ量の比をフレームごとに算出し、これらエッジ量の比をフレーム数で平均した値をブロックノイズ量Ｂとする。 When an edge extraction filter is applied to a deteriorated video signal, an edge is extracted from the boundary of the block where block noise occurs. In addition, since the information of the high frequency component is reduced in the encoded video other than the block boundary, the amount of edges is reduced.
Therefore, in order to extract the block noise amount B, the ratio of the average value of the edge amounts of the area near the block boundary line, that is, the block boundary area, and the other area, that is, the non-block boundary area can be calculated. It is valid. In the present invention, the ratio of the edge amount between the block boundary region and the non-block boundary region is calculated for each frame, and the value obtained by averaging these edge amount ratios by the number of frames is defined as the block noise amount B.

［高周波成分量］
前述したように、映像符号化処理で用いる離散コサイン変換処理により、映像の画素値の高周波成分が低下する。これにより、画面全体が平坦になり、ぼけとして知覚され映像品質が低下する。本発明では、このような高周波成分を捉えた特徴量を高周波成分量Ｈと定義する。 [High-frequency component amount]
As described above, the high-frequency component of the pixel value of the video is reduced by the discrete cosine transform process used in the video encoding process. As a result, the entire screen becomes flat and is perceived as blurring, and the video quality is degraded. In the present invention, a feature amount capturing such a high-frequency component is defined as a high-frequency component amount H.

図２は、画素位置と輝度値の関係を示す説明図である。水平方向または垂直方向において輝度値の勾配が正から負もしくは負から正に変わる画素、すなわち図２の極値画素の出現頻度は、輝度値の振動回数を意味し、映像の高周波成分の量を表している。本発明では、水平方向または垂直方向の極値画素が画面全体を占める割合を平均した値をフレームごとに算出し、これら極値画素の平均占有率をフレーム数で平均した値を高周波成分量Ｈとする。   FIG. 2 is an explanatory diagram showing the relationship between the pixel position and the luminance value. The appearance frequency of the pixel whose luminance value gradient changes from positive to negative or from negative to positive in the horizontal direction or the vertical direction, that is, the extreme value pixel in FIG. Represents. In the present invention, a value obtained by averaging the proportion of the extreme pixels in the horizontal direction or the vertical direction occupying the entire screen is calculated for each frame, and a value obtained by averaging the average occupation ratio of these extreme pixels by the number of frames is calculated. And

［動き量］
隣接フレーム間で動きの量が多い映像は、ブロックノイズや高周波成分の減少（ぼけ）などの劣化が知覚され難い。このため、同じ劣化量でも、動きの量が多くなるに従い、それらの劣化が知覚され難くなり、映像品質が高くなる。本発明では、この動きの量を捉えた特徴量を動き量Ｔと定義する。
動きの量が多い映像は、隣接フレーム間での画素値の変化が大きくなる。本発明では、隣接フレーム間ごとに、両フレーム間の画素値の差分値について標準偏差値を算出し、これら標準偏差値を隣接フレーム間数で平均した値を動き量Ｔとする。 [Movement amount]
In a video with a large amount of motion between adjacent frames, it is difficult to perceive deterioration such as block noise or reduction (blur) of high frequency components. For this reason, even with the same amount of deterioration, as the amount of motion increases, the deterioration becomes difficult to perceive, and the video quality increases. In the present invention, a feature amount that captures the amount of motion is defined as a motion amount T.
An image with a large amount of motion has a large change in pixel value between adjacent frames. In the present invention, for each adjacent frame, a standard deviation value is calculated for a difference value of pixel values between both frames, and a value obtained by averaging these standard deviation values by the number of adjacent frames is set as a motion amount T.

［本実施の形態の構成］
次に、図１を参照して、本実施の形態にかかる映像品質推定装置１０の構成について詳細に説明する。
この映像品質推定装置１０は、全体としてサーバ装置やパーソナルコンピュータなどの情報処理装置からなり、主な機能部として、映像信号取得部１１、特徴量抽出部１２、および映像品質算出部１３が設けられている。 [Configuration of the embodiment]
Next, the configuration of the video quality estimation apparatus 10 according to the present embodiment will be described in detail with reference to FIG.
The video quality estimation device 10 is composed of an information processing device such as a server device or a personal computer as a whole, and a video signal acquisition unit 11, a feature amount extraction unit 12, and a video quality calculation unit 13 are provided as main functional units. ing.

映像信号取得部１１は、専用の映像インターフェース回路からなり、映像受信端末２が映像配信装置１から受信して復号し、ＬＣＤやＰＤＰなどのディスプレイ装置へ出力する映像信号Ｓを取得する機能を有している。   The video signal acquisition unit 11 includes a dedicated video interface circuit, and has a function of acquiring a video signal S that is received and decoded by the video receiving terminal 2 from the video distribution device 1 and output to a display device such as an LCD or PDP. doing.

特徴量抽出部１２は、映像信号取得部１１で取得した映像信号Ｓから、元の映像に対する符号化処理による当該映像の劣化度合いを示す特徴量を抽出する機能を有している。
この特徴量抽出部１２には、主な処理部として、ブロックノイズ量算出部１２Ａ、高周波成分量算出部１２Ｂ、および動き量算出部１２Ｃが設けられている。 The feature amount extraction unit 12 has a function of extracting, from the video signal S acquired by the video signal acquisition unit 11, a feature amount indicating the degree of degradation of the video due to the encoding process on the original video.
The feature amount extraction unit 12 includes a block noise amount calculation unit 12A, a high frequency component amount calculation unit 12B, and a motion amount calculation unit 12C as main processing units.

ブロックノイズ量算出部１２Ａは、離散コサイン変換処理に起因して発生するブロックノイズが映像信号に含まれている量を示すブロックノイズ量を、映像信号から特徴量として算出する機能を有している。具体的には、映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線近隣のブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値をブロックノイズ量として算出する。   The block noise amount calculation unit 12A has a function of calculating a block noise amount indicating an amount of block noise generated due to discrete cosine transform processing included in the video signal as a feature amount from the video signal. . Specifically, for each frame constituting the edge video signal obtained by applying the edge extraction filter to the video signal, based on the boundary line of the pixel block that is a processing unit of the discrete cosine transform processing, Calculate the ratio between the pixel value average value of the pixels included in the block boundary area and the pixel value average value of pixels included in the non-block boundary area other than the block boundary area, and average these ratios in each frame. The calculated value is calculated as a block noise amount.

高周波成分量算出部１２Ｂは、離散コサイン変換処理に起因して低減してしまう高周波成分が映像信号に含まれている量を示す高周波成分量を、映像信号から特徴量として算出する機能とを有している。具体的には、映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出する。   The high-frequency component amount calculation unit 12B has a function of calculating, as a feature amount, a high-frequency component amount indicating the amount that a high-frequency component that is reduced due to discrete cosine transform processing is included in the video signal. doing. Specifically, for each frame constituting the video signal, the number of extreme pixels whose pixel value gradient changes in at least one of the horizontal direction and the vertical direction among the pixels included in the frame screen is determined as the screen edge pixel. A value obtained by dividing by the number of pixels of the frame screen excluding is calculated, and a value obtained by averaging these values in each frame is calculated as a high-frequency component amount.

動き量算出部１２Ｃは、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、映像信号から特徴量として算出する機能とを有している。具体的には、映像信号を構成するフレームのうち隣接する２つのフレームごとに、当該２つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を動き量として算出する。   The motion amount calculation unit 12C has a function of calculating a motion amount indicating the magnitude of a change in pixel value that changes between adjacent frames as a feature amount from the video signal. Specifically, for every two adjacent frames out of the frames constituting the video signal, the standard deviation value indicating the distribution of these difference values is calculated for the difference values of the pixel values at the same pixel position between the two frames. Then, a value obtained by averaging these standard deviation values in each frame is calculated as a motion amount.

映像品質算出部１３は、特徴量抽出部１２で抽出した、元の映像に対する符号化処理による映像品質劣化に関する特徴量、具体的にはブロックノイズ量Ｂ、高周波成分量Ｈ、および動き量Ｔに基づいて、復号した映像を視聴したユーザが知覚する映像品質Ｖ、すなわちユーザ体感品質を算出する機能を有している。具体的には、これら特徴量および特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、映像品質を算出する。   The video quality calculation unit 13 uses the feature amount related to the video quality degradation by the encoding process for the original video extracted by the feature amount extraction unit 12, specifically, the block noise amount B, the high frequency component amount H, and the motion amount T. Based on this, it has a function of calculating the video quality V perceived by the user who views the decoded video, that is, the user experience quality. Specifically, the video quality is calculated by the linear sum of these feature values and the product of the feature values multiplied by individual coefficients.

映像品質推定装置１０における機能部のうち、特徴量抽出部１２および映像品質算出部１３については、演算処理部により実現してもよい。演算処理部は、ＣＰＵなどのマイクロコンピュータとその周辺回路を有し、記憶部からプログラムを読み込んで実行することにより、各種機能部を実現する。   Of the functional units in the video quality estimation apparatus 10, the feature amount extraction unit 12 and the video quality calculation unit 13 may be realized by an arithmetic processing unit. The arithmetic processing unit includes a microcomputer such as a CPU and its peripheral circuits, and implements various functional units by reading and executing a program from the storage unit.

なお、映像品質推定装置１０には、一般的なサーバ装置やパーソナルコンピュータなどの情報処理装置と同様に、演算処理部や記憶部のほか、ＬＣＤなどのディスプレイ装置、キーボードやマウスなどの操作入力装置、通信インターフェース、データ入出力インターフェースなどの各種機能部が設けられているものとする。   The video quality estimation apparatus 10 includes an arithmetic processing unit and a storage unit, a display device such as an LCD, and an operation input device such as a keyboard and a mouse, as in an information processing device such as a general server device or personal computer. It is assumed that various functional units such as a communication interface and a data input / output interface are provided.

［本実施の形態の動作］
次に、図３を参照して、本実施の形態にかかる映像品質推定装置１０の動作について説明する。図３は、本実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
映像品質推定装置１０は、オペレータからの指示操作や外部装置（図示せず）からの指示に応じて、図３の映像品質推定処理を開始する。 [Operation of this embodiment]
Next, the operation of the video quality estimation apparatus 10 according to the present embodiment will be described with reference to FIG. FIG. 3 is a flowchart showing video quality estimation processing of the video quality estimation apparatus according to the present embodiment.
The video quality estimation apparatus 10 starts the video quality estimation process of FIG. 3 in response to an instruction operation from an operator or an instruction from an external device (not shown).

まず、映像品質推定装置１０は、映像信号取得部１１により、映像受信端末２から映像信号Ｓを取得する（ステップ１００）。この映像信号Ｓ内には、輝度信号や色差信号を表す画素値が含まれている。   First, the video quality estimation apparatus 10 acquires the video signal S from the video receiving terminal 2 by the video signal acquisition unit 11 (step 100). This video signal S includes pixel values representing luminance signals and color difference signals.

次に、映像品質推定装置１０は、特徴量抽出部１２により、映像信号取得部１１で取得した映像信号Ｓの画素値に基づいて、元の映像に対する符号化処理による映像信号Ｓの映像品質劣化の度合いを示す特徴量を抽出する。この際、特徴量抽出部１２は、ブロックノイズ量算出部１２Ａにより映像信号Ｓの画素値からブロックノイズ量Ｂを算出し（ステップ１０１）、高周波成分量算出部１２Ｂにより映像信号Ｓの画素値から高周波成分量Ｈを算出し（ステップ１０２）、動き量算出部１２Ｃにより映像信号Ｓの画素値から動き量Ｔを算出する（ステップ１０３）。   Next, the video quality estimation apparatus 10 uses the feature amount extraction unit 12 to degrade the video quality of the video signal S due to the encoding process for the original video based on the pixel value of the video signal S acquired by the video signal acquisition unit 11. The feature quantity indicating the degree of the is extracted. At this time, the feature amount extraction unit 12 calculates the block noise amount B from the pixel value of the video signal S by the block noise amount calculation unit 12A (step 101), and from the pixel value of the video signal S by the high frequency component amount calculation unit 12B. The high frequency component amount H is calculated (step 102), and the motion amount T is calculated from the pixel value of the video signal S by the motion amount calculation unit 12C (step 103).

この後、映像品質推定装置１０は、映像品質算出部１３により、特徴量抽出部１２で算出されたブロックノイズ量Ｂ、高周波成分量Ｈ、および動き量Ｔから映像品質Ｖを算出し（ステップ１０４）、一連の映像品質推定処理を終了する。   Thereafter, the video quality estimation apparatus 10 calculates the video quality V from the block noise amount B, the high frequency component amount H, and the motion amount T calculated by the feature amount extraction unit 12 by the video quality calculation unit 13 (step 104). ), A series of video quality estimation processing ends.

［ブロックノイズ量算出処理］
次に、ブロックノイズ量算出部１２Ａにおけるブロックノイズ量算出処理について詳細に説明する。
ブロックノイズ量算出部１２Ａは、まず、映像信号取得部１１で取得した映像信号Ｓに、エッジ抽出フィルタ処理を適用し、エッジ映像信号を生成する。エッジ抽出フィルタ処理の具体例としては、例えば、公知のＣａｎｎｙ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ（非特許文献４など参照）を使用すればよい。このエッジ抽出フィルタとしては、Ｓｏｂｅｌフィルタやラプラスフィルタを適用することができるが、Ｃａｎｎｙ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒを利用すれば、今回対象とするブロックノイズによって生じるブロック間の境界線についてはより精度良く抽出できる。 [Block noise amount calculation processing]
Next, the block noise amount calculation processing in the block noise amount calculation unit 12A will be described in detail.
The block noise amount calculation unit 12A first applies edge extraction filter processing to the video signal S acquired by the video signal acquisition unit 11 to generate an edge video signal. As a specific example of the edge extraction filter processing, for example, a well-known Canny Edge Detector (see Non-Patent Document 4 or the like) may be used. As this edge extraction filter, a Sobel filter or a Laplace filter can be applied. However, if the Canny Edge Detector is used, a boundary line between blocks caused by the block noise targeted this time can be extracted with higher accuracy.

この後、ブロックノイズ量算出部１２Ａは、生成されたエッジ映像信号からブロックノイズ量Ｂを算出する。まず、ブロック境界領域と非ブロック境界領域を定義する。ブロック境界領域は、離散コサイン変換の適用単位であるブロックの境界付近に位置する画素である。図４は、ブロック境界領域とブロック境界線との関係を示す説明図である。
本実施例では、図４のように、（１）ブロック境界線が画素境界に位置する場合は、ブロック境界線に隣接するすべての画素をブロック境界線領域と設定し、（２）ブロック境界線が画素内に位置する場合は、ブロック境界線を含むすべての画素およびそれらの画素に隣接するすべての画素をブロック境界線領域と設定する。 Thereafter, the block noise amount calculation unit 12A calculates the block noise amount B from the generated edge video signal. First, a block boundary area and a non-block boundary area are defined. The block boundary region is a pixel located in the vicinity of a block boundary that is an application unit of discrete cosine transform. FIG. 4 is an explanatory diagram showing the relationship between the block boundary area and the block boundary line.
In this embodiment, as shown in FIG. 4, when (1) the block boundary line is located at the pixel boundary, all the pixels adjacent to the block boundary line are set as the block boundary area, and (2) the block boundary line Is located within the pixel, all the pixels including the block boundary line and all the pixels adjacent to these pixels are set as the block boundary line region.

なお、ブロック境界線位置は、映像復号に用いるコーデックの種別により異なる。また、解像度の変換等の画像処理により、コーデックで定義されているブロック境界位置と一致しないことがある。例えば、解像度１４４０×１０８０の符号化映像を、解像度１９２０×１０８０のディスプレイ装置で出力する場合、８×８のブロックサイズは１０．６６×８のブロックサイズとなる。ブロック境界位置についてはシステムに基づいて予め設定しておくか、推定する必要があり、本実施例では、ブロック境界位置が既知である例を示す。これに対し、非ブロック境界領域は、ブロック境界領域以外のすべての画素を示す。   The block boundary line position varies depending on the type of codec used for video decoding. Also, image processing such as resolution conversion may not match the block boundary position defined by the codec. For example, when an encoded video having a resolution of 1440 × 1080 is output on a display device having a resolution of 1920 × 1080, the block size of 8 × 8 becomes a block size of 10.66 × 8. The block boundary position needs to be set in advance or estimated based on the system, and this embodiment shows an example in which the block boundary position is known. On the other hand, the non-block boundary region indicates all pixels other than the block boundary region.

続いて、ブロックノイズ量算出部１２Ａは、次の式（１）に基づいて、フレームごとに、エッジ映像信号のブロック境界線領域内に位置する画素値の合計を、ブロック境界線領域内の画素数Ｎ1で平均することにより、画素値平均値Ｂ1（ｎ）を算出する。ここで、Ｅn（ｉ，ｊ）はエッジ映像信号のｎフレーム目の画素位置（ｉ，ｊ）の画素値を示し、Ａ1は、ブロック境界線領域内に位置するすべての画素位置の集合である。なお、本実施例では画素値として輝度値を用いた場合を例に説明する。

Figure 0005234812
Subsequently, the block noise amount calculation unit 12A calculates the sum of the pixel values located in the block boundary line area of the edge video signal for each frame based on the following equation (1). The pixel value average value B 1 (n) is calculated by averaging with the number N 1 . Here, E n (i, j) indicates the pixel value at the pixel position (i, j) of the nth frame of the edge video signal, and A 1 is a set of all pixel positions located in the block boundary area. It is. In this embodiment, a case where a luminance value is used as a pixel value will be described as an example.
Figure 0005234812

また、ブロックノイズ量算出部１２Ａは、次の式（２）に基づいて、フレームごとに、エッジ映像信号の非ブロック境界線領域内に位置する画素値の合計を、非ブロック境界線領域内の画素数Ｎ2で平均することにより、画素値平均値Ｂ2（ｎ）を算出する。ここで、Ａ2は、非ブロック境界線領域内に位置するすべての画素位置の集合である。

Figure 0005234812
Further, the block noise amount calculation unit 12A calculates the sum of the pixel values located in the non-block boundary line area of the edge video signal for each frame based on the following equation (2). The pixel value average value B 2 (n) is calculated by averaging with the number of pixels N 2 . Here, A 2 is a set of all pixel positions located in the non-block boundary line region.
Figure 0005234812

ここで、Ｂ1（ｎ）は、ブロック境界領域内の映像の境界線およびブロックノイズによって生じたブロック間の境界線の量を表している。しかし、符号化劣化により、映像の境界線の量が減ってしまうため、画素値平均値Ｂ1（ｎ）だけでは、ブロックノイズの増加が捉え切れない。そのため、本実施の形態では、非ブロック境界領域内の映像の境界線の量である画素値平均値Ｂ2（ｎ）を用いて正規化することにより、ブロックノイズ量を算出している。これにより、符号化によるエッジ量の低下を考慮したブロックノイズ量を精度よく算出できる。
したがって、ブロックノイズ量算出部１２Ａは、次の式（３）に示すように、画素値平均値Ｂ1（ｎ）と画素値平均値Ｂ2（ｎ）の比を全フレーム数Ｎで平均した値をブロックノイズ量Ｂとして算出する。

Figure 0005234812
Here, B 1 (n) represents the amount of the boundary line between the blocks generated by the boundary line of the video in the block boundary region and the block noise. However, since the amount of video boundary lines decreases due to encoding degradation, an increase in block noise cannot be grasped only with the pixel value average value B 1 (n). Therefore, in this embodiment, the block noise amount is calculated by normalizing using the pixel value average value B 2 (n) which is the amount of the boundary line of the video in the non-block boundary region. Thereby, it is possible to accurately calculate the block noise amount in consideration of the decrease in the edge amount due to encoding.
Therefore, the block noise amount calculation unit 12A averages the ratio of the pixel value average value B 1 (n) and the pixel value average value B 2 (n) over the total number N of frames as shown in the following equation (3). The value is calculated as the block noise amount B.
Figure 0005234812

［高周波成分量算出処理］
次に、高周波成分量算出部１２Ｂにおける高周波成分量算出処理について詳細に説明する。
高周波成分量算出部１２Ｂは、映像信号取得部１１で取得した映像信号Ｓから、高周波成分量Ｈを算出する。高周波成分量Ｈの算出方法については公知の手法を用いればよい（例えば、非特許文献５など参照）。 [High-frequency component amount calculation processing]
Next, the high frequency component amount calculation processing in the high frequency component amount calculation unit 12B will be described in detail.
The high frequency component amount calculation unit 12B calculates the high frequency component amount H from the video signal S acquired by the video signal acquisition unit 11. As a method for calculating the high frequency component amount H, a known method may be used (see, for example, Non-Patent Document 5).

まず、高周波成分量算出部１２Ｂは、次の式（４）に基づいて、画面端を除く画素に関するＩhorizontal（ｉ，ｊ，ｎ）およびＩvertical（ｉ，ｊ，ｎ）を、フレームごとに算出する。ここで、Ｆｎ（ｉ，ｊ）は映像信号のｎフレーム目の画素位置（ｉ，ｊ）の画素値を示す。

Figure 0005234812
First, the high frequency component amount calculation unit 12B calculates I horizontal (i, j, n) and I vertical (i, j, n) for pixels excluding the screen edge for each frame based on the following equation (4). calculate. Here, Fn (i, j) represents the pixel value at the pixel position (i, j) of the nth frame of the video signal.
Figure 0005234812

続いて、高周波成分量算出部１２Ｂは、次の式（５）に基づいて、これらＩhorizontal（ｉ，ｊ，ｎ）およびＩvertical（ｉ，ｊ，ｎ）の平均値について、画面端を除いた画素数で平均した値Ｈｆｒａｍｅを算出する。ここで、Ｗは水平方向の画素数、Ｈは垂直方向の画素数を示す。

Figure 0005234812
Subsequently, the high-frequency component amount calculation unit 12B removes the screen edge from the average value of these I horizontal (i, j, n) and I vertical (i, j, n) based on the following equation (5). A value Hframe averaged by the number of pixels obtained is calculated. Here, W represents the number of pixels in the horizontal direction, and H represents the number of pixels in the vertical direction.
Figure 0005234812

この後、高周波成分量算出部１２Ｂは、次の式（６）に基づいて、Ｈframe（ｎ）を全フレーム数Ｎで平均した値を高周波成分量Ｈとして算出する。

Figure 0005234812
Thereafter, the high-frequency component amount calculation unit 12B calculates, as the high-frequency component amount H, a value obtained by averaging H frame (n) with the total number N of frames based on the following equation (6).
Figure 0005234812

［動き量算出処理］
次に、動き量算出部１２Ｃにおける動き量算出処理について詳細に説明する。
動き量算出部１２Ｃは、映像信号取得部１１で取得した映像信号Ｓから、動き量Ｔを算出する。動き量Ｔの算出方法については公知の手法を用いればよい（例えば、非特許文献６など参照）。 [Motion calculation processing]
Next, the motion amount calculation processing in the motion amount calculation unit 12C will be described in detail.
The motion amount calculation unit 12C calculates the motion amount T from the video signal S acquired by the video signal acquisition unit 11. As a method for calculating the motion amount T, a known method may be used (see, for example, Non-Patent Document 6).

まず、動き量算出部１２Ｃは、隣接するフレーム間の同じ画素位置の画素値の差分値Ｍ（ｉ，ｊ，ｎ）を、次の式（７）に基づき算出する。ここでＦn（ｉ，ｊ）は映像信号のｎフレーム目の画素位置（ｉ，ｊ）の画素値を示す。

Figure 0005234812
First, the motion amount calculation unit 12C calculates a difference value M (i, j, n) of pixel values at the same pixel position between adjacent frames based on the following equation (7). Here, F n (i, j) represents the pixel value at the pixel position (i, j) of the nth frame of the video signal.
Figure 0005234812

この後、動き量算出部１２Ｃは、次の式（８）に基づいて、画面全体のＭ（ｉ，ｊ，ｎ）の標準偏差をフレームごとに算出し、これら標準偏差値を隣接フレーム間数で平均した値を動き量Ｔとして算出する。ここで、ｓｔｄspaceは画面内の画素値の標準偏差を示す。

Figure 0005234812
Thereafter, the motion amount calculation unit 12C calculates the standard deviation of M (i, j, n) of the entire screen for each frame based on the following equation (8), and calculates the standard deviation value between the adjacent frames. The value averaged in step (a) is calculated as the movement amount T. Here, std space indicates a standard deviation of pixel values in the screen.
Figure 0005234812

［映像品質算出処理］
次に、映像品質算出部１３における映像品質算出処理について詳細に説明する。
映像品質算出部１３は、次の式（９）に基づいて、特徴量抽出部１２で抽出したブロックノイズ量Ｂ、高周波成分量Ｈ、および動き量Ｔから、映像品質Ｖを算出する。

Figure 0005234812
[Video quality calculation processing]
Next, the video quality calculation process in the video quality calculation unit 13 will be described in detail.
The video quality calculation unit 13 calculates the video quality V from the block noise amount B, the high frequency component amount H, and the motion amount T extracted by the feature amount extraction unit 12 based on the following equation (9).
Figure 0005234812

式（９）において、映像品質Ｖは、ブロックノイズ量Ｂ、高周波成分量Ｈ、および動き量Ｔおよびこれら特徴量同士の乗算値に対して、個別の係数をそれぞれ乗算した値の線形和で算出される。ただし、ｖ1，ｖ2，ｖ3，ｖ4，ｖ5，ｖ6，ｖ7はコーデック種別、サービス種別、映像解像度などにより決まる品質特性係数である。図５は、品質特性係数テーブルの例である。このように、コーデック種別（Ｈ．２６４、ＭＰＥＧ−２など）、サービス種別（ＩＰＴＶ、テレビ電話など）、映像解像度（１０８０ｉ、４８０ｉなど）の組み合わせごとに、予め品質特性係数を算出し、テーブルとして保持しておけばよい。 In equation (9), the video quality V is calculated as a linear sum of values obtained by multiplying the block noise amount B, the high frequency component amount H, the motion amount T, and the multiplication values of these feature amounts by individual coefficients. Is done. However, v 1 , v 2 , v 3 , v 4 , v 5 , v 6 , v 7 are quality characteristic coefficients determined by the codec type, service type, video resolution, and the like. FIG. 5 is an example of a quality characteristic coefficient table. In this way, quality characteristic coefficients are calculated in advance for each combination of codec type (H.264, MPEG-2, etc.), service type (IPTV, videophone, etc.), and video resolution (1080i, 480i, etc.) as a table. Just hold it.

［本実施の形態の効果］
このように、本実施の形態は、特徴量抽出部１２により、映像受信端末２から取得した映像信号Ｓから、元の映像に対する符号化処理による当該映像の劣化度合いを示す、ブロックノイズ量Ｂ、高周波成分量Ｈ、および動き量Ｔなどの特徴量を抽出し、映像品質算出部１３により、これら特徴量から映像品質Ｖを算出するようにしたので、映像品質のコンテンツ依存性やコーデック実装依存性を考慮して、映像品質を高い精度で推定できる。
このため、映像通信サービスを利用するユーザに対して、ある一定以上の映像品質を提供できているかどうかを、より正確に判断することができる。これにより、提供中のサービスの品質実態を把握・管理することが可能となる。 [Effects of the present embodiment]
As described above, according to the present embodiment, the block noise amount B, which indicates the degree of deterioration of the video due to the encoding process on the original video, from the video signal S acquired from the video receiving terminal 2 by the feature amount extraction unit 12. Since feature quantities such as the high-frequency component quantity H and the motion quantity T are extracted and the video quality calculation unit 13 calculates the video quality V from these feature quantities, the video quality depends on the content and the codec implementation. The video quality can be estimated with high accuracy.
For this reason, it is possible to more accurately determine whether or not a video quality higher than a certain level can be provided to a user who uses the video communication service. This makes it possible to grasp and manage the quality of the service being provided.

また、本実施の形態では、特徴量抽出部１２において、離散コサイン変換処理に起因して発生するブロックノイズが映像信号に含まれている量を示すブロックノイズ量を、映像信号から特徴量として算出するブロックノイズ量算出部１２Ａ、離散コサイン変換処理に起因して低減する高周波成分が映像信号に含まれている量を示す高周波成分量を、映像信号から特徴量として算出する高周波成分量算出部１２Ｂ、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、映像信号から特徴量として算出する動き量算出部１２Ｃのうち、いずれか１つ以上またはすべてを含むようにしたので、映像品質のコンテンツ依存性やコーデック実装依存性を示す特徴量を映像信号から抽出することができる。   In the present embodiment, the feature amount extraction unit 12 calculates a block noise amount indicating the amount of block noise generated in the video signal due to the discrete cosine transform processing as a feature amount from the video signal. A block noise amount calculation unit 12A for performing, and a high frequency component amount calculation unit 12B for calculating a high frequency component amount indicating an amount in which the high frequency component to be reduced due to the discrete cosine transform processing is included in the video signal as a feature amount from the video signal Since the motion amount indicating the magnitude of the change in the pixel value that changes between adjacent frames is included in any one or more or all of the motion amount calculation unit 12C that calculates the feature amount from the video signal. It is possible to extract from the video signal a feature quantity that indicates content dependency of video quality and codec mounting dependency.

また、本実施の形態では、ブロックノイズ量算出部１２Ａで、映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線近隣のブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値をブロックノイズ量として算出するようにしたので、元の映像を符号化する際の離散コサイン変換処理に起因して発生するブロックノイズが、受信映像端末２で復号した映像信号に含まれている量を精度よく算出することができる。   Further, in the present embodiment, the block noise amount calculation unit 12A performs pixel cosine transform processing unit of discrete cosine transform processing for each frame constituting the edge video signal obtained by applying the edge extraction filter to the video signal. Based on the boundary line, the ratio of the pixel value average value of the pixels included in the block boundary line area adjacent to the boundary line and the pixel value average value of pixels included in the non-block boundary line area other than the block boundary line area And the average of these ratios in each frame is calculated as the block noise amount, so that the block noise generated due to the discrete cosine transform processing when encoding the original video is received video. The amount included in the video signal decoded by the terminal 2 can be accurately calculated.

また、本実施の形態では、高周波成分量算出部１２Ｂで、映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出するようにしたので、元の映像を符号化する際の離散コサイン変換処理に起因して低減してしまう高周波成分が、受信映像端末２で復号した映像信号に含まれている量を精度よく算出することができる。   In the present embodiment, the high-frequency component amount calculation unit 12B changes the pixel value gradient in at least one of the horizontal direction and the vertical direction among the pixels included in the frame screen for each frame constituting the video signal. The value obtained by dividing the number of extreme pixels to be divided by the number of pixels of the frame screen excluding the screen edge pixel, and the value obtained by averaging these values in each frame is calculated as the amount of high-frequency components. It is possible to accurately calculate the amount of high-frequency components that are reduced due to discrete cosine transform processing at the time of encoding video included in the video signal decoded by the reception video terminal 2.

また、本実施の形態では、動き量算出部１２Ｃで、映像信号を構成するフレームのうち隣接する２つのフレームごとに、当該２つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を動き量として算出するようにしたので、受信映像端末２で復号した映像信号のうち、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を精度よく算出することができる。   Further, in the present embodiment, the difference calculation unit 12C calculates the difference between pixel values at the same pixel position between the two frames for each two adjacent frames of the video signal. Since the standard deviation value indicating the distribution of the values is calculated, and a value obtained by averaging these standard deviation values in each frame is calculated as the amount of motion, among the video signals decoded by the receiving video terminal 2, between adjacent frames It is possible to accurately calculate the amount of motion indicating the magnitude of change of the changing pixel value.

また、本実施の形態では、映像品質算出部１３により、特徴量および特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、映像品質を算出するようにしたので、複数の特徴量から精度の高い映像品質を算出することができる。   In the present embodiment, the video quality calculation unit 13 calculates the video quality by the linear sum of the feature value and the product of the feature values multiplied by individual coefficients. It is possible to calculate video quality with high accuracy from a plurality of feature amounts.

［実施の形態の拡張］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。 [Extended embodiment]
The present invention has been described above with reference to the embodiments, but the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

１０…映像品質推定装置、１１…映像信号取得部、１２…特徴量抽出部、１２Ａ…ブロックノイズ量算出部、１２Ｂ…高周波成分量算出部、１２Ｃ…動き量算出部、１３…映像品質算出部、１…映像配信装置、２…映像受信装置、３…ＩＰネットワーク。   DESCRIPTION OF SYMBOLS 10 ... Video quality estimation apparatus, 11 ... Video signal acquisition part, 12 ... Feature-value extraction part, 12A ... Block noise amount calculation part, 12B ... High frequency component amount calculation part, 12C ... Motion amount calculation part, 13 ... Video quality calculation part DESCRIPTION OF SYMBOLS 1 ... Video distribution apparatus, 2 ... Video receiving apparatus, 3 ... IP network.

Claims (7)

ＩＰネットワークを介して受信した符号化映像データを映像受信端末で復号して得られた映像に対して、ユーザが体感する映像品質を推定する映像品質推定装置であって、
前記映像受信端末から取得した映像信号から、符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出部と、
前記特徴量から映像品質を算出する映像品質算出部と
を備え、
前記特徴量抽出部は、離散コサイン変換処理に起因して発生するブロックノイズが前記映像信号に含まれている量を示すブロックノイズ量を、前記映像信号から前記特徴量として算出するブロックノイズ量算出部と、離散コサイン変換処理に起因して低減する高周波成分が前記映像信号に含まれている量を示す高周波成分量を、前記映像信号から前記特徴量として算出する高周波成分量算出部とを含み、
前記ブロックノイズ量算出部は、前記映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、前記離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線に隣接するすべての画素からなるブロック境界線領域、または、当該境界線を含むすべての画素およびそれらの画素に隣接する画素からなるブロック境界線領域について、当該ブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値を前記ブロックノイズ量として算出し、
前記高周波成分量算出部は、前記映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出し、
前記映像品質算出部は、前記特徴量および前記特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、前記映像品質を算出する
ことを特徴とする映像品質推定装置。 A video quality estimation device that estimates video quality experienced by a user for video obtained by decoding encoded video data received via an IP network at a video receiving terminal,
A feature amount extraction unit that extracts a feature amount indicating the degree of degradation of the video by the encoding process from the video signal acquired from the video receiving terminal;
A video quality calculation unit that calculates video quality from the feature amount ,
The feature amount extraction unit calculates a block noise amount that indicates an amount of block noise generated due to discrete cosine transform processing included in the video signal as the feature amount from the video signal. And a high-frequency component amount calculation unit that calculates a high-frequency component amount indicating the amount of high-frequency components to be reduced due to discrete cosine transform processing included in the video signal as the feature amount from the video signal. ,
The block noise amount calculation unit, for each frame constituting an edge video signal obtained by applying an edge extraction filter to the video signal, based on a boundary line of a pixel block that is a processing unit of the discrete cosine transform processing, A block boundary line area composed of all pixels adjacent to the boundary line, or a block boundary line area composed of all pixels including the boundary line and pixels adjacent to the pixels is included in the block boundary line area. The ratio of the pixel value average value of the pixel and the pixel value average value of the pixels included in the non-block boundary line area other than the block boundary line area is calculated, and the value obtained by averaging these ratios in each frame is the block noise amount As
The high-frequency component amount calculation unit calculates, for each frame constituting the video signal, the number of extreme value pixels whose pixel value gradient changes in at least one of a horizontal direction and a vertical direction among pixels included in the frame screen. , Calculate the value divided by the number of pixels of the frame screen excluding the screen edge pixel, and calculate the value obtained by averaging these values in each frame as the high frequency component amount,
The video quality calculation unit, wherein the video quality calculation unit calculates the video quality by a linear sum of a value obtained by multiplying the feature value and a multiplication value of the feature values by individual coefficients . ＩＰネットワークを介して受信した符号化映像データを映像受信端末で復号して得られた映像に対して、ユーザが体感する映像品質を推定する映像品質推定装置であって、
前記映像受信端末から取得した映像信号から、符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出部と、
前記特徴量から映像品質を算出する映像品質算出部と
を備え、
前記特徴量抽出部は、離散コサイン変換処理に起因して発生するブロックノイズが前記映像信号に含まれている量を示すブロックノイズ量を、前記映像信号から前記特徴量として算出するブロックノイズ量算出部と、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、前記映像信号から前記特徴量として算出する動き量算出部とを含み、
前記ブロックノイズ量算出部は、前記映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、前記離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線に隣接するすべての画素からなるブロック境界線領域、または、当該境界線を含むすべての画素およびそれらの画素に隣接する画素からなるブロック境界線領域について、当該ブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値を前記ブロックノイズ量として算出し、
前記動き量算出部は、前記映像信号を構成するフレームのうち隣接する２つのフレームごとに、当該２つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を前記動き量として算出し、
前記映像品質算出部は、前記特徴量および前記特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、前記映像品質を算出する
ことを特徴とする映像品質推定装置。 A video quality estimation device that estimates video quality experienced by a user for video obtained by decoding encoded video data received via an IP network at a video receiving terminal,
A feature amount extraction unit that extracts a feature amount indicating the degree of degradation of the video by the encoding process from the video signal acquired from the video receiving terminal;
A video quality calculation unit for calculating video quality from the feature amount;
With
The feature amount extraction unit calculates a block noise amount that indicates an amount of block noise generated due to discrete cosine transform processing included in the video signal as the feature amount from the video signal. A motion amount calculation unit that calculates a motion amount indicating a magnitude of a change in a pixel value that changes between adjacent frames as the feature amount from the video signal,
The block noise amount calculation unit, for each frame constituting an edge video signal obtained by applying an edge extraction filter to the video signal, based on a boundary line of a pixel block that is a processing unit of the discrete cosine transform processing, A block boundary line area composed of all pixels adjacent to the boundary line, or a block boundary line area composed of all pixels including the boundary line and pixels adjacent to the pixels is included in the block boundary line area. The ratio of the pixel value average value of the pixel and the pixel value average value of the pixels included in the non-block boundary line area other than the block boundary line area is calculated, and the value obtained by averaging these ratios in each frame is the block noise amount. As
The motion amount calculation unit, for every two adjacent frames among the frames constituting the video signal, for a difference value of pixel values at the same pixel position between the two frames, a standard deviation indicating a distribution of these difference values Value is calculated, and a value obtained by averaging these standard deviation values in each frame is calculated as the amount of movement,
The video quality calculation unit, wherein the video quality calculation unit calculates the video quality by a linear sum of a value obtained by multiplying the feature value and a multiplication value of the feature values by individual coefficients . ＩＰネットワークを介して受信した符号化映像データを映像受信端末で復号して得られた映像に対して、ユーザが体感する映像品質を推定する映像品質推定装置であって、
前記映像受信端末から取得した映像信号から、符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出部と、
前記特徴量から映像品質を算出する映像品質算出部と
を備え、
前記特徴量抽出部は、離散コサイン変換処理に起因して低減する高周波成分が前記映像信号に含まれている量を示す高周波成分量を、前記映像信号から前記特徴量として算出する高周波成分量算出部と、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、前記映像信号から前記特徴量として算出する動き量算出部とを含み、
前記高周波成分量算出部は、前記映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出し、
前記動き量算出部は、前記映像信号を構成するフレームのうち隣接する２つのフレームごとに、当該２つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を前記動き量として算出し、
前記映像品質算出部は、前記特徴量および前記特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、前記映像品質を算出する
ことを特徴とする映像品質推定装置。 A video quality estimation device that estimates video quality experienced by a user for video obtained by decoding encoded video data received via an IP network at a video receiving terminal,
A feature amount extraction unit that extracts a feature amount indicating the degree of degradation of the video by the encoding process from the video signal acquired from the video receiving terminal;
A video quality calculation unit for calculating video quality from the feature amount;
With
The feature amount extraction unit calculates a high frequency component amount indicating an amount of a high frequency component to be reduced due to discrete cosine transform processing included in the video signal as the feature amount from the video signal. A motion amount calculation unit that calculates a motion amount indicating a magnitude of a change in a pixel value that changes between adjacent frames as the feature amount from the video signal,
The high-frequency component amount calculation unit calculates, for each frame constituting the video signal, the number of extreme value pixels whose pixel value gradient changes in at least one of a horizontal direction and a vertical direction among pixels included in the frame screen. , Calculate the value divided by the number of pixels of the frame screen excluding the screen edge pixel, and calculate the value obtained by averaging these values in each frame as the high frequency component amount,
The motion amount calculation unit, for every two adjacent frames among the frames constituting the video signal, for a difference value of pixel values at the same pixel position between the two frames, a standard deviation indicating a distribution of these difference values Value is calculated, and a value obtained by averaging these standard deviation values in each frame is calculated as the amount of movement,
The video quality calculation unit, wherein the video quality calculation unit calculates the video quality by a linear sum of a value obtained by multiplying the feature value and a multiplication value of the feature values by individual coefficients . ＩＰネットワークを介して受信した符号化映像データを映像受信端末で復号して得られた映像に対して、ユーザが体感する映像品質を推定する映像品質推定方法であって、
前記映像受信端末から取得した映像信号から、当該映像に対する符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出ステップと、
前記特徴量から映像品質を算出する映像品質算出ステップと
を備え、
前記特徴量抽出ステップは、離散コサイン変換処理に起因して発生するブロックノイズが前記映像信号に含まれている量を示すブロックノイズ量を、前記映像信号から前記特徴量として算出するブロックノイズ量算出ステップと、離散コサイン変換処理に起因して低減する高周波成分が前記映像信号に含まれている量を示す高周波成分量を、前記映像信号から前記特徴量として算出する高周波成分量算出ステップとを含み、
前記ブロックノイズ量算出ステップは、前記映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、前記離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線に隣接するすべての画素からなるブロック境界線領域、または、当該境界線を含むすべての画素およびそれらの画素に隣接する画素からなるブロック境界線領域について、当該ブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値を前記ブロックノイズ量として算出するステップを含み、
前記高周波成分量算出ステップは、前記映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出するステップを含み、
前記映像品質算出ステップは、前記特徴量および前記特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、前記映像品質を算出するステップを含む
ことを特徴とする映像品質推定方法。 A video quality estimation method for estimating video quality experienced by a user with respect to video obtained by decoding encoded video data received via an IP network at a video receiving terminal,
A feature amount extraction step of extracting a feature amount indicating a degree of degradation of the video by encoding processing on the video from the video signal acquired from the video receiving terminal;
A video quality calculation step of calculating video quality from the feature amount ,
The feature amount extraction step calculates a block noise amount that calculates, as the feature amount, a block noise amount indicating an amount that block noise generated due to discrete cosine transform processing is included in the video signal. And a high-frequency component amount calculating step for calculating, as the feature amount, the high-frequency component amount indicating the amount that the high-frequency component to be reduced due to the discrete cosine transform processing is included in the video signal. ,
In the block noise amount calculating step, for each frame constituting an edge video signal obtained by applying an edge extraction filter to the video signal, based on a boundary line of a pixel block which is a processing unit of the discrete cosine transform processing, A block boundary line area composed of all pixels adjacent to the boundary line, or a block boundary line area composed of all pixels including the boundary line and pixels adjacent to the pixels is included in the block boundary line area. The ratio of the pixel value average value of the pixel and the pixel value average value of the pixels included in the non-block boundary line area other than the block boundary line area is calculated, and the value obtained by averaging these ratios in each frame is the block noise amount Including the step of calculating as
In the high-frequency component amount calculating step, for each frame constituting the video signal, the number of extreme pixels whose pixel value gradient changes in at least one of a horizontal direction and a vertical direction among pixels included in the frame screen is calculated. Calculating a value obtained by dividing the number of pixels of the frame screen excluding the screen end pixel, and calculating a value obtained by averaging these values in each frame as a high-frequency component amount,
The video quality calculating step includes a step of calculating the video quality by a linear sum of a value obtained by multiplying the feature value and a multiplication value of the feature values by individual coefficients, respectively. Estimation method. ＩＰネットワークを介して受信した符号化映像データを映像受信端末で復号して得られた映像に対して、ユーザが体感する映像品質を推定する映像品質推定方法であって、A video quality estimation method for estimating video quality experienced by a user with respect to video obtained by decoding encoded video data received via an IP network at a video receiving terminal,
前記映像受信端末から取得した映像信号から、当該映像に対する符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出ステップと、A feature amount extraction step of extracting a feature amount indicating a degree of degradation of the video by encoding processing on the video from the video signal acquired from the video receiving terminal;
前記特徴量から映像品質を算出する映像品質算出ステップとA video quality calculation step of calculating video quality from the feature amount;
を備え、With
前記特徴量抽出ステップは、離散コサイン変換処理に起因して発生するブロックノイズが前記映像信号に含まれている量を示すブロックノイズ量を、前記映像信号から前記特徴量として算出するブロックノイズ量算出ステップと、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、前記映像信号から前記特徴量として算出する動き量算出ステップとを含み、The feature amount extraction step calculates a block noise amount that calculates, as the feature amount, a block noise amount indicating an amount that block noise generated due to discrete cosine transform processing is included in the video signal. And a motion amount calculation step of calculating a motion amount indicating a magnitude of a change in pixel value that changes between adjacent frames as the feature amount from the video signal,
前記ブロックノイズ量算出ステップは、前記映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、前記離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線に隣接するすべての画素からなるブロック境界線領域、または、当該境界線を含むすべての画素およびそれらの画素に隣接する画素からなるブロック境界線領域について、当該ブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値を前記ブロックノイズ量として算出するステップを含み、In the block noise amount calculating step, for each frame constituting an edge video signal obtained by applying an edge extraction filter to the video signal, based on a boundary line of a pixel block which is a processing unit of the discrete cosine transform processing, A block boundary line area composed of all pixels adjacent to the boundary line, or a block boundary line area composed of all pixels including the boundary line and pixels adjacent to the pixels is included in the block boundary line area. The ratio of the pixel value average value of the pixel and the pixel value average value of the pixels included in the non-block boundary line area other than the block boundary line area is calculated, and the value obtained by averaging these ratios in each frame is the block noise amount. Including the step of calculating as
前記動き量算出ステップは、前記映像信号を構成するフレームのうち隣接する２つのフレームごとに、当該２つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を前記動き量として算出するステップを含み、The motion amount calculating step includes, for each two adjacent frames of the frames constituting the video signal, a standard deviation indicating a distribution of the difference values for the difference values of the pixel values at the same pixel position between the two frames. Calculating a value, and calculating a value obtained by averaging these standard deviation values in each frame as the amount of movement,
前記映像品質算出ステップは、前記特徴量および前記特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、前記映像品質を算出するステップを含むThe video quality calculating step includes a step of calculating the video quality by a linear sum of a value obtained by multiplying the feature value and a multiplication value of the feature values by individual coefficients.
ことを特徴とする映像品質推定方法。A video quality estimation method characterized by the above. ＩＰネットワークを介して受信した符号化映像データを映像受信端末で復号して得られた映像に対して、ユーザが体感する映像品質を推定する映像品質推定方法であって、A video quality estimation method for estimating video quality experienced by a user with respect to video obtained by decoding encoded video data received via an IP network at a video receiving terminal,
前記映像受信端末から取得した映像信号から、当該映像に対する符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出ステップと、A feature amount extraction step of extracting a feature amount indicating a degree of degradation of the video by encoding processing on the video from the video signal acquired from the video receiving terminal;
前記特徴量から映像品質を算出する映像品質算出ステップとA video quality calculation step of calculating video quality from the feature amount;
を備え、With
前記特徴量抽出ステップは、離散コサイン変換処理に起因して低減する高周波成分が前記映像信号に含まれている量を示す高周波成分量を、前記映像信号から前記特徴量として算出する高周波成分量算出ステップと、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、前記映像信号から前記特徴量として算出する動き量算出ステップを含み、The feature amount extraction step calculates a high frequency component amount that indicates an amount of a high frequency component that is reduced due to a discrete cosine transform process and is included in the video signal as the feature amount from the video signal. And a motion amount calculating step of calculating a motion amount indicating a magnitude of a change in a pixel value changing between adjacent frames as the feature amount from the video signal,
前記高周波成分量算出ステップは、前記映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出するステップを含み、In the high-frequency component amount calculating step, for each frame constituting the video signal, the number of extreme pixels whose pixel value gradient changes in at least one of a horizontal direction and a vertical direction among pixels included in the frame screen is calculated. Calculating a value obtained by dividing the number of pixels of the frame screen excluding the screen end pixel, and calculating a value obtained by averaging these values in each frame as a high-frequency component amount,
前記動き量算出ステップは、前記映像信号を構成するフレームのうち隣接する２つのフレームごとに、当該２つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を前記動き量として算出するステップを含み、The motion amount calculating step includes, for each two adjacent frames of the frames constituting the video signal, a standard deviation indicating a distribution of the difference values for the difference values of the pixel values at the same pixel position between the two frames. Calculating a value, and calculating a value obtained by averaging these standard deviation values in each frame as the amount of movement,
前記映像品質算出ステップは、前記特徴量および前記特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、前記映像品質を算出するステップを含むThe video quality calculating step includes a step of calculating the video quality by a linear sum of a value obtained by multiplying the feature value and a multiplication value of the feature values by individual coefficients.
ことを特徴とする映像品質推定方法。A video quality estimation method characterized by the above. コンピュータを、請求項１〜請求項３のいずれか１つに記載の映像品質推定装置を構成する各部として機能させるためのプログラム。 The program for functioning a computer as each part which comprises the video quality estimation apparatus as described in any one of Claims 1-3 .
JP2009187668A 2009-08-13 2009-08-13 Video quality estimation apparatus, method, and program Expired - Fee Related JP5234812B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009187668A JP5234812B2 (en) 2009-08-13 2009-08-13 Video quality estimation apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009187668A JP5234812B2 (en) 2009-08-13 2009-08-13 Video quality estimation apparatus, method, and program

Publications (2)

Publication Number Publication Date
JP2011041077A JP2011041077A (en) 2011-02-24
JP5234812B2 true JP5234812B2 (en) 2013-07-10

Family

ID=43768377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009187668A Expired - Fee Related JP5234812B2 (en) 2009-08-13 2009-08-13 Video quality estimation apparatus, method, and program

Country Status (1)

Country Link
JP (1) JP5234812B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5982240B2 (en) * 2012-09-24 2016-08-31 Kddi株式会社 Objective video quality evaluation system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040156559A1 (en) * 2002-11-25 2004-08-12 Sarnoff Corporation Method and apparatus for measuring quality of compressed video sequences without references
JP4133788B2 (en) * 2003-12-17 2008-08-13 日本放送協会 Coding error estimation method and coding error estimation apparatus
JP5044886B2 (en) * 2004-10-15 2012-10-10 パナソニック株式会社 Block noise reduction device and image display device
JP4755012B2 (en) * 2005-06-29 2011-08-24 株式会社エヌ・ティ・ティ・ドコモ Video evaluation device, spatio-temporal frequency analysis device, video evaluation method, spatio-temporal frequency analysis method, video evaluation program, and spatio-temporal frequency analysis program
JP2007251881A (en) * 2006-03-20 2007-09-27 Funai Electric Co Ltd Block noise eliminating apparatus, and electronic appliance
JP5142316B2 (en) * 2007-07-19 2013-02-13 日本電信電話株式会社 VIDEO QUALITY OBJECTIVE EVALUATION METHOD, VIDEO QUALITY OBJECTIVE EVALUATION DEVICE, AND PROGRAM
JP4796019B2 (en) * 2007-08-08 2011-10-19 日本電信電話株式会社 Video quality estimation apparatus, method, and program
WO2009025027A1 (en) * 2007-08-20 2009-02-26 Fujitsu Limited Video quality monitoring method, distribution server, and client

Also Published As

Publication number Publication date
JP2011041077A (en) 2011-02-24

Similar Documents

Publication Publication Date Title
US8948253B2 (en) Networked image/video processing system
JP4796019B2 (en) Video quality estimation apparatus, method, and program
Ma et al. Reduced-reference video quality assessment of compressed video sequences
Gu et al. Screen image quality assessment incorporating structural degradation measurement
JP2011182423A (en) Method for measuring multimedia video communication quality
Kawano et al. No reference video-quality-assessment model for video streaming services
Gunawan et al. Efficient reduced-reference video quality meter
Ghadiyaram et al. A no-reference video quality predictor for compression and scaling artifacts
JP5221459B2 (en) Video quality estimation apparatus, system, method and program
Konuk et al. A spatiotemporal no-reference video quality assessment model
JP4861371B2 (en) Video quality estimation apparatus, method, and program
Forchhammer et al. No-reference analysis of decoded MPEG images for PSNR estimation and post-processing
JP2010124104A (en) Device for evaluating objective image quality of video image
JP2007525902A (en) System and method for global indication of MPEG damage in compressed digital video
WO2010103112A1 (en) Method and apparatus for video quality measurement without reference
JP5350300B2 (en) Transcode video quality objective evaluation apparatus, method and program
JP5234812B2 (en) Video quality estimation apparatus, method, and program
Ma et al. Reduced reference video quality assessment based on spatial HVS mutual masking and temporal motion estimation
Boujut et al. Weighted-MSE based on Saliency map for assessing video quality of H. 264 video streams
US20120133836A1 (en) Frame level quantization estimation
Aggarwal A review on video quality assessment
JP5292343B2 (en) Image quality objective evaluation apparatus, method and program
Akramullah et al. Video quality metrics
JP5523357B2 (en) Video quality estimation apparatus, method and program
Cheon et al. Evaluation of objective quality metrics for multidimensional video scalability

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110907

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111108

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130321

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5234812

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees