JP6402088B2 - Video quality estimation apparatus, video quality estimation method, and program - Google Patents
Video quality estimation apparatus, video quality estimation method, and program Download PDFInfo
- Publication number
- JP6402088B2 JP6402088B2 JP2015225661A JP2015225661A JP6402088B2 JP 6402088 B2 JP6402088 B2 JP 6402088B2 JP 2015225661 A JP2015225661 A JP 2015225661A JP 2015225661 A JP2015225661 A JP 2015225661A JP 6402088 B2 JP6402088 B2 JP 6402088B2
- Authority
- JP
- Japan
- Prior art keywords
- quality
- video
- quality estimation
- parameter
- video quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、映像品質推定装置、映像品質推定方法、及びプログラムに関し、特にインターネットのようなＩＰネットワーク経由で行うＩＰＴＶサービス、映像配信サービス、ＴＶ電話サービス等の映像通信の映像品質値を推定する映像品質推定装置、映像品質推定方法、及びプログラムに関する。 The present invention relates to a video quality estimation apparatus, a video quality estimation method, and a program, and in particular, a video for estimating a video quality value of video communication such as an IPTV service, a video distribution service, and a TV phone service performed via an IP network such as the Internet. The present invention relates to a quality estimation device, a video quality estimation method, and a program.
良好な品質で映像サービスが提供されていることを確認するためには、サービス提供前又は提供中に、ユーザが体感する映像の品質を測定し、映像の品質が良好であることを確認・監視することが重要である。そこで、ユーザが体感する映像の品質を適切に評価できる映像品質定量化技術が必要である。 In order to confirm that the video service is provided with good quality, the quality of the video experienced by the user is measured before or during service provision, and the quality of the video is confirmed and monitored. It is important to. Therefore, there is a need for a video quality quantification technique that can appropriately evaluate the quality of the video experienced by the user.
映像品質を定量化する手法には、主観品質評価法（例えば、非特許文献１参照）と、品質推定技術（例えば、非特許文献２、３参照）とが存在する。主観品質評価法は、評価環境（室内照度や室内騒音等）が再現可能な施設において、多数のユーザに映像を評価してもらう必要がある。そのため、評価に時間を要する。そこで、映像信号から物理的な特徴量を導出して映像品質値を出力する、品質推定技術の開発が進められている（例えば、非特許文献２、３参照）。
Methods for quantifying video quality include a subjective quality evaluation method (for example, see Non-Patent Document 1) and a quality estimation technique (for example, see Non-Patent
非特許文献２に記載されている品質推定技術では、映像全体の劣化量、ブロック歪による劣化量、ボケに伴う劣化量、局所的な空間劣化量、フリーズ劣化量の５つのパラメータを基に、重回帰分析により映像品質を推定している。一方、非特許文献４では、ユーザはエッジ領域の劣化を知覚しやすいという特性を考慮し、エッジ量に着目することで、非特許文献２で映像全体の劣化量を示すパラメータとして用いられているPSNR（Peak Signal-to-Noise Ratio）よりも高精度に映像品質を推定できることが示されている。
In the quality estimation technique described in Non-Patent
非特許文献２、３に記載された技術のように、従来の品質推定技術では、品質推定式を構成する各品質推定パラメータの重みが固定値となっており、低品質領域から高品質領域まで全ての品質推定パラメータが採用されている。しかし、品質推定パラメータによっては、例えば、図１(a)のように、低品質領域では品質推定パラメータと映像品質の間に対応関係があるが、高品質領域では品質推定パラメータのばらつきが大きく、対応関係がない品質推定パラメータが存在する。このような品質推定パラメータの場合、低品質領域の品質精度向上には寄与するが、高品質領域では品質推定精度を低下させてしまう。
As in the techniques described in
また、図１(b)のように、中品質領域では品質推定精度向上に寄与するが、高品質・低品質領域では品質推定精度を低下させてしまうような品質推定パラメータもある。更に、図１(c)のように、中品質領域から高品質領域に品質が上がるにしたがって、品質推定精度向上に寄与する品質推定パラメータもある。そのため、品質推定精度を向上させるためには、映像品質に応じて、品質推定精度向上に寄与する品質推定パラメータを選択し、選択された品質推定パラメータを用いて映像品質を推定することが必要である。 In addition, as shown in FIG. 1B, there are quality estimation parameters that contribute to improving the quality estimation accuracy in the medium quality region but reduce the quality estimation accuracy in the high quality / low quality region. Furthermore, as shown in FIG. 1 (c), there are quality estimation parameters that contribute to improving the quality estimation accuracy as the quality increases from the medium quality region to the high quality region. Therefore, in order to improve the quality estimation accuracy, it is necessary to select a quality estimation parameter that contributes to the improvement of the quality estimation accuracy according to the video quality, and to estimate the video quality using the selected quality estimation parameter. is there.
本発明は、上記の点に鑑みてなされたものであって、映像サービスにより提供される映像を視聴中のユーザが体感する映像の品質を高精度に推定する技術を提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide a technique for accurately estimating the quality of a video experienced by a user who is viewing a video provided by a video service. .
本発明の実施の形態によれば、基準映像信号と劣化映像信号とに基づいて、劣化映像信号の映像に対してユーザが体感する映像品質を推定するための映像品質推定装置であって、
前記基準映像信号と前記劣化映像信号とから、前記映像品質の算出に使用する品質推定パラメータの値と、所定の映像品質とを算出するパラメータ算出手段と、
前記所定の映像品質に応じた前記品質推定パラメータの寄与度を求め、当該寄与度を掛けた前記品質推定パラメータの値を使用して、前記映像品質を算出する品質算出手段と
を備えることを特徴とする映像品質推定装置が提供される。
According to an embodiment of the present invention, there is provided a video quality estimation device for estimating video quality experienced by a user with respect to a video of a degraded video signal based on a reference video signal and a degraded video signal,
Parameter calculation means for calculating a value of a quality estimation parameter used for calculating the video quality and a predetermined video quality from the reference video signal and the degraded video signal;
A quality calculating unit that calculates a contribution of the quality estimation parameter according to the predetermined video quality and calculates the video quality using a value of the quality estimation parameter multiplied by the contribution. Is provided.
また、本発明の実施の形態によれば、基準映像信号と劣化映像信号とに基づいて、劣化映像信号の映像に対してユーザが体感する映像品質を推定するための映像品質推定装置が実行する映像品質推定方法であって、
前記基準映像信号と前記劣化映像信号とから、前記映像品質の算出に使用する品質推定パラメータの値と、所定の映像品質とを算出するパラメータ算出ステップと、
前記所定の映像品質に応じた前記品質推定パラメータの寄与度を求め、当該寄与度を掛けた前記品質推定パラメータの値を使用して、前記映像品質を算出する品質算出ステップと
を備えることを特徴とする映像品質推定方法が提供される。
In addition, according to the embodiment of the present invention, the video quality estimation apparatus for estimating the video quality experienced by the user with respect to the video of the degraded video signal is executed based on the reference video signal and the degraded video signal. A video quality estimation method,
A parameter calculating step for calculating a value of a quality estimation parameter used for calculating the video quality and a predetermined video quality from the reference video signal and the degraded video signal;
A quality calculation step of obtaining a contribution degree of the quality estimation parameter according to the predetermined video quality, and calculating the video quality using a value of the quality estimation parameter multiplied by the contribution degree. A video quality estimation method is provided.
本発明の実施の形態によれば、映像サービスにより提供される映像を視聴中のユーザが体感する映像の品質を高精度に推定する技術が提供される。 According to the embodiment of the present invention, there is provided a technique for accurately estimating the quality of a video experienced by a user who is viewing a video provided by a video service.
以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。 Hereinafter, an embodiment (this embodiment) of the present invention will be described with reference to the drawings. The embodiment described below is only an example, and the embodiment to which the present invention is applied is not limited to the following embodiment.
（実施の形態の概要）
まず、本実施の形態の概要を説明する。本実施の形態では、後に詳述するパラメータ導出部、品質統合部から構成される映像品質推定装置が提供される。パラメータ導出部はエッジ導出部を内包する。エッジ導出部は、ノイズ除去部、エッジパラメータ導出部、エッジに基づく品質推定部から構成され、画像の輪郭等を示すエッジに基づく品質推定値（以下、エッジに基づく品質推定値）を出力する。
(Outline of the embodiment)
First, an outline of the present embodiment will be described. In the present embodiment, a video quality estimation apparatus including a parameter derivation unit and a quality integration unit, which will be described in detail later, is provided. The parameter deriving unit includes an edge deriving unit. The edge derivation unit includes a noise removal unit, an edge parameter derivation unit, and an edge-based quality estimation unit, and outputs an edge-based quality estimation value (hereinafter, an edge-based quality estimation value) indicating the contour of the image.
パラメータ導出部では、エッジ導出部の出力であるエッジに基づく品質推定値や、その他の品質推定パラメータ値（例：J.247で計算されるPSNR等）を出力する。品質統合部は、パラメータ導出部の出力を基に、統合映像品質推定値を出力する。統合映像品質推定値は、エッジ導出部の出力に応じて品質推定に用いる品質推定パラメータが選択され、品質推定に寄与しない品質推定パラメータの重みを低減させる機能を備えた品質推定式を用いて導出される。 The parameter deriving unit outputs a quality estimation value based on the edge, which is an output of the edge deriving unit, and other quality estimation parameter values (for example, PSNR calculated in J.247). The quality integrating unit outputs an integrated video quality estimated value based on the output of the parameter deriving unit. The integrated video quality estimation value is derived using a quality estimation formula that has a function that reduces the weight of quality estimation parameters that do not contribute to quality estimation, when quality estimation parameters used for quality estimation are selected according to the output of the edge deriving unit Is done.
ここで、品質推定に用いる品質推定パラメータの選択方法の例を説明する。図１(a)のように、低品質領域における品質推定には寄与するが、それ以外の領域での品質推定には寄与しない品質推定パラメータに関しては、当該品質推定パラメータの選択関数を図２(a)のように設定し、低品質以外の領域では当該品質推定パラメータを選択しないようにする。ここでの選択関数は、映像品質の値を入力して、品質推定パラメータの適用の重みを示す値（本実施の形態では、０〜１の値）を出力する関数である。図２(a)に示す選択関数は、映像品質が低品質領域に該当する値である場合に、１を出力する。この１は、該当品質推定パラメータをそのまま適用することを意味する。一方、映像品質が中品質領域あるいは高品質領域に該当する値である場合には、０を出力する。この０は、該当品質推定パラメータを適用しないことを意味する。
Here, an example of a method for selecting a quality estimation parameter used for quality estimation will be described. As shown in FIG. 1A, for quality estimation parameters that contribute to quality estimation in the low quality region but do not contribute to quality estimation in other regions, the selection function of the quality estimation parameter is shown in FIG. The setting is made as in a) so that the quality estimation parameter is not selected in an area other than low quality. The selection function here is a function that inputs a value of video quality and outputs a value indicating the weight of application of the quality estimation parameter (a value of 0 to 1 in this embodiment). The selection function shown in FIG. 2 (a)
図１(b)のように、中品質領域における品質推定には寄与するが、それ以外の領域での品質推定には寄与しない品質推定パラメータに関しては、当該品質推定パラメータの選択関数を図２(b)のように設定し、中品質以外の領域では当該品質推定パラメータを選択しないようにする。 As shown in FIG. 1B, for quality estimation parameters that contribute to quality estimation in the medium quality region but do not contribute to quality estimation in other regions, the selection function of the quality estimation parameter is shown in FIG. Set as in b) so that the quality estimation parameter is not selected in areas other than medium quality.
また、図１(c)のように、中品質領域から高品質領域に品質が上がるにしたがって、品質推定精度向上に寄与する品質推定パラメータに関しては、図２(c)のような選択関数を設定し、高品質領域においては当該品質推定パラメータを選択するが、中品質領域においては、品質が下がるにつれて次第に当該品質推定パラメータの重みが低減されるようになり（当該品質推定パラメータが選択されるようになり）、低品質領域においては当該品質推定パラメータが選択されないようにする。 In addition, as shown in Fig. 1 (c), as the quality increases from the medium quality region to the high quality region, the selection function as shown in Fig. 2 (c) is set for the quality estimation parameters that contribute to improving the quality estimation accuracy. In the high quality region, the quality estimation parameter is selected, but in the medium quality region, the weight of the quality estimation parameter is gradually reduced as the quality decreases (the quality estimation parameter is selected). The quality estimation parameter is not selected in the low quality region.
つまり、図１に記された３つの品質推定パラメータを用いて映像品質を推定する場合、品質推定式において、低品質領域では図１(a)の品質推定パラメータのみが選択される。中品質領域では図１(b)(c)の品質推定パラメータが選択され、特に図１(c)の品質推定パラメータに関しては品質が上がるにつれて重みが大きくなる。そして、高品質領域では図１(c)の品質推定パラメータのみが選択される。 That is, when the video quality is estimated using the three quality estimation parameters shown in FIG. 1, only the quality estimation parameter of FIG. 1A is selected in the low quality region in the quality estimation formula. In the middle quality region, the quality estimation parameters shown in FIGS. 1B and 1C are selected. In particular, the quality estimation parameters shown in FIG. 1C increase in weight as the quality increases. In the high quality region, only the quality estimation parameter shown in FIG. 1 (c) is selected.
ここで、本実施の形態では、図２の横軸にあたる映像品質として、エッジ量に基づく品質推定値であるエッジ導出部の出力を用いる。このように、品質推定パラメータの選択関数をエッジ量から推定した品質値の関数とすることで、エッジ量に基づく品質推定値により品質推定精度向上に寄与する品質推定パラメータを選択できるようになる。これにより、エッジ導出部の出力に応じて品質推定に用いる品質推定パラメータが選択され、品質推定に寄与しない品質推定パラメータの重みを低減させる品質推定式が実現する。 Here, in this embodiment, the output of the edge deriving unit, which is a quality estimation value based on the edge amount, is used as the video quality corresponding to the horizontal axis of FIG. In this way, by using the quality estimation parameter selection function as a function of the quality value estimated from the edge amount, the quality estimation parameter that contributes to the improvement of the quality estimation accuracy can be selected by the quality estimation value based on the edge amount. Thereby, the quality estimation parameter used for quality estimation is selected according to the output of the edge deriving unit, and a quality estimation formula for reducing the weight of the quality estimation parameter that does not contribute to quality estimation is realized.
なお、図２の横軸にあたる映像品質として、エッジ量に基づく品質推定値を用いることは一例であり、エッジ量に基づく品質推定値以外の品質推定値を用いることとしてもよい。以下、本実施に形態に係る映像品質推定装置の構成及び動作をより詳細に説明する。 Note that, as the video quality on the horizontal axis in FIG. 2, the use of a quality estimation value based on the edge amount is an example, and a quality estimation value other than the quality estimation value based on the edge amount may be used. Hereinafter, the configuration and operation of the video quality estimation apparatus according to the present embodiment will be described in more detail.
（装置構成、機能概要）
図３に、本実施の形態に係る映像品質推定装置１の構成例を示す。図３に示すとおり、映像品質推定装置１は、パラメータ導出部２、及び品質統合部３を有する。また、パラメータ導出部２はエッジ導出部２１を内包する。
(Apparatus configuration, function overview)
FIG. 3 shows a configuration example of the video
図３に示すように、映像品質推定装置１には、評価対象映像の基準映像信号R1及び劣化映像信号P1が入力され、統合映像品質推定値Vqeが出力される。ここで、基準映像信号R1は、符号化やネットワーク伝送等を経ていない映像信号である。劣化映像信号P1は、基準映像信号R1が符号化やネットワーク伝送等を経ることにより、その品質が劣化した映像信号のことである。
As shown in FIG. 3, the video
図４は、パラメータ導出部２内のエッジ導出部２１の構成例を示す図である。図４に示すように、エッジ導出部２１は、ノイズ除去部２１１、エッジパラメータ導出部２１２、エッジに基づく品質推定部２１３を有する。エッジ導出部２１には基準映像信号R1及び劣化映像信号P1が入力され、品質推定値Vedgeが出力される。
FIG. 4 is a diagram illustrating a configuration example of the
パラメータ導出部２は、内包するエッジ導出部２１の出力Vedgeとその他の品質推定パラメータの値Vp1〜Vpn（nはパラメータの数）を出力する。具体的には、基準映像信号と劣化映像信号とを比較することで、非特許文献２（ITU-T勧告J.247）に記されている映像全体の劣化量、ブロック歪による劣化量、ボケに伴う劣化量、局所的な空間劣化量、フリーズ劣化量等を求める。なお、映像全体の劣化量、ブロック歪による劣化量、及びボケに伴う劣化量は、符号化による劣化量に相当し、局所的な空間劣化量、及びフリーズ劣化量は、パケット損失による劣化量に相当する。
The
品質統合部３は、パラメータ導出部２の出力Vedge、Vp1〜Vpnを基に、劣化映像信号の品質推定結果である統合映像品質推定値Vqeを算出し、出力する品質算出手段である。統合映像品質推定値Vqeは、エッジ導出部２１の出力Vedgeに応じて、品質推定に用いる各品質推定パラメータ値（Vedge、Vp1〜Vpn）が選択される品質推定式を用いて導出される。なお、統合映像品質推定値Vqeは、劣化映像信号の映像に対してユーザが体感する映像品質に相当する。
The
本実施の形態に係る映像品質推定装置１は、例えば、１つ又は複数のコンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、映像品質推定装置１が有する機能は、当該コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、映像品質推定装置１で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
The video
（各部の動作）
次に、映像品質推定装置１を構成する各部の処理動作を詳細に説明する。
(Operation of each part)
Next, the processing operation of each part constituting the video
＜エッジ導出部２１＞
まず、エッジ導出部２１（図４）の動作を詳細に説明する。エッジ導出部２１におけるノイズ除去部２１１は、基準映像信号R1と劣化映像信号P1のそれぞれについて、ノイズ除去を行い、基準映像信号R1'と劣化映像信号P1'を出力する。
<
First, the operation of the edge deriving unit 21 (FIG. 4) will be described in detail. The
ノイズ除去の手法としては、例えば、ローパスフィルタをかけてサブサンプリングを行う手法を用いる。本実施の形態におけるローパスフィルタは、縦横2x2の画素値の平均値をそれぞれの画素値とすることで実現する。ただし、2x2の画素値を平均することでローパスフィルタを実現することは一例であり、3x3等、nxnの画素値の平均値とすることでローパスフィルタを実現してもよい。また、サブサンプリングでは、2x2の画素値を１画素として扱うことを意味する。つまり、3840x2160の解像度を持つ映像は、1920x1080の解像度を持つ映像に変換されることになる。前述のローパスフィルタ同様に、3x3やnxnの画素値を１画素として扱うこととしてもよい。 As a noise removal method, for example, a method of performing sub-sampling by applying a low-pass filter is used. The low-pass filter in the present embodiment is realized by setting the average value of 2 × 2 vertical and horizontal pixel values as the respective pixel values. However, realizing the low-pass filter by averaging 2 × 2 pixel values is an example, and the low-pass filter may be realized by setting the average value of nxn pixel values such as 3 × 3. In subsampling, it means that a 2 × 2 pixel value is handled as one pixel. That is, a video having a resolution of 3840x2160 is converted into a video having a resolution of 1920x1080. Similar to the above-described low-pass filter, a pixel value of 3 × 3 or nxn may be handled as one pixel.
エッジ導出部２１におけるエッジパラメータ導出部２１２は、ノイズ除去後の基準映像信号R1'と劣化映像信号P1'を入力とし、エッジ量（E）を導出する。具体的には、まず、下記の式１を用いて、ノイズ除去後の基準映像信号R1'と劣化映像信号P1'の画素の差分値Fdifを求める。次に、フレーム毎にFdifにソーベルフィルタをかけて、フレームごとのエッジ量（SIdif）を導出する（式２）。最後に、全フレームのSIdif値の平均値より、エッジ量（E）を導出する（式３）。
The edge
Fdif(k,i,j) = R1'(k,i,j) − P1'(k,i,j) （式１）
SIdif(k) = stdspace[Sobel(Fdif(k,i,j))] （式２）
Fdif (k, i, j) = R1 ′ (k, i, j) −P1 ′ (k, i, j) (Formula 1)
SIdif (k) = stdspace [Sobel (Fdif (k, i, j))] (Formula 2)
エッジに基づく品質推定部２１３は、エッジパラメータ導出部２１２の出力Eを入力とし、品質推定値Vedgeを導出する。具体的には、人間の知覚特性を加味し、式４に示す非線形モデルによりエッジ量に基づく品質推定値Vedgeを導出する。
The edge-based
Vedge = a1 + (a2-a1) / (1+(E/a3)^a4) （式４）
なお、式４の係数a1〜a4は、実施済みの主観評価実験データベースを基に導出し、映像品質推定装置１の図示しない記憶部（メモリ等の記憶手段）に保持されていることとする。
Vedge = a1 + (a2-a1) / (1+ (E / a3) ^ a4) (Formula 4)
It is assumed that the coefficients a1 to a4 in Expression 4 are derived on the basis of the subjective evaluation experiment database that has been performed and are held in a storage unit (storage means such as a memory) (not shown) of the video
＜パラメータ導出部２＞
次に、パラメータ導出部２（図３）の動作を詳細に説明する。パラメータ導出部２は、品質推定パラメータ値Vp1〜Vpn（nはパラメータの数）を求め、出力する。パラメータ導出部２は、エッジ導出部２１により得られたVedgeも出力する。具体的には、例えば、非特許文献２に記されている映像全体の劣化量、ブロック歪による劣化量、ボケに伴う劣化量、局所的な空間劣化量、フリーズ劣化量等を求め、それぞれを品質推定パラメータ値として出力する。
<
Next, the operation of the parameter deriving unit 2 (FIG. 3) will be described in detail. The
また、非特許文献２に記載された品質推定式を用いて品質を推定した結果を、品質推定パラメータ値の１つとしてもよい。つまり、この場合、パラメータ導出部２は、非特許文献２に記載されているように、映像全体の劣化量、ブロック歪による劣化量、ボケに伴う劣化量、局所的な空間劣化量、フリーズ劣化量の５つの特徴量に対して重み付け加算を行うことで、品質推定値を算出し、それを品質推定パラメータ値の１つとして出力する。ここで用いる品質推定式における係数は、上記の記憶部に保持されていることとする。当該係数は、重回帰分析により予め導出されているものである。
Moreover, it is good also considering the result of having estimated quality using the quality estimation formula described in the
ここで、映像全体の劣化量とは、基準映像と劣化映像の差分から映像全体に発生している定常的な劣化を示す特徴量である。ブロック歪による劣化量とは、水平・垂直方向に発生する劣化とそれ以外の劣化の比を取ることにより得られたブロック歪の発生を示す特徴量である。ボケに伴う劣化量とは、基準・劣化映像のブロックごとのフレーム間差分値を比較して得られる、ブロックごとの映像の動きのボケを示す特徴量である。局所的な空間劣化量とは、基準・劣化映像のブロックごとのフレーム間差分値が大きいブロックについて、その変動の大きさを計算することで得られる、離散的に発生するブロック歪を示す特徴量である。フリーズ劣化量とは、映像が続けて表示される時間に対して人間の視覚特性による重み付けを行うことで得られる、フレームレートの低下やフリーズ劣化を示す特徴量である。 Here, the deterioration amount of the entire image is a feature amount indicating the steady deterioration occurring in the entire image from the difference between the reference image and the deteriorated image. The amount of deterioration due to block distortion is a feature amount indicating the occurrence of block distortion obtained by taking the ratio of deterioration occurring in the horizontal and vertical directions and other deterioration. The amount of deterioration due to blur is a feature amount indicating blur of motion of the video for each block, which is obtained by comparing inter-frame difference values for each block of the reference / degraded video. Local spatial degradation is a feature that indicates discrete block distortion obtained by calculating the magnitude of the fluctuation of a block with a large inter-frame difference value for each block of the reference / degraded video. It is. The freeze deterioration amount is a feature amount indicating a decrease in frame rate or freeze deterioration obtained by performing weighting based on human visual characteristics on the time for which video is continuously displayed.
＜品質統合部３＞
次に、品質統合部３（図３）の動作を詳細に説明する。
<
Next, the operation of the quality integration unit 3 (FIG. 3) will be described in detail.
品質統合部３は、エッジ導出部２１の出力Vedgeとパラメータ導出部２の出力Vp1〜Vpnを基に、式５により、統合映像品質推定値（Vqe）を算出し、出力する。
Based on the output Vedge of the
ここで、品質推定パラメータの選択関数bl(Vedge) (l=0,1,…,n)の設定方法の例を示す。例えば、図５(a)のように、Vedge ＞ t0 において選択される品質推定パラメータの選択関数bl(Vedge)を式６に示す。 Here, an example of a setting method of the quality estimation parameter selection function bl (Vedge) (l = 0, 1,..., N) is shown. For example, as shown in FIG. 5 (a), the selection function bl (Vedge) of the quality estimation parameter selected when Vedge> t0 is shown in Expression 6.
・Vedge ≦ t0 のとき bl(Vedge) = 0 （式６）
・Vedge ＞ t0 のとき bl(Vedge) = 1
図５(b)のように、中品質領域から高品質領域にかけて次第に品質推定への寄与度が増加する品質推定パラメータの選択関数bl(Vedge)を式７に示す。
・ When Vedge ≤ t0, bl (Vedge) = 0 (Formula 6)
・ When Vedge> t0, bl (Vedge) = 1
As shown in FIG. 5B, the quality estimation parameter selection function bl (Vedge) that gradually increases the contribution to the quality estimation from the medium quality region to the high quality region is shown in Equation 7.
bl(Vedge) = d1 + (d2 − d1) / (1+(Vedge/d3)^d4) （式７）
なお、式７は、図５(b)に示すような曲線を描く関数の一例である。中品質領域から高品質領域にかけて次第に品質推定への寄与度が増加する品質推定パラメータの選択関数は、式７に限らず、他の式を用いてもよい。また、式７の定数を調整することで、図５(a)に示すように、t0まで０を出力し、t0以降は１を出力するような選択関数を設定することも可能である。
bl (Vedge) = d1 + (d2 − d1) / (1+ (Vedge / d3) ^ d4) (Equation 7)
Equation 7 is an example of a function that draws a curve as shown in FIG. The selection function of the quality estimation parameter whose contribution to quality estimation gradually increases from the medium quality region to the high quality region is not limited to Equation 7, and other equations may be used. In addition, by adjusting the constant in Expression 7, it is possible to set a selection function that outputs 0 until t0 and outputs 1 after t0, as shown in FIG.
また、図５(c)に示すように、中品質領域でのみ品質推定に寄与する品質推定パラメータの選択関数bl(Vedge)を式８に示す。 Further, as shown in FIG. 5C, a quality estimation parameter selection function bl (Vedge) that contributes to quality estimation only in the middle quality region is shown in Equation 8.
・Vedge ≦ t1 のとき bl(Vedge) = 0 （式８）
・t1 ＜ Vedge ＜ t2 のとき bl(Vedge) = 1
・t2 ≦ Vedge のとき bl(Vedge) = 0
上記の式６〜式８として示した選択関数bl(Vedge)は一例に過ぎず、これらに限られるものではない。例えば、
・Vedge ≦ t0 のとき bl(Vedge) = 1
・Vedge ＞ t0 のとき bl(Vedge) = 0
のように、（式６）とは逆の作用を与えるものや、（式７）の高低が逆のものを使用することもできる。本実施の形態では、品質推定パラメータの特性（例：図１）に応じた適切な選択関数bl(Vedge)が、品質推定パラメータ毎に設定され、映像品質推定装置１の記憶部に格納され、品質統合部３により使用される。
・ When Vedge ≤ t1, bl (Vedge) = 0 (Formula 8)
・ When t1 <Vedge <t2, bl (Vedge) = 1
・ When t2 ≤ Vedge, bl (Vedge) = 0
The selection function bl (Vedge) shown as the above Equations 6 to 8 is merely an example, and is not limited thereto. For example,
・ When Vedge ≤ t0, bl (Vedge) = 1
・ When Vedge> t0, bl (Vedge) = 0
As described above, it is possible to use the one that gives the opposite effect to (Equation 6), or the one that gives the opposite of (Equation 7). In the present embodiment, an appropriate selection function bl (Vedge) corresponding to the quality estimation parameter characteristic (for example, FIG. 1) is set for each quality estimation parameter, stored in the storage unit of the video
以上により、エッジ量に基づく品質推定値Vedgeに応じて品質推定に用いる品質推定パラメータが選択され、品質推定に寄与しない品質推定パラメータの重みを低減させる品質推定パラメータの選択関数bl(Vedge)が実現される。なお、bl(Vedge)は、品質推定パラメータがどの程度、品質推定に寄与するかを示す値を出力することから、bl(Vedge)の出力値を寄与度と称してもよい。 As a result, the quality estimation parameter used for quality estimation is selected according to the quality estimation value Vedge based on the edge amount, and the quality estimation parameter selection function bl (Vedge) that reduces the weight of the quality estimation parameter that does not contribute to quality estimation is realized Is done. Since bl (Vedge) outputs a value indicating how much the quality estimation parameter contributes to quality estimation, the output value of bl (Vedge) may be referred to as a contribution degree.
ここで、式５のwl、c、bl、式６のt0、式７のd1〜d4、式８のt1、t2等の情報は、実施済みの主観評価実験データベースを基に導出し、映像品質推定装置１の記憶部に保持されているものとし、品質統合部３は、当該記憶部から上記の係数、関数等を読み出して、式５の計算を行い、Vqeを出力する。
Here, information such as wl, c, bl in Equation 5, t0 in Equation 6, d1 to d4 in Equation 7, t1, t2 in Equation 8, etc. are derived based on the subjective evaluation experiment database that has already been performed, and the video quality The
本実施の形態では、式５に示したように、それぞれの品質推定パラメータに、当該品質推定パラメータに適した選択関数を掛け合わせ映像品質を推定しているが、複数の品質推定パラメータを統合した値を選択関数と乗算し、エッジ量に基づく品質値と統合することとしてもよい。例えば、J.247は前述のように５つのパラメータから品質を推定する技術であり、これら5つのパラメータから導出した品質を、品質推定パラメータとして選択関数と乗算し、エッジ量に基づく品質値と統合し、最終的な品質値を推定することとしてもよい。 In the present embodiment, as shown in Equation 5, video quality is estimated by multiplying each quality estimation parameter by a selection function suitable for the quality estimation parameter, but a plurality of quality estimation parameters are integrated. The value may be multiplied by the selection function and integrated with the quality value based on the edge amount. For example, as described above, J.247 is a technology for estimating quality from five parameters, and the quality derived from these five parameters is multiplied by a selection function as a quality estimation parameter and integrated with a quality value based on the edge amount. The final quality value may be estimated.
より具体的には、パラメータ導出部２において、品質パラメータVp1として、「映像全体の劣化量、ブロック歪による劣化量、ボケに伴う劣化量、局所的な空間劣化量、フリーズ劣化量の５つのパラメータを、重み付けして加算することにより得られた映像品質推定結果」、すなわち、「J.247の技術を用いて出力した結果」を出力する。つまり、以下の式９によりVp1を算出する。
More specifically, in the
Vp1=a1×（映像全体の劣化量）＋a2×（ブロック歪による劣化量）+a3×（ボケに伴う劣化量）+a4×（局所的な空間劣化量）+a5×（フリーズ劣化量）+a6 （式９）（a1〜a6は定数）
そして、品質統合部３が、エッジ導出部２１の出力Vedgeとパラメータ導出部２のJ.247で出力した結果Vp1を用いて、式５（パラメータ数n=1）により、統合映像品質推定値（Vqe）を出力する。つまり、以下の式１０によりVqeを算出する。
Vp1 = a1 x (deterioration amount of the entire image) + a2 x (degradation amount due to block distortion) + a3 x (degradation amount due to blur) + a4 x (local spatial degradation amount) + a5 x (freeze degradation amount) + a6 (Formula 9) (a1 to a6 are constants)
Then, using the output Vedge of the
Vqe = w0×b0(Vedge)×Vedge + w1×b1(Vedge)×Vp1 + c(Vedge) （式１０）
上述したように、本実施の形態によれば、エッジ量に基づく品質推定値Vedgeに応じて、品質推定精度向上に寄与する品質推定パラメータを選択し、選択された品質推定パラメータを用いて映像品質を推定することが可能となる。これにより、品質推定精度が向上する。
Vqe = w0 x b0 (Vedge) x Vedge + w1 x b1 (Vedge) x Vp1 + c (Vedge) (Equation 10)
As described above, according to the present embodiment, according to the quality estimation value Vedge based on the edge amount, the quality estimation parameter that contributes to the improvement of the quality estimation accuracy is selected, and the video quality is selected using the selected quality estimation parameter. Can be estimated. Thereby, quality estimation accuracy improves.
したがって、映像通信サービスの提供者は、提供中のサービスがユーザに対してある一定以上の品質を保っているかどうかを容易に判断することができ、提供中のサービスの品質実態をリアルタイムに把握・管理することが可能となる。 Therefore, the video communication service provider can easily determine whether the service being provided maintains a certain level of quality for the user, and can grasp the actual quality of the service being provided in real time. It becomes possible to manage.
（実施の形態のまとめ）
本実施の形態により、基準映像信号と劣化映像信号とに基づいて、劣化映像信号の映像に対してユーザが体感する映像品質を推定するための映像品質推定装置であって、前記基準映像信号と前記劣化映像信号とから、前記映像品質の算出に使用する品質推定パラメータの値と、所定の映像品質とを算出するパラメータ算出手段と、前記所定の映像品質に応じた前記品質推定パラメータの寄与度を求め、当該寄与度を掛けた前記品質推定パラメータの値を使用して、前記映像品質を算出する品質算出手段とを備える映像品質推定装置が提供される。パラメータ導出部２は、パラメータ導出手段の一例であり、品質統合部３は、品質算出手段の一例である。
(Summary of embodiment)
According to the present embodiment, there is provided a video quality estimation apparatus for estimating video quality experienced by a user with respect to a video of a degraded video signal based on a reference video signal and a degraded video signal, A parameter calculation means for calculating a quality estimation parameter value used for calculating the video quality and a predetermined video quality from the degraded video signal, and a degree of contribution of the quality estimation parameter according to the predetermined video quality And a quality calculation means for calculating the video quality using the value of the quality estimation parameter multiplied by the degree of contribution. The
前記所定の映像品質に応じた品質推定パラメータの寄与度を出力する選択関数が、品質推定パラメータ毎に予め定められ、当該選択関数が前記映像品質推定装置の記憶手段に格納されており、前記品質算出手段は、前記パラメータ算出手段により算出された前記品質推定パラメータに対応する選択関数に前記所定の映像品質を入力することにより、前記寄与度を算出することとしてもよい。 A selection function that outputs a contribution of a quality estimation parameter corresponding to the predetermined video quality is predetermined for each quality estimation parameter, and the selection function is stored in a storage unit of the video quality estimation device, and the quality The calculating means may calculate the contribution by inputting the predetermined video quality to a selection function corresponding to the quality estimation parameter calculated by the parameter calculating means.
前記所定の映像品質は、例えば、前記基準映像信号と前記劣化映像信号との間の差分値から得られたエッジ量に基づいて算出された品質である。 The predetermined video quality is, for example, a quality calculated based on an edge amount obtained from a difference value between the reference video signal and the degraded video signal.
前記品質推定パラメータの値は、映像全体の劣化量、ブロック歪による劣化量、ボケに伴う劣化量、局所的な空間劣化量、フリーズ劣化量を含むこととしてもよい。また、前記品質推定パラメータの値は、映像全体の劣化量、ブロック歪による劣化量、ボケに伴う劣化量、局所的な空間劣化量、及びフリーズ劣化量を重み付け加算することにより得られた映像品質を含むこととしてもよい。 The quality estimation parameter value may include an overall video degradation amount, a degradation amount due to block distortion, a degradation amount due to blur, a local spatial degradation amount, and a freeze degradation amount. The quality estimation parameter value is obtained by weighted addition of the overall video degradation amount, the block distortion degradation amount, the blur-related degradation amount, the local spatial degradation amount, and the freeze degradation amount. It is good also as including.
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 As mentioned above, although the Example of this invention was explained in full detail, this invention is not limited to such specific embodiment, In the range of the summary of this invention described in the claim, various deformation | transformation・ Change is possible.
１ 映像品質推定装置
２ パラメータ導出部
３ 品質統合部
２１ エッジ導出部
２１１ ノイズ除去部
２１２ エッジパラメータ導出部
２１３ エッジに基づく品質推定部
R1 基準映像信号
P1 劣化映像信号
R1' ノイズ除去後の基準映像信号
P1' ノイズ除去後の劣化映像信号
Fdif ノイズ除去後の基準映像信号R1'と劣化映像信号P1'の画素の差分値
SIdif Fdifにソーベルフィルタをかけた値
E エッジ量
k フレーム番号
i 画素の行番号
j 画素の列番号
N 総フレーム数
p0〜pn 0〜n個の品質推定パラメータ
Vqe 統合映像品質推定値
Vedge エッジ量から推定した品質値
Vp1〜Vpn 1〜n個の品質推定パラメータ値
a1〜a4 Vedgeを導出するための関数の係数
wl(l=0,1,…,n+1) Vqeを導出するための品質推定式の重み
bl(Vedge)(l=0,1,…,n+1) Vqeを導出するための品質推定式における品質推定パラメータの選択関数
c(Vedge) Vqeを導出するための品質推定式の補正項
d1〜d4 品質推定パラメータの選択関数bl(Vedge)の係数
t0〜t2 品質推定パラメータの選択関数bl(Vedge)の閾値
DESCRIPTION OF
R1 reference video signal
P1 Degraded video signal
R1 'Reference video signal after noise removal
P1 'Degraded video signal after noise removal
Fdif Pixel difference value of reference video signal R1 'and degraded video signal P1' after noise removal
SIdif Fdif multiplied by a Sobel filter
E Edge amount
k Frame number
i pixel row number
j Pixel column number
N total frames
p0 ~ pn 0 ~ n quality estimation parameters
Vqe integrated video quality estimate
Vedge Quality value estimated from edge amount
Vp1 to
a1 to a4 coefficient of function for deriving Vedge
wl (l = 0,1,…, n + 1) Weight of quality estimation formula for deriving Vqe
bl (Vedge) (l = 0,1, ..., n + 1) Quality estimation parameter selection function in the quality estimation formula to derive Vqe
c (Vedge) Correction term for quality estimation formula to derive Vqe
d1-d4 Quality estimation parameter selection function bl (Vedge) coefficient
t0 to t2 Quality estimation parameter selection function bl (Vedge) threshold
Claims (8)
前記基準映像信号と前記劣化映像信号とから、前記映像品質の算出に使用する品質推定パラメータの値と、所定の映像品質とを算出するパラメータ算出手段と、
前記所定の映像品質に応じた前記品質推定パラメータの寄与度を求め、当該寄与度を掛けた前記品質推定パラメータの値を使用して、前記映像品質を算出する品質算出手段と
を備えることを特徴とする映像品質推定装置。 A video quality estimation device for estimating a video quality experienced by a user with respect to a video of a degraded video signal based on a reference video signal and a degraded video signal,
Parameter calculation means for calculating a value of a quality estimation parameter used for calculating the video quality and a predetermined video quality from the reference video signal and the degraded video signal;
A quality calculating unit that calculates a contribution of the quality estimation parameter according to the predetermined video quality and calculates the video quality using a value of the quality estimation parameter multiplied by the contribution. A video quality estimation device.
前記品質算出手段は、前記パラメータ算出手段により算出された前記品質推定パラメータに対応する選択関数に前記所定の映像品質を入力することにより、前記寄与度を算出する
ことを特徴とする請求項１に記載の映像品質推定装置。 A selection function that outputs a contribution of a quality estimation parameter according to the predetermined video quality is predetermined for each quality estimation parameter, and the selection function is stored in a storage unit of the video quality estimation device,
The said quality calculation means calculates the said contribution by inputting the said predetermined | prescribed video quality to the selection function corresponding to the said quality estimation parameter calculated by the said parameter calculation means. The video quality estimation apparatus described.
ことを特徴とする請求項１又は２に記載の映像品質推定装置。 The predetermined video quality is a quality calculated based on an edge amount obtained from a difference value between the reference video signal and the degraded video signal. Video quality estimation device.
ことを特徴とする請求項１ないし３のうちいずれか１項に記載の映像品質推定装置。 The value of the quality estimation parameter includes an overall video degradation amount, a block distortion degradation amount, a blur degradation amount, a local spatial degradation amount, and a freeze degradation amount. The video quality estimation apparatus according to any one of the preceding claims.
ことを特徴とする請求項１ないし４のうちいずれか１項に記載の映像品質推定装置。 The value of the quality estimation parameter includes video quality obtained by weighted addition of the degradation amount of the entire video, the degradation amount due to block distortion, the degradation amount due to blur, the local spatial degradation amount, and the freeze degradation amount. 5. The video quality estimation apparatus according to claim 1, wherein the video quality estimation apparatus is any one of claims 1 to 4.
前記基準映像信号と前記劣化映像信号とから、前記映像品質の算出に使用する品質推定パラメータの値と、所定の映像品質とを算出するパラメータ算出ステップと、
前記所定の映像品質に応じた前記品質推定パラメータの寄与度を求め、当該寄与度を掛けた前記品質推定パラメータの値を使用して、前記映像品質を算出する品質算出ステップと
を備えることを特徴とする映像品質推定方法。 A video quality estimation method executed by a video quality estimation device for estimating video quality experienced by a user with respect to a video of a degraded video signal based on a reference video signal and a degraded video signal,
A parameter calculating step for calculating a value of a quality estimation parameter used for calculating the video quality and a predetermined video quality from the reference video signal and the degraded video signal;
A quality calculation step of obtaining a contribution degree of the quality estimation parameter according to the predetermined video quality, and calculating the video quality using a value of the quality estimation parameter multiplied by the contribution degree. A video quality estimation method.
前記品質算出ステップにおいて、前記映像品質推定装置は、前記パラメータ算出ステップにより算出された前記品質推定パラメータに対応する選択関数に前記所定の映像品質を入力することにより、前記寄与度を算出する
ことを特徴とする請求項６に記載の映像品質推定方法。 A selection function that outputs a contribution of a quality estimation parameter according to the predetermined video quality is predetermined for each quality estimation parameter, and the selection function is stored in a storage unit of the video quality estimation device,
In the quality calculation step, the video quality estimation device calculates the contribution by inputting the predetermined video quality to a selection function corresponding to the quality estimation parameter calculated in the parameter calculation step. The video quality estimation method according to claim 6, wherein the video quality is estimated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015225661A JP6402088B2 (en) | 2015-11-18 | 2015-11-18 | Video quality estimation apparatus, video quality estimation method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015225661A JP6402088B2 (en) | 2015-11-18 | 2015-11-18 | Video quality estimation apparatus, video quality estimation method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017098604A JP2017098604A (en) | 2017-06-01 |
| JP6402088B2 true JP6402088B2 (en) | 2018-10-10 |
Family
ID=58818145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015225661A Active JP6402088B2 (en) | 2015-11-18 | 2015-11-18 | Video quality estimation apparatus, video quality estimation method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6402088B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7215229B2 (en) * | 2019-03-01 | 2023-01-31 | 日本電信電話株式会社 | Video quality estimation device, video quality estimation method and program |
| WO2022044252A1 (en) * | 2020-08-28 | 2022-03-03 | 日本電信電話株式会社 | Image quality estimation device, image quality estimation method, and program |
| WO2023209800A1 (en) * | 2022-04-26 | 2023-11-02 | 日本電信電話株式会社 | Video quality estimation device, video quality estimation method, and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0314162D0 (en) * | 2003-06-18 | 2003-07-23 | British Telecomm | Edge analysis in video quality assessment |
| JP5142316B2 (en) * | 2007-07-19 | 2013-02-13 | 日本電信電話株式会社 | VIDEO QUALITY OBJECTIVE EVALUATION METHOD, VIDEO QUALITY OBJECTIVE EVALUATION DEVICE, AND PROGRAM |
| CA2856634A1 (en) * | 2011-11-29 | 2013-06-06 | Thomson Licensing | Texture masking for video quality measurement |
-
2015
- 2015-11-18 JP JP2015225661A patent/JP6402088B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017098604A (en) | 2017-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Narvekar et al. | A no-reference image blur metric based on the cumulative probability of blur detection (CPBD) | |
| EP2261853A1 (en) | Image processing apparatus, medium, and method | |
| JP2013059016A (en) | Image processing device, method, and program | |
| RU2603529C2 (en) | Noise reduction for image sequences | |
| CN107133923B (en) | Fuzzy image non-blind deblurring method based on adaptive gradient sparse model | |
| JP2010041064A (en) | Image processing unit, image processing method, and program | |
| JP6402088B2 (en) | Video quality estimation apparatus, video quality estimation method, and program | |
| Ghadiyaram et al. | A no-reference video quality predictor for compression and scaling artifacts | |
| JP5824155B2 (en) | Anisotropic gradient regularization for image denoising, compression and interpolation | |
| JP4611535B2 (en) | Process, apparatus and use for evaluating an encoded image | |
| JP4872508B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2006522977A (en) | Spatial image conversion apparatus and method | |
| JP6145069B2 (en) | Subjective image quality estimation device and subjective image quality estimation program | |
| CN108632501B (en) | Video anti-shake method and device and mobile terminal | |
| US9064190B2 (en) | Estimating pixel values in digital image processing | |
| JP2007528137A (en) | Asymmetrically enhanced image and video sharpness metrics | |
| JP2020141374A (en) | Video quality estimation device, video quality estimation method, and program | |
| JP2011205253A (en) | Device, method, and program for transcoded video quality objective evaluation | |
| US8411982B2 (en) | Universal blurriness measurement approach for digital imagery | |
| JP6088344B2 (en) | Imaging device and noise removal program | |
| KR100612667B1 (en) | Apparatus and Methods for Objective Assessment of Video Quality | |
| JP2013046400A (en) | Video processing apparatus and method, and program | |
| JP6078431B2 (en) | Video quality estimation apparatus, video quality estimation method and program | |
| JP5237226B2 (en) | Video quality estimation apparatus, method, and program | |
| Cardoso et al. | Temporal analysis and perceptual weighting for objective video quality measurement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180815 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180910 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6402088 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |