JP4861371B2 - 映像品質推定装置、方法、およびプログラム - Google Patents
映像品質推定装置、方法、およびプログラム Download PDFInfo
- Publication number
- JP4861371B2 JP4861371B2 JP2008168319A JP2008168319A JP4861371B2 JP 4861371 B2 JP4861371 B2 JP 4861371B2 JP 2008168319 A JP2008168319 A JP 2008168319A JP 2008168319 A JP2008168319 A JP 2008168319A JP 4861371 B2 JP4861371 B2 JP 4861371B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- video quality
- quantization parameter
- frame
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
したがって、このような映像通信サービスを品質良く提供するためには、サービス提供に先立った品質設計やサービス開始後の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な映像品質評価技術が必要となる。
一般に、無効フレーム数が同じであっても、映像の動き量が大きいほど、ユーザが知覚する品質劣化は大きくなるという傾向がある。したがって、映像の動き量を考慮しない場合には、例えば、映像Aと映像Bのフレームが同数フレーム損失した場合、映像Aは動きが小さいため品質劣化として検知されにくいが、映像Bは動きが大きいため品質劣化として検知されやすい、といった現象を映像品質に反映させることができない。
本発明はこのような課題を解決するためのものであり、映像の動き量を考慮した映像品質値を少ない処理負担で算出できる映像品質推定装置を提供することを目的としている。
[第1の実施の形態]
まず、図1を参照して、本発明の第1の実施の形態にかかる映像品質推定装置について説明する。図1は、本発明の第1の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
一般に、フレーム内およびフレーム間予測符号化方式に基づき映像を複数のフレームに圧縮符号化してIPパケットで送信する映像通信では、IPパケットが損失した際、損失IPパケットが含まれるフレームに品質劣化が生じるとともに、当該フレームを用いてフレーム間予測符号化方式で符号化された他のフレームに、その品質劣化が伝搬する。
この際、映像の品質劣化には、ユーザが品質劣化を知覚しやすい劣化と知覚しにくい劣化があり、このようなユーザによる映像品質の主観評価に対する影響度は、映像の動き量に応じて変化する。
この際、動き量が大きい映像については、Iフレームの精細度を低くする代わりに、Iフレームの間に送信されるBフレームやPフレームの精細度を高くして、映像全体の品質を高めるように圧縮符号化処理が制御される。
したがって、動き量が大きい映像ほど、Iフレームの情報量が低下する代わりに、BフレームやPフレームの情報量が増大する。また、動き量が小さい映像ほど、Iフレームの情報量が増大する代わりに、BフレームやPフレームの情報量が低下する。
この際、量子化パラメータは、映像通信の種類に応じてその値にばらつきがあることから、対象映像通信と同種の映像通信に関する代表量子化パラメータQPtと、対象映像通信から算出した平均量子化パラメータQPとの差分を示す差分量子化パラメータΔQPを中間パラメータとして用いている。
次に、図1を参照して、本発明の第1の実施の形態にかかる映像品質推定装置の構成について詳細に説明する。
図1の映像品質推定装置1において、通信I/F部31は、専用の通信回路部からなり、IPネットワーク3を介してIPパケットを送受信することにより任意の通信端末とデータ通信を行う機能と、IPネットワーク3を介して通信端末2A,2B間でやり取りされる映像通信用のIPパケットを受信する機能とを有している。
画面表示部33は、LCDやPDPなどの画面表示装置からなり、演算処理部10からの指示に応じて操作メニューや映像品質推定値などを画面表示する機能を有している。
プログラム29は、演算処理部10により読み出されて実行されることにより、映像品質推定処理に必要な各種処理部を実現するプログラムであり、通信I/F部31などの入出力インターフェース部を介して外部装置(図示せず)や記録媒体から読み込まれて記憶部20に予め保存されている。
パケット損失変化指標特性は、差分量子化パラメータΔQPとパケット損失変化指標Dとの関係を示す特性であり、前述した図3にような線形関数などの近似関数で表すことができる。パケット損失変化指標特性情報24には、図6に示すように、このような線形関数を特定する係数が、映像通信特定パラメータ21のCODEC、映像フォーマット、映像通信種別の組み合わせごとに登録されている。パケット損失変化指標特性情報24における、映像通信特定パラメータ21と係数a,bとの対応関係は、各種映像ごとに導出したパケット損失変化指標特性から予め算出しておけばよい。
映像品質情報25における、映像通信特定パラメータ21、および符号化映像品質値Vc、無効フレーム数IF、パケット損失変化指標Dの組み合わせと、映像品質値Vとの対応関係は、各種映像通信から予め算出しておけばよい。
演算処理部10で実現される主な処理部として、IPパケット分析部11、無効フレーム数算出部12、符号化映像品質算出部13、代表量子化パラメータ算出部14、平均量子化パラメータ算出部15、パケット損失変化指標算出部16、および映像品質推定部17がある。
無効フレーム数算出部12は、IPパケット分析部11で抽出された品質パラメータのフレーム種別情報ft、フレーム番号fn、および損失フレーム情報fdに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する機能を有している。
代表量子化パラメータ算出部14は、IPパケット分析部11で抽出された品質パラメータの符号化レートBRと、記憶部20の映像通信特定パラメータ21および代表量子化パラメータ情報23とに基づいて、品質推定対象となる映像通信と同種の映像通信を代表する代表量子化パラメータQPtを算出する機能を有している。
パケット損失変化指標算出部16は、記憶部20の映像通信特定パラメータ21、平均量子化パラメータQP、および代表量子化パラメータQPtに基づいて、対象映像の動き量を示すパケット損失変化指標Dを算出する機能を有している。
映像品質推定部17は、符号化映像品質値Vc、無効フレーム数IF、およびパケット損失変化指標Dに基づいて、対象映像通信の映像品質値Vを算出する機能と、この映像品質値Vを記憶部20や画面表示部33へ出力する機能とを有している。
次に、図8および図9を参照して、本発明の第1の実施の形態にかかる映像品質推定装置の動作について説明する。図8は、本発明の第1の実施の形態にかかる映像品質推定装置の映像品質推定動作を示すフロー図である。図9は、本発明の第1の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
映像品質推定装置1の演算処理部10は、操作入力部32により映像品質推定処理の開始を示すオペレータ操作が検出された場合、図9の映像品質推定処理を開始する。
IPパケット内には、IPヘッダ、UDP(User Datagram Protocol)ヘッダ 、RTP(Real-time Transport Protocol)ヘッダ、TS(Transport stream)、ES(Elementaly stream)などの情報が存在し、これら情報から各種パラメータを抽出する。
フレーム番号fnについては、品質推定区間内の各フレームに、便宜上の番号を付与すればよい。圧縮符号化方式H.264のIPパケットやTSパケットの場合、Nal_unit_type内のAccess unit delimiterにより、フレームの開始位置が判定できるので、Access unit delimiterを識別するごとに、フレーム番号fnを1ずつカウントして付与すればよい。但し、スライス構造を持つ場合は、スライスの数だけAccess unit delimiterが存在する。例えば、スライス数が6の場合、Access unit delimiterも6個存在する。このような場合には、スライス数を考慮してフレームを計数すればよい。
量子化パラメータqpについては、IPパケット内の符号化情報には、フレームを構成するブロックごとに量子化パラメータqp(Quantization parameter)が記載されており、これらを取得すればよい。
無効フレーム数算出部12は、パケット分析部11により抽出した各種品質パラメータのうち、フレーム種別情報ft、フレーム番号fn、および損失フレーム情報fdに基づいて、無効フレームを特定する。
符号化映像品質算出部13は、記憶部20の符号化映像品質情報22を参照し、パケット分析部11により抽出した各種品質パラメータのうち、フレームレートFRおよび符号化レートBRと記憶部20の映像通信特定パラメータ21とに対応する符号化映像品質値Vcを取得する。
代表量子化パラメータ算出部14は、記憶部20の代表量子化パラメータ情報23を参照し、パケット分析部11により抽出した各種品質パラメータの符号化レートBRと記憶部20の映像通信特定パラメータ21とに対応する代表量子化パラメータQPtを算出する。
品質推定区間は、例えば10秒や300フレームなどの時間長を持ち、品質推定区間内における各フレームについて、当該フレームを構成するブロックごとに量子化パラメータがIPパケット分析部11で抽出される。ブロックは、個々のフレーム内における圧縮符号化の処理単位であり、フレームごとに任意に設定される。
パケット損失変化指標算出部16は、まず、代表量子化パラメータ算出部14で算出した代表量子化パラメータQPtと平均量子化パラメータ算出部15で算出した平均量子化パラメータQPとの差分により、次の式(2)に基づき、差分量子化パラメータΔQPを算出する。
映像品質推定部17は、記憶部20の映像品質情報25を参照し、記憶部20の映像通信特定パラメータ21と、無効フレーム数算出部12で算出した無効フレーム数IF、符号化映像品質算出部13で算出した符号化映像品質値Vc、およびパケット損失変化指標算出部16で算出したパケット損失変化指標Dとに対応する映像品質値Vを取得する。
このように、本実施の形態では、品質推定区間に対応する対象映像通信の各フレームに関する量子化パラメータの平均値を示す平均量子化パラメータと、対象映像通信の量子化パラメータを代表する代表量子化パラメータとに基づいて、対象フレーム間での映像の動き量を示すパケット損失変化指標を算出し、対象映像通信に関する符号化映像品質値、無効フレーム数、およびパケット損失変化指標に基づいて、対象映像通信の映像品質値を算出している。
次に、図12および図13を参照して、本発明の第2の実施の形態にかかる映像品質推定装置について説明する。図12は、代表量子化パラメータ特性を示す説明図である。図13は、代表量子化パラメータ特性情報を示す説明図である。
図12に示すように、符号化レート−代表量子化パラメータ特性は、映像通信の符号化レートBRが増加するにしたがって、代表量子化パラメータQPtが減少する特性を有している。映像通信の符号化レートをBRとし、代表量子化パラメータ特性関数を特定する係数をt1,t2,t3とした場合、代表量子化パラメータQPtは次の式(4)により表される。
このように、本実施の形態によれば、第1の実施の形態で説明した代表量子化パラメータ情報23を用いる場合と比較して、大きな情報量の代表量子化パラメータ情報23を予め用意することなく、対象映像通信の符号化レートBRが細かく変化する場合でも、映像の動き量を考慮した映像品質値を少ない処理負担で算出できる。
次に、本発明の第3の実施の形態にかかる映像品質推定装置について説明する。
第1の実施の形態では、映像品質値を算出する場合、映像品質推定部17により、記憶部20の映像品質情報25を参照し、記憶部20の映像通信特定パラメータ21と、無効フレーム数算出部12で算出した無効フレーム数IF、符号化映像品質算出部13で算出した符号化映像品質値Vc、およびパケット損失変化指標算出部16で算出したパケット損失変化指標Dとに対応する映像品質値Vを取得する場合について説明した。
前述した図2に示すように、パケット損失変化指標Dを考慮した、無効フレーム数IFと映像品質値Vとの関係を示す映像品質特性は、前述した図2に示すように、無効フレーム数IF=0のとき符号化映像品質値Vcを映像品質値の最大値とし、無効フレーム数IFの増加に応じて指数関数的に映像品質値が減少する。この映像品質特性は、指数関数を用いて次の式(5)で近似することができる。
このように、本実施の形態によれば、第1の実施の形態で説明した映像品質情報25を用いる場合と比較して、対象映像通信のパケット損失変化指標Dが細かく変化する場合でも、大きな情報量の映像品質情報25を予め用意することなく、映像の動き量を考慮した映像品質値を少ない処理負担で算出できる。
Claims (6)
- フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してIPパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置であって、
入力された前記IPパケットを分析して、前記対象映像通信の映像品質に関する各種品質パラメータと、前記圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するIPパケット分析部と、
前記品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出部と、
前記品質パラメータに基づいて、前記圧縮符号化による映像劣化のみを考慮した、前記対象映像通信の符号化映像品質値を算出する符号化映像品質算出部と、
品質推定区間に対応する前記対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出部と、
前記対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出部と、
前記平均量子化パラメータと前記代表量子化パラメータとに基づいて、前記対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出部と、
前記符号化映像品質値、前記無効フレーム数、および前記パケット損失変化指標に基づいて、前記対象映像通信の映像品質値を算出する映像品質算出部と
を備えることを特徴とする映像品質推定装置。 - 請求項1に記載の映像品質推定装置において、
前記パケット損失変化指標算出部は、前記平均量子化パラメータと前記代表量子化パラメータとの差分を示す差分量子化パラメータの増加に応じてパケット損失変化指標が単調減少する特性を示す関数に基づいて、前記パケット損失変化指標を算出することを特徴とする映像品質推定装置。 - 請求項1に記載の映像品質推定装置において、
前記代表量子化パラメータ算出部は、符号化レートの増加に応じて量子化パラメータが単調減少する特性を示す関数に基づいて、前記品質パラメータに含まれる符号化レートに対応する量子化パラメータを前記代表量子化パラメータとして算出することを特徴とする映像品質推定装置。 - 請求項1に記載の映像品質推定装置において、
前記映像品質算出部は、無効フレーム数が0のとき符号化映像品質値を映像品質値の最大値とし、無効フレーム数の増加に応じて映像品質値が単調減少する特性を示す関数に基づいて、前記符号化映像品質値、前記無効フレーム数、および前記パケット損失変化指標に対応する映像品質値を算出することを特徴とする映像品質推定装置。 - フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してIPパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置で用いられる映像品質推定方法であって、
IPパケット分析部が、入力された前記IPパケットを分析して、前記対象映像通信の映像品質に関する各種品質パラメータと、前記圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するIPパケット分析ステップと、
無効フレーム数算出部が、前記品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出ステップと、
符号化映像品質算出部が、前記品質パラメータに基づいて、前記圧縮符号化による映像劣化のみを考慮した、前記対象映像通信の符号化映像品質値を算出する符号化映像品質算出ステップと、
平均量子化パラメータ算出部が、品質推定区間に対応する前記対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出ステップと、
代表量子化パラメータ算出部が、前記対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出ステップと、
パケット損失変化指標算出部が、前記平均量子化パラメータと前記代表量子化パラメータとに基づいて、前記対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出ステップと、
映像品質算出部が、前記符号化映像品質値、前記無効フレーム数、および前記パケット損失変化指標に基づいて、前記対象映像通信の映像品質値を算出する映像品質算出ステップと
を備えることを特徴とする映像品質推定方法。 - フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してIPパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置のコンピュータに、
IPパケット分析部が、入力された前記IPパケットを分析して、前記対象映像通信の映像品質に関する各種品質パラメータと、前記圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するIPパケット分析ステップと、
無効フレーム数算出部が、前記品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出ステップと、
符号化映像品質算出部が、前記品質パラメータに基づいて、前記圧縮符号化による映像劣化のみを考慮した、前記対象映像通信の符号化映像品質値を算出する符号化映像品質算出ステップと、
平均量子化パラメータ算出部が、品質推定区間に対応する前記対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出ステップと、
代表量子化パラメータ算出部が、前記対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出ステップと、
パケット損失変化指標算出部が、前記平均量子化パラメータと前記代表量子化パラメータとに基づいて、前記対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出ステップと、
映像品質算出部が、前記符号化映像品質値、前記無効フレーム数、および前記パケット損失変化指標に基づいて、前記対象映像通信の映像品質値を算出する映像品質算出ステップと
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008168319A JP4861371B2 (ja) | 2008-06-27 | 2008-06-27 | 映像品質推定装置、方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008168319A JP4861371B2 (ja) | 2008-06-27 | 2008-06-27 | 映像品質推定装置、方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010011112A JP2010011112A (ja) | 2010-01-14 |
JP4861371B2 true JP4861371B2 (ja) | 2012-01-25 |
Family
ID=41591060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008168319A Active JP4861371B2 (ja) | 2008-06-27 | 2008-06-27 | 映像品質推定装置、方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4861371B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2675806T3 (es) | 2010-12-10 | 2018-07-12 | Deutsche Telekom Ag | Método y aparato para evaluar la calidad de una señal de video durante la codificación y transmisión de la señal de video |
JP5523357B2 (ja) * | 2011-01-05 | 2014-06-18 | 日本電信電話株式会社 | 映像品質推定装置及び方法及びプログラム |
MY168193A (en) | 2011-12-09 | 2018-10-15 | Ericsson Telefon Ab L M | Method and apparatus for detecting quality defects in a video bitstream |
BR112014014349A2 (pt) | 2011-12-15 | 2017-06-13 | Thomson Licensing | método e aparelho para medição da qualidade de vídeo |
CN103379358B (zh) * | 2012-04-23 | 2015-03-18 | 华为技术有限公司 | 评估多媒体质量的方法和装置 |
CN103634577B (zh) | 2012-08-22 | 2014-12-31 | 华为技术有限公司 | 多媒体质量的监控方法和设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4308227B2 (ja) * | 2006-06-21 | 2009-08-05 | 日本電信電話株式会社 | 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム |
JP4740967B2 (ja) * | 2008-02-14 | 2011-08-03 | 日本電信電話株式会社 | 映像品質推定装置、方法、およびプログラム |
JP4802209B2 (ja) * | 2008-05-09 | 2011-10-26 | 日本電信電話株式会社 | 映像品質推定方法、装置およびプログラム |
-
2008
- 2008-06-27 JP JP2008168319A patent/JP4861371B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010011112A (ja) | 2010-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101414435B1 (ko) | 비디오 스트림 품질 평가 방법 및 장치 | |
KR101188833B1 (ko) | 비디오 품질을 객관적으로 평가하기 위한 방법, 장치, 및 프로그램 | |
JP5172440B2 (ja) | 映像品質推定装置、方法およびプログラム | |
US9723329B2 (en) | Method and system for determining a quality value of a video stream | |
JP4796019B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
JP4802209B2 (ja) | 映像品質推定方法、装置およびプログラム | |
JP4861371B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
WO2012013777A2 (en) | Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal | |
JP2008301026A (ja) | 映像品質推定方法、装置、およびプログラム | |
JP4787303B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
US9723266B1 (en) | Lightweight content aware bit stream video quality monitoring service | |
JP4802200B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
JP5405915B2 (ja) | 映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラム | |
JP4740967B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
JP5394991B2 (ja) | 映像フレーム種別推定用調整係数算出方法、装置、およびプログラム | |
JP6061778B2 (ja) | 映像品質評価装置、映像品質評価方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110726 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111018 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111104 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4861371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |