JP3687293B2 - Video communication management device - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は動画通信管理装置に関し、特にディジタル動画データの送受信に用いられるプロトコルを管理する動画通信管理装置に関する。
【０００２】
【従来の技術】
一般的に、データ伝送路を介して接続された計算機の間でデータの授受を行うためには、データ送信側の計算機とデータ受信側の計算機との間で用いられるプロトコルを同一にする必要がある。
この状況はディジタル動画データの通信においても同様であり、例えば動画送信端末又は動画サーバと呼ばれる動画送信装置が、動画をネットワークを介して動画受信装置へ送信するにあたり、動画送信装置と動画受信装置とが同一の通信プロトコル及び動画符号方式を予め実装する必要がある。
【０００３】
以下、本明細書では、「通信プロトコル」とは、例えばＵＤＰ／ＩＰ（User Diagram Protocol/Internet Protocol）のように動画以外の通信にも利用される通信上のプロトコルを含む意味で用い、送信装置と受信装置とでデータの送受信に先だってネゴシエーションを行うための通信も含むものとする。
また、本明細書では、「動画符号方式」とは、動画符号に関するプロトコルであり、動画の通信を目的とした送信・受信、復号・表示、及びネットワーク機器との間で取り決められた規約を含む意味で用いる。この動画復号方式は、例えば国際標準化機構であるＩＳＯ（International Organization for Standardization）及びＩＥＣ（International Electrotechnical Commission）によるＭＰＥＧ（ISO/IEC-11172）、ＭＰＥＧ−２（ISO/IEC-13818）、ＭＰＥＧ−４（ISO/IEC-14496）、ＩＴＵ（International Telecommunication Union）勧告Ｈ．３２０、Ｈ．３２４、Ｈ．２６１、Ｈ．２６３等がある。
【０００４】
さらに、本明細書では、動画通信プロトコルとは、動画通信に用いられるプロトコルであり、動画符号方式と通信プロトコルとを組み合わせた意味で用いる。例えば、ＭＰＥＧに準拠して生成されたデータストリームをＵＤＰ／ＩＰに準拠したパケットで送信する場合などがある
【０００５】
従来、動画通信プロトコルは、処理速度の点で専用のＬＳＩを用いた専用ハードウェアにより処理されていた。このため、ネットワークに接続された送信装置及び受信装置は、専用ハードウェアが扱うことができる最低限の共通プロトコルを用いて通信を行っていた。例えば、送信装置にＭＰＥＧエンコーダ、受信装置にＭＰＥＧデコーダを実装して動画データの通信を行っていた。
【０００６】
尚、本明細書で用いられる語句「一種類の通信プロトコル」、「一種類の動画符号方式」、「一種類の動画通信プロトコル」とは、他のプロトコルを選択する余地がなく、送信装置及び受信装置が共通に用いる一種類のプロトコルをいう。
一般には、通称が一種類のプロトコルである場合にも、異なるパラメータを設定して通信手順を変えることができたり、プロトコルそのものに選択肢が用意されていて、状況に応じていずれかを選んで送信に用いることがある。
【０００７】
例えば、ＭＰＥＧ−２の規約の中には、双方向予測／単方向予測の何れを行うかを選択する選択肢がある。例えばメインプロファイル／シンプルプロファイルである。しかしながら、ＭＰＥＧ−２デコーダ・ＭＰＥＧ−２エンコーダと呼ばれるものであっても双方向予測に対応しないものもあるなど、「双方向予測によるＭＰＥＧ−２」というプロトコルが共通である場合とそうでない場合とがある。この場合、本明細書では「単方向予測によるＭＰＥＧ−２」と「双方向予測によるＭＰＥＧ−２」を別種のプロトコルとする。
【０００８】
次に、プロトコルの使い分けについて述べる。画像通信において、どの動画通信プロトコルが最も適しているかは、動画通信の利用目的、利用状況に応じて様々である。
上記の双方向予測による方式は符号化効率が高く少ない符号量で済むという特徴を有し、単方向予測による方式は復号処理遅延時間が短くて済むという特徴を有する。例えば、テレビ会議のような用途には、復号遅延量が小さい単方向予測による方式の方が多くの場合有効である。
【０００９】
送信装置と受信装置とが双方向予測／単方向予測の何れも対応できる場合には、動画を送信する装置内で適宜選択されて送信される。逆に、単方向予測のみに対応するＭＰＥＧ−２デコーダＬＳＩを実装している場合は、符号化効率の要求が高くても、単方向予測しか利用できないという場合もある。
【００１０】
また受信装置又はデコーダの処理速度性能が原因で、処理量が多く繁雑な方式では送受信できない場合もある。更に、利用しているネットワークの利用可能な帯域幅の制限によって、符号量が大きくなる方式を用いた場合には送受信できないときもある。符号レートの制限の下では符号量を増やす代わりに、解像度・階調などの点で画質を粗くすることも多い。この場合は符号化効率が高いと画質がよくなる。
【００１１】
また、前述の単方向予測／双方向予測以外の動画通信プロトコルについて、ネットワークトラフィックの影響を考慮して通信を行ったり、伝送エラー耐性（誤り耐性）を考慮して通信を行ったり、数値のｂｉｔ表現により符号量を考慮して通信を行ったりする点において異なる動画通信プロトコルもある。
ネットワークに接続された計算機間で行われるデータ通信の授受を監視する通信監視装置に関しては、同出願人によって出願された特願平０９−０７８４８６号がある。
【００１２】
【発明が解決しようとする課題】
ところで、従来は、動画通信プロトコルの実装について、処理速度の点で専用のハードウェアによって実現していたが、装置内部に設けられたＣＰＵ（中央処理装置）の処理速度が向上することによって、ソフトウェアによる実装が可能となってきた。更に、インターネット等のネットワークの発達により、動画通信プロトコルを実現するためのソフトウェアの配布が容易となるので、送受信装置での動画通信プロトコルの変更が容易になり、また送受信端末にそれまで実装されていない動画通信プロトコルでも、新たに実装することが容易となる。はじめからソフトウェアプロトコルのインストール・アンインストールが想定された端末も普及が予想される。このような状況では、動画通信プロトコルを必要に応じて実装することになる。
【００１３】
利用目的・利用網に応じて最適な動画通信プロトコルが各々開発されているが、新しい利用目的の発見、新しい利用網の開発などにより、それぞれについて最適な動画通信プロトコルが開発されていき、今後、利用可能な動画通信プロトコルの種類はますます増加していくと予想される。そこで、利用目的や利用網に応じた動画通信プロトコルを選択して利用することが重要になってくる。
【００１４】
このような状況に加えて、さらに次の背景がある。公衆移動網や無線ＬＡＮが普及し、携帯端末も多く利用される。無線区間を含む通信路で動画通信を利用する場合は、従来の有線の通信とは伝送エラー率が桁違いに大きいことから、次に述べる動画通信技術が必要とされる。確実なデータ伝送の場合は、通信路の伝送エラー率が大きい場合は、データの再送を行ってエラーを含まなくなるまで繰り返せばいいが、動画通信では決められた時間内に到着する必要がある。
【００１５】
一方、データ伝送に比べ、画面の一部に短時間に動画の欠損が生じても利用目的に応じて許容できる用途もある。そこで無線区間を含む動画通信では、独特の要求条件の下で最適な動画通信プロトコルを利用する必要がある。無線区間の伝送エラーが出現する状況は、利用網が変わると大きく異なるのはもちろんのこと、場所が変わっても異なるので、それぞれのケースを評価しながら最適な動画通信プロトコルを利用することが重要になってくる。
【００１６】
このことを動画符号技術について予測符号化方式を例に説明する。国際動画符号標準の中で、ＩＴＵ勧告のＨ．２６１、Ｈ．２６３、ＩＳＯ／ＩＥＣ規格のＭＰＥＧ、ＭＰＥＧ−２では、いずれも予測符号化方式が採用されているので、極めて頻繁に利用される技術である。予測符号化方式とは、少ない符号量で通信できるよう符号化効率を高くする目的で用いられる方式であり、参照値・予測式・予測係数を予め送信し、残差を送る毎に元の値を復元する方法である。
【００１７】
予測符号化方式では、例えば、データ「１０２」、「１０７」、「１０５」・・を送信する場合、参照値を「１００」、予測式・予測係数は、「参照値＋残差」であるという取り決めを通信し、残差２、７、５・・を通信する。復号する際には、１００＋２、１００＋７、１００＋５・・という方法で復元する。さらに、この例では一桁の整数に残差が頻出するが、頻出値ほど短い符号を割り当てることにする可変長符号という方法が組み合わされる。割り当ての表は予め送信される。
【００１８】
このような予測符号化方式では、多くの値を復号するのに共通の参照値・予測式・予測係数を一度通信するだけでよい。これによれば、それぞれ値を通信するより、極めて少ない符号量で済む。残差が特定の値に頻出するような予測を取り決めればよい。前例では値がどれもほぼ同じくらいの大きさを持つことが多く、それも「１００」に近いことが多いという予測をしている。値の現れる統計的性質を利用して、精度の高い予測を行うほど符号が少なくできる。
【００１９】
次に、無線区間を含む通信路で予測符号化方式を用いた場合の問題点を説明する。無線区間では伝送エラーを考慮する必要がある。符号化効率を高めるためには、多くの残差と少ない参照値・予測係数・符号割り当ての取り決めなどの情報を送る必要がある。この場合に残差に伝送エラーが生じた場合は、ひとつの復号値が誤りを含んでいるのみであり、動画としては多くの場合は品質の劣化は小さい。
【００２０】
一方、参照値や予測係数に伝送エラーが生じた場合は、それを利用している多数の復号値に誤りを含んでいることになり、伝送エラー又は誤り訂正で見逃したエラーが１ｂｉｔに過ぎない場合でも、動画としての品質は著しく劣化する。ひとつの参照値に属する復号値の数を多くすれば、符号化効率は高くなるが誤り耐性は小さくなる。
【００２１】
一般に、参照値の割合について、さまざまな利用状況に応じて符号量の制限や伝送エラー率が異なるので、最適な割合が利用状況に応じてそれぞれ存在することになり、それぞれのケースを評価しながら最適な動画通信プロトコルを利用することが重要になってくる。
【００２２】
また、動画の通信を行う場合には次のような事態が考えられる。この事態については前述の双方向予測方式によって通信する場合を例に挙げて説明する。以下において用いる「動画のフレーム」とは、動画を瞬間瞬間の静止画の連続だと見なして、瞬間の一枚の静止画のことをいう。動画は一般的に、毎秒１〜３０フレーム前後のフレームからなる。動画の画面内を物体や人物、あるいはその一部に注目すると、何フレームかにわたっておよそ一定の速度と向きで移動することが多い。任意の２つのフレームにおける対応する位置の違いを横方向の画素数と縦方向の画素数の組で表し、動きベクトルと呼ぶ。あるフレームで物体の特定の画素を予測する際、その画素に対して、時間的に前方のフレームと後方のフレームの中にそれぞれ対応する動きベクトルの指す画素値を得て参照値とする。画素値の時間変化の速度が一定と考えて内挿して得られる値を予測値とし、注目画素値との差を残差とする。
【００２３】
例えば、第２フレームのある画素を双方向予測するために、第１フレームと第４フレームに対するそれぞれの動きベクトルから得られる２つの参照画素値の間を１：２に内分する値を予測値とし、残差を送信する。画素値の時間変化が一定なら残差は０を中心に頻出するので、前述のような可変帳符号を用いて、符号量を極めて少なくすることができる。
【００２４】
しかし、双方向予測における処理遅延時間の問題点がある。まず符号化の際、第２フレームの予測値は第４フレームが入力されてから算出されるので、第２フレームの符号化は第４フレーム符号化の時間的に後になる。また復号化の際、第２フレームの復号は、第４フレームが復号部に入力されることにより参照値が得られ、第２フレームの残差から復号される。このため、第２フレームの復号は第４フレーム復号の時間的にあとになる。計算処理時間・伝送時間が充分に小さいとしても第２フレームの復号は２フレーム間隔以上は遅れることになる。
【００２５】
これに対して、単方向予測とは、動きベクトルで対応する画素は変化しないことが多いという性質を利用したものであり、例えば、第２フレームのある画素を単方向予測するために、第１フレームに対する動きベクトルから得られる参照画素値をそのまま予測値とし、残差を送信する。時間的にあとから前を予測することはないので単方向予測と呼ばれる。単方向予測での処理遅延時間は、フレームの順にしたがって、処理されるので双方向予測のような遅延はない。
【００２６】
テレビ会議のように動画を介して会話する場合は遅延が重要である。会話が不自然にならないためには、カメラに動画が入力されて、受信機で表示されるまでを全遅延時間とすると、１秒の数分の一程度を越えないようにする必要がある。毎秒５フレームで偶数番目のフレームに双方向予測を用いた場合は、フレーム間隔である２００ｍｓに処理遅延と伝送遅延時間とを加えた遅延が発生するので、違和感を感じるおそれがあり、伝送遅延時間や計算処理時間が追加され、問題が生じる。
【００２７】
このような状況で無線区間を含む通信路を利用し、さらに無線区間では伝送エラーに対して誤りが無くなるまで再送が実行される場合を考えると、伝送エラーの程度に最大の伝送遅延時間が依存し、双方向予測をやめて単方向予測とすることも検討される。単方向予測の場合は双方向予測より相対的に符号量が増加するので、画質を粗くするとかフレームレートを下げるなど画像品質劣化が想定される。
このように、双方向予測／単方向予測の選択は、伝送エラーの状況・遅延時間の許容度・符号量制限（画像品質）などから利用目的と利用状況に応じて決定する必要がある。
【００２８】
前述の例の他に、伝送エラー耐性（＝誤り耐性）の異なる方式、数値のｂｉｔ表現により符号量の異なる方式などを比較する場合、伝送エラーの状況・符号量制限（画像品質）・復号処理速度の点から、利用目的と利用状況に応じて決定する必要がある。
以上説明したように、動画の通信を行うためには、利用目的によって、利用状況の下で評価した上で、それぞれ異なる最適な動画符号化方式を選択する必要がある、という課題が発生する。
【００２９】
この課題に対して、図３を参照して、従来の動画通信装置の問題点を説明する。図３は、従来一般的に用いられている動画通信装置の構成を示す図である。
図３に示されたように従来の動画通信装置は、ネットワーク２０に接続された動画送信機である動画サーバ１０と、ネットワーク２０に接続された無線固定局２５と無線によって通信を行う動画受信機である端末３０とからなる。動画サーバ１０及び端末３０は共通の動画符号方式及び通信プロトコルを備えており、動画サーバ１０から送信された動画符号は、ネットワーク２０及び無線固定局２５を介して端末３０へ送信される。
【００３０】
今、単方向予測及び双方向予測のどちらも動画サーバ１０及び端末３０で共通のプロトコルであるとする。前述の課題である単方向予測か双方向予測かの選択については、従来は、動画サーバ１０の内部において、単方向予測の場合の符号量と双方向予測の場合の符号量を同時に算定して、符号量の少ない方の方式を選択していた。
【００３１】
この例のように従来は、プロトコル選択が動画送信機内部で処理されてきたために、ネットワーク２０を介して、全体の伝送エラーの状況、それによって生じる最大の伝送遅延時間などを評価することができないので、符号量の少ない方という選択が、端末３０で利用される画像品質という点で最適な選択かどうか評価することができないという問題がある。
【００３２】
従来は符号量に対して伝送帯域の比較的小さな無線区間での動画通信の利用は少なかったので、伝送エラー率の極めて小さな有線伝送路を利用することが多かったので、影響は小さかったが、無線区間の伝送帯域が従来より大きな伝送路が利用されるようになって、無線区間で伝送エラーの動画品質に与える影響を、実際にできるだけ近い状態で、評価する必要が大きい。
【００３３】
利用目的に応じて要求される受信機での画像品質に対して、利用網の通信状態の上で、動画符号方式と通信プロトコルが最適かどうかということを評価する必要性に対して、図３に示す従来の動画通信装置では、プロトコル選択が動画サーバ１０の内部のみで処理されてきたために、十分な評価ができないという問題点がある。
【００３４】
端末でのデータ受信品質を評価して送信機で最適な通信プロトコル選択を行う従来装置については、同出願人によって出願された特願平０９−０７８４８６号がある。動画符号通信はデータ通信の一部であるが、限られた時間内に受信される必要があることと、伝送エラーの許容度が比較的ゆるやかであることと、所与の通信品質特性における利用動画品質が動画符号方式に依存することが異なる。
【００３５】
動画通信の管理には、伝送エラー率や伝送遅延時間などの通信特性が向上すれば、およそ利用画像品質も向上するという点があるが、さらに最適な動画符号方式を選択することによって、より確実に利用画像品質を向上させることができる。利用画像品質の評価に基づく動画通信に特定した通信管理装置が必要である。
【００３６】
本発明は、上記事情に鑑みてなされたものであり、利用画像品質の評価に基づく、最適な動画符号及び通信プロトコル選択を行う動画通信管理装置を提供することを目的とする。
【００３７】
【課題を解決するための手段】
上記課題を解決するために、本発明は、複数の動画符号方式および複数の通信プロトコルの中から選択してネットワークにディジタルである動画符号を送信する送信機と、前記送信機が用いる動画符号方式および通信プロトコルを用いて前記ネットワークに送信される前記動画符号を受信・復号する受信機とからなる動画通信装置を管理する動画通信管理装置において、
前記ネットワークを介して前記送信機及び前記受信機に接続され、前記動画符号および前記通信プロトコルによって生成された信号を入力して分析する手段と、２種以上の前記動画符号または２種以上の前記通信プロトコルとの比較分析を行う手段と、前記比較分析結果を前記送信機へ送出する手段とを有する動画通信分析装置を備え、
前記受信機は、受信した前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを前記動画通信分析装置に送信する手段を備え、
前記送信機は、前記動画通信分析装置から送出された前記比較分析結果に基づいて、複数の動画符号方式および複数の通信プロトコルの中から選択する手段と、選択した動画符号方式および通信プロトコルに対応する受信復号機能を前記受信機が持つことを確認する手段と、確認した前記動画符号方式および前記通信プロトコルを用いて前記動画を送信する手段とを備える
ことを特徴とする。
また、本発明は、複数の動画符号方式および複数の通信プロトコルの中から選択してネットワークにディジタルである動画符号を送信する送信機と、前記送信機が送信する前記動画符号を中継する中継装置と、前記中継装置から受信する動画符号方式および通信プロトコルを用いて前記動画符号を受信・復号する受信機とからなる動画通信装置を管理する動画通信管理装置において、
前記ネットワークを介して前記送信機、前記中継装置、及び前記受信機に接続され、前記動画符号および前記通信プロトコルによって生成された信号を入力して分析する手段と、２種以上の前記動画符号または２種以上の前記通信プロトコルとの比較分析を行う手段と、前記比較分析結果を前記送信機へ送出する手段とを有する動画通信分析装置とを備え、
前記中継装置は、入力した前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを前記動画通信分析装置に送信する手段を備え、
前記送信機は、前記動画通信分析装置から送出された前記比較分析結果に基づいて、複数の動画符号方式および複数の通信プロトコルの中から選択する手段と、選択した動画符号方式および通信プロトコルに対応する受信復号機能を前記受信機が持つことを確認する手段と、確認した前記動画符号方式および前記通信プロトコルを用いて前記動画を送信する手段とを備える
ことを特徴とする。
また、本発明は、前記受信機が、受信した前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを、受信タイムスタンプと共に前記動画通信分析装置に送信することを特徴とする。
また、本発明は、前記受信機が、動画受信中の復号した動画の表示処理におけるアクション情報の一部またはすべてを、前記動画通信分析装置に通知することを特徴とする。
また、本発明は、前記動画通信分析装置が、
複数の動画符号方式および通信プロトコルのそれぞれの組について、
前記分析結果の利用動画品質パラメータまたは符号プロトコル評価値を一部またはすべてをグラフ表示する手段を備え、
２種以上の前記動画符号または２種以上の前記通信プロトコルを、互いに等しい様式のグラフで表示する
ことを特徴とする。
また、本発明は、前記動画通信分析装置が、２種以上の前記動画符号または２種以上の前記通信プロトコルのそれぞれの組についての前記動画符号を復号して復号動画を得る復号手段と、
前記送信機から対応する原画を入力する入力手段とを備えており、
前記原画に対する前記復号動画の差画像の画素の自乗または画素の絶対値の平均値を算出して、最小の平均値を与える動画符号および通信プロトコルを指示する
ことを特徴とする。
また、本発明は、前記入力手段が、前記ネットワークを介さず、前記送信機から前記動画通信分析装置に前記原画を入力するインターフェースであることを特徴とする。
また、本発明は、前記動画通信分析装置が、
複数の前記動画符号および複数の前記通信プロトコルのそれぞれについて、
一種以上の利用動画品質パラメータから符号プロトコル評価値を算出および表示する手段と、
動画品質評価関数に一種以上の動画品質評価引数を入力して前記利用動画品質パラメータをそれぞれ算定する利用動画品質パラメータ算定手段と、
前記動画品質評価引数の値の第一の算定手段について、前記動画通信中に前記原画および前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを取得分析して算定する手段と、
前記動画品質評価引数の値の第二の算定手段について、予め実行された実験値に基づいて特定の動画符号および通信プロトコルにおける前記動画品質評価引数を推定して算定する手段とを有し、
２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記利用動画品質パラメータまたは前記符号プロトコル評価値を比較することを特徴とする。
また、本発明は、前記動画通信分析装置が、前記動画品質評価関数を、前記取得分析による前記動画品質評価引数の算定または前記実験値に基づいて、前記動画品質評価引数の算定に一致する関数に変更する手段を備えることを特徴とする。
また、本発明は、前記動画通信分析装置が、動画通信中に入力した動画符号を分析して、２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記動画品質評価引数を算定し、前記動画品質評価関数を用いて前記利用動画品質パラメータを算出し、前記利用動画品質パラメータまたは符号プロトコル評価値を算出および表示することにより２種以上の前記動画符号または２種以上の前記通信プロトコルを比較することを特徴とする。
また、本発明は、前記動画通信分析装置が、動画通信中に通信プロトコルを分析し、２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記動画品質評価引数を算定し、前記動画品質評価関数を用いて前記利用動画品質パラメータを算出し、前記利用動画品質パラメータまたは符号プロトコル評価値を算出および表示することにより２種以上の前記動画符号または２種以上の前記通信プロトコルを比較することを特徴とする。
また、本発明は、前記動画通信分析装置が、動画通信中の利用環境に関するパラメータを取得する手段を備え、２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記動画品質評価引数を算定し、前記動画品質評価関数を用いて前記利用動画品質パラメータを算出し、前記利用動画品質パラメータまたは符号プロトコル評価値を算出および表示することにより２種以上の前記動画符号または２種以上の前記通信プロトコルを比較することを特徴とする。
また、本発明は、前記送信機が、複数の前記動画符号および複数の前記通信プロトコルについて順にそれぞれ動画通信を行う手段を備え、
前記動画通信分析装置は、前記動画符号および前記通信プロトコルのそれぞれについて、前記利用動画品質パラメータを算出することによって前記送信機の試験を行う
ことを特徴とする。
また、本発明は、前記送信機が、複数の前記動画符号および複数の前記通信プロトコルについて順にそれぞれ動画通信を行う手段を備え、
前記動画通信分析装置は、前記動画符号および前記通信プロトコルのそれぞれについて、前記受信機から前記利用動画品質パラメータを算出することによって前記受信機の試験を行う
ことを特徴とする。
【００３８】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。
図１、本発明の実施形態による動画通信管理装置の構成を示すブロック図である。本実施形態では、図１に示されたように、動画サーバ４０及び中継装置７０がネットワーク５０に接続されており、更にネットワーク５０には、無線固定局５５が接続され、この無線固定局５５と端末６０とが無線によって通信を行う場合を例に挙げて説明する。
【００３９】
上記ネットワーク５０はＬＡＮ、公衆網、専用線等である。また、このネットワーク５０は無線区間を含んでいても含まなくても良い。特に無線区間を含む場合は、後述するように本発明の効果が大きくなるので、以下の説明では無線区間を含んだ場合を例に挙げて説明する。無線区間は、例えば携帯電話、コードレス電話、衛星通信網、無線ＬＡＮによって実現される。
【００４０】
端末６０は、複数種の通信プロトコルと、これらのプロトコルを用いて送られてくる複数種の動画符号を受信して復号し、動画の表示を行う。ＬＡＮインターフェースカードを接続したワークステーション、電話回線に対応するターミナルを内蔵した携帯型パーソナルコンピュータ、画像表示のできる液晶パネルを有する携帯電話機などがある。複数種の通信プロトコルには、ＴＣＰ／ＩＰ、ＵＤＰ／ＩＰ、ＩＳＤＮプロトコルなどがある。
【００４１】
複数種の動画符号には、国際標準にはＭＰＥＧ、ＭＰＥＧ−２、Ｈ．２６１、Ｈ．２６３などがある。特に本実施形態においては、選択の余地のある動画符号プロトコルは別種とみなす。したがって前述のようにＭＰＥＧ−２の予測方式において、単方向予測、双方向予測については選択の余地がある。別の例ではＨ．２６３のオプションとして、ＰＢフレームモード、算術符号モードなどがあり、それぞれ選択の余地があり、別種のプロトコルであるとする。
【００４２】
尚、本実施形態では、端末６０が受信を行う場合についてのみ説明するが、動画送信機能を有していてもよい。
動画サーバ４０は、複数種の動画符号が生成でき、それを複数種の通信プロトコルで、動画送信できる手段を有する動画送信機である。特にサーバ機能は不可欠ということはない。またビデオカメラからリアルタイムに符号圧縮しながら送信する場合と、記憶装置にすでに動画符号を蓄積したものを読み出しながら送信する場合とがあるが、本発明では、動画符号の選択の余地があればどちらも適用可能である。
尚、本実施形態では、動画サーバ４０が送信を行う場合についてのみ説明するが、動画受信機能を持っていてもよい。
【００４３】
中継装置７０は、ネットワーク５０上の適当な位置に設けられ、動画を中継する装置である。例えば、携帯電話網における基地局、ＬＡＮにおけるルータなどである。さらに、中継装置７０が、端末６０以外の別の端末（図示省略）にも動画を配信する場合、端末６０と中継装置７０との接続が携帯電話網であり、別の端末と中継装置７０との接続がＬＡＮであるなど、複数の端末の間で利用帯域・通信プロトコルが異なる場合がある。このような場合の特徴は、動画サーバ４０から動画が送信されたときの動画通信プロトコルと、端末６０で受信されたときの動画通信プロトコルとが同一であるとは限らないということがある。
【００４４】
後述するように中継装置７０の前後の動画通信プロトコルを評価する場合、端末６０が無線を介してネットワーク５０へ動画を送信する場合などでは中継装置７０における動画通信プロトコルが評価の対象となることもある。
以上が動画通信装置の例である。次に、動画通信分析装置について説明する。
【００４５】
動画通信分析装置８０は、通常はネットワーク５０に接続されているが、動画サーバ４０、中継装置７０、端末６０とそれぞれ必要に応じて接続すればよいし、それぞれ専用のインターフェースあるいはネットワークでもよい。ひとつの動画通信分析装置によって複数の動画送受信機及び中継装置の評価ができるので、動画通信分析装置８０にとって通信の入出力を共通化する目的ではネットワーク５０に接続するのが、効率的である。あるいは動画通信分析装置８０が複数の装置からなり、複数の装置はすべてネットワーク５０に接続され、互いに必要な通信を行う構成でも同じである。
【００４６】
動画通信分析装置８０は、動画送信中の動画符号及び通信プロトコルを一部又はすべて入力する。その出力は必要に応じて次の場合がある。
（１）端末６０で受信した動画符号及び通信プロトコルを入力する。
これは端末利用上の動画品質に注目した評価を目的とする場合である。無線区間を経由して受信する場合には、無線区間の評価を目的とする。
【００４７】
端末６０は、受信した動画符号及び通信プロトコルを動画通信分析装置８０に送信する場合に、次に説明する受信タイムスタンプと表示アクション情報と復号処理速度と利用環境情報のいずれか又はすべてと共に送信してもよい。
【００４８】
受信タイムスタンプとは、動画のひとまとまり、例えば各フレーム又は各オブジェクトの復号に必要な動画符号の最終ｂｉｔを受信した時刻を表すデータであり、時刻精度は１ミリ秒の程度である。この最終ｂｉｔを動画通信分析装置８０に送信する時に続けて受信タイムスタンプを送信する。あるいは、端末６０が動画をデータパケット形式で受信している場合は、パケットの最終ｂｉｔを受信した時刻を表すデータとして、このパケットの動画符号を動画通信分析装置８０に送信する時に続けて受信タイムスタンプを送信してもよい。受信タイムスタンプを動画通信分析装置８０に送信することにより、伝送遅延時間に関する評価ができる。
【００４９】
また表示アクション情報とは、端末６０の表示される画像の品質の推定確度を補強する目的で、端末６０が動画を表示する際の処理内容に関する情報である。例えば、動画フレームの復号が遅延したため特定の動画フレームの復号表示をとばして新たな動画フレームの復号表示を開始するというアクション、いわゆるフレーム落ちの発生がある。
【００５０】
他の例では、伝送エラーにより受信した動画符号の一部が復号できなかった場合、画像上で、同じ動画フレームの隣接位置や同一位置の隣接動画フレームから画像を一部コピーすることにより、表示上目立たなくするというアクション、いわゆるコンシールメント発生の情報がある。
【００５１】
他の例では、復号により画素値を復元した後、表示画像を見やすくする目的で行う画像処理、例えばポストデブロッキングフィルタの使用がある。これは前述の国際動画符号標準で用いられているＤＣＴと呼ばれる方式に伴うブロック歪みという原画にはない模様が出る欠点を低減するために復号後の画像に施される後処理の画像処理フィルタである。
【００５２】
このような表示アクション情報を動画通信分析装置８０に送信することにより、表示画像品質の推定確度がより高くなる。
【００５３】
また復号処理速度とは、端末が復号表示処理全体に対する処理性能であり、前述のフレーム落ちの発生の原因として復号処理速度が小さいという場合もある。画面の解像度や動画フレームレートの選定のみならず動画符号方式の選択によって、符号量が増加したり、復号処理量が増加したりするので、端末の復号表示処理性能に見合った動画符号方式の選択を行う必要がある。この目的で端末６０の復号処理速度を表す情報を動画通信分析装置８０に送信する。
【００５４】
復号処理速度が周知の端末であれば、例えば、端末６０の製品型名、端末６０で使用されているデコーダLSIの製品型名、端末６０で使用されているCPU種類及びOS種、あるいはCPUのクロック周波数、CPUの単位時間当たりの命令処理数(MIPS)、CPUのベンクマークテスト性能などでも、復号表示処理速度が推定できるので、復号処理速度を表す情報として送信してもよい。
【００５５】
また利用環境情報とは、利用目的と接続網に関する情報である。利用目的に関する情報としては、例えば映画鑑賞のような高画質を要求する鑑賞目的かそうでないか、ビデオ会議のように双方向の会話で１秒の数分の一以下の遅延を要求するリアルタイム目的かそうでないか、などを表す情報である。動画通信分析装置８０が評価において画質優先か低遅延性優先で行うかをきめる目的で送信する。
【００５６】
接続網に関する情報とは、動画通信分析装置８０が動画符号及び通信プロトコルを選択する際に、例えば利用可能な通信プロトコル候補を限定し、利用可能な符号レート上限を設定する目的で送信する。例えば利用可能な通信プロトコルや利用可能な符号レートが周知であれば、簡単に接続網種の名称でもよい。例えば、ＰＩＡＦＳとか１０ＢＡＳＥと送信してもよい。また、接続網種から通信料金も明らかになる。
【００５７】
（２）中継装置７０が送信する動画符号及び通信プロトコルを入力する。
これは中継装置７０が、動画サーバ４０が送信した動画符号及び通信プロトコルを変換して動画を配信する場合、変換後の動画品質に注目した評価を目的とする場合である。
【００５８】
（３）中継装置７０が無線区間から受信した動画符号及び通信プロトコルを入力する。
これは無線区間の評価を目的とする場合である。
【００５９】
中継装置７０は、動画符号及び通信プロトコルを動画通信分析装置８０に送信する場合に、次に説明する端末情報と中継情報と共に送信してもよい。
端末情報とは、前述の端末６０が動画通信分析装置８０に送信する情報、すなわち、受信タイムスタンプと表示アクション情報と復号処理速度と利用環境情報の一部又はすべてであり、中継装置７０が通信を中継する。
【００６０】
中継情報とは、中継装置７０が動画サーバ４０からの注目している動画の中継に関する情報である。例えば、図１で図示しない端末６０以外の端末に同じ動画を配信している場合がある。端末は利用開始から利用終了までの時間が異なったり、それぞれ利用帯域、復号処理速度などが異なる場合があるので、中継装置７０が動画配信を端末ごとに複数の動画チャンネルとして配信する場合がある。中継情報とは、例えば、配信する動画チャンネルの数とそれぞれのチャンネルにおける前述の端末情報である。
【００６１】
次に動画通信分析装置８０の構成と作用を説明する。図１に動画通信分析装置８０の内部のブロック構成を示す。まず、各ブロックを簡単に説明する。
比較プロトコル指定部８１は、比較評価を行う動画符号及び通信プロトコルの候補を指定する。動画通信分析装置８０のユーザが指定してもよい。又は、前述の端末情報・中継情報を取得して、利用目的・利用網・利用帯域・復号処理速度などにより限定した動画符号及び通信プロトコルを列挙することもできる。
【００６２】
利用分析部８２は、前述の端末情報を端末６０から取得し、又は、中継装置７０から中継情報を取得する。必要な項目について知識データ部９０へ出力する。
伝送符号部８３は、端末６０又は中継装置７０から、動画通信中の動画符号及び通信プロトコルを入力する。通信プロトコルを通信分析部８４へ出力し、動画符号を符号分析部８５と復号部８６へ出力する。前述の端末６０からの受信タイムスタンプを取得し、通信分析部８４へ出力する場合もある。
【００６３】
通信分析部８４は、伝送符号部８３から通信プロトコルを入力し分析する。例えば、通信プロトコル種を判別したり、プロトコル上のパラメータを抽出したり、伝送エラー率・再送率・廃棄データ長、伝送遅延時間・符号レートなどを分析する。この分析に前述の受信タイムスタンプを利用することもできる。
符号分析部８５は、伝送符号部８３から動画符号を入力し分析する。例えば、画面サイズ・解像度/階調の粗さ・フレームレート・予測符号化方式の種類と予測性能・誤り耐性方式の種類と廃棄ｂｉｔ数・可変長符号の種類・符号レートなどを分析する。
【００６４】
復号部８６は、伝送符号部８３から動画符号を入力し画像を復号して画像分析部８７又は画像比較部８８へ出力する。端末６０から前述の表示アクション情報を取得し、端末６０における表示画像を推定生成又はシミュレートすることもできる。復号部８６は、動画サーバ４０の内部に置くこともできる。動画サーバ４０が動画符号化機能を持つ場合なら復号機能も同時に持つので、この場合はリソースの効率的のため、動画符号を一度動画サーバ４０へ送信して、動画サーバ４０の内部で復号した画像を返信してもよい。動画サーバ４０の処理負担とネットワーク負荷が増えるが、適宜復号処理を分散しても良い。
【００６５】
画像分析部８７は、復号部８６からの復号画像を入力し分析する。動画符号だけでは分析できない画像の特性を分析する。例えば、利用中でない別の動画符号では符号量がどの程度になるかについて概略算出する。別の動画符号による符号化器を組み込んでもよい。簡単な例では、前述のＭＰＥＧ−２でフレーム間予測方式を使わない方法を利用中に、同じ動画をＭＰＥＧ−２双方向予測を用いた場合の符号量を推定する。前述のように一定の動きが継続すれば、双方向予測の方が符号化効率が高いことがわかる。ただし、前述のＭＰＥＧ−２で単方向予測方式を利用中なら、動画符号の中の動きベクトルの大きさの経過から動きが判別できるので、この場合は符号分析部８５で分析する。
【００６６】
画像比較部８８は、動画サーバ４０からの原画を入力し、復号部８６で復元された画像を入力し、原画に対する復号画像の差画像を生成し、差画像の画素の自乗又は絶対値の平均値をする。平均値は、ここで画像誤差率ともよび、比較評価部８９へ出力する。目的を説明すると、別の動画符号を用いて通信して入力・復号した復号画像から同様に算出された平均値と、前述の平均値を比較するためである。平均値がゼロに近い方が原画に近いので、その平均値を与える動画符号の方が適しているといえる。同じ動画を異なる動画符号で通信して、同様の処理から得られた数値を比較するので、視覚など主観によっては不定の評価結果を用いることなく、客観的に比較結果を求めることができる。
【００６７】
知識データ部９０は、後述するが、予め動画符号の特性を実験結果などから求めておき、利用中の動画符号方式以外の動画符号を用いた場合の画像品質を推定算出又はシミュレートしてもよい。その結果を、本発明で、動画品質評価関数の値とよび、比較評価部８９へ出力する。前記関数の種類を利用動画品質パラメータとよぶ。後述するが、例えば、利用動画品質パラメータには、画像誤差率・符号量・遅延時間・処理量・利用コストがある。
【００６８】
比較評価部８９は、画像比較部８８から画像誤差率を入力してもよい。また、知識データ部９０から動画品質評価関数の値を入力する。前述の利用目的・利用帯域・端末の復号処理速度などの情報を取得し、要求条件を定め、動画品質評価関数の値から、総合判定を行って、符号プロトコル評価値を算出する。この符号プロトコル評価値が、目的の動画符号及び通信プロトコルの適/不適を表す。複数の動画符号及び通信プロトコルについてそれぞれの符号プロトコル評価値を比べ、最もよい符号プロトコル評価値を与える動画符号及び通信プロトコルを指定する。これが最適動画通信プロトコルであり、種名をプロトコル選択提示部９１へ出力する。また、利用動画品質パラメータに関する要求条件と動画品質評価関数の値を、プロトコル選択提示部９１へ出力する。
【００６９】
プロトコル選択提示部９１は、比較評価部８９から最適な動画符号及び通信プロトコル種を入力して、動画サーバ４０へ送信する。また図示しないが表示器を持ち、動画通信分析装置８０のユーザに対して、利用動画品質パラメータに関する要求条件と動画品質評価関数の値を表示してもよい。ここで、表示にグラフを用いてもよい。
【００７０】
例えば図２に示すように、複数の動画符号及び通信プロトコルに対して、符号量・処理量・遅延量・利用コスト・画像誤差率に関する要求条件と符号プロトコル評価値を記入した等しい様式のグラフを、それぞれ表示してもよい。図２のうすい灰色で塗りつぶされた５角形が示すレベルが要求条件を表し、内部なら適していて、外部なら不適である。したがって、符号量・処理量・遅延時間・利用コスト・画像誤差率は大きい程不適なので、外に向かうほど値が大きい。名称や数値の大小は、この例の他にも適宜、設定すればよい。
【００７１】
ここで、知識データ部９０と比較評価部８９における利用動画品質パラメータの推定算出、すなわちシミュレートについて説明する。推定すべき値は、特定の動画符号及び通信プロトコルに対する利用画像品質パラメータであり、例えば、符号量・処理量・遅延量・利用コスト・画像誤差率である。利用画像品質パラメータは値を持ち動画品質評価関数値とよぶ。それぞれの利用画像品質パラメータを推定するために、特定の動画符号及び通信プロトコルに対する動画品質評価関数をそれぞれ予め定めておく。関数値算定に必要な引数を、動画品質評価引数とよび、ひとつの関数に対して一種以上の動画品質評価引数が必要である。
【００７２】
動画品質評価引数には大きく分けて、利用環境、通信状態、符号化方式、画像特性に関する値がある。それぞれ順に利用分析部８２、通信分析部８４、符号分析部８５、画像分析部８７によって算定される。
符号量を推定するには、画像誤差率にも影響するＤＣＴ係数の量子化特性すなわち解像度・階調の粗さを決定するために、詳細な符号化方式、すなわち画面サイズ・フレームレート・可変長符号の種類・予測符号化方式の種類・誤り耐性方式の種類などから暫定的に符号量標準値を予め求めておく。符号化方式種名を引数として符号量標準値を出力してもよい。さらに利用環境の利用可能な最大帯域に十分入るように量子化特性を定める。この量子化特性値は、画像誤差率推定にも用いる。符号量はデータ量に課金される場合は利用コストの推定に用いる。
【００７３】
処理量を推定するには、詳細な符号化方式、すなわち画面サイズ・フレームレート・可変長符号の種類・予測符号化方式の種類・誤り耐性方式の種類などから得られる。符号化方式種名を引数として出力してもよい。
【００７４】
遅延量は、伝送遅延時間と復号処理時間の和である。伝送エラー率から再送率を推定して伝送遅延時間を得るか、再送率から伝送遅延時間を得るか、受信タイムスタンプを取得して算定してもよい。復号処理による遅延時間は、前述の処理量か、又は、特にフレームレートと予測符号化方式、画面サイズから処理量を求め、復号処理速度により処理遅延時間が推定できる。
【００７５】
利用コストは、利用網種・接続時間・データ量・サービス内容と、前述で求めた符号量とから得られる。
【００７６】
画像誤差率は、詳細な符号化方式、すなわち画面サイズ・フレームレート・可変長符号の種類・予測符号化方式の種類・誤り耐性方式の種類と、前述で求めた量子化特性と、さらに伝送エラー率、処理遅延時間から表示の際のフレーム落ちの頻度、コンシールメント機能の有無、ポストデブロッキングフィルタから、推定する。
【００７７】
また、符号プロトコル評価値を得るには、利用画像品質パラメータに対するそれぞれの要求条件を定める必要がある。符号量に対しては利用帯域から定める。処理量については端末の復号処理速度から定める。遅延量と画像誤差率については利用目的から定める。前述で各動画品質評価関数値が得られたら、それぞれの要求条件に対比して適性度を算定し、全利用画像品質パラメータにわたって、適性度を総合して符号プロトコル評価値を得る。
【００７８】
動画サーバ４０は、プロトコル選択提示部９１から最適な動画符号及び通信プロトコル種を受信すると、動画を受信する端末が前記動画符号及び通信プロトコルに関して実装済みかどうかをネットワーク５０による通信により確認してもよい。実装済みの場合は、前記動画符号及び通信プロトコルを用いて動画通信を始める。未実装ならネットワーク５０による通信により前記動画符号及び通信プロトコルのために必要なプログラムを送信して、実装してもよい。
【００７９】
プロトコル変換部９２は、最適な動画符号及び通信プロトコル種を、動画サーバ４０に実装しない場合でも、最適な動画符号及び通信プロトコルで端末６０に動画を提供する目的で、動画サーバ４０が何らかの動画符号及び通信プロトコルで送信した動画をプロトコル変換部９２で受信し、最適な動画符号及び通信プロトコルに変換して、ネットワーク５０に送信してもよい。
【００８０】
次に、動画通信分析装置８０を用いた複数の動画符号及び通信プロトコルにより送信機、及び受信機の試験方法を述べる。
動画を送信する動画サーバ４０とその動画を受信する端末６０において、前述のように複数の動画符号及び通信プロトコルに対して、動画通信を実行して、それぞれの動画符号及び通信プロトコルに対して、受信した動画符号を復号して生成した復元画像と原画との差画像の画素の自乗の平均値を求め、また利用動画品質パラメータを求め、得られた複数の前記平均値と利用動画品質パラメータを比較するので、特にネットワーク５０を十分伝送エラー率が小さく、十分利用帯域が大きいなどの良好な特性を持つ網を利用すれば、動画サーバ４０と端末６０に関して、複数の動画符号及び通信プロトコルより試験をおこなうことができ、前述の前記平均値と利用動画品質パラメータが試験結果として利用できる。
【００８１】
【発明の効果】
以上説明したように、本発明による動画通信管理装置は、動画通信装置が用いるネットワークに、動画通信分析装置を接続し、動画通信分析装置は、動画送信機が送信した動画符号を、受信機から、又はネットワークの中継装置から一部又はすべてを収集して分析するので、受信機上の利用動画品質にもとづく動画通信プロトコル評価ができ、特に無線区間を含む場合の評価ができるという効果がある。
【００８２】
また、受信機処理速度や利用網の利用帯域幅などといった利用環境を示すパラメータを取得する手段を有し、
伝送エラー率・再送率・伝送遅延時間・符号レートなどといった通信状況を分析する手段を有し、
動画符号を分析して、画面サイズ・解像度/階調の粗さ・フレームレート・予測符号化方式の種類と予測性能・誤り耐性方式の種類と廃棄ｂｉｔ数・可変長符号の種類・符号レートなどといった動画符号を分析する手段を有し、
送信に用いられた動画符号及び通信プロトコル以外の動画符号及び通信プロトコルを評価する目的で、
画像誤差率・符号量・遅延時間・処理量・利用コストなどいった一種以上の利用動画品質パラメータから
目的の動画符号及び通信プロトコルの適/不適を表す符号プロトコル評価値を算出及び表示する手段を有し、
前記利用動画品質パラメータ算定手段は、取得した符号から分析して得る手段を有し、
あるいは、それぞれ動画品質評価関数を予め決めておき、可変長符号の種類・予測符号化方式の種類・誤り耐性方式の種類・伝送エラー率・受信機処理速度などといった一種以上の動画品質評価引数を入力して関数値を推定して、前記利用動画品質パラメータを得る手段を有し、
２種以上の前記動画符号又は２種以上の前記通信プロトコルに対する前記利用動画品質パラメータ又は前記符号プロトコル評価値を比較するので、
実測評価及び推定によって、比較対象のすべての動画符号及び通信プロトコルによる送信を試行しなくても最適なプロトコルを提示でき、
適切なプロトコルを選択して通信することを管理することができるという効果がある。
【００８３】
あるいは、原画を再構成して、２種以上の動画符号又は２種以上の通信プロトコルにおける画像を再構成し、前記原画に対する前記復号動画の差画像の画素それぞれの自乗又は絶対値の平均値を算出して、
前記平均値の小さい方を与える動画符号及び通信プロトコルを提示するので、
実測に基づく客観的な画像の比較で
適切なプロトコルを選択して通信することを管理することができるという効果がある。
【００８４】
あるいは、２種以上の前記動画符号又は２種以上の前記通信プロトコルについて、画像誤差率・符号量・遅延時間・処理量などいった一種以上の利用動画品質パラメータを互いに等しい様式のグラフで表示を行うので、
ユーザは動画符号及び通信プロトコルが選択された理由とその適性の差などを概観できるという効果がある。
【図面の簡単な説明】
【図１】 本発明の実施形態による動画通信管理装置の構成を示すブロック図である。
【図２】 本発明の実施形態の結果表示の一例を示す図である。
【図３】 従来例を示す説明図である。
【符号の説明】
４０ 動画サーバ
５０ ネットワーク
６０ 端末
７０ 中継装置
８０ 動画通信分析装置
８１ 比較プロトコル指定部
８２ 利用分析部
８３ 伝送符号部
８４ 通信分析部
８５ 符号分析部
８６ 復号部
８７ 画像分析部
８８ 画像比較部
８９ 比較評価部
９０ 知識データ部
９１ プロトコル選択提示部
９２ プロトコル変換部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image communication management apparatus, and more particularly to a moving image communication management apparatus that manages a protocol used for transmission / reception of digital moving image data.
[0002]
[Prior art]
Generally, in order to exchange data between computers connected via a data transmission path, it is necessary to use the same protocol used between the data transmission side computer and the data reception side computer. is there.
This situation is the same in communication of digital moving image data. For example, when a moving image transmitting device called a moving image transmitting terminal or a moving image server transmits a moving image to a moving image receiving device via a network, the moving image transmitting device and the moving image receiving device However, it is necessary to implement the same communication protocol and moving image coding method in advance.
[0003]
Hereinafter, in this specification, “communication protocol” is used to mean including a communication protocol that is also used for communication other than video, such as UDP / IP (User Diagram Protocol / Internet Protocol). Communication for performing negotiation prior to data transmission / reception between the receiving device and the receiving device.
Further, in this specification, the “video encoding method” is a protocol related to video encoding, and includes transmission / reception, decoding / display for the purpose of video communication, and conventions agreed between network devices. Used in meaning. This moving picture decoding method is, for example, MPEG (ISO / IEC-11172), MPEG-2 (ISO / IEC-13818), MPEG-4 by ISO (International Organization for Standardization) and IEC (International Electrotechnical Commission). (ISO / IEC-14496), ITU (International Telecommunication Union) recommendation 320, H.R. 324, H.H. 261, H.H. 263 etc.
[0004]
Furthermore, in this specification, the moving image communication protocol is a protocol used for moving image communication, and is used in the sense that a moving image encoding method and a communication protocol are combined. For example, a data stream generated in conformity with MPEG may be transmitted in packets conforming to UDP / IP.
[0005]
Conventionally, the moving image communication protocol has been processed by dedicated hardware using a dedicated LSI in terms of processing speed. For this reason, the transmission device and the reception device connected to the network communicate using a minimum common protocol that can be handled by dedicated hardware. For example, an MPEG encoder is mounted on a transmission device and an MPEG decoder is mounted on a reception device to perform video data communication.
[0006]
Note that the terms “one type of communication protocol”, “one type of moving image encoding method”, and “one type of moving image communication protocol” used in this specification have no room for selecting another protocol, One type of protocol commonly used by receiving apparatuses.
In general, even if the common name is one type of protocol, you can change the communication procedure by setting different parameters, or there are choices in the protocol itself, and you can choose one to send according to the situation May be used.
[0007]
For example, in the MPEG-2 standard, there is an option for selecting whether to perform bidirectional prediction or unidirectional prediction. For example, main profile / simple profile. However, even if the MPEG-2 decoder / MPEG-2 encoder is not compatible with bidirectional prediction, there are cases where the protocol “MPEG-2 by bidirectional prediction” is common and when it is not. There is. In this case, in this specification, “MPEG-2 by unidirectional prediction” and “MPEG-2 by bidirectional prediction” are different types of protocols.
[0008]
Next, how to use the protocol is described. Which video communication protocol is most suitable for image communication varies depending on the purpose and situation of use of video communication.
The above-described bi-directional prediction method has a feature that the coding efficiency is high and a small amount of code is required, and the uni-directional prediction method has a feature that a decoding processing delay time is short. For example, for applications such as video conferencing, a method based on unidirectional prediction with a small decoding delay amount is more effective in many cases.
[0009]
When the transmission apparatus and the reception apparatus can handle both bidirectional prediction and unidirectional prediction, the transmission apparatus and the reception apparatus are appropriately selected and transmitted within the apparatus that transmits the moving image. Conversely, when an MPEG-2 decoder LSI that supports only unidirectional prediction is mounted, there may be cases where only unidirectional prediction can be used even if the encoding efficiency is high.
[0010]
Further, due to the processing speed performance of the receiving device or the decoder, there are cases where transmission is not possible with a complicated method with a large amount of processing. Furthermore, transmission and reception may not be possible when using a method in which the amount of codes is increased due to the limitation of the available bandwidth of the network being used. Under the restriction of the code rate, instead of increasing the code amount, the image quality is often roughened in terms of resolution and gradation. In this case, the image quality improves when the encoding efficiency is high.
[0011]
For video communication protocols other than the above-described unidirectional prediction / bidirectional prediction, communication is performed in consideration of the influence of network traffic, communication is performed in consideration of transmission error tolerance (error tolerance), numerical bit There is also a moving image communication protocol that is different in that communication is performed in consideration of the code amount by expression.
Japanese Patent Application No. 09-078386, filed by the same applicant, relates to a communication monitoring device for monitoring the exchange of data communication performed between computers connected to a network.
[0012]
[Problems to be solved by the invention]
By the way, conventionally, the implementation of the video communication protocol has been realized by dedicated hardware in terms of processing speed. However, as the processing speed of a CPU (central processing unit) provided in the apparatus is improved, Implementation has become possible. Furthermore, the development of networks such as the Internet facilitates the distribution of software for realizing the video communication protocol, making it easy to change the video communication protocol in the transmission / reception device and having been implemented in the transmission / reception terminal up to that point. Even a new video communication protocol can be easily implemented. Terminals that are supposed to install / uninstall software protocols from the beginning are also expected to spread. In such a situation, the moving image communication protocol is implemented as necessary.
[0013]
The optimal video communication protocol has been developed according to the purpose of use and the network used, but the optimal video communication protocol has been developed for each by discovering new usage purposes and developing new usage networks. The types of video communication protocols that can be used are expected to increase. Therefore, it is important to select and use a video communication protocol according to the purpose of use and the usage network.
[0014]
In addition to this situation, there is the following background. Public mobile networks and wireless LANs are widespread, and mobile terminals are often used. When moving image communication is used in a communication path including a wireless section, the moving image communication technique described below is required because the transmission error rate is an order of magnitude higher than that of conventional wired communication. In the case of reliable data transmission, if the transmission error rate of the communication path is large, the data may be retransmitted and repeated until the error is not included, but in video communication, it is necessary to arrive within a predetermined time.
[0015]
On the other hand, compared to data transmission, there is a use that can be tolerated according to the purpose of use even when a moving image is lost in a part of the screen in a short time. Therefore, in moving image communication including a wireless section, it is necessary to use an optimal moving image communication protocol under unique requirements. The situation in which transmission errors appear in the radio section varies greatly depending on the network used, and also varies depending on the location, so it is important to use the optimal video communication protocol while evaluating each case. It becomes.
[0016]
This will be described with reference to a predictive coding method as an example of the moving image coding technique. Among the international video code standards, ITU recommendation H.264. 261, H.H. Since H.263, ISO / IEC standards MPEG and MPEG-2 all employ a predictive coding method, they are very frequently used techniques. The predictive coding method is a method used for the purpose of increasing the coding efficiency so that communication can be performed with a small amount of code. The reference value / prediction formula / prediction coefficient is transmitted in advance, and the original value is sent each time a residual is sent. Is a way to restore.
[0017]
In the predictive coding method, for example, when data “102”, “107”, “105”,... Is transmitted, the reference value is “100”, and the prediction formula / prediction coefficient is “reference value + residual”. , And communicate residuals 2, 7, 5,. At the time of decoding, restoration is performed by a method of 100 + 2, 100 + 7, 100 + 5. Further, in this example, residuals frequently appear in single-digit integers, but a method called a variable length code that assigns a shorter code to a frequent value is combined. The allocation table is transmitted in advance.
[0018]
In such a predictive coding system, a common reference value, prediction formula, and prediction coefficient need only be communicated once to decode many values. According to this, an extremely small amount of code is required rather than communicating each value. What is necessary is just to negotiate the prediction that the residual appears frequently to a specific value. In the previous example, it is predicted that all of the values have almost the same size, and it is often close to “100”. Using the statistical properties of the values, the more accurate the prediction, the fewer the codes.
[0019]
Next, problems when the predictive coding method is used in a communication path including a wireless section will be described. It is necessary to consider transmission errors in the wireless section. In order to increase the coding efficiency, it is necessary to send information such as a large number of residuals and a small number of reference values / prediction coefficients / code allocation. In this case, when a transmission error occurs in the residual, only one decoded value includes an error, and in many cases, the quality of the moving image is small.
[0020]
On the other hand, when a transmission error occurs in the reference value or the prediction coefficient, it means that many decoded values using the error include an error, and the transmission error or the error missed by error correction is only 1 bit. Even in this case, the quality of the moving image is significantly deteriorated. Increasing the number of decoded values belonging to one reference value increases coding efficiency but decreases error tolerance.
[0021]
In general, for the ratio of the reference value, the code amount limit and the transmission error rate differ according to various usage situations, so that an optimum ratio exists according to the usage situation, and while evaluating each case It is important to use an optimal video communication protocol.
[0022]
In addition, the following situation can be considered when performing video communication. This situation will be described by taking as an example a case where communication is performed by the above-described bidirectional prediction method. The “moving image frame” used in the following refers to a single still image of the moment, considering the moving image as a series of still images of the moment. A moving image is generally composed of about 1 to 30 frames per second. When attention is paid to an object, a person, or a part of the moving image screen, the moving image often moves at a constant speed and direction over several frames. The difference between corresponding positions in any two frames is represented by a set of the number of pixels in the horizontal direction and the number of pixels in the vertical direction, and is called a motion vector. When a specific pixel of an object is predicted in a certain frame, a pixel value indicated by a motion vector corresponding to the pixel in a temporally forward frame and a backward frame is obtained as a reference value. A value obtained by interpolation assuming that the temporal change rate of the pixel value is constant is taken as a predicted value, and a difference from the target pixel value is taken as a residual.
[0023]
For example, in order to bidirectionally predict a certain pixel in the second frame, a value that internally divides the two reference pixel values obtained from the respective motion vectors for the first frame and the fourth frame into 1: 2 is a predicted value. And send the residual. If the temporal change of the pixel value is constant, the residual appears frequently around 0. Therefore, the code amount can be extremely reduced by using the variable book code as described above.
[0024]
However, there is a problem of processing delay time in bidirectional prediction. First, at the time of encoding, since the predicted value of the second frame is calculated after the fourth frame is input, the encoding of the second frame is later in time than the fourth frame encoding. In decoding, the second frame is decoded by inputting the fourth frame to the decoding unit to obtain a reference value and decoding from the residual of the second frame. For this reason, the decoding of the second frame is later in time than the decoding of the fourth frame. Even if the calculation processing time and the transmission time are sufficiently short, the decoding of the second frame is delayed by two frame intervals or more.
[0025]
On the other hand, unidirectional prediction uses the property that pixels corresponding to motion vectors often do not change. For example, in order to unidirectionally predict a certain pixel in the second frame, The reference pixel value obtained from the motion vector for the frame is directly used as the predicted value, and the residual is transmitted. This is called unidirectional prediction because it does not predict the future in time. Since the processing delay time in the unidirectional prediction is processed according to the order of the frames, there is no delay like the bidirectional prediction.
[0026]
Delay is important when talking via video, such as video conferencing. In order for the conversation not to become unnatural, it is necessary that the total delay time from when a moving image is input to the camera until it is displayed on the receiver is not more than a fraction of a second. When bi-directional prediction is used for even-numbered frames at 5 frames per second, a delay is generated by adding a processing delay and a transmission delay time to the frame interval of 200 ms. And calculation processing time is added, causing problems.
[0027]
In this situation, considering the case where a communication path including a wireless section is used and retransmission is performed until there is no error in the wireless section, the maximum transmission delay time depends on the transmission error. However, it is also considered to stop bidirectional prediction and make it unidirectional prediction. In the case of unidirectional prediction, the amount of code is relatively increased as compared with bidirectional prediction, and therefore image quality degradation such as roughening the image quality or lowering the frame rate is assumed.
As described above, the selection of bidirectional prediction / unidirectional prediction needs to be determined according to the purpose of use and the state of use from the state of transmission error, tolerance of delay time, code amount restriction (image quality) and the like.
[0028]
In addition to the above-mentioned examples, when comparing methods with different transmission error tolerance (= error tolerance), methods with different code amounts using numerical bit representations, etc., transmission error status, code amount restriction (image quality), and decoding processing From the point of speed, it is necessary to decide according to the usage purpose and the usage situation.
As described above, in order to perform communication of moving images, there arises a problem that it is necessary to select different optimal moving image encoding schemes after evaluation under usage conditions depending on the purpose of use.
[0029]
With respect to this problem, the problem of the conventional video communication device will be described with reference to FIG. FIG. 3 is a diagram illustrating a configuration of a moving image communication apparatus that is generally used conventionally.
As shown in FIG. 3, the conventional video communication device includes a video server 10 that is a video transmitter connected to the network 20, and a video receiver that communicates wirelessly with a wireless fixed station 25 connected to the network 20. Terminal 30. The moving image server 10 and the terminal 30 have a common moving image encoding method and communication protocol, and the moving image code transmitted from the moving image server 10 is transmitted to the terminal 30 via the network 20 and the wireless fixed station 25.
[0030]
Now, it is assumed that both the unidirectional prediction and the bidirectional prediction are protocols common to the moving image server 10 and the terminal 30. Regarding the selection of unidirectional prediction or bidirectional prediction, which is the above-described problem, conventionally, the code amount in the case of unidirectional prediction and the code amount in the case of bidirectional prediction are simultaneously calculated in the video server 10. The method with the smaller code amount was selected.
[0031]
Conventionally, as in this example, since the protocol selection has been processed inside the moving picture transmitter, it is not possible to evaluate the overall transmission error situation and the maximum transmission delay time caused by the network 20 via the network 20. Therefore, there is a problem that it is impossible to evaluate whether the selection with the smaller code amount is the optimum selection in terms of the image quality used in the terminal 30.
[0032]
In the past, video communications were used less frequently in wireless sections with a relatively small transmission band relative to the amount of code, so there were many cases where cable transmission lines with extremely small transmission error rates were used, so the impact was small. It is necessary to evaluate the influence of transmission errors on moving image quality in the wireless section in a state as close as possible to practical use as transmission paths having a larger transmission band in the wireless section are used.
[0033]
In view of the necessity of evaluating whether the moving image encoding method and the communication protocol are optimal on the communication state of the use network with respect to the image quality at the receiver required according to the purpose of use, FIG. In the conventional moving image communication apparatus shown in FIG. 1, since the protocol selection has been processed only within the moving image server 10, there is a problem that sufficient evaluation cannot be performed.
[0034]
Japanese Patent Application No. 09-078386, filed by the same applicant, is available for a conventional apparatus that evaluates data reception quality at a terminal and selects an optimal communication protocol at a transmitter. Video code communication is part of data communication, but needs to be received within a limited amount of time, has a relatively relaxed tolerance for transmission errors, and is used for given communication quality characteristics The difference is that the moving image quality depends on the moving image coding method.
[0035]
In video communication management, if communication characteristics such as transmission error rate and transmission delay time improve, the quality of the used image will improve. However, by selecting the most suitable video coding method, it is more reliable. The use image quality can be improved. A communication management device specified for moving image communication based on evaluation of used image quality is required.
[0036]
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a moving image communication management device that selects an optimal moving image code and communication protocol based on evaluation of the used image quality.
[0037]
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention provides a transmitter for selecting a moving image code that is digital from a plurality of moving image encoding schemes and a plurality of communication protocols, and a moving image encoding scheme used by the transmitter And a video communication management device that manages a video communication device that includes a receiver that receives and decodes the video code transmitted to the network using a communication protocol,
The network Via the transmitter and the receiver Connected, the video code and the communication protocol The signal generated by Comparison analysis between means for input and analysis and two or more moving image codes or two or more communication protocols I do A video communication analyzer having means and means for sending the comparison analysis result to the transmitter,
The receiver includes the received moving image code and the communication protocol. Signal generated by Means for transmitting a part or all of the above to the video communication analyzer,
The transmitter corresponds to the selected moving image encoding method and communication protocol, and means for selecting from a plurality of moving image encoding methods and a plurality of communication protocols based on the comparison analysis result transmitted from the moving image communication analyzer Means for confirming that the receiver has a reception decoding function to perform, and means for transmitting the moving image using the confirmed moving image encoding method and the communication protocol.
It is characterized by that.
In addition, the present invention provides a transmitter for selecting a digital moving image code selected from a plurality of moving image encoding methods and a plurality of communication protocols, and a relay device for relaying the moving image code transmitted by the transmitter And a video communication management apparatus that manages a video communication apparatus that includes a receiver that receives and decodes the video code using a video code system and a communication protocol received from the relay device,
The network Via the transmitter, the relay device, and the receiver Connected, the video code and the communication protocol The signal generated by Comparison analysis between means for input and analysis and two or more moving image codes or two or more communication protocols I do A video communication analyzer having means and means for sending the comparison analysis result to the transmitter,
The relay device is configured to input the moving image code and the communication protocol. Signal generated by Means for transmitting a part or all of the above to the video communication analyzer,
The transmitter corresponds to the selected moving image encoding method and communication protocol, and means for selecting from a plurality of moving image encoding methods and a plurality of communication protocols based on the comparison analysis result transmitted from the moving image communication analyzer Means for confirming that the receiver has a reception decoding function to perform, and means for transmitting the moving image using the confirmed moving image encoding method and the communication protocol.
It is characterized by that.
Further, the present invention provides the moving image code and the communication protocol received by the receiver. Signal generated by Is transmitted to the moving image communication analyzer together with a reception time stamp.
Further, the present invention is characterized in that the receiver notifies the moving image communication analysis device of a part or all of action information in the display processing of the decoded moving image during moving image reception.
In the present invention, the video communication analyzer is
For each set of multiple video encoding methods and communication protocols,
Means for graphically displaying a part or all of the use video quality parameter or code protocol evaluation value of the analysis result;
Two or more kinds of the moving image codes or two or more kinds of the communication protocols are displayed in a graph of the same format
It is characterized by that.
Also, the present invention provides a decoding means for the moving image communication analysis device to obtain a decoded moving image by decoding the moving image code for each of two or more types of the moving image code or two or more types of the communication protocol,
Input means for inputting a corresponding original picture from the transmitter,
Calculates the square of pixels of the difference image of the decoded moving image relative to the original image or the average value of the absolute value of the pixel, and indicates the moving image code and communication protocol that gives the minimum average value
It is characterized by that.
Further, the present invention is characterized in that the input means is an interface for inputting the original image from the transmitter to the moving image communication analyzer without going through the network.
In the present invention, the video communication analyzer is
For each of the plurality of video codes and the plurality of communication protocols,
Means for calculating and displaying a code protocol evaluation value from one or more video quality parameters used;
Use video quality parameter calculation means for calculating one or more video quality evaluation arguments in the video quality evaluation function and calculating each of the video quality parameters used;
The first calculation means for the value of the moving image quality evaluation argument, the original image, the moving image code and the communication protocol during the moving image communication Signal generated by Means to acquire and analyze part or all of
The second calculating means for the value of the video quality evaluation argument has means for estimating and calculating the video quality evaluation argument in a specific video code and communication protocol based on a pre-executed experimental value,
The use moving image quality parameter or the code protocol evaluation value for two or more types of the moving image codes or two or more types of the communication protocols is compared.
Further, according to the present invention, the moving image communication analysis device is configured such that the moving image quality evaluation function matches the calculation of the moving image quality evaluation argument based on the calculation of the moving image quality evaluation argument by the acquisition analysis or the experimental value. It has the means to change to.
In the present invention, the moving image communication analysis device analyzes moving image codes input during moving image communication, and calculates the moving image quality evaluation argument for two or more moving image codes or two or more communication protocols. Calculating the used moving image quality parameter using the moving image quality evaluation function, and calculating and displaying the used moving image quality parameter or the code protocol evaluation value, thereby providing two or more moving image codes or two or more communication protocols. It is characterized by comparing.
Further, according to the present invention, the moving image communication analyzer analyzes a communication protocol during moving image communication, calculates the moving image quality evaluation argument for two or more moving image codes or two or more communication protocols, and the moving image The use video quality parameter is calculated using a quality evaluation function, and the use video quality parameter or the code protocol evaluation value is calculated and displayed to compare two or more video codes or two or more communication protocols. It is characterized by that.
Further, the present invention provides the moving image communication analysis device, wherein the moving image communication analysis apparatus includes a means for acquiring a parameter relating to a use environment during moving image communication, and the moving image quality evaluation argument for two or more moving image codes or two or more communication protocols is provided. Calculating, using the moving image quality evaluation function to calculate the used moving image quality parameter, and calculating and displaying the used moving image quality parameter or the code protocol evaluation value, so that the two or more moving image codes or the two or more types of the moving image quality parameters are calculated. It is characterized by comparing communication protocols.
In the present invention, the transmitter includes means for sequentially performing moving image communication for the plurality of moving image codes and the plurality of communication protocols,
The moving image communication analysis device tests the transmitter by calculating the used moving image quality parameter for each of the moving image code and the communication protocol.
It is characterized by that.
In the present invention, the transmitter includes means for sequentially performing moving image communication for the plurality of moving image codes and the plurality of communication protocols,
The moving image communication analysis device tests the receiver by calculating the used moving image quality parameter from the receiver for each of the moving image code and the communication protocol.
It is characterized by that.
[0038]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a moving image communication management apparatus according to an embodiment of the present invention. In the present embodiment, as shown in FIG. 1, the moving image server 40 and the relay device 70 are connected to a network 50, and a wireless fixed station 55 is connected to the network 50. A case where the terminal 60 communicates wirelessly will be described as an example.
[0039]
The network 50 is a LAN, a public network, a dedicated line, or the like. The network 50 may or may not include a wireless section. In particular, when the wireless section is included, the effect of the present invention is increased as will be described later. Therefore, in the following description, the case where the wireless section is included will be described as an example. The wireless section is realized by, for example, a mobile phone, a cordless phone, a satellite communication network, or a wireless LAN.
[0040]
The terminal 60 receives and decodes a plurality of types of communication protocols and a plurality of types of moving image codes sent using these protocols, and displays a moving image. There are a workstation to which a LAN interface card is connected, a portable personal computer with a built-in terminal corresponding to a telephone line, a cellular phone having a liquid crystal panel capable of displaying an image, and the like. The plurality of types of communication protocols include TCP / IP, UDP / IP, ISDN protocol, and the like.
[0041]
For multiple types of video codes, international standards include MPEG, MPEG-2, H.264, and so on. 261, H.H. 263. In particular, in the present embodiment, the moving picture code protocol with room for selection is regarded as a different type. Therefore, as described above, in the MPEG-2 prediction method, there is room for selection for unidirectional prediction and bidirectional prediction. In another example, H.C. As options of H.263, there are a PB frame mode, an arithmetic code mode, and the like, and there is room for selection, and it is assumed that these are different types of protocols.
[0042]
In the present embodiment, only the case where the terminal 60 performs reception will be described. However, the terminal 60 may have a moving image transmission function.
The moving image server 40 is a moving image transmitter having means for generating a plurality of types of moving image codes and transmitting the moving images using a plurality of types of communication protocols. In particular, the server function is not indispensable. In addition, there is a case where the video camera transmits in real time while compressing the code, and a case where the video code already stored in the storage device is transmitted while being read out. Is also applicable.
In this embodiment, only the case where the moving image server 40 performs transmission will be described, but a moving image receiving function may be provided.
[0043]
The relay device 70 is a device that is provided at an appropriate position on the network 50 and relays a moving image. For example, a base station in a mobile phone network, a router in a LAN, and the like. Further, when the relay device 70 distributes a moving image to another terminal (not shown) other than the terminal 60, the connection between the terminal 60 and the relay device 70 is a mobile phone network, and the other terminal and the relay device 70 In some cases, the use band / communication protocol is different among a plurality of terminals, such as a connection of LAN. The feature in such a case is that the video communication protocol when a video is transmitted from the video server 40 and the video communication protocol when received by the terminal 60 are not necessarily the same.
[0044]
As will be described later, when the video communication protocol before and after the relay device 70 is evaluated, when the terminal 60 transmits a video to the network 50 via wireless, the video communication protocol in the relay device 70 may be evaluated. is there.
The above is an example of a moving image communication apparatus. Next, the moving image communication analyzer will be described.
[0045]
The video communication analysis device 80 is normally connected to the network 50, but may be connected to the video server 40, the relay device 70, and the terminal 60 as necessary, or may be a dedicated interface or network. Since a single video communication analyzer can evaluate a plurality of video transmitters / receivers and relay devices, it is efficient for the video communication analyzer 80 to connect to the network 50 for the purpose of common communication input / output. Alternatively, the moving image communication analysis device 80 includes a plurality of devices, all of which are connected to the network 50 and perform the necessary communication with each other.
[0046]
The moving image communication analyzer 80 inputs a part or all of the moving image code and the communication protocol during moving image transmission. The output may be as follows:
(1) The moving image code and communication protocol received by the terminal 60 are input.
This is a case where the purpose is to evaluate the moving picture quality on the terminal use. When receiving via a wireless section, the purpose is to evaluate the wireless section.
[0047]
When transmitting the received moving image code and communication protocol to the moving image communication analyzing apparatus 80, the terminal 60 transmits the received moving image code and any or all of the reception time stamp, display action information, decoding processing speed, and usage environment information described below. May be.
[0048]
The reception time stamp is data representing a time when a final bit of the moving image code necessary for decoding each frame or each object is received, and the time accuracy is about 1 millisecond. When this final bit is transmitted to the video communication analyzer 80, a reception time stamp is transmitted. Alternatively, when the terminal 60 has received the moving image in the data packet format, the reception time continues when the moving image code of the packet is transmitted to the moving image communication analyzer 80 as data representing the time when the last bit of the packet was received. A stamp may be transmitted. By transmitting the reception time stamp to the moving image communication analyzer 80, the transmission delay time can be evaluated.
[0049]
The display action information is information related to processing contents when the terminal 60 displays a moving image for the purpose of reinforcing the estimation accuracy of the quality of the image displayed on the terminal 60. For example, since decoding of a moving image frame is delayed, there is an action of skipping decoding display of a specific moving image frame and starting decoding display of a new moving image frame, so-called frame dropping.
[0050]
In another example, when a part of the moving image code received due to a transmission error cannot be decoded, the image is displayed by copying a part of the image from the adjacent position of the same moving image frame or the adjacent moving image frame at the same position on the image. There is an action to make it inconspicuous, so-called concealment occurrence information.
[0051]
Another example is image processing performed for the purpose of making a display image easy to view after restoring pixel values by decoding, for example, using a post-deblocking filter. This is a post-processing image processing filter that is applied to the decoded image in order to reduce the disadvantage that a block distortion caused by a method called DCT used in the aforementioned international video code standard is not present in the original image. is there.
[0052]
By transmitting such display action information to the video communication analyzer 80, the display image quality estimation accuracy is further increased.
[0053]
The decoding processing speed is the processing performance of the terminal for the entire decoding display processing, and the decoding processing speed may be low as a cause of the occurrence of the above-described frame dropping. Select the video encoding method that matches the decoding display processing performance of the terminal because the code amount increases and the decoding processing amount increases not only by selecting the screen resolution and video frame rate but also by selecting the video encoding method. Need to do. For this purpose, information indicating the decoding processing speed of the terminal 60 is transmitted to the video communication analyzer 80.
[0054]
If the terminal has a known decoding processing speed, for example, the product type name of the terminal 60, the product type name of the decoder LSI used in the terminal 60, the CPU type and OS type used in the terminal 60, or the CPU Since the decoding display processing speed can also be estimated from the clock frequency, the number of instruction processes per unit time (MIPS) of the CPU, the CPU test performance, etc., it may be transmitted as information representing the decoding processing speed.
[0055]
The usage environment information is information about the usage purpose and the connection network. Information regarding the purpose of use is, for example, a viewing purpose that requires high image quality such as watching a movie, or a real-time purpose that requires a delay of a fraction of a second in a two-way conversation such as a video conference. It is information indicating whether or not. Transmission is performed for the purpose of determining whether the video communication analyzer 80 is to prioritize image quality or low latency in the evaluation.
[0056]
The information related to the connection network is transmitted when the moving image communication analysis device 80 selects a moving image code and a communication protocol, for example, for limiting the available communication protocol candidates and setting an upper limit of the usable code rate. For example, if a usable communication protocol or a usable code rate is known, the name of the connection network type may be simply used. For example, PIAFS or 10BASE may be transmitted. In addition, the communication fee is also clarified from the type of connection network.
[0057]
(2) The moving image code and communication protocol transmitted by the relay device 70 are input.
This is a case where the relay device 70 converts the moving image code and communication protocol transmitted by the moving image server 40 and distributes the moving image for the purpose of evaluation focusing on the converted moving image quality.
[0058]
(3) The moving image code and communication protocol received from the wireless section by the relay device 70 are input.
This is the case for the purpose of evaluating the radio section.
[0059]
When the moving image code and the communication protocol are transmitted to the moving image communication analysis device 80, the relay device 70 may transmit the information together with terminal information and relay information described below.
The terminal information is information transmitted from the terminal 60 to the video communication analyzer 80, that is, part or all of the reception time stamp, display action information, decoding processing speed, and usage environment information. Relay.
[0060]
The relay information is information related to relay of a moving image that the relay device 70 is paying attention to from the moving image server 40. For example, the same moving image may be distributed to terminals other than the terminal 60 (not shown in FIG. 1). Since terminals may have different times from the start of use to the end of use, or may have different use bandwidths, decoding processing speeds, and the like, the relay device 70 may distribute moving image distribution as a plurality of moving image channels for each terminal. The relay information is, for example, the number of moving image channels to be distributed and the above-described terminal information in each channel.
[0061]
Next, the configuration and operation of the moving image communication analyzer 80 will be described. FIG. 1 shows an internal block configuration of the moving image communication analyzer 80. First, each block will be briefly described.
The comparison protocol designating unit 81 designates a moving image code and a communication protocol candidate for comparison evaluation. The user of the video communication analyzer 80 may specify. Alternatively, the above-described terminal information / relay information can be acquired to enumerate moving picture codes and communication protocols limited by the purpose of use, the network used, the band used, the decoding processing speed, and the like.
[0062]
The usage analysis unit 82 acquires the terminal information described above from the terminal 60 or acquires relay information from the relay device 70. Necessary items are output to the knowledge data section 90.
The transmission code unit 83 inputs a moving image code and a communication protocol during moving image communication from the terminal 60 or the relay device 70. The communication protocol is output to the communication analysis unit 84, and the moving image code is output to the code analysis unit 85 and the decoding unit 86. The reception time stamp from the terminal 60 described above may be acquired and output to the communication analysis unit 84.
[0063]
The communication analyzer 84 receives the communication protocol from the transmission encoder 83 and analyzes it. For example, the type of communication protocol is discriminated, parameters on the protocol are extracted, the transmission error rate / retransmission rate / discard data length, transmission delay time / code rate, and the like are analyzed. The reception time stamp described above can also be used for this analysis.
The code analysis unit 85 receives the moving image code from the transmission code unit 83 and analyzes it. For example, the screen size, the resolution / gradation roughness, the frame rate, the type of prediction encoding method, the prediction performance, the type of error resilience method, the number of discarded bits, the type of variable length code, the code rate, and the like are analyzed.
[0064]
The decoding unit 86 receives the moving image code from the transmission code unit 83, decodes the image, and outputs the decoded image to the image analysis unit 87 or the image comparison unit 88. The display action information described above can be acquired from the terminal 60, and a display image on the terminal 60 can be estimated and generated or simulated. The decoding unit 86 can also be placed inside the moving image server 40. If the video server 40 has a video encoding function, it also has a decoding function. In this case, for efficient resources, the video code is once transmitted to the video server 40 and decoded inside the video server 40. You may reply. Although the processing load on the moving image server 40 and the network load increase, the decoding process may be distributed as appropriate.
[0065]
The image analysis unit 87 inputs and analyzes the decoded image from the decoding unit 86. Analyzes the characteristics of images that cannot be analyzed with moving picture codes alone. For example, a rough calculation is performed as to how much the code amount is for another moving image code that is not being used. Another video code encoder may be incorporated. In a simple example, while using the above-described method that does not use the inter-frame prediction method in MPEG-2, the amount of code in the case of using the MPEG-2 bi-directional prediction for the same moving image is estimated. If constant movement continues as described above, it can be seen that bidirectional prediction has higher encoding efficiency. However, if the unidirectional prediction method is used in the above-described MPEG-2, the motion can be determined from the progress of the magnitude of the motion vector in the moving image code. In this case, the code analysis unit 85 analyzes the motion.
[0066]
The image comparison unit 88 inputs the original image from the moving image server 40, inputs the image restored by the decoding unit 86, generates a difference image of the decoded image with respect to the original image, and squares the pixels of the difference image or the average of absolute values Take value. Here, the average value is also called an image error rate, and is output to the comparative evaluation unit 89. The purpose will be described in order to compare the average value calculated in the same manner from the decoded image input / decoded through communication using another moving picture code and the above-described average value. Since the average value close to zero is closer to the original image, it can be said that the moving image code that gives the average value is more suitable. Since the same moving image is communicated with different moving image codes and numerical values obtained from similar processing are compared, the comparison result can be obtained objectively without using an indefinite evaluation result depending on the subjectivity such as vision.
[0067]
As will be described later, the knowledge data unit 90 obtains the characteristics of the moving image code in advance from experimental results, and estimates or calculates or simulates the image quality when using a moving image code other than the moving image code method being used. Good. The result is called the value of the moving image quality evaluation function and is output to the comparative evaluation unit 89 in the present invention. The type of the function is called a used moving image quality parameter. As will be described later, for example, the use moving image quality parameter includes an image error rate, a code amount, a delay time, a processing amount, and a use cost.
[0068]
The comparative evaluation unit 89 may input the image error rate from the image comparison unit 88. Also, the value of the moving image quality evaluation function is input from the knowledge data unit 90. Information such as the above-mentioned purpose of use / bandwidth used / decoding processing speed of the terminal is acquired, a request condition is determined, a comprehensive determination is performed from the value of the moving image quality evaluation function, and a code protocol evaluation value is calculated. This code protocol evaluation value represents suitability / non-suitability of the target moving picture code and communication protocol. Each code protocol evaluation value is compared for a plurality of moving image codes and communication protocols, and a moving image code and a communication protocol that give the best code protocol evaluation value are designated. This is the optimum moving image communication protocol, and the species name is output to the protocol selection / presentation unit 91. Further, the requirement condition regarding the used moving image quality parameter and the value of the moving image quality evaluation function are output to the protocol selection presenting unit 91.
[0069]
The protocol selection / presentation unit 91 inputs an optimum moving image code and communication protocol type from the comparative evaluation unit 89 and transmits the inputted moving image code and communication protocol type to the moving image server 40. Further, although not shown, a display may be provided to display the requirement condition regarding the used moving image quality parameter and the value of the moving image quality evaluation function to the user of the moving image communication analyzing apparatus 80. Here, a graph may be used for display.
[0070]
For example, as shown in FIG. 2, for a plurality of moving picture codes and communication protocols, a graph of an equal format in which requirements for code amount, processing amount, delay amount, usage cost, image error rate and code protocol evaluation value are entered. , Each may be displayed. The level indicated by the pentagon filled in light gray in FIG. 2 represents the requirement, and is suitable for the inside and unsuitable for the outside. Accordingly, the larger the code amount, the processing amount, the delay time, the usage cost, and the image error rate, the more unsuitable, the larger the value as it goes outward. What is necessary is just to set suitably the magnitude | size of a name and a numerical value besides this example.
[0071]
Here, estimation calculation, that is, simulation of the used moving image quality parameter in the knowledge data unit 90 and the comparative evaluation unit 89 will be described. The value to be estimated is a use image quality parameter for a specific moving image code and communication protocol, for example, a code amount, a processing amount, a delay amount, a use cost, and an image error rate. The used image quality parameter has a value and is called a moving image quality evaluation function value. In order to estimate each used image quality parameter, a moving image quality evaluation function for a specific moving image code and communication protocol is determined in advance. An argument necessary for function value calculation is called a video quality evaluation argument, and one or more video quality evaluation arguments are required for one function.
[0072]
The video quality evaluation arguments are roughly divided into values relating to the use environment, communication state, encoding method, and image characteristics. The calculation is performed by the usage analysis unit 82, the communication analysis unit 84, the code analysis unit 85, and the image analysis unit 87, respectively.
In order to estimate the amount of code, in order to determine the DCT coefficient quantization characteristics that affect the image error rate, that is, the resolution and the roughness of the gradation, a detailed coding method, that is, the screen size, the frame rate, and the variable length A code amount standard value is tentatively obtained in advance from the type of code, the type of predictive coding method, the type of error resilience method, and the like. The code amount standard value may be output using the encoding method type name as an argument. In addition, the quantization characteristics are determined so that the maximum usable bandwidth of the usage environment is sufficiently satisfied. This quantization characteristic value is also used for image error rate estimation. The code amount is used for estimating the use cost when the data amount is charged.
[0073]
The amount of processing can be estimated from a detailed encoding method, that is, a screen size, a frame rate, a variable length code type, a prediction encoding method type, an error resilience method type, and the like. The encoding method type name may be output as an argument.
[0074]
The delay amount is the sum of the transmission delay time and the decoding processing time. The retransmission rate may be estimated from the transmission error rate to obtain the transmission delay time, or the transmission delay time may be obtained from the retransmission rate, or the reception time stamp may be obtained and calculated. The delay time due to the decoding process can be estimated from the processing amount described above or, in particular, the processing amount from the frame rate, the predictive coding method, and the screen size, and the processing delay time can be estimated from the decoding processing speed.
[0075]
The usage cost is obtained from the type of network used, connection time, data amount, service content, and the code amount obtained above.
[0076]
The image error rate is a detailed coding method, that is, screen size, frame rate, variable length code type, predictive coding method type, error resilience type, quantization characteristics obtained above, and transmission error. Estimate from the rate, processing delay time, frame drop frequency during display, presence / absence of concealment function, and post-deblocking filter.
[0077]
Further, in order to obtain the code protocol evaluation value, it is necessary to define the respective requirements for the use image quality parameter. The code amount is determined from the use band. The processing amount is determined from the decoding processing speed of the terminal. The delay amount and the image error rate are determined from the purpose of use. When the moving image quality evaluation function values are obtained as described above, the suitability is calculated in comparison with the respective required conditions, and the code protocol evaluation value is obtained by integrating the suitability over all the used image quality parameters.
[0078]
When the video server 40 receives the optimal video code and communication protocol type from the protocol selection / presentation unit 91, the video server 40 may check whether the terminal that receives the video has been implemented with respect to the video code and the communication protocol by communication through the network 50. Good. If it is already mounted, the moving image communication is started using the moving image code and the communication protocol. If not installed, a program necessary for the moving picture code and the communication protocol may be transmitted by communication through the network 50 and installed.
[0079]
Even if the video converter 40 does not implement the optimal video code and communication protocol type in the video server 40, the protocol conversion unit 92 is configured so that the video server 40 has some video code for the purpose of providing video to the terminal 60 with the optimal video code and communication protocol. Alternatively, the moving image transmitted using the communication protocol may be received by the protocol conversion unit 92, converted to an optimal moving image code and communication protocol, and transmitted to the network 50.
[0080]
Next, a transmitter and receiver testing method using a plurality of moving image codes and communication protocols using the moving image communication analyzer 80 will be described.
In the moving image server 40 that transmits the moving image and the terminal 60 that receives the moving image, the moving image communication is performed for the plurality of moving image codes and communication protocols as described above, and for each moving image code and communication protocol, The average value of the squares of the pixels of the difference image between the restored image generated by decoding the received moving image code and the original image is obtained, the used moving image quality parameter is obtained, and the obtained plural average values and used moving image quality parameters are obtained. Since the comparison is made, if the network 50 has a good characteristic such as a sufficiently low transmission error rate and a sufficiently large bandwidth, the moving image server 40 and the terminal 60 are tested by a plurality of moving image codes and communication protocols. The above-mentioned average value and the used moving image quality parameter can be used as test results.
[0081]
【The invention's effect】
As described above, the moving image communication management device according to the present invention connects the moving image communication analysis device to the network used by the moving image communication device, and the moving image communication analysis device transmits the moving image code transmitted by the moving image transmitter from the receiver. Alternatively, since part or all of the data is collected and analyzed from the relay device of the network, the moving image communication protocol can be evaluated based on the used moving image quality on the receiver, and in particular, the evaluation can be performed when the wireless section is included.
[0082]
In addition, it has means for acquiring parameters indicating the usage environment such as the receiver processing speed and the usage bandwidth of the usage network,
Has means to analyze the communication status such as transmission error rate, retransmission rate, transmission delay time, code rate, etc.
Analyzing video code, screen size, resolution / roughness of coarseness, frame rate, type of prediction encoding method and prediction performance, type of error resilience method and number of discarded bits, type of variable length code, code rate, etc. Means to analyze the video code
For the purpose of evaluating video code and communication protocol other than video code and communication protocol used for transmission,
From one or more video quality parameters used such as image error rate, code amount, delay time, processing amount, usage cost, etc.
A means for calculating and displaying a target video code and a code protocol evaluation value indicating suitability / non-suitability of a communication protocol;
The use moving image quality parameter calculation means has means obtained by analyzing from the acquired code,
Alternatively, each video quality evaluation function is determined in advance, and one or more video quality evaluation arguments such as variable length code type, predictive coding method type, error resilience type, transmission error rate, receiver processing speed, etc. Means for inputting and estimating a function value to obtain the use video quality parameter;
Since the use moving image quality parameter or the code protocol evaluation value for two or more types of the moving image codes or two or more types of the communication protocols are compared,
Through actual evaluation and estimation, it is possible to present the optimal protocol without trying to transmit using all video codes and communication protocols to be compared,
There is an effect that it is possible to manage communication by selecting an appropriate protocol.
[0083]
Alternatively, the original image is reconstructed, images of two or more kinds of moving image codes or two or more communication protocols are reconstructed, and an average value of the square or absolute value of each pixel of the difference image of the decoded moving image with respect to the original image is obtained. Calculate
Since the video code and communication protocol that gives the smaller of the average values are presented,
By comparing objective images based on actual measurements
There is an effect that it is possible to manage communication by selecting an appropriate protocol.
[0084]
Alternatively, for two or more types of moving image codes or two or more types of communication protocols, one or more types of used moving image quality parameters such as an image error rate, a code amount, a delay time, and a processing amount are displayed in a graph in the same format. So do
There is an effect that the user can overview the reason why the moving image code and the communication protocol are selected and the difference in their suitability.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a moving image communication management apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing an example of a result display according to the embodiment of the present invention.
FIG. 3 is an explanatory view showing a conventional example.
[Explanation of symbols]
40 video server
50 network
60 terminals
70 Relay device
80 Video communication analyzer
81 Comparison protocol specification part
82 Usage Analysis Department
83 Transmission code part
84 Communication Analysis Department
85 Code analyzer
86 Decryption unit
87 Image Analysis Department
88 Image comparison unit
89 Comparative Evaluation Department
90 Knowledge Data Department
91 Protocol selection and presentation section
92 Protocol converter

Claims (14)

複数の動画符号方式および複数の通信プロトコルの中から選択してネットワークにディジタルである動画符号を送信する送信機と、前記送信機が用いる動画符号方式および通信プロトコルを用いて前記ネットワークに送信される前記動画符号を受信・復号する受信機とからなる動画通信装置を管理する動画通信管理装置において、
前記ネットワークを介して前記送信機及び前記受信機に接続され、前記動画符号および前記通信プロトコルによって生成された信号を入力して分析する手段と、２種以上の前記動画符号または２種以上の前記通信プロトコルとの比較分析を行う手段と、前記比較分析結果を前記送信機へ送出する手段とを有する動画通信分析装置を備え、
前記受信機は、受信した前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを前記動画通信分析装置に送信する手段を備え、
前記送信機は、前記動画通信分析装置から送出された前記比較分析結果に基づいて、複数の動画符号方式および複数の通信プロトコルの中から選択する手段と、選択した動画符号方式および通信プロトコルに対応する受信復号機能を前記受信機が持つことを確認する手段と、確認した前記動画符号方式および前記通信プロトコルを用いて前記動画を送信する手段とを備える
ことを特徴とする動画通信管理装置。A transmitter that selects a plurality of moving image coding schemes and a plurality of communication protocols and transmits a digital moving image code to the network, and is transmitted to the network using the moving image coding scheme and the communication protocol used by the transmitter. In a video communication management device for managing a video communication device comprising a receiver that receives and decodes the video code,
Means connected to the transmitter and the receiver via the network and inputting and analyzing the video code and the signal generated by the communication protocol, two or more types of the video code or two or more types A moving image communication analysis apparatus comprising: a means for performing a comparative analysis with a communication protocol; and a means for sending the comparison analysis result to the transmitter.
The receiver includes means for transmitting a part or all of the received video code and the signal generated by the communication protocol to the video communication analyzer,
The transmitter corresponds to the selected moving image encoding method and communication protocol, and means for selecting from a plurality of moving image encoding methods and a plurality of communication protocols based on the comparison analysis result sent from the moving image communication analyzer A moving picture communication management apparatus comprising: means for confirming that the receiver has a reception decoding function to perform; and means for transmitting the moving picture using the confirmed moving picture coding method and the communication protocol. 複数の動画符号方式および複数の通信プロトコルの中から選択してネットワークにディジタルである動画符号を送信する送信機と、前記送信機が送信する前記動画符号を中継する中継装置と、前記中継装置から受信する動画符号方式および通信プロトコルを用いて前記動画符号を受信・復号する受信機とからなる動画通信装置を管理する動画通信管理装置において、
前記ネットワークを介して前記送信機、前記中継装置、及び前記受信機に接続され、前記動画符号および前記通信プロトコルによって生成された信号を入力して分析する手段と、２種以上の前記動画符号または２種以上の前記通信プロトコルとの比較分析を行う手段と、前記比較分析結果を前記送信機へ送出する手段とを有する動画通信分析装置とを備え、
前記中継装置は、入力した前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを前記動画通信分析装置に送信する手段を備え、
前記送信機は、前記動画通信分析装置から送出された前記比較分析結果に基づいて、複数の動画符号方式および複数の通信プロトコルの中から選択する手段と、選択した動画符号方式および通信プロトコルに対応する受信復号機能を前記受信機が持つことを確認する手段と、確認した前記動画符号方式および前記通信プロトコルを用いて前記動画を送信する手段とを備える
ことを特徴とする動画通信管理装置。A transmitter that transmits a moving image code that is digital to a network by selecting from a plurality of moving image encoding methods and a plurality of communication protocols; a relay device that relays the moving image code transmitted by the transmitter; and the relay device In a video communication management apparatus that manages a video communication apparatus that includes a receiver that receives and decodes the video code using a video encoding method and a communication protocol that are received,
Means connected to the transmitter, the relay device, and the receiver via the network , for inputting and analyzing the video code and a signal generated by the communication protocol; and two or more types of the video code or A moving image communication analyzer having means for performing comparison analysis with two or more types of the communication protocols, and means for sending the comparison analysis result to the transmitter;
The relay device includes means for transmitting a part or all of the input video code and the signal generated by the communication protocol to the video communication analyzer,
The transmitter corresponds to the selected moving image encoding method and communication protocol, and means for selecting from a plurality of moving image encoding methods and a plurality of communication protocols based on the comparison analysis result sent from the moving image communication analyzer A moving picture communication management apparatus comprising: means for confirming that the receiver has a reception decoding function to perform; and means for transmitting the moving picture using the confirmed moving picture coding method and the communication protocol. 前記受信機は、受信した前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを、受信タイムスタンプと共に前記動画通信分析装置に送信することを特徴とする請求項１記載の動画通信管理装置。The moving image communication according to claim 1, wherein the receiver transmits a part or all of the received moving image code and the signal generated by the communication protocol to the moving image communication analyzing apparatus together with a reception time stamp. Management device. 前記受信機は、動画受信中の復号した動画の表示処理におけるアクション情報の一部またはすべてを、前記動画通信分析装置に通知することを特徴とする請求項１又は請求項３記載の動画通信管理装置。  4. The moving image communication management according to claim 1, wherein the receiver notifies the moving image communication analyzing apparatus of part or all of action information in a display process of a decoded moving image during moving image reception. apparatus. 前記動画通信分析装置は、
複数の動画符号方式および通信プロトコルのそれぞれの組について、
前記分析結果の利用動画品質パラメータまたは符号プロトコル評価値を一部またはすべてをグラフ表示する手段を備え、
２種以上の前記動画符号または２種以上の前記通信プロトコルを、互いに等しい様式のグラフで表示する
ことを特徴とする請求項１から請求項４の何れかに記載の動画通信管理装置。The video communication analyzer is
For each set of multiple video encoding methods and communication protocols,
Means for graphically displaying a part or all of the use video quality parameter or code protocol evaluation value of the analysis result;
5. The moving image communication management device according to claim 1, wherein the two or more types of moving image codes or the two or more types of communication protocols are displayed in a graph having the same format. 前記動画通信分析装置は、２種以上の前記動画符号または２種以上の前記通信プロトコルのそれぞれの組についての前記動画符号を復号して復号動画を得る復号手段と、
前記送信機から対応する原画を入力する入力手段とを備えており、
前記原画に対する前記復号動画の差画像の画素の自乗または画素の絶対値の平均値を算出して、最小の平均値を与える動画符号および通信プロトコルを指示する
ことを特徴とする請求項１から請求項５の何れかに記載の動画通信管理装置。The moving image communication analysis device includes a decoding unit that decodes the moving image code for each of the two or more types of the moving image codes or the two or more types of the communication protocols to obtain a decoded moving image;
Input means for inputting a corresponding original picture from the transmitter,
2. The moving image code and the communication protocol that give the minimum average value are calculated by calculating the square of the difference image of the decoded moving image with respect to the original image or the average value of the absolute value of the pixel. Item 6. The video communication management device according to any one of Items 5 to 6. 前記入力手段は、前記ネットワークを介さず、前記送信機から前記動画通信分析装置に前記原画を入力するインターフェースであることを特徴とする請求項６記載の動画通信管理装置。  7. The moving picture communication management apparatus according to claim 6, wherein the input means is an interface for inputting the original picture from the transmitter to the moving picture communication analyzer without going through the network. 前記動画通信分析装置は、
複数の前記動画符号および複数の前記通信プロトコルのそれぞれについて、
一種以上の利用動画品質パラメータから符号プロトコル評価値を算出および表示する手段と、
動画品質評価関数に一種以上の動画品質評価引数を入力して前記利用動画品質パラメータをそれぞれ算定する利用動画品質パラメータ算定手段と、
前記動画品質評価引数の値の第一の算定手段について、前記動画通信中に前記原画および前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを取得分析して算定する手段と、
前記動画品質評価引数の値の第二の算定手段について、予め実行された実験値に基づいて特定の動画符号および通信プロトコルにおける前記動画品質評価引数を推定して算定する手段とを有し、
２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記利用動画品質パラメータまたは前記符号プロトコル評価値を比較することを特徴とする請求項１から請求項７の何れかに記載の動画通信管理装置。The video communication analyzer is
For each of the plurality of video codes and the plurality of communication protocols,
Means for calculating and displaying a code protocol evaluation value from one or more video quality parameters used;
Use video quality parameter calculation means for calculating one or more video quality evaluation arguments in the video quality evaluation function and calculating each of the video quality parameters used;
Means for calculating and calculating a part or all of the original image and the moving image code and the signal generated by the communication protocol during the moving image communication with respect to the first calculating means of the moving image quality evaluation argument value;
The second calculating means for the value of the video quality evaluation argument has means for estimating and calculating the video quality evaluation argument in a specific video code and communication protocol based on a pre-executed experimental value,
The moving image communication according to any one of claims 1 to 7, wherein the moving image quality parameter or the code protocol evaluation value for the two or more types of the moving image codes or the two or more types of the communication protocols is compared. Management device. 前記動画通信分析装置は、前記動画品質評価関数を、前記取得分析による前記動画品質評価引数の算定または前記実験値に基づいて、前記動画品質評価引数の算定に一致する関数に変更する手段を備えることを特徴とする請求項８記載の動画通信管理装置。  The moving image communication analysis device includes means for changing the moving image quality evaluation function to a function that matches the calculation of the moving image quality evaluation argument based on the calculation of the moving image quality evaluation argument by the acquisition analysis or the experimental value. The moving image communication management apparatus according to claim 8. 前記動画通信分析装置は、動画通信中に入力した動画符号を分析して、２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記動画品質評価引数を算定し、前記動画品質評価関数を用いて前記利用動画品質パラメータを算出し、前記利用動画品質パラメータまたは符号プロトコル評価値を算出および表示することにより２種以上の前記動画符号または２種以上の前記通信プロトコルを比較することを特徴とする請求項８記載の動画通信管理装置。  The video communication analyzer analyzes a video code input during video communication, calculates the video quality evaluation argument for two or more video codes or two or more communication protocols, and the video quality evaluation function The use moving image quality parameter is calculated by using, and the use moving image quality parameter or the code protocol evaluation value is calculated and displayed to compare two or more kinds of the moving image codes or two or more kinds of the communication protocols. The moving image communication management device according to claim 8. 前記動画通信分析装置は、動画通信中に通信プロトコルを分析し、２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記動画品質評価引数を算定し、前記動画品質評価関数を用いて前記利用動画品質パラメータを算出し、前記利用動画品質パラメータまたは符号プロトコル評価値を算出および表示することにより２種以上の前記動画符号または２種以上の前記通信プロトコルを比較することを特徴とする請求項８記載の動画通信管理装置。  The moving image communication analysis device analyzes a communication protocol during moving image communication, calculates the moving image quality evaluation argument for two or more moving image codes or two or more communication protocols, and uses the moving image quality evaluation function The use moving image quality parameter is calculated, and the use moving image quality parameter or the code protocol evaluation value is calculated and displayed to compare two or more kinds of the moving image codes or two or more kinds of the communication protocols. Item 9. The moving image communication management device according to Item 8. 前記動画通信分析装置は、動画通信中の利用環境に関するパラメータを取得する手段を備え、２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記動画品質評価引数を算定し、前記動画品質評価関数を用いて前記利用動画品質パラメータを算出し、前記利用動画品質パラメータまたは符号プロトコル評価値を算出および表示することにより２種以上の前記動画符号または２種以上の前記通信プロトコルを比較することを特徴とする請求項８記載の動画通信管理装置。  The moving image communication analyzing apparatus includes means for acquiring a parameter related to a use environment during moving image communication, calculates the moving image quality evaluation argument for two or more moving image codes or two or more communication protocols, and the moving image quality Comparing two or more video codes or two or more communication protocols by calculating the usage video quality parameter using an evaluation function and calculating and displaying the video quality parameter or code protocol evaluation value The moving image communication management apparatus according to claim 8. 前記送信機は、複数の前記動画符号および複数の前記通信プロトコルについて順にそれぞれ動画通信を行う手段を備え、
前記動画通信分析装置は、前記動画符号および前記通信プロトコルのそれぞれについて、前記利用動画品質パラメータを算出することによって前記送信機の試験を行う
ことを特徴とする請求項１から請求項１２の何れかに記載の動画通信管理装置。The transmitter includes means for performing moving image communication in order for the plurality of moving image codes and the plurality of communication protocols,
The said moving image communication analyzer performs the test of the said transmitter by calculating the said used moving image quality parameter about each of the said moving image code | symbol and the said communication protocol. Any one of the Claims 1-12 characterized by the above-mentioned. The video communication management device according to 1. 前記送信機は、複数の前記動画符号および複数の前記通信プロトコルについて順にそれぞれ動画通信を行う手段を備え、
前記動画通信分析装置は、前記動画符号および前記通信プロトコルのそれぞれについて、前記受信機から前記利用動画品質パラメータを算出することによって前記受信機の試験を行う
ことを特徴とする請求項１から請求項１２の何れかに記載の動画通信管理装置。The transmitter includes means for performing moving image communication in order for the plurality of moving image codes and the plurality of communication protocols,
The said moving image communication analysis apparatus tests the said receiver by calculating the said used moving image quality parameter from the receiver about each of the said moving image code and the said communication protocol. 12. The moving image communication management device according to any one of 12 above.

Images