JP4252017B2 - 符号化ストリーム中継装置、その方法及びプログラム - Google Patents

Description

本発明は、符号化された音声や映像などのストリームデータ（以下、符号化ストリームと呼ぶ。）を中継する装置、その方法及びプログラムに関するものである。

プロトコルが異なるネットワークにそれぞれ接続された端末装置間で符号化ストリームを送受信する場合、ネットワーク同士の中継点にプロトコルの差異を吸収するための符号化ストリーム中継装置が必要となる。従来の符号化ストリーム中継装置では、符号化ストリームを中継するにあたり、以下の２つの方式、即ち
方式１：受信した符号化ストリームを一旦デコードし、エンコードし直して送信する（特許文献１参照）、
方式２：受信した符号化ストリームをデコードすることなく中継する（特許文献２参照）、
のうち、いずれかを用いていた。

前述した方式１の場合、符号化ストリームを一旦デコードし、再度エンコードするため、遅延が増大する、音質や画質が劣化する、処理負荷が大きいという問題が生じる。

一方、方式２の場合、前述した問題は発生し難いが、伝送エラーやパケットロスによって符号化ストリームに関する重要な情報である符号化情報が欠落した際に、受信側の端末装置において符号化ストリームをデコードできなくなるという問題が生じる。

例えば、ＭＰＥＧ（Moving Picture Experts Group）−４映像ストリームをデコードするためには、そのＭＰＥＧ−４ストリームに関する符号化情報であるＤＣＩ（Decoder Configuration Information ）が必要である。

ＤＣＩには、ＭＰＥＧ−４ストリームをデコードするために必要な、Profile＠Level、画像サイズ、利用している符号化ツール等の情報が含まれており、ＤＣＩ（もしくはＤＣＩに相当する情報）がなければＭＰＥＧ−４ストリームはデコードすることができない。ＭＰＥＧ−４ストリームをデコードする場合は、通常、ＤＣＩを用いてデコーダを初期化してから、ＭＰＥＧ−４ストリームのデコードを開始する。

そのため、前述した方式２によりＭＰＥＧ−４ストリームを送信する場合、以下のいずれかの方法、即ち
（１）ＭＰＥＧ−４ストリームにＤＣＩを周期的に挿入する、
（２）ＭＰＥＧ−４ストリームとは別個にＤＣＩを伝送する、
により、ＤＣＩを通信相手に伝達する必要がある。

図１は前記（１）の方法を説明するためのもので、送信端末から受信端末へ送られる符号化ストリーム、実際には符号化ストリームを分割して納めた多数のパケットの間に、ＤＣＩを納めたパケットを周期的に挿入して伝送している。

図２は前記（２）の方法を説明するためのもので、ここではＳＩＰ（Session Inititation Protocol）を用いたＩＰテレビ電話の例を示している。この例ではＭＰＥＧ−４ストリームの送信を開始する前の呼接続時にＤＣＩを通信相手に伝達、即ち発呼側の端末装置、例えばＡからはＤＣＩをＳＩＰの発呼メッセージＩＮＶＩＴＥに付加して着信側の端末装置Ｂへ伝送し、また、着信側の端末装置ＢからはＤＣＩをＳＩＰの着信応答メッセージ２００ＯＫに付加して発呼側の端末装置Ａへ伝送している。
特開２００３−０４６９７７号公報（名称：中継サーバ） 特開２００３−１５２８２０号公報（名称：シグナリング中継システムおよびシグナリング中継方法）

一般に、映像配信システムやＩＰ電話のようなシステムでは、前述した（２）の方法のように、実際に符号化ストリームの送信を開始する前に符号化情報をやりとりする場合が多い。例えば、ＲＴＳＰ（Real-time Streaming Protocol）を用いた配信システムや、前述したＳＩＰを用いたＩＰ電話システムでは、ＳＤＰ（Session Description Protocol）を用いて、符号化情報（例えば、符号化パラメータ）を予めEnd to Endの端末装置間でやりとりする。

しかし、符号化情報を予めやりとりしたからといって、必ずしも受信側の端末装置において受信した符号化ストリームを正常にデコードできるとは限らない。

なぜなら、端末装置の中には、予めやりとりした符号化情報を用いてデコーダを初期化するのではなく、受信した符号化ストリームに含まれる符号化情報を用いてデコーダを初期化するものが存在する可能性がある。このような端末装置では、受信した符号化ストリームに符号化情報が含まれない場合、受信した符号化ストリームをデコードできないことになる。

一方、端末装置の中には、符号化情報を予めやりとりしていることを理由に、符号化ストリーム中に符号化ストリームに関する情報を挿入しない、もしくは一度だけ挿入するものが存在する可能性がある。

従って、受信側の端末装置が受信した符号化ストリームに含まれる符号化情報を用いてデコーダを初期化するものである場合、送信側が、前述した符号化ストリーム中に符号化ストリームに関する情報を挿入しない端末装置であると、受信側では送信側が送信した符号化ストリームをデコードできないことになる。

また、送信側が、前述した符号化ストリーム中に符号化ストリームに関する情報を一度だけ挿入する端末装置である場合も、パケットロス等によって符号化ストリーム中の符号化情報が消失すると、同様に受信側では送信側が送信した符号化ストリームをデコードできないことになる。

即ち、ＭＰＥＧ−４映像ストリームを例に取れば、図３に示すように、ＤＣＩがＭＰＥＧ−４ストリームの先頭にしかない場合、ネットワーク上で先頭のＤＣＩパケットがロストした場合、デコーダを初期化できないために、ＭＰＥＧ−４ストリームをデコードできなくなる。

以上のような問題を回避するためには、前述した（１）の方法のように、符号化ストリーム中に符号化情報を周期的に挿入し、任意のタイミングでデコーダを初期化できるようにしておくことが望ましい。

そこで、本発明は、符号化ストリーム中に符号化情報を挿入することにより、送信側の端末装置における符号化情報の通信相手への伝達の仕方に拘わらず、受信側の端末装置では受信した符号化ストリームを正常にデコードできるようにすることを目的とする。

また、ＳＤＰなどを用いて予め符号化情報をやりとりし、その符号化情報を用いてデコーダを初期化することが分かっている場合、符号化ストリーム中の符号化情報はネットワークトラフィックを増加させるだけの無駄な情報になる。

そこで、本発明は、符号化ストリーム中の冗長な符号化情報を削除することにより、ネットワークトラフィックを削減することを目的とする。

前記目的を達成するために、本発明は、図４に示すように、符号化ストリームの中継を行う符号化ストリーム中継装置において、送信端末から符号化ストリームの送信に先立って伝送された符号化情報、または符号化ストリーム中に挿入された符号化情報を保存し、該保存している符号化情報を符号化ストリーム中に所定のタイミング、好ましくは所定の周期で挿入する、もしくは符号化ストリーム中の符号化情報を前記保存している符号化情報に置き換えることを特徴とする。

また、本発明は、中継する符号化ストリームから冗長な符号化情報、例えば所定の頻度を超えて含まれる符号化情報を削除することを特徴とする。

本発明では、符号化ストリーム中継装置において、符号化ストリームをデコードするために必要な情報である符号化情報を符号化ストリーム中に挿入する。そのため、送信側の端末装置が符号化ストリーム中に符号化情報を挿入しない場合であっても、あるいは一度だけ挿入した符号化情報が伝送途中でロストしたような場合であっても、受信側の端末装置は、符号化ストリーム中継装置で符号化ストリーム中に挿入された符号化情報を用いてデコーダを初期化でき、受信した符号化ストリームを正常にデコードできるようになる。

また、本発明では、符号化ストリーム中継装置において、符号化ストリームから無駄な符号化情報を削除するため、ネットワークトラフィックを削減できるようになる。

以下、本発明を実施するための最良の形態について図面を参照して説明する。

図５は本発明の符号化ストリーム中継装置を含むシステム全体を示すもので、本発明の符号化ストリーム中継装置、例えば１は、プロトコルの異なるネットワークａ，ｂの中継点に配置され、各ネットワークａ，ｂにそれぞれ接続された端末装置Ａ，Ｂ間における符号化ストリームを中継する。なお、図面では一対の端末装置のみ示したが、複数対の端末装置間における符号化ストリームを同時に中継可能であることはいうまでもない。

図６は本発明の符号化ストリーム中継装置の実施の形態の一例、ここでは符号化ストリームの一例であるＭＰＥＧ−４映像ストリームを中継する符号化ストリーム中継装置の例を示すもので、図中、１１は能力交換部、１２はストリーム受信部、１３はストリーム解析部、１４は符号化情報保存部、１５は符号化情報編集判断部、１６は符号化情報編集部、１７はストリーム送信部である。

以下、各部の構成をその動作とともに説明する。

能力交換部１１は、符号化ストリームに関する情報である符号化情報を能力交換処理、即ちＨ．３２３やＳＩＰ等のプロトコルを用いたＴＶ電話装置のように、映像ストリームの送受信を開始する前に映像ストリームの符号化情報をやりとりする能力交換処理において取得し、これを符号化情報保存部１４に渡す。なお、ＭＰＥＧ−４ストリームの場合、符号化情報とはＤＣＩのことを意味する。

ストリーム受信部１２は、能力交換後、送信側の端末装置から送信されたＭＰＥＧ−４ストリームを受信する。

ストリーム解析部１３は、ストリーム受信部１２で受信したＭＰＥＧ−４ストリームを解析し、当該ＭＰＥＧ−４ストリーム中にＤＣＩが含まれている場合にはこれを取得する。また、ストリーム解析部１３は、取得したＤＣＩを符号化情報保存部１４に渡すとともに、ストリーム受信部１２で受信したＭＰＥＧ−４ストリームを符号化情報編集判断部１５に渡す。

符号化情報保存部１４は、能力交換部１１で取得したＤＣＩまたはストリーム解析部１３で取得したＤＣＩのいずれか一方もしくは両方を保存する。即ち、能力交換部１１で取得されたＤＣＩを保存し、その後、ストリーム解析部１３でＤＣＩが取得された場合は前記保存したＤＣＩを削除し、これに置き換えて保存しても良く、逆に前記保存したＤＣＩをそのまま残してストリーム解析部１３で取得されたＤＣＩを保存しないようにしても良く、また、両方を保存するようにしても良い。

符号化情報編集判断部１５は、ストリーム解析部１３から渡された、受信したＭＰＥＧ−４ストリームにおいて、ＤＣＩを挿入または置換もしくは削除すべき位置を解析し、さらに受信したＭＰＥＧ−４ストリームに対しＤＣＩの挿入または置換もしくは削除のいずれの処理を行うべきか否か（あるいはいずれも行わない）を判断し、その判断結果を前記受信したＭＰＥＧ−４ストリーム及び当該受信ＭＰＥＧ−４ストリーム中のＤＣＩを挿入または置換もしくは削除すべき位置とともに符号化情報編集部１６へ渡す。

ここで、ＤＣＩを挿入すべき位置（ＤＣＩが挿入されている場合には、ＤＣＩが挿入されている可能性のある位置）は、フレームの直前とするのが一般的である。よって、ＤＣＩを挿入する場合には、ＭＰＥＧ−４ストリーム中からフレームの先頭を検出し、その直前に挿入すれば良い。

ところで、全てのフレームの直前にＤＣＩを挿入すると、ネットワーク効率を悪化させる結果を招くことになる。そのため、ＤＣＩの挿入回数は必要最小限とした方が良い。そこで、この問題を解決するため、例えば、
・イントラフレーム（Ｉ−ＶＯＰ）の直前のみにＤＣＩを挿入する、
・一定間隔（例えば、３秒）毎にＤＣＩを挿入する、
のような処理を行う。

符号化情報編集判断部１５では、受信したＭＰＥＧ−４ストリームにＤＣＩを挿入するか、または受信したＭＰＥＧ−４ストリームのＤＣＩを置換するか、もしくは受信したＭＰＥＧ−４ストリームからＤＣＩを削除するか、の判断を以下により行う。

ＤＣＩの挿入または置換もしくは削除すべき位置の解析結果に基づき、例えばイントラフレーム（Ｉ−ＶＯＰ）の直前にＤＣＩが挿入されていない場合や、一定間隔（例えば、３秒）以上の長い間、ＤＣＩが挿入されていない場合には、受信したＭＰＥＧ−４ストリームにおいて、上記の方法により検出されたＤＣＩを挿入すべき位置に、符号化情報保存部１４に保存されているＤＣＩ（ＤＣＩを複数保存している場合はそのいずれか）を挿入する。

また、ＤＣＩの挿入または置換もしくは削除すべき位置の解析結果に基づき、例えばイントラフレーム（Ｉ−ＶＯＰ）の直前以外にもＤＣＩが挿入されている場合や、一定間隔（例えば、３秒）以下の短い間隔でＤＣＩが挿入されている場合のように、受信したＭＰＥＧ−４ストリーム中に所定の頻度を超えてＤＣＩが含まれると判定された場合には、それらのＤＣＩは冗長なＤＣＩであると判定し、所定の頻度まで、受信したＭＰＥＧ−４ストリームからそれら冗長なＤＣＩを削除する。

さらに、ストリーム解析部１３で新たに取得したＤＣＩと、符号化情報保存部１４に保存されているＤＣＩとの照合結果が一致しない場合、受信したＭＰＥＧ−４ストリームに挿入されている当該ＤＣＩを誤りと判定し、受信したＭＰＥＧ−４ストリーム中の当該ＤＣＩを符号化情報保存部１４に保存されているＤＣＩ（ＤＣＩを複数保存している場合はそのいずれか）に置換する（なお、符号化情報保存部１４に保存されているＤＣＩを誤りと判定した場合は、これを新たに取得したＤＣＩで上書き保存する。）。

符号化情報編集部１６は、符号化情報編集判断部１５から渡された、受信したＭＰＥＧ−４ストリームに対しＤＣＩの挿入または置換もしくは削除のいずれの処理を行うべきかの判断結果及び当該受信したＭＰＥＧ−４ストリーム中のＤＣＩを挿入または置換もしくは削除すべき位置に基づき、同じく符号化情報編集判断部１５から渡された、受信したＭＰＥＧ−４ストリームに対し、ＤＣＩを挿入するか、またはＤＣＩを置換するか、もしくはＤＣＩを削除するかの処理を行い、これらの処理後のＭＰＥＧ−４ストリームをストリーム送信部１７へ渡す。

ストリーム送信部１７は、符号化情報編集部１６から渡された、符号化情報編集処理後のＭＰＥＧ−４ストリームを受信側の端末装置（のネットワーク）に合わせた形式でパケット化し、送信する。例えば、ＩＰネットワークに送信する場合、ＭＰＥＧ−４ストリームをＲＴＰ（Real-time Transport Protocol）パケット化し、送信する。

これらの処理により、中継するＭＰＥＧ−４ストリーム中にＤＣＩを周期的に挿入することが可能となる。その結果、
・ＭＰＥＧ−４ストリームにＤＣＩが含まれるため、デコーダを初期化可能となる、
・仮に最初のＤＣＩが消失した場合でも、周期的に挿入されているＤＣＩを用いてデコーダを初期化可能となる、
これにより、受信側の端末装置では常に受信したＭＰＥＧ−４ストリームを正常にデコード可能となる。

なお、前記符号化ストリーム中継装置１は、周知のコンピュータに記録媒体もしくは通信回線を介して、図６の構成図に示された機能を実現するプログラムをインストールすることによっても実現可能である。

また、前記符号化ストリーム中継装置において、能力交換部１１とストリーム解析部１３は必ずしも両方とも必要でなく、いずれか一方のみ設けても良い。また、ＤＣＩの挿入や置換に関しては、符号化情報編集判断部１５においてＤＣＩが挿入されていない期間の判定や新たに取得したＤＣＩと保存しているＤＣＩとの照合判定を行うことなく、符号化情報編集部１６において一定間隔毎に一律にＤＣＩを挿入し、または保存しているＤＣＩに置き換えるようにしても良い。この際、受信したＭＰＥＧ−４ストリーム中でのＤＣＩを挿入または置換もしくは削除すべき位置の解析を符号化情報編集部１６で行うようにすれば、符号化情報編集判断部１５を省略することも可能である。

また、これまで説明した実施の形態では、プロトコルが異なるネットワークにそれぞれ接続された端末装置間における符号化ストリーム伝送について述べたが、本発明は、プロトコルが同一のネットワークに接続された端末装置間における符号化ストリーム伝送であって、能力交換処理の方法が異なる端末装置間における符号化ストリーム伝送についても適用可能である。

符号化ストリームに周期的に符号化情報を挿入する方法の説明図 符号化ストリームとは別個に符号化情報を伝送する方法の説明図 符号化ストリーム中の符号化情報がロストした場合の説明図 本発明の概要を示す説明図 本発明の符号化ストリーム中継装置を含むシステム全体の構成図 本発明の符号化ストリーム中継装置の実施の形態の一例を示す構成図

符号の説明

１：符号化ストリーム中継装置、１１：能力交換部、１２：ストリーム受信部、１３：ストリーム解析部、１４：符号化情報保存部、１５：符号化情報編集判断部、１６：符号化情報編集部、１７：ストリーム送信部。

Claims (13)

1. ネットワークに接続された端末装置間で符号化ストリームを伝送する場合に当該符号化ストリームの中継を行う符号化ストリーム中継装置であって、
   符号化ストリームに関する情報である符号化情報を能力交換処理によって取得する能力交換手段と、
   前記能力交換手段で取得した符号化情報を保存する符号化情報保存手段と、
   送信側の端末装置から送信された符号化ストリームを受信するストリーム受信手段と、
   前記ストリーム受信手段で受信した符号化ストリームに関して、符号化情報の挿入または置換を行うか否かを判定する符号化情報編集判断手段と、
   前記符号化情報編集判断手段の判定結果に基づき、前記ストリーム受信手段で受信した符号化ストリームに前記符号化情報保存手段で保存している符号化情報を挿入する、または前記ストリーム受信手段で受信した符号化ストリームに含まれる符号化情報を前記符号化情報保存手段で保存している符号化情報に置換する符号化情報編集手段と、
   前記符号化情報編集手段で符号化情報が挿入または置換された符号化ストリームを受信側の端末装置へ送信するストリーム送信手段とを有する
   ことを特徴とする符号化ストリーム中継装置。
2. ネットワークに接続された端末装置間で符号化ストリームを伝送する場合に当該符号化ストリームの中継を行う符号化ストリーム中継装置であって、
   送信側の端末装置から送信された符号化ストリームを受信するストリーム受信手段と、
   前記ストリーム受信手段で受信した符号化ストリームを解析し、当該符号化ストリームに関する情報である符号化情報を取得するストリーム解析手段と、
   前記ストリーム解析手段で取得した符号化情報を保存する符号化情報保存手段と、
   前記ストリーム受信手段で受信した符号化ストリームに関して、符号化情報の挿入または置換を行うか否かを判定する符号化情報編集判断手段と、
   前記符号化情報編集判断手段の判定結果に基づき、前記ストリーム受信手段で受信した符号化ストリームに前記符号化情報保存手段で保存している符号化情報を挿入する、または前記ストリーム受信手段で受信した符号化ストリームに含まれる符号化情報を前記符号化情報保存手段で保存している符号化情報に置換する符号化情報編集手段と、
   前記符号化情報編集手段で符号化情報が挿入または置換された符号化ストリームを受信側の端末装置へ送信するストリーム送信手段とを有する
   ことを特徴とする符号化ストリーム中継装置。
3. 前記符号化情報編集判断手段は、前記ストリーム受信手段で受信した符号化ストリーム中の符号化情報の有無に基づき、符号化情報の挿入を行うか否かを判定する
   ことを特徴とする請求項１または２に記載の符号化ストリーム中継装置。
4. 前記符号化情報編集判断手段は、前記ストリーム受信手段で受信した符号化ストリーム中の符号化情報と前記符号化情報保存手段で保存している符号化情報との比較結果に基づき、符号化情報の置換を行うか否かを判定する
   ことを特徴とする請求項１または２に記載の符号化ストリーム中継装置。
5. 前記符号化情報編集判断手段は、さらに前記ストリーム受信手段で受信した符号化ストリーム中に符号化情報が所定の頻度を超えて含まれるかどうかを判定し、
   前記符号化情報編集手段は、さらに前記符号化情報編集判断手段の判定結果に基づき、前記ストリーム受信手段で受信した符号化ストリームから所定の頻度を超えて含まれる符号化情報を削除する
   ことを特徴とする請求項１乃至４のいずれかに記載の符号化ストリーム中継装置。
6. 前記符号化ストリームはＭＰＥＧ−４映像ストリームであり、前記符号化情報はDecoder Configuration Informationである
   ことを特徴とする請求項１乃至５のいずれかに記載の符号化ストリーム中継装置。
7. ネットワークに接続された端末装置間で符号化ストリームを伝送する場合に当該符号化ストリームの中継を行う符号化ストリーム中継装置における符号化ストリーム中継方法であって、
   符号化ストリーム中継装置が、
   符号化ストリームに関する情報である符号化情報を能力交換処理によって取得する能力交換ステップと、
   前記能力交換ステップで取得した符号化情報を保存する符号化情報保存ステップと、
   送信側の端末装置から送信された符号化ストリームを受信するストリーム受信ステップと、
   前記ストリーム受信ステップで受信した符号化ストリームに関して、符号化情報の挿入または置換を行うか否かを判定する符号化情報編集判断ステップと、
   前記符号化情報編集判断ステップの判定結果に基づき、前記ストリーム受信ステップで受信した符号化ストリームに前記符号化情報保存ステップで保存した符号化情報を挿入する、または前記ストリーム受信ステップで受信した符号化ストリームに含まれる符号化情報を前記符号化情報保存ステップで保存した符号化情報に置換する符号化情報編集ステップと、
   前記符号化情報編集ステップで符号化情報が挿入または置換された符号化ストリームを受信側の端末装置へ送信するストリーム送信ステップとを実行する
   ことを特徴とする符号化ストリーム中継方法。
8. ネットワークに接続された端末装置間で符号化ストリームを伝送する場合に当該符号化ストリームの中継を行う符号化ストリーム中継装置における符号化ストリーム中継方法であって、
   符号化ストリーム中継装置が、
   送信側の端末装置から送信された符号化ストリームを受信するストリーム受信ステップと、
   前記ストリーム受信ステップで受信した符号化ストリームを解析し、当該符号化ストリームに関する情報である符号化情報を取得するストリーム解析ステップと、
   前記ストリーム解析ステップで取得した符号化情報を保存する符号化情報保存ステップと、
   前記ストリーム受信ステップで受信した符号化ストリームに関して、符号化情報の挿入または置換を行うか否かを判定する符号化情報編集判断ステップと、
   前記符号化情報編集判断ステップの判定結果に基づき、前記ストリーム受信ステップで受信した符号化ストリームに前記符号化情報保存ステップで保存した符号化情報を挿入する、または前記ストリーム受信ステップで受信した符号化ストリームに含まれる符号化情報を前記符号化情報保存ステップで保存した符号化情報に置換する符号化情報編集ステップと、
   前記符号化情報編集ステップで符号化情報が挿入または置換された符号化ストリームを受信側の端末装置へ送信するストリーム送信ステップとを実行する
   ことを特徴とする符号化ストリーム中継方法。
9. 前記符号化情報編集判断ステップは、前記ストリーム受信ステップで受信した符号化ストリーム中の符号化情報の有無に基づき、符号化情報の挿入を行うか否かを判定する
   ことを特徴とする請求項７または８に記載の符号化ストリーム中継方法。
10. 前記符号化情報編集判断ステップは、前記ストリーム受信ステップで受信した符号化ストリーム中の符号化情報と前記符号化情報保存ステップで保存した符号化情報との比較結果に基づき、符号化情報の置換を行うか否かを判定する
    ことを特徴とする請求項７または８に記載の符号化ストリーム中継方法。
11. 前記符号化情報編集判断ステップは、さらに前記ストリーム受信ステップで受信した符号化ストリーム中に符号化情報が所定の頻度を超えて含まれるかどうかを判定し、
    前記符号化情報編集ステップは、さらに前記符号化情報編集判断ステップの判定結果に基づき、前記ストリーム受信ステップで受信した符号化ストリームから所定の頻度を超えて含まれる符号化情報を削除する
    ことを特徴とする請求項７乃至１０のいずれかに記載の符号化ストリーム中継方法。
12. 前記符号化ストリームはＭＰＥＧ−４映像ストリームであり、前記符号化情報はDecoder Configuration Informationである
    ことを特徴とする請求項７乃至１１のいずれかに記載の符号化ストリーム中継方法。
13. 請求項７乃至１２のいずれかに記載の符号化ストリーム中継方法の各ステップを、符号化ストリーム中継装置として機能させるコンピュータに実行させることを特徴とするプログラム。

Images