JP2003032690A - データ再生装置及びデータ再生方法 - Google Patents

データ再生装置及びデータ再生方法

Info

Publication number
JP2003032690A
JP2003032690A JP2002092538A JP2002092538A JP2003032690A JP 2003032690 A JP2003032690 A JP 2003032690A JP 2002092538 A JP2002092538 A JP 2002092538A JP 2002092538 A JP2002092538 A JP 2002092538A JP 2003032690 A JP2003032690 A JP 2003032690A
Authority
JP
Japan
Prior art keywords
data
image data
decoding
error
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002092538A
Other languages
English (en)
Other versions
JP4008734B2 (ja
Inventor
Yoshinori Matsui
義徳 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2002092538A priority Critical patent/JP4008734B2/ja
Publication of JP2003032690A publication Critical patent/JP2003032690A/ja
Application granted granted Critical
Publication of JP4008734B2 publication Critical patent/JP4008734B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 受信端末にて、ユーザの好みに応じて、送信
側から提供されるビデオストリームを、伝送エラーに対
する耐性の高いものとするか、あるいは映像品質のよい
ものとするかを選択可能とする。 【解決手段】 サーバ100aを、同一の画像データの
符号化データとして、Iフレームの周期が異なる複数の
ビデオストリームを格納したデータ格納部120、及び
受信端末からの指令信号Scに応じて、該複数のビデオ
ストリームのうちの所定のビデオストリームを送信する
データ送信部110を有するものとし、受信端末200
aを、ユーザの設定内容に基づいて、サーバ100a側
に用意されている複数のビデオストリームを指定するデ
ータ指定信号Scをサーバ100aへ送信するものとし
た。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、データ再生装置及
びデータ再生方法に関し、特に、画像データの受信側に
て、ユーザの好みや伝送エラーの発生状況に応じて、受
信側で取得する画像データの伝送エラー耐性及び映像品
質を切替え可能とするデータ再生処理に関するものであ
る。
【0002】
【従来の技術】近年、映像音声データの圧縮符号化方式
に関する国際標準規格MPEG-4(MovingPicture Experts G
roup,Phase4,IS0/IEC14496)の制定に伴い、狭帯域にお
ける映像音声データの配信が可能になった。例えば、6
4kbit/sの帯域幅を有する伝送路では、1画面の横方
向の画素数が176個,縦方向の画素数が144個であ
り、かつフレームレートが5〜6フレーム/秒である映
像データと、電話品質なみの音声データとを同時に伝送
可能である。
【0003】上記MPEG−4ビデオ規格により規定さ
れているシンプルプロファイルでは、1シーンを構成す
る個々の物体の画像であるVOP(video object plane)
として、それぞれ符号化タイプが異なる、I−VOP及
びP−VOPが使用される。ここで、I−VOPは、そ
の画像データの圧縮処理あるいは伸張処理に際して他の
VOPの画像データを参照しないものである。したがっ
て、I−VOPに対する符号化処理あるいは復号化処理
は、他のVOPの画像データとは関係なく、単独で行う
ことが可能である。一方、P−VOPは、処理対象とな
るP−VOPの画像データの圧縮処理あるいは伸張処理
を行う際、対象P−VOPの直前に位置するI−VOP
あるいはP−VOPの画像データに基づいて予測して得
られる予測データと、対象P−VOPの画像データとの
差分成分を求め、該差分成分を符号化あるいは復号化す
るものである。
【0004】I−VOPの繰り返し周期は、広帯域を使
用するデジタル衛星放送では、I−VOPが約0.5秒に1
回現れる周期とすることが一般的である。つまり、日本
のテレビ放送では1秒間のフレーム数は約30であるか
ら、15フレーム毎にI−VOPが出現することにな
る。一方、狭帯域では、符号化された画像データ(符号
化データ)の符号量の多いI−VOPの繰返し周期を長
くし、符号化データの符号量の少ないP−VOPやB−
VOP(つまりその符号化あるいは復号化の際に他のV
OPの画像データを参照するもの)の出現頻度をできる
だけ高くするほうが、I−VOPの出現頻度を高くする
より、映像品質の改善効果が大きい。しかし、I−VO
Pの繰返し周期を長くする、つまりI−VOPの出現頻
度を低くすることは、エラー耐性の面からは好ましいも
のではなく、パケットロスの発生時には画像の乱れが長
期間続くことになる。なお、上述したMPEG−4にお
けるVOPは、MPEG−1,2におけるフレームに相
当するものである。
【0005】また、無線網における受信端末の規格を定
める国際標準化団体3GPP(ThirdGeneration Partner
ship Project、http://www.3gpp.org)は、サーバと受信
端末の間でビデオデータを伝送するためのプロトコルと
してはRTP/UDP/IP(real time transport protocol/user
datagram protocol/internet protocol)を使用し、ま
た受信端末からサーバにデータを要求するためのプロト
コルとしては、RTSP/TCP/IP(real time streaming prot
ocol/transmission control protocol/ internet proto
col)を使用することを規定している。さらに、3GPP
の規格では、シーン記述言語として、SMIL(Synchroniza
tion Multimedia Markup Language, http://www.w3.or
g)が使用可能となっている。
【0006】図18は、インターネットを利用して画像
データを配信するための従来のデータ伝送システムを示
している。このデータ伝送システム20は、上記符号化
データであるビデオストリームをパケット化してパケッ
トデータを送信するサーバ20aと、上記ビデオストリ
ームを受信して、画像データを再生する受信端末20b
と、上記パケットデータを上記サーバ20aから受信端
末20bへ伝送するためのインターネットなどのネット
ワーク11とを有している。
【0007】この通信システム20では、まず、受信端
末20bとサーバ20aとの間で、サーバ20aに対す
るデータ要求を行うためのメッセージMesの通信がRTSP
/TCP/IPにより行われ、これにより、受信端末20bか
らデータ要求信号Dauがサーバ20aへ送信される。す
ると、サーバ20aからは、ビデオストリームDstr
が、データ伝送プロトコルであるRTP/UDP/IPにより受信
端末20bに伝送される。受信端末20bでは、受信し
たビデオストリームDstrの復号化処理が行われ、画像
データが再生される。
【0008】図19は、MPEG規格に対応した符号化処理
を行う従来の画像符号化装置を説明するための図であ
り、図19(a)はその構成を示すブロック図である。こ
の画像符号化装置100は、図18に示すサーバ20a
を構成するものであり、I−VOPの符号化時には原画
像データDvをそのまま圧縮符号化し、P−VOPの符
号化時には原画像データDvとその予測データDpとの
差分データDvdを圧縮符号化し、符号化データDeを出
力する符号化器102と、該符号化器102にて原画像
データDv及び差分データDvdの圧縮により得られた圧
縮データDc及び圧縮差分データDcdを伸張して、I−
VOPに対応する局所復号化データDd及びP−VOP
に対応する局所復号化差分データDddを出力する復号化
器103と、上記原画像データDvとその予測データD
pとの減算処理により上記差分データDvdを作成する減
算器101とを有している。
【0009】上記画像符号化装置100は、上記局所復
号化差分データDddに予測データDpを加算してP−V
OPに対応する局所復号化データDdpを作成する加算器
104と、上記I−VOPに対応する局所復号化データ
Dd及び上記P−VOPに対応する局所復号化データD
dpを参照データとして記録するフレームメモリ105と
を備え、該フレームメモリ105から読み出された画像
データが、予測データDpとして上記減算器101及び
加算器104に供給されるものである。
【0010】次に上記従来の画像符号化装置100の動
作について簡単に説明する。画像符号化装置100で
は、図19(b)に示すように、外部から入力された原画
像データDvがVOP毎に符号化される。例えば、最初
のVOPデータV(1)はI−VOPとして符号化され、
第2番目から第5番目のVOPデータV(2)〜V(5)がP
−VOPとして符号化され、第6番目のVOPデータV
(6)はI−VOPとして、第7番目から第10番目のV
OPデータV(7)〜V(10)は、P−VOPとして符号化
される。
【0011】符号化処理が開始されると、まず、最初の
VOPデータV(1)は、I−VOPとして符号化され
る。つまり、I−VOPに対応する原画像データDvは
符号化器102にて圧縮符号化され、符号化データDe
として出力される。このとき、上記符号化器102から
は、原画像データDvの圧縮により得られた圧縮データ
Dcが復号化器103に出力される。すると、復号化器
103では、圧縮データDcに対する伸張処理が行われ
てI−VOPの局所復号化データDdが生成される。そ
して、該復号化器103から出力された局所復号化デー
タDdは、参照データとしてフレームメモリ105に格
納される。
【0012】次に、第2番目のVOPデータV(2)はP
−VOPとして符号化される。つまり、P−VOPに対
応する原画像データDvは上記符号化器102前段の減
算器101に入力され、該減算器101では、上記フレ
ームメモリ105から予測データDpとして読み出され
た画像データと、上記P−VOPに対応する原画像デー
タDvとの差分データDvdが生成される。そして、差分
データDvdは符号化器102にて圧縮符号化され、符号
化データDeとして出力される。
【0013】また、このとき、上記符号化器102から
は、差分データDvdの圧縮により得られた圧縮差分デー
タDcdが復号化器103に出力される。すると、復号化
器103では、圧縮差分データDcdに対する伸張処理が
行われて局所復号化差分データDddが生成される。加算
器104では、上記復号化器103から出力された局所
復号化差分データDddと、上記フレームメモリ105か
ら読み出された画像データである予測データDpとの加
算処理により、P−VOPに対応する局所復号化データ
Ddpが生成される。そして、加算器104から出力され
た局所復号化データDdpは参照データとしてフレームメ
モリ105に格納される。
【0014】その後、上記第3番目〜第5番目のVOP
データV(3)〜V(5)は、上記第2番目のVOPデータと
同様、P−VOPとして符号化される。さらに、上記第
6番目のVOPデータV(6)は第1番目のVOPデータ
V(1)と同様、I−VOPとして符号化され、これに続
く第7番目〜第10番目のVOPデータV(7)〜V(10)
は、上記第2番目のVOPデータV(2)と同様、P−V
OPとして符号化される。このように上記画像符号化装
置100では、原画像データDvに対する符号化処理が
I−VOPの周期を5VOPとして行われる。
【0015】図20は、従来の画像復号化装置を説明す
るためのブロック図である。この画像復号化装置200
は、図19(a)に示す画像符号化装置100から出力さ
れた符号化データDeを復号化するものであり、上記デ
ータ伝送システム20における受信端末20bのデコー
ド部を構成するものである。つまり、この画像復号化装
置200は、上記画像符号化装置100からの符号化デ
ータDeに対する伸張復号処理をVOP単位で行い、I
−VOPの復号化時には原画像データDvに相当する復
号化データDdを出力し、P−VOPの復号化時には、
原画像データDvとその予測データDpとの差分データ
Dvdに相当する復号化差分データDddを出力する復号化
器201と、上記復号化差分データDddに予測データD
pを加算してP−VOPに対応する復号化データDdecp
を生成する加算器202と、上記I−VOPに対応する
復号化データDd及び上記P−VOPに対応する復号化
データDdecpを参照データとして記録するフレームメモ
リ203とを備え、該フレームメモリ203から上記予
測データDpとして読み出された画像データが、上記加
算器202に供給されるものである。
【0016】次に、従来の画像復号化装置200の動作
について簡単に説明する。復号化処理が開始されると、
この画像復号化装置200では、上記画像符号化装置1
00からの符号化データDeがVOP毎に復号化され
る。
【0017】つまり、I−VOPに対応する符号化デー
タDeが復号化器201に入力されると、該復号化器2
01では、該符号化データDeに対する伸張復号化が行
われて、原画像データDvに相当する復号化データDd
が生成される。そして、該復号化データDdは、上記画
像復号化装置200から出力されるとともに、参照デー
タとしてフレームメモリ203に格納される。
【0018】また、P−VOPに対応する符号化データ
Deが復号化器201に入力されると、該復号化器20
1では、該符号化データDeに対する伸張復号化が行わ
れて、原画像データDvとその予測データDpとの差分
データDvdに相当する復号化差分データDddが生成され
る。該復号化差分データDddが加算器202に入力され
ると、該加算器202では、該復号化差分データDdd
と、上記フレームメモリ203から予測データDpとし
て読み出された画像データとを加算する加算処理が行わ
れて、P−VOPに対応する復号化データDdecpが生成
される。そして、該復号化データDdecpは、上記画像復
号化装置200から出力されるとともに、参照データと
してフレームメモリ203に格納される。
【0019】
【発明が解決しようとする課題】ところが、図18に示
すような従来のデータ伝送システム20では、以下のよ
うな問題があった。つまり、RTP/UDP/IPを用いたデータ
の伝送では、プロトコルの特性によって、配信サーバか
ら送出されたデータが受信端末に到着しないことがあ
る。その要因の1つには、受信したパケット中にビット
誤りが発生すると、UDPにおける誤り検出機構によ
り、着信したパケットが破棄されることがあげられる。
特に、サーバから受信端末までの伝送経路に無線伝送路
が含まれる伝送システムでは、受信端末での電波強度が
弱い場合、受信した伝送データを正しく復調できず、こ
のような場合に、上記受信データのビット誤りが発生す
ることとなる。
【0020】また、受信端末では、1フレーム(VO
P)分のデータ(ビデオストリーム)がそろわないと、
その映像フレームに対する復号化処理を行うことができ
ない。このため、伝送誤りが発生した場合の対応方法と
して、例えば、伝送誤りが発生したときには、正常にデ
ータが受信されなかったフレーム(VOP)のデータを
破棄し、その後Iフレーム(I−VOP)のデータが正
常に受信されるまで、既にデータが正常に受信された映
像フレームを表示し、そしてIフレームのデータが正常
に受信されたとき、このIフレームから復号処理を再開
するという方法が用いられる。この対応方法では、映像
の乱れはないが、Iフレームを受信するまで表示画像の
動きが止まることとなる。
【0021】さらに、伝送誤りが発生した場合のその他
の方法として、正常にデータが受信されなかったフレー
ム(VOP)のデータを、直前の正しく受信され復号化
されたフレーム(VOP)のデータで代用し、このフレ
ームのデータを、以降のフレームの復号化に使用すると
いう方法がある。この方法では、データが正常に受信さ
れなかったフレーム以外のフレームでは、表示画像の動
きが止まることがないため、スムーズな表示が行われ
る。しかしながら、復号化の対象となる対象フレームの
データは、符号化処理の際に参照したフレームとは異な
るフレームを参照して復号化されるため、表示内容が大
きく乱れる可能性がある。視聴者の嗜好にもよるが、一
般的には、伝送誤りが発生したときには、対象フレーム
に対する、破棄された参照フレームのデータを、参照フ
レーム以外の他のフレームのデータに置き換える方法を
用いるより、伝送誤りの発生後にIフレームのデータが
正常に受信されるまで、伝送誤りの発生直前のフレーム
を表示する方法を用いる方が、再生画像としては違和感
は少ないものが得られる。
【0022】ところが、従来の受信端末は、伝送誤りが
発生した場合の対応方法として、上記いずれかの方法を
実行するように予め設定されており、このため、伝送誤
りが発生した場合に表示される画像に対して、視聴者が
大きな違和感を抱くことがあるという問題があった。さ
らに、データ圧縮に伴う映像品質の劣化を抑えるには、
Iフレーム(I−VOP)の出現頻度をできる限り少な
くするべきであるが、一方で、伝送エラーの発生により
異常な状態となった復号化処理を、素早く正常な復号化
処理に復帰させるという観点からすると、Iフレーム
(I−VOP)の出現頻度をあまり少なくすることはで
きないという問題もあった。
【0023】本発明は、上記のような課題を解決するた
めになされたもので、伝送誤りが発生した場合に表示さ
れる画像を、視聴者にとって違和感のほとんどないもの
とすることができるデータ再生装置,データ再生方法、
及び該データ再生方法をソフトウエアにより行うための
プログラムを格納したデータ記録媒体を得ることを目的
とする。
【0024】
【課題を解決するための手段】この発明(請求項1)に
係るデータ再生装置は、複数の、エラー耐性の異なる各
画像データのうちのいずれかを受信して再生するデータ
再生装置であって、上記複数の画像データのエラー耐性
強度を示す補助データを受信する補助データ受信部と、
受信すべき画像データに関する条件と、上記補助データ
が示す上記各画像データのエラー耐性強度とに基づい
て、上記複数の画像データのうちの1つを指定するデー
タ指定信号を生成するデータ指定部と、該データ指定信
号を送信するデータ送信部と、該送信されたデータ指定
信号に基づいて上記複数の画像データのうちから選択さ
れ、送信された画像データを受信する画像データ受信部
とを備えたことを特徴とするものである。
【0025】この発明(請求項2)は、請求項1記載の
データ再生装置において、上記複数の、エラー耐性の異
なる各画像データは、デジタル映像信号を画面内画素値
相関を用いて符号化してなる画面内符号化データと、デ
ジタル映像信号を画面間画素値相関を用いて符号化して
なる画面間符号化データとを含み、上記各画像データに
おける上記画面内符号化データの出願間隔が異なるもの
であることを特徴とするものである。
【0026】この発明(請求項3)は、請求項1記載の
データ再生装置において、上記複数の、エラー耐性の異
なる複数の画像データは、デジタル映像信号を符号化し
てなる第1,及び第2の画像符号化データであり、上記
第1の画像符号化データは、1フレームに対応する符号
化データがフレームより小さいデータ単位毎にパケット
化されているものであり、上記第2の画像符号化データ
は、1フレームに対応する符号化データが、フレーム毎
にあるいはフレームより大きいデータ単位毎にパケット
化されているものであることを特徴とするものである。
【0027】この発明(請求項4)は、請求項1記載の
データ再生装置において、上記複数の、エラー耐性の異
なる各画像データは、同一の画像系列に対応するもので
あって、それぞれのフレームレートが異なるものである
ことを特徴とするものである。
【0028】この発明(請求項5)は、請求項1記載の
データ再生装置において、上記複数の、エラー耐性の異
なる各画像データは、同一の画像系列に対応するもので
あって、該各画像データに対する伝送プロトコルが異な
るものであることを特徴とするものである。
【0029】この発明(請求項6)は、請求項1記載の
データ再生装置において、上記画像データ受信部にて受
信された画像データを復号化する復号化部と、設定され
た動作条件に応じて、上記復号化部の動作モードを切り
替える制御部とを備えたことを特徴とするものである。
【0030】この発明(請求項7)は、請求項6記載の
データ再生装置において、上記複数の、エラー耐性の異
なる各画像データは、デジタル映像信号を画面内画素値
相関を用いて符号化してなる画面内符号化データと、デ
ジタル映像信号を画面間画素値相関を用いて符号化して
なる画面間符号化データとを含み、上記各画像データに
おける上記画面内符号化データの出現間隔が異なるもの
であり、上記制御部は、上記動作条件が、画面内符号化
データの出現間隔が既定値より短い画像データを受信す
る動作条件であるとき、上記復号化部の動作モードを、
伝送エラーが発生した時に、その後画面内符号化データ
が正常に受信されるまで、復号処理を一旦停止する第1
の復号モードとし、上記動作条件が、画面内符号化デー
タの出現間隔が既定値以上の画像データを受信する動作
条件であるとき、上記復号化部の動作モードを、伝送エ
ラーが発生した時に、その後画面内符号化データが正常
に受信されるまで、画面間符号化データを、その伝送エ
ラーにより復号不可能となった部分を除いて復号化する
第2の復号モードとするものであることを特徴とするも
のである。
【0031】この発明(請求項8)は、請求項7記載の
データ再生装置において、上記第2の復号モードは、伝
送エラーの発生によりデータが欠落したフレーム以外の
フレームの画像データを復号化するものであることを特
徴とするものである。
【0032】この発明(請求項9)は、請求項7記載の
データ再生装置において、上記画像データは、フレーム
より小さいデータ単位毎にパケット化されたものであ
り、上記第2の復号モードは、伝送エラーの発生により
データが欠落したパケット以外のパケットの画像データ
を復号化するものであることを特徴とするものである。
【0033】この発明(請求項10)に係るデータ再生
装置は、複数の、エラー耐性の異なる各画像データのう
ちのいずれかを受信して再生するデータ再生装置であっ
て、上記複数の画像データのエラー耐性強度を示す補助
データを受信する補助データ受信部と、受信した画像デ
ータのエラー発生率を検出するエラー検出部と、上記検
出した画像データのエラー発生率、及び上記補助データ
が示す各画像データのエラー耐性強度に基づいて、上記
複数の画像データのうちの1つを指定するデータ指定信
号を生成するデータ指定部と、該データ指定信号を送信
するデータ送信部と、該送信されたデータ指定信号に基
づいて上記複数の画像データのうちから選択され、送信
された画像データを受信する画像データ受信部とを備え
たことを特徴とするものである。
【0034】この発明(請求項11)に係るデータ再生
方法は、複数の、エラー耐性の異なる各画像データのう
ちのいずれかを受信して再生するデータ再生方法であっ
て、上記複数の画像データのエラー耐性強度を示す補助
データを受信する補助データ受信ステップと、受信すべ
き画像データに関する条件と、上記補助データが示す上
記各画像データのエラー耐性強度とに基づいて、上記複
数の画像データのうちの1つを指定するデータ指定信号
を生成するデータ指定ステップと、該データ指定信号を
送信するデータ送信ステップと、該送信されたデータ指
定信号に基づいて上記複数の画像データのうちから選択
され、送信された画像データを受信する画像データ受信
ステップとを含むことを特徴とするものである。
【0035】この発明(請求項12)に係るデータ再生
方法は、複数の、エラー耐性の異なる各画像データのう
ちのいずれかを受信して再生するデータ再生方法であっ
て、上記複数の画像データのエラー耐性強度を示す補助
データを受信する補助データ受信ステップと、受信した
画像データのエラー発生率を検出するエラー検出ステッ
プと、上記検出した画像データのエラー発生率と、上記
補助データが示す上記各画像データのエラー耐性強度と
に基づいて、上記複数の画像データのうちの1つを指定
するデータ指定信号を生成するデータ指定ステップと、
該データ指定信号を送信するデータ送信ステップと、該
送信されたデータ指定信号に基づいて上記複数の画像デ
ータのうちから選択され、送信された画像データを受信
する画像データ受信ステップとを含むことを特徴とする
ものである。
【0036】この発明(請求項13)に係るデータ記録
媒体は、複数の、エラー耐性の異なる各画像データのう
ちのいずれかを受信して再生するデータ再生処理をコン
ピュータにより行うためのデータ再生プログラムを格納
したデータ記録媒体であって、上記データ再生プログラ
ムは、上記複数の画像データのエラー耐性強度を示す補
助データを受信する補助データ受信ステップと、受信す
べき画像データに関する条件と、上記補助データが示す
上記各画像データのエラー耐性強度とに基づいて、上記
複数の画像データのうちの1つを指定するデータ指定信
号を生成するデータ指定ステップと、該データ指定信号
を送信するデータ送信ステップと、該送信されたデータ
指定信号に基づいて上記複数の画像データのうちから選
択され、送信された画像データを受信する画像データ受
信ステップとを含むものであることを特徴とするもので
ある。
【0037】この発明(請求項14)に係るデータ記録
媒体は、複数の、エラー耐性の異なる各画像データのう
ちのいずれかを受信して再生するデータ再生処理をコン
ピュータにより行うためのデータ再生プログラムを格納
したデータ記録媒体であって、上記データ再生プログラ
ムは、上記複数の画像データのエラー耐性強度を示す補
助データを受信する補助データ受信ステップと、受信し
た画像データのエラー発生率を検出するエラー検出ステ
ップと、上記検出した画像データのエラー発生率と、上
記補助データが示す上記各画像データのエラー耐性強度
とに基づいて、上記複数の画像データのうちの1つを指
定するデータ指定信号を生成するデータ指定ステップ
と、該データ指定信号を送信するデータ送信ステップ
と、該送信されたデータ指定信号に基づいて上記複数の
画像データのうちから選択され、送信された画像データ
を受信する画像データ受信ステップとを含むものである
ことを特徴とするものである。
【0038】この発明(請求項15)に係るデータ再生
装置は、画像データを受信して再生するデータ再生装置
であって、上記画像データを受信する画像データ受信部
と、上記画像データ受信部にて受信された画像データを
復号化する復号化部と、設定された条件に応じて、上記
復号化部の動作モードを切り替える制御部とを備えたこ
とを特徴とするものである。
【0039】この発明(請求項16)は、請求項15記
載のデータ再生装置において、上記画像データのエラー
耐性強度を示す補助データを受信する補助データ受信部
を備えたことを特徴とするものである。
【0040】この発明(請求項17)は、請求項16記
載のデータ再生装置において、上記画像データは、デジ
タル映像信号を画面内画素値相関を用いて符号化してな
る画面内符号化データと、デジタル映像信号を画面間画
素値相関を用いて符号化してなる画面間符号化データと
を含むものであり、上記補助データは、上記画像データ
における画面内符号化データの出現間隔を示すものであ
ることを特徴とするものである。
【0041】この発明(請求項18)は、請求項15記
載のデータ再生装置において、上記画像データは、デジ
タル映像信号を画面内画素値相関を用いて符号化してな
る画面内符号化データと、デジタル映像信号を画面間画
素値相関を用いて符号化してなる画面間符号化データと
を含むものであり、上記画像データ受信部は、上記画像
データにおける画面内符号化データの出現間隔を算出す
る演算部を有するものであることを特徴とするものであ
る。
【0042】この発明(請求項19)は、請求項15記
載のデータ再生装置において、上記画像データは、デジ
タル映像信号を画面内画素値相関を用いて符号化してな
る画面内符号化データと、デジタル映像信号を画面間画
素値相関を用いて符号化してなる画面間符号化データと
を含むものであり、上記制御部は、上記画面内符号化デ
ータの出現間隔が、上記設定条件が示す既定値より短い
画像データを受信する場合、上記復号化部の動作モード
を、伝送エラーが発生した時に、その後画面内符号化デ
ータが正常に受信されるまで、復号処理を一旦停止する
第1の復号モードとし、上記画面内符号化データの出現
間隔が、上記設定条件が示す既定値以上の画像データを
受信する場合、上記復号化部の動作モードを、伝送エラ
ーが発生した時に、伝送エラーにより復号不可能となっ
た部分を除いて復号化する第2の復号モードとするもの
であることを特徴とするものである。
【0043】この発明(請求項20)は、請求項19記
載のデータ再生装置において、上記第2の復号モード
は、伝送エラーの発生によりデータが欠落したフレーム
以外のフレームの画像データを復号化するものであるこ
とを特徴とするものである。
【0044】この発明(請求項21)は、請求項19記
載のデータ再生装置において、上記画像データは、フレ
ームより小さいデータ単位毎にパケット化されたもので
あり、上記第2の復号モードは、伝送エラーの発生によ
りデータが欠落したパケット以外のパケットの画像デー
タを復号化するものであることを特徴とするものであ
る。
【0045】この発明(請求項22)は、請求項15記
載のデータ再生装置において、上記画像データは、デジ
タル映像信号を画面内画素値相関を用いて符号化してな
る画面内符号化データと、デジタル映像信号を画面間画
素値相関を用いて符号化してなる画面間符号化データと
を含むものであり、上記制御部は、伝送エラーが発生し
た時の、上記復号化部の復号動作を、該伝送エラーの発
生したフレームの復号時間と、その後に復号される画面
内符号化フレームの復号時間との時間差に応じて切り替
えるものであることを特徴とするものである。
【0046】この発明(請求項23)は、請求項22記
載のデータ再生装置において、上記制御部は、伝送エラ
ーが発生したとき、上記伝送エラーの発生したフレーム
の復号時から、その後に復号される画面内符号化フレー
ムの復号時までの時間差が、上記設定された条件が示す
一定の基準値より小さい第1の場合、上記復号化部の復
号動作を、上記伝送エラーの発生したフレームの復号時
からその後に画面内符号化フレームに対する復号が行わ
れるまでの間は、画像データに対する復号処理を停止す
るよう制御し、上記伝送エラーの発生したフレームの復
号時から、その後に復号される画面内符号化フレームの
復号時までの時間差が、上記設定された条件が示す一定
の基準値以上である第2の場合、上記復号化部の復号動
作を、上記伝送エラーの発生したフレームの復号時から
その後に画面内符号化フレームに対する復号が行われる
までの間は、画面間符号化データをその伝送エラーの発
生により復号不可能となった部分を除いて復号化する復
号処理を行うよう制御するものであることを特徴とする
ものである。
【0047】この発明(請求項24)は、請求項23記
載のデータ再生装置において、上記第2の場合に行われ
る復号処理は、伝送エラーの発生によりデータが欠落し
たフレーム以外のフレームの画像データを復号化するも
のであることを特徴とするものである。
【0048】この発明(請求項25)は、請求項23記
載のデータ再生装置において、上記画像データは、フレ
ームより小さいデータ単位毎にパケット化されたもので
あり、上記第2の場合に行われる復号処理は、伝送エラ
ーの発生によりデータが欠落したパケット以外のパケッ
トの画像データを復号化するものであることを特徴とす
るものである。
【0049】この発明(請求項26)に係るデータ再生
方法は、画像データを受信して再生するデータ再生方法
であって、上記画像データを受信する画像データ受信ス
テップと、上記画像データ受信部にて受信された画像デ
ータを復号化する復号化ステップと、設定された条件に
応じて、上記復号化部の動作モードを切り替える制御ス
テップとを含むことを特徴とするものである。
【0050】この発明(請求項27)に係るデータ記録
媒体は、画像データを受信して再生するデータ再生処理
をコンピュータにより行うためのデータ再生プログラム
を格納したデータ記録媒体であって、上記データ再生プ
ログラムは、上記画像データを受信する画像データ受信
ステップと、上記画像データ受信部にて受信された画像
データを復号化する復号化ステップと、設定された条件
に応じて、上記復号化部の動作モードを切り替える制御
ステップとを含むものであることを特徴とするものであ
る。
【0051】
【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。 (実施の形態1)図1は、本発明の実施の形態1による
データ伝送システムを説明するための図であり、図1
(a)は該システムの構成を、図1(b)は、該システムでの
データ伝送処理を示している。この実施の形態1のデー
タ伝送システム10aは、所定のビデオストリーム(画
像符号化データ)を送出するサーバ100aと、該サー
バ100aから送出されたビデオストリームを受信して
映像データを再生する受信端末(クライアント端末)2
00aと、該ビデオストリームをサーバ100aから受
信端末200aへ伝送するためのネットワーク11とを
有している。
【0052】ここで、上記サーバ100aは、同一の画
像系列のデジタル映像信号を、異なる符号化条件でもっ
て符号化して得られる複数のビデオストリームを格納す
るとともに、上記各ビデオストリームの属性が記述され
たSMILデータを格納したデータ格納部120と、該
データ格納部120に格納されているデータを、ネット
ワーク11上に送出するデータ送信部110aとから構
成されている。また、上記データ格納部120にはハー
ドディクスなどの大容量記憶装置が用いられている。
【0053】また、この実施の形態1では、上記複数の
ビデオストリームは、上記同一の画像系列に対応するエ
ラー耐性の異なる複数の画像データである。具体的に
は、複数のビデオストリームはそれぞれ、デジタル映像
信号を画面内画素値相関を用いて符号化してなる符号量
の大きい画面内符号化データと、デジタル映像信号を画
面間画素値相関を用いて符号化してなる符号量の少ない
画面間符号化データとを含み、上記各画像データにおけ
る画面内符号化データの出現間隔、言い換えるとIフレ
ーム(I−VOP)の周期が異なるものである。そし
て、上記ハードディスクなどのデータ格納部120に
は、Iフレームの周期が異なる、つまりIフレームの周
期が10秒,5秒,2秒,1秒であるビデオストリーム
がビデオファイルDv1〜Dv4として格納され、上記
SMILデータDaとしてSMILファイルFSD1が格
納されている。
【0054】図2(a)は、このSMILファイルFSD1
の記述内容を示している。SMILファイルFSD1の各
行の先頭に記述される<smil>、</smil>、<body>、</bod
y>、<switch>、</switch>、<video>等の文字列は、要素
(エレメント)と呼ばれ、その要素に続く、記述の内容
を宣言するものである。例えば、smil要素710a及び
/smil要素710bは、smil要素を含む行と/smil要素を
含む行との間に位置する行が、SMIL規格に従って記
述されたものであることを宣言するものである。body要
素720a及び/body要素720bは、body 要素を含む
行と/body要素を含む行との間に位置する行では、再生
されるビデオデータの属性,例えば所在場所を示す情報
(URL),符号化パラメータ(Iフレームの周期)に
関する情報などが記述されていることを宣言するもので
ある。
【0055】switch要素730a及び/ switch 要素7
30bは、switch 要素を含む行と/switch要素を含む行
との間に位置する複数のvideo要素はそのうちの1つが
選択されるべきものであることを宣言するものである。
video要素は、このvideo要素を含む行701〜704の
記述により、動画像データが指定されることを宣言する
ものである。例えば、SMILファイルFSD1における
各video要素の項目には、Iフレームの出現間隔(Iフ
レームの周期)が、i-frame-interval属性として記載さ
れており、この属性に基づいて、ユーザ設定の内容に最
も適合するvideo要素が選択される。i-frame-interval
属性の具体値としては“1s”,“2s”,“5s”,“10
s”があり、ビデオデータファイルは、具体的なi-frame
-interval属性値が小さいものほど、エラー耐性強度の
高いものとなっている。なお、ここではIフレームの出
現間隔が異なるビデオデータファイルを4つ示している
が、これは、2つでも3つでも、あるいは5つ以上でも
あってもよいことは言うまでもない。
【0056】また、各video要素の項目に含まれる属性
値は、i-frame-interval属性に限らず、エラー耐性強度
を直接示すsystem-error-resilient-level属性であって
もよい。例えば、図5(a)は、SMILファイルの他の
例として、エラー耐性強度が異なる4つのビデオデータ
ファイルを示すSMILファイルFSD2を示している。
【0057】このSMILファイルFSD2は、switch
要素731aを含む行と/switch要素731bを含む行
との間に記述された、エラー耐性強度が異なる4つのvi
deo要素711〜714に関する項目を含んでいる。ま
た、各video要素の項目には、エラー耐性強度が、syste
m-error-resilient-level属性として記載されており、
この属性に基づいて、ユーザ設定の内容に最も適合する
video要素が選択される。
【0058】ここでは、上記各video要素711,71
2,713,714におけるsystem-error-resilient-l
evel属性の具体値はそれぞれ、“1”,“2”,“3”,
“4”である。
【0059】図3は上記システムを構成するサーバ10
0a及びクライアント端末200aの詳細な構成を示す
図である。上記サーバ100aを構成するデータ送信部
110aは、クライアント端末200aからHTTPに
より送信されたSMILデータの要求メッセージMdrを
受け、該要求に従ってデータ格納部120からSMIL
ファイルDaを読み出し、読み出したSMILファイル
DaをHTTPによりSMILデータDsmとして送信す
るHTTP送受信部101と、クライアント端末200
aからRTSPにより送信されたデータ要求メッセージ
Mrtspを受け、要求されたビデオファイル名を示すデー
タ指定信号Scを出力するRTSPメッセージ送受信部
102と、該データ指定信号Scを受け、該データ指定
信号Scが示すビデオデータファイル名に相当するビデ
オストリームDeをデータ格納部120から読み出し、
読み出したビデオストリームをRTPによりRTPデー
タDrtpとして伝送するRTPデータ送信部103とを
有している。
【0060】また、上記クライアント端末200aは、
ユーザの操作により種々のユーザ操作信号Sop1,Sop
2,Serrを出力するユーザ操作部213と、該ユーザ操
作信号Sop1に基づいて上記SMILデータの要求メッ
セージMdrをHTTPにより送信するとともに、上記サ
ーバ100aからHTTPにより送信されたSMILデ
ータDsmを受信するHTTP送受信部211と、該SM
ILデータDsmを解析するとともに、その解析結果、及
び上記ユーザ操作により設定されたエラー耐性強度の具
体的なレベル(数値)を示すレベル信号Serrに基づい
て、所定のデータを指定するデータ指定信号Scを出力
するSMILデータ解析部212とを有している。
【0061】ここで、SMILデータ解析部212は、
上記レベル信号Serrに基づいて、サーバ側に用意され
ている、Iフレームの周期が異なる複数のビデオデータ
のうちの所要のものを決定し、該決定されたビデオデー
タを指定する指定信号Scを出力するものである。
【0062】上記クライアント端末200aは、上記デ
ータ指定信号ScをRTSPメッセージ信号Mrtspとし
て送信するとともに、該信号Mrtspの応答信号Sackを
受信するRTSPメッセージ送受信部214と、上記サ
ーバ100aから送信されたRTPデータDrtpを受信
してビデオストリームDeを出力するRTPデータ受信
部216と、該ビデオストリームDeを復号化して画像
データDdecを出力するデコード部210と、該画像デ
ータDdecに基づいて画像表示を行うとともに、上記ユ
ーザ操作信号Sop2に応じた表示を行う表示部218と
を有している。
【0063】以下、上記ユーザ操作部213における、
上記エラー耐性の設定を行うための構成について具体的
に説明する。図4(a)は、受信端末200aにおける、
取得すべき画像データのエラー耐性強度を設定するため
の画面(エラー耐性設定画面)を示している。なお、こ
こでは、上記受信端末200aは、携帯電話などの携帯
端末201aとする。例えば、携帯端末201aのボタ
ン操作部21の操作により、端末の初期メニューにおけ
る複数の項目のうちの、各種の初期設定を行うための項
目〔設定〕を選択し、さらに、より具体的な項目〔スト
リーミング受信設定〕,項目〔エラー耐性強度設定〕の
選択を順次行うと、図4(a)に示すエラー耐性設定画面
22bが、携帯電話の表示パネル22の中央に表示され
る。
【0064】なお、図4(a)中、22aは、電波強度を
示す画面、22cは、操作の案内をする画面であり、画
面22cには、ボタン操作部21の上下カーソルキー2
1a,21cの操作により、エラー耐性設定画面22b
に示されたエラー耐性強度のレベルを選択し、かつ、確
定ボタン21eの操作により、選択されたレベルを確定
すべきことが示されている。このエラー耐性設定画面2
2bは、取得すべき画像データのエラー耐性強度のレベ
ルとして、予め設定されたエラー耐性強度〔高レベ
ル〕、あるいは予め設定されたエラー耐性強度〔低レベ
ル〕のいずれかを設定する画面である。また、携帯端末
201aでは、エラー耐性強度〔高レベル〕,〔低レベ
ル〕にはそれぞれ、エラー耐性強度値として、0〜10
0の整数値のうちの80,20が対応付けられている。
そして、ユーザ操作、つまりボタン操作部21の上下カ
ーソルキー21a,21cの操作により、エラー耐性強
度〔高レベル〕及びエラー耐性強度〔低レベル〕のいず
れかが選択され、確定ボタン21eの操作により、選択
されたレベルが確定されると、確定されたレベルに対応
するエラー耐性強度値が、端末のエラー耐性強度値とし
て保持される。
【0065】次に動作について説明する。このデータ伝
送システム10aでは、図1(b)に示すように、受信端
末200aからサーバ100aへ、SMILデータを要
求するSMIL要求信号Sd1(図3に示すSMIL要求
メッセージMrd)がHTTPにより送信され、その応答
として、サーバ100aからSMILデータDsmがHT
TP信号Dsdにより受信端末200aに送信される。そ
の後、受信端末200aでは、SMILデータDsmの解
析結果及びユーザ設定の内容に基づいて、必要とするビ
デオストリームを指定するメッセージMrtspをRTSP
信号Sd2としてサーバ100aへ送信する処理が行われ
る。そして、その応答信号Sackがサーバ100aから
RTSPにより受信端末200aに送信された後、サー
バ100aから、所定のビデオストリームDstrがRT
PデータDrtpとして受信端末200aに送信される。
【0066】以下、上記サーバ100aと受信端末20
0aとの間でのデータ伝送処理について詳述する。ま
ず、受信端末(クライアント端末)200aでは、所望
の画像データに対応するSMILデータの要求を行う前
に、ユーザ操作部213に対するユーザの操作により種
々の設定が行われる。例えば、上記受信端末200aが
図4(a)に示す携帯端末201aである場合、ユーザ
は、携帯端末201aのボタン操作部21の操作によ
り、端末の初期メニューにおける複数の項目のうちの、
各種の初期設定を行うための項目〔設定〕を選択し、さ
らに、より具体的な項目〔ストリーミング受信設定〕,
項目〔エラー耐性強度設定〕の選択を順次行う。する
と、操作信号Sop2に応じて、表示部218,つまり携
帯端末の表示パネル22には、図4(a)に示すエラー耐
性設定画面22bが表示される。
【0067】このエラー耐性設定画面22bには、取得
すべき画像データのエラー耐性強度のレベル選択の候補
として、エラー耐性強度〔高レベル〕及びエラー耐性強
度〔低レベル〕が表示されている。例えば、ユーザによ
る、ボタン操作部21の上下カーソルキー21a,21
cの操作により、エラー耐性強度〔低レベル〕が選択さ
れ、確定ボタン21eの操作により、選択されたエラー
耐性強度〔低レベル〕が確定されると、該エラー耐性強
度〔低レベル〕に対応する整数値“20”が、携帯端末
のエラー耐性強度値として保持される。
【0068】そして、ユーザが、受信端末200aの表
示部218に画像データ選択画面(図示せず)を表示さ
せ、この画像データ選択画面にて、取得したい画像デー
タを指定する操作を行うと、この操作に応じた操作信号
Sop1がHTTP送受信部211に入力され、HTTP
送受信部211からは、指定した画像データに関連する
SMILデータを要求する信号Sd1(図3に示すSMI
L要求メッセージMdr)(図1(b)参照)がサーバ10
0aに送信される。すると、サーバ100aでは、その
HTTP送受信部101により、クライアント端末20
0aからのSMILデータの要求信号Sd1が受信され、
該HTTP送受信部101では、上記SMILデータ要
求信号Sd1に応じて、データ格納部120からSMIL
ファイルDaを読出し、これをSMILデータDsmとし
てHTTPにより送信する処理が行われる。このSMI
LデータDsmはネットワーク11を介して受信端末(ク
ライアント端末)200aへ伝送され、そのHTTP送
受信部211にて受信される。
【0069】すると、受信端末200aでは、上記受信
されたSMILデータDsmはSMILデータ解析部21
2にて解析され、4つのビデオデータファイルのうち、
ユーザ設定の内容に最も適合するものが選択され、選択
されたビデオデータファイルを示す指定信号ScがRT
SPメッセージ送受信部214に出力される。該RTS
Pメッセージ送受信部214では、指定信号ScをRT
SPによりRTSPメッセージ信号Mrtspとしてサーバ
100aへ送信する処理が行われる。
【0070】以下、上記SMILデータ解析部212に
て、SMILファイルに記述されている4つのビデオデ
ータファイルから、ユーザにより設定されたエラー耐性
レベルに対応するビデオデータファイルを選択する処理
について、具体的に説明する。まず、SMILデータ解
析部212では、SMILファイルにおける各video要
素701〜704を数値化する処理が行われる。具体的
には、N(N:自然数)個のvideo要素がSMILファ
イルに記述されている場合、各video要素に対して、以
下の計算式(1)に基づいて、数値化レベルY(Y:0
以上の整数)を付与する。 Y=100・(n−1)/(N−1) ・・・(1) ここで、数値化レベルYは、N個のvideo要素のうち
で、対応するビデオデータファイルのエラー耐性強度が
低い方から第n番目であるvideo要素に付与される値で
ある。なお、上記計算式(1)により算出された計算値
が、整数値でない場合には、数値化レベルYは、該計算
値以上で、これに最も近い整数値とされる。ここでは、
N=4であるので、4つのvideo要素701〜704に
は、対応するエラー耐性強度の高い方から順に、整数値
“100”,“67”,“33”,“0”が付与され
る、つまり、video要素704には整数値Yv4(=10
0)が、video要素703には整数値Yv3(=67)
が、video要素702には整数値Yv2(=33)が、vid
eo要素701には整数値Yv1(=0)が付与される。
【0071】なお、N=2である場合は、対応するエラ
ー耐性強度の高い方のvideo要素には整数値“100”
が、対応するエラー耐性強度の低い方のvideo要素には
整数値“0”が付与される。N=3である場合は、3つ
のvideo要素には、対応するエラー耐性強度の高い方か
ら順に、整数値“100”,“50”,“0”が付与さ
れ、N=5である場合は、5つのvideo要素には、対応
するエラー耐性強度の高い方から順に、整数値“10
0”,“75”,“50”,“25”,“0”が付与さ
れる。
【0072】そして、携帯端末にてユーザにより設定さ
れている、取得すべき画像データのエラー耐性強度の値
(ユーザ設定値)Xus1(=20)と、上記各video要
素701〜704に対して付与された整数値とを比較す
る処理が行われ、エラー耐性強度のユーザ設定値Xus1
(=20)に最も近い整数値Yv2(=33)が付与され
ているvideo要素702が、選択される(図2(b)参
照)。
【0073】上記のようにして、受信端末200aに
て、SMILファイルに示されているエラー耐性の異な
るビデオデータファイルから、受信端末でのユーザ設定
に応じたものが指定され、指定されたビデオデータファ
イルを示す指定信号ScがRTSPメッセージ信号Mrt
spとしてサーバ100aへ送信されると、サーバ100
aでは、受信端末200aからのRTSPメッセージ信
号MrtspはRTSPメッセージ送受信部102にて受信
され、上記指定信号ScがRTPデータ送信部103に
出力される。すると、該送信部103では、データ格納
部120に格納されている複数のビデオファイルの中か
ら、該指定信号Scに基づいて所定のビデオファイルを
選択してRTPデータDrtpとして送信する処理が行わ
れる。
【0074】そして、上記RTPデータDrtpがネット
ワーク11を介して受信端末200aに伝送されると、
該受信端末200aでは、RTPデータDrtpがRTP
データ受信部216にて受信され、ビデオストリームD
eがデコード部210に出力される。デコード部210
ではビデオストリームDeの復号化処理により画像デー
タDdecが生成されて表示部218に出力される。表示
部218では、画像データDdecに基づいて画像表示が
行われる。
【0075】このように本実施の形態1のデータ伝送シ
ステム10aでは、サーバ100aを、同一の画像系列
に対応する画像データの符号化データとして、Iフレー
ムの周期が異なる複数のビデオストリームを格納したデ
ータ格納部120と、受信端末からの指定信号Scに応
じて、該複数のビデオストリームのうちの所定のビデオ
ストリームを送信するデータ送信部110とを有するも
のとし、受信端末200aを、ユーザの設定内容に基づ
いて、サーバ100a側に用意されている複数のビデオ
ストリームのうちの、所要のエラー耐性を有するものを
指定する指定信号Scをサーバ100aへ送信するもの
としたので、ユーザの好みに応じて、送信側から提供さ
れるビデオストリームを、伝送エラーに対する耐性の高
いものとするか、あるいは映像品質のよいものとするか
を選択することができる。
【0076】なお、上記実施の形態1では、SMILデ
ータにおける各ビデオファイルに関する記述を示す記述
要素として<video>を用いているが、これは<ref>であっ
てもよい。また、上記実施の形態1では、データ要求を
行うプロトコルとしてRTSPを用い、ビデオデータを
伝送するプロトコルとしてRTPを用いているが、これ
らは他のプロトコルであってもよい。また、上記実施の
形態1では、サーバに用意されている符号化条件の異な
る複数のビデオストリームに関する情報をSMILデー
タに含めて伝送する場合を示したが、上記複数のビデオ
ストリームに関する情報は、SDP(session descript
ion protocol)データやMPEG−4Systemデータ(M
PEG−4におけるシーン記述データ)などに含めて伝
送するようにしてもよい。
【0077】さらに、上記実施の形態1では、ビデオス
トリームのエラー耐性強度をIフレーム周期により示す
場合について説明したが、ビデオストリームのエラー耐
性強度は、Iフレーム周期以外の、MPEG-4映像符号化規
格で規定されるさまざまなエラー耐性モードを記述する
ための情報により示すようにしてもよい。例えば、ビデ
オストリームのエラー耐性モードを記述するための情報
は、ビデオストリームにおけるビデオパケットのサイズ
を表す情報、あるいはHEC(Head Extension Code)の
使用有無(つまりVOPヘッダ情報がビデオパケットの
ヘッダに含まれているか否か)を示す情報であってもよ
く、さらに、データパーティショニング(つまり重要な
情報をパケットの先頭に配置すること)の使用の有無や
RVLC(Reversible Variable Length Code)、つま
りパケットの先頭だけでなく後端からも可変長符号の解
読が可能なデータ構造の使用の有無を示す情報であって
もよい。
【0078】また、上記実施の形態1では、各video要
素の項目に含まれる属性として、i-frame-interval属性
や、エラー耐性強度を直接示すsystem-error-resilient
-level(error-protection-1eve1ともいう。)属性を示
したが、これらの属性値は、予め、エラー耐性強度のレ
ベルに比例した0〜100の整数値に変換したものであ
ってもよく、この場合は、上記実施の形態1のように、
受信端末にて、エラー耐性強度に関する属性値を、0〜
100の整数値に対応付ける数値化を行う必要はない。
【0079】また、上記実施の形態1では、受信すべき
画像データのエラー耐性強度のレベルを設定する方法と
して、エラー耐性強度〔高レベル〕及びエラー耐性強度
〔低レベル〕のいずれかを選択する方法(図4(a))に
ついて示したが、受信端末における、受信すべき画像デ
ータのエラー耐性強度のレベルを設定する方法は、一定
範囲内のエラー耐性強度のレベルをスライドバーなどを
用いて指定する方法であってもよい。
【0080】図4(b)は、スライドバーを用いてエラー
耐性強度のレベルを設定する携帯端末201bを説明す
るための図であり、該携帯端末201bにおけるエラー
耐性設定画面22dを示している。なお、図4(b)中、
図4(a)と同一符号は、実施の形態1の携帯端末201
aにおけるものと同一のものを示している。例えば、携
帯端末201bのボタン操作部21の操作により、上記
実施の形態1における携帯端末201aでの操作と同様
に、端末の初期メニューにおける複数の項目のうちの、
各種の初期設定を行うための項目〔設定〕を選択し、さ
らに、より具体的な項目〔ストリーミング受信設定〕,
項目〔エラー耐性強度設定〕の選択を順次行うと、図4
(b)に示すエラー耐性設定画面22dが、携帯端末の表
示パネル22の中央に表示され、エラー耐性設定画面2
2dの下側には、操作の案内をする画面22eが表示さ
れる。
【0081】ここで、上記エラー耐性設定画面22d
は、取得すべき画像データのエラー耐性強度のレベル
を、スライドバー22d1により設定する画面である。
また、このエラー耐性設定画面22dでは、上記スライ
ドバー22d1を左右方向に移動可能な範囲が示されて
おり、この移動範囲22d2における左端位置Lp,右
端位置Rpがそれぞれ、エラー耐性強度〔最低レベル〕
を指定する位置,エラー耐性強度〔最高レベル〕を指定
する位置であり、上記左端位置Lp及び右端位置Rpの
中間点Mpは、エラー耐性強度〔中レベル〕を指定する
位置である。
【0082】そして、この携帯端末201bのユーザ操
作部213では、スライドバーの位置に応じて、エラー
耐性強度レベルとして、0〜100の整数値が、下記の
計算式(2)に基づいて、算出される。 X=Ls・(1/Rs)・100 ・・・(2) ここで、Xはエラー耐性強度レベル、Rsは上記スライ
ド範囲22d2における左端位置Lp及び右端位置Rp
の間の距離(スライド長)、Lsは上記スライドバー2
2d1の、上記左端位置Lpからの距離(スライド距
離)である。例えば、上記スライド長Rsが50mm、ス
ライドバー22d1のスライド距離Lsが15mmである
場合、上記計算式(2)より、上記エラー耐性強度レベ
ルXは、Xus1(=(15/50)・100=30)と
なる。なお、計算式(2)より算出されたエラー耐性強
度レベルの計算値が、整数値でない場合には、エラー耐
性強度レベルは、該計算値以上でこれに最も近い整数値
とされる。
【0083】また、上記画面22eには、ボタン操作部
21の左右カーソルキー21b,21dの操作により、
エラー耐性設定画面22eに示されたスライドバー22
d1を移動させてエラー耐性強度のレベルを指定し、か
つ、ボタン操作部21の確定ボタン21eの操作によ
り、指定されたエラー耐性強度のレベルを確定すべきこ
とが示されている。そして、ユーザ操作、つまりボタン
操作部21の左,右カーソルキー21b,21dによ
り、スライドバー22d1のスライド距離Lsが指定さ
れ、確定ボタン21eの操作により、指定されたスライ
ド距離が確定されると、上記計算式(2)に基づいてエ
ラー耐性強度が計算され、その計算値が、携帯端末のエ
ラー耐性強度値として保持される。
【0084】また、この場合も、携帯端末にてユーザに
より設定されている、取得すべき画像データのエラー耐
性強度の値(ユーザ設定値)Xus1(=30)に基づい
て、上記各video要素711〜714のうちの1つを決
定する処理では、上記実施の形態1で示したように、エ
ラー耐性強度のユーザ設定値Xus1に最も近い整数値Y
v2(=33)が付与されているvideo要素712が選択
される(図2(b)参照)。
【0085】なお、ユーザ設定値に基づいて、上記各vi
deo要素711〜714のうちの1つを決定する処理
は、上記実施の形態1のように、ユーザ設定値Xus1に
最も近い整数値が付与されているvideo要素が選択され
る処理に限らず、図5(b)に示すように、例えば、ユー
ザ設定値Xus2(=40)以上で、かつ該設定値に最も
近い整数値Yv3(=67)が付与されているvideo要素7
13を選択するようにしてもよい。
【0086】また、上記実施の形態1では、ユーザが、
受信端末にて、受信すべき画像データに対するエラー耐
性強度を設定する場合について説明したが、受信端末
は、受信すべき画像データに対するエラー耐性強度を、
受信電波の状態に応じて自動的に設定するものであって
もよい。
【0087】さらに、上記実施の形態1では、同一の画
像系列に対応するエラー耐性の異なる複数の画像データ
として、Iフレームに対応する符号化データの出現間隔
の異なるものを示したが、これらのエラー耐性の異なる
複数の画像データは、それぞれフレームレートが異なる
もの、該各画像データに対する伝送プロトコルが異なる
もの、あるいは、パケット化する際のデータ単位の大き
さの異なるものであってもよい。
【0088】例えば、フレームレートが高い画像データ
は、フレームレートが低い画像データに比べてエラー耐
性強度が高いものであり、再送や重複伝送を含む伝送プ
ロトコルにより伝送される画像データは、再送や重複伝
送を含まない伝送プロトコルにより伝送される画像デー
タに比べて、エラー耐性強度が高いものである。また、
パケット化の際のデータ単位が小さい画像データは、パ
ケット化の際のデータ単位が大きい画像データに比べ
て、エラー耐性強度が高いものである。
【0089】以下、パケット化する際のデータ単位の大
きさの異なる複数の画像データについて具体的に説明す
る。図6は、同一の画像系列に対応するエラー耐性の異
なる2つの画像データとして、デジタル映像信号Sdvを
符号化してなる、パケット化する際のデータ単位の大き
さの異なる第1及び第2の画像符号化データを示してい
る。
【0090】すなわち、図6(a)に示す第1の画像符号
化データD1は、各フレームF1〜F3に対応するデジ
タル映像信号を、符号化器Encにて、1フレームの符号
化データが1つのビデオパケットVPa1に格納されるよ
う符号化して得られた、エラー耐性強度の低いものであ
る。このようなエラー耐性の低い第1の画像符号化デー
タD1では、フレームF2に対応する符号化データの伝
送中にて伝送エラーが発生した場合、エラー部Perrを
含むパケットVPa1の符号化データ、つまりフレームF
2の符号化データがすべて復号化できなくなる。
【0091】また、図6(b)に示す第2の画像符号化デ
ータD2は、各フレームF1〜F3に対応するデジタル
映像信号を、符号化器Encにて、1フレームに対応する
符号化データが、3つのビデオパケットVPb1〜VPb3
に分散して格納されるよう符号化して得られた、エラー
耐性強度の高いものである。このようなエラー耐性の高
い第2の画像符号化データD2では、フレームF2に対
応する符号化データの伝送中に伝送エラーが発生して
も、エラー部Perrが含まれるパケットVPb3に対応す
る符号化データの復号化ができなくなるだけで、他のパ
ケットVPb1及びVPb2に対応する符号化データの復号
化は可能である。なお、画像符号化データは、上記のよ
うに、フレーム毎に、あるいはフレームより小さいデー
タ単位毎にパケットされているものに限らず、フレーム
より大きいデータ単位毎にパケット化されているもので
あってもよい。
【0092】(実施の形態2)図7は本発明の実施の形
態2によるデータ伝送システムを説明するための図であ
り、該システムのサーバ及びクライアント端末の構成を
示している。この実施の形態2のデータ伝送システム1
0bは、実施の形態1のシステム10aにおけるクライ
アント端末200aに代えて、ユーザにより設定され
た、受信すべき画像データのエラー耐性強度と、サーバ
100aからのRTPデータDrtpの伝送エラーの発生
率とに基づいて、最適なエラー耐性強度を有するビデオ
ストリームを決定し、決定したビデオストリームを指定
する指定信号Scをサーバ100aに送信するクライア
ント端末200bを備えたものである。
【0093】つまり、この実施の形態2の受信端末20
0bは、最初に受信する画像データを、ユーザにより設
定されたエラー耐性強度に基づいて、SMILファイル
に示される複数のビデオデータファイルから選択したも
のとし、受信開始後は、受信される画像データのエラー
発生率に応じて、受信中の所定のエラー耐性強度を有す
る画像データを、SMILファイルに示される複数のビ
デオデータファイルから選択したものに切替えるもので
ある。
【0094】以下、この実施の形態2のクライアント端
末200bについて詳述する。このクライアント端末2
00bは、クライアント端末200aにおけるRTPデ
ータ受信部216,及びSMILデータ解析部212と
は、それぞれ異なった動作を行うRTPデータ受信部2
16b,及びSMILデータ解析部212bを有してい
る。なお、このクライアント端末200bにおけるHT
TP送受信部211,RTSPメッセージ送受信部21
4,デコード部210,ユーザ操作部213,及び表示
部218は、実施の形態1のクライアント端末200a
におけるものと同一のものである。
【0095】上記RTPデータ受信部216bは、RT
PデータDrtpを受信するとともに、RTPデータDrtp
におけるRTPパケットのタイムスタンプ情報Itsを出
力し、さらに該RTPデータの伝送エラーの発生率を検
出して、このエラー発生率を示すエラー信号Rerrを出
力するものである。また、上記SMILデータ解析部2
12bは、エラー信号Rerrが示すエラー発生率と、一
定の閾値との比較結果に応じて、RTPデータとしてサ
ーバから供給されるビデオストリームを、符号化条件
(つまりエラー耐性強度)が異なる他のビデオストリー
ムに切り換えるための指定信号ScをRTSPメッセー
ジ送受信部214に出力するものである。なお、上記一
定の閾値は、この受信端末200bに対して予め設定さ
れている端末固有の基準値である。
【0096】ここで、上記RTPデータ受信部216b
では、RTPパケット(RTPデータ)のヘッダ部に含
まれるシーケンス番号情報に基づいて上記パケットロス
率がエラー発生率として計算される。また、SMILデ
ータ解析部212bでは、パケットロス率が大きくなっ
てきた時、Iフレーム周期の短いビデオストリームを選
択し、一方、パケットロス率が低い時は、Iフレーム周
期の長いビットストリームを選択するための指定信号S
cが出力される。
【0097】以下、上記エラー発生率の計算を具体的に
説明する。上記RTPパケットには、そのヘッダ部に含
まれるシーケンス番号情報が示す、パケット伝送順の連
続したシーケンス番号が付与されている。RTP受信部
216bは、一定の単位時間毎に受信すべきRTPパケ
ットの総数Naを、その単位時間の最初に受信したRT
Pパケットのシーケンス番号と、該単位時間の最後に受
信したRTPパケットのシーケンス番号から算出すると
ともに、実際にこの単位時間内に受信されたRTPパケ
ットの総数Nrをカウントし、その時点でのエラー発生
率Erateを、下記の計算式(3)により求める。 Erate = Nr/Na ・・・(3) 次に動作について説明する。この実施の形態2のデータ
伝送システム10bの動作は、受信端末200bのSM
ILデータ解析部212b及びRTPデータ受信部21
6bの動作のみ、実施の形態1のデータ伝送システム1
0aの動作と異なっている。つまり、受信端末200b
では、実施の形態1の受信端末200aと同様、所望の
画像データに対応するSMILデータの要求を行う前
に、ユーザ操作部213に対するユーザの操作により種
々の設定が行われる。つまり、ユーザは、図4(a)に示
すエラー耐性設定画面22bにて、受信すべき画像デー
タのエラー耐性強度のレベルを設定する。そして、ユー
ザが、画像データ選択画面(図示せず)にて、取得した
い画像データを指定する操作を行うと、この操作に応じ
た操作信号Sop1がHTTP送受信部211に入力さ
れ、HTTP送受信部211からは、指定した画像デー
タに関連するSMILデータを要求する信号Sd1(SM
IL要求メッセージMdr)(図1(b)参照)がサーバ1
00aに送信される。
【0098】すると、サーバ100aでは、そのHTT
P送受信部101により、受信端末200bからのSM
ILデータの要求信号Sd1が受信され、該HTTP送受
信部101では、上記SMILデータ要求信号Sd1に応
じたSMILファイルDaを、データ格納部120から
読出し、これをSMILデータDsmとしてHTTPによ
り送信する処理が行われる。このSMILデータDsmは
ネットワーク11を介して受信端末200bへ伝送さ
れ、そのHTTP送受信部211にて受信される。
【0099】受信端末200bでは、上記受信されたS
MILデータDsmはSMILデータ解析部212bにて
解析され、4つのビデオデータファイルのうち、ユーザ
設定の内容に最も適合するものが選択され、選択された
ビデオデータファイルを示す指定信号ScがRTSPメ
ッセージ送受信部214に出力される。該RTSPメッ
セージ送受信部214では、指定信号ScがRTSPに
よりRTSPメッセージ信号Mrtspとしてサーバ100
aへ送信する処理が行われる。
【0100】すると、サーバ100aでは、受信端末2
00bからのRTSPメッセージ信号MrtspはRTSP
メッセージ送受信部102にて受信され、上記指定信号
ScがRTPデータ送信部103に出力される。する
と、該送信部103では、データ格納部120に格納さ
れている複数のビデオファイルの中から、該指定信号S
cに基づいて所定のビデオファイルを選択してRTPデ
ータDrtpとして送信する処理が行われる。
【0101】そして、上記RTPデータDrtpがネット
ワーク11を介して受信端末200bに伝送されると、
該受信端末200bでは、RTPデータDrtpがRTP
データ受信部216bにて受信され、ビデオストリーム
Deがデコード部210に出力される。デコード部21
0ではビデオストリームDeの復号化処理により画像デ
ータDdecが生成されて表示部218に出力される。表
示部218では、画像データDdecに基づいて画像表示
が行われる。
【0102】このようにサーバ100aから受信端末2
00bへRTPデータDrtpが伝送されている状態で、
上記RTPデータ受信部216bにて、RTPデータD
rtpの伝送エラーの発生率が検出され、このエラー発生
率を示すエラー信号Rerrが上記SMILデータ解析部
212bに出力される。
【0103】すると、SMILデータ解析部212bで
は、エラー信号Rerrが示すエラー発生率と、この受信
端末200b固有の基準値である一定の閾値との比較結
果に基づいて、RTPデータとしてサーバ100aから
供給されるビデオストリームを、符号化条件(つまりエ
ラー耐性強度)が異なる他のビデオデータに切り換える
ための指定信号ScがRTSPメッセージ送受信部21
4に出力される。すると、RTSPメッセージ送受信部
214では、該指定信号ScをRTSPによりRTSP
メッセージ信号Mrtspとしてサーバ100aへ送信する
処理が行われる。
【0104】サーバ100aでは、受信端末200bか
らのRTSPメッセージ信号MrtspがRTSPメッセー
ジ送受信部102にて受信され、上記指定信号ScがR
TPデータ送信部103に出力される。すると、該送信
部103では、データ格納部120に格納されている複
数のビデオファイルの中から、該指定信号Scにより示
されるビデオファイルを選択してRTPデータDrtpと
して送信する処理が行われる。
【0105】以下、上記画像データの伝送中における、
エラー発生率を計算する処理、並びに、算出されたエラ
ー発生率に応じて、ストリームを切替える処理につい
て、具体的に説明する。上記SMILデータ解析部21
2bは、SMILファイルに記述されている各video要
素に関する情報、及び該各video要素に対応する画像デ
ータ(ビデオストリーム)の受信状態を示す情報を記録
するワークメモリ(図示せず)を有している。
【0106】図8(a)は、このワークメモリに記録され
ている情報を示している。ここで、上記ワークメモリに
は、図5(a)に示すSMILファイルFSD2における、v
ideo要素711〜714に関する情報が記録されてお
り、このメモリに記録されている項目の数(エントリ
数)は、SMILファイルFSD2における、<switch>要
素731a及び</switch>要素731bの間に記述され
たエレメント数(つまりvideo要素の数)に一致してい
る。
【0107】各項目(エントリ)には、図8(a)に示す
ように、対応するビデオストリームのネットワーク上で
の所在場所を示すURL(サーバアドレス)と、対応す
るビデオストリームが有するエラー耐性強度と、対応す
るビデオストリームが、受信されて再生されている受信
(再生)状態であるか、受信も再生もされていない非受
信(非再生)状態であるかを示す実行フラグと、対応す
るビデオストリームに関する、最新のタイムスタンプと
が含まれている。エントリ番号〔2〕の項目E2では、
実行フラグの値が“1”となっており、これは、この項
目E2に対応するビデオストリームが、現在、受信(再
生)が行われていることを示している。また、エントリ
番号〔1〕,〔3〕,〔4〕の項目E1,E3,E4で
は、実行フラグの値が“0”となっており、これは、こ
れらの項目E1,E3,E4に対応するビデオストリー
ムが、現在、受信(再生)が行われていないことを示し
ている。
【0108】また、各項目E1〜E4におけるエラー耐
性強度の値は、“0”,“33”,“67”,“10
0”となっており、これらの値は、実施の形態1で説明
したように、計算式(1)を用いて、SMILファイル
FSD2における、system-error-resilient-level属性の
値に基づいて算出されたものである。
【0109】また、各項目E1〜E4における最新タイ
ムスタンプは、受信した最新のRTPパケットのヘッダに
付与されているタイムスタンプにより随時更新されるも
のであり、特定の項目に対応するビデオストリームを、
他の項目に対応するビデオストリームに切り替える際、
データ要求タイミングの決定に用いるものである。図8
(a)では、項目E1,E3,E4における最新タイムス
タンプの値は“0”であり、この値“0”は、これらの
項目に対応するビデオストリームはまだ受信されていな
いことを示している。また、項目E2における最新タイ
ムスタンプの値は“3060000”である。MPEG-4で
は、タイムスタンプは90kHzのクロックを用いて設
定されているため、この値“3060000”は、34秒に相
当する。
【0110】また、図8(b)は、受信端末200bにお
けるエラー発生率とエラー耐性強度との関連付けを示し
ている。この関連付けに関する情報は、SMILデータ
解析部212bの情報記憶部(図示せず)に、受信端末
固有のテーブル情報Rteとして記録されているものであ
る。ここでは、エラー発生率(閾値)Eth(Eth=0)
パーセント,Eth(0<Eth≦3)パーセント,Eth
(3<Eth≦6)パーセント,Eth(6<Eth)パーセ
ントはそれぞれ、エラー耐性強度が最低レベルであるビ
デオストリーム、エラー耐性強度の数値化レベルが“3
0”であるビデオストリーム、エラー耐性強度の数値化
レベルが“60”であるビデオストリーム、エラー耐性
強度が最高のビデオストリームに対応している。つま
り、このテーブル情報では、エラー発生率0パーセン
ト,3パーセント,6パーセントが、エラー発生率に応
じてビデオストリームを切替える際の閾値となってい
る。
【0111】次に、エラー発生率の変動に応じてビデオ
ストリームの切替えを行う際のSMILデータ解析部2
12bの動作について説明する。なお、受信端末におけ
るエラー耐性強度の設定値Xus2は、図5(b)に示すよ
うに“40”であり、また、SMILファイルFSD2に
示されている各video要素に対応するビデオストリーム
のうちで、そのエラー耐性強度の数値化レベルがエラー
耐性強度の設定値Xus2に最も近いものを、受信すべき
ビデオストリームとして選択するものとする。また、S
MILファイルFSD2に示されている各video要素に付
与されているエラー耐性強度の数値化レベルYは、上記
計算式(1)により算出されたものである。つまり、vi
deo要素714には整数値Ys4(=100)が、video要
素713には整数値Ys3(=67)が、video要素71
2には整数値Ys2(=33)が、video要素711には
整数値Ys1(=0)が付与されている。従って、受信端
末200bは、最初に受信するビデオストリームとし
て、video要素712に対応する、エラー耐性強度の数
値化レベルYがYs2(=33)であるビデオストリーム
を要求して、受信することとなる。
【0112】まず、受信端末200bのSMILデータ
解析部212bでは、ワークメモリに、エントリ〔2〕
に対応する実行フラグの値“1”が書き込まれる。そし
て、 受信端末200bのRTSPメッセージ送受信部
214では、エントリ〔2〕に対応するビデオストリー
ム、つまりvideo要素712に示されるビデオストリー
ムを要求するデータ要求メッセージを、RTSPにより送信
する処理が行われる。
【0113】その後、受信端末200bに、video要素
712に対応するビデオストリームが入力されると、R
TPデータ受信部216bでは、video要素712に対
応するビデオストリームが受信され、該ビデオストリー
ムに対応する最初に受信したRTPパケットのタイムス
タンプ情報Itsが、SMILデータ解析部212bに出
力される。すると、SMILデータ解析部212bで
は、ワークメモリに記録されている、エントリ〔2〕に
対応するタイムスタンプの値が、順次最新の値に更新さ
れる。
【0114】そして、RTPデータ受信部216bに
て、一定時間(例えば10秒間)、受信状況を観測した結
果、エラー発生率がゼロである場合、SMILデータ解
析部212bでは、図8(b)に示すテーブル情報Rteに
基づいて、SMILファイルに示されているビデオスト
リームのうちの、エラー耐性強度が最低のビデオストリ
ームが選択され、このビデオストリームを、受信すべき
画像データとして指定する指定信号が、RTSPメッセ
ージ送受信部214に出力される。
【0115】このとき、SMILデータ解析部212b
では、エントリ〔2〕に対応する実行フラグの値を
“0”に、エントリ〔1〕に対応する実行フラグの値を
“1”にする変更する処理が行われる。その後、RTS
Pメッセージ送受信部214では、エントリ〔1〕に対
応するURL(サーバアドレス)に対して、RTSPに
より、データ要求が行われ、その際、エントリ〔2〕に
対応する最新タイムスタンプに基づいて、要求するデー
タ(ビデオストリーム)の先頭位置が指定される。
【0116】図9は、RTSPによるシーケンス、つま
りメッセージ交換の例を示す図である。ビデオストリー
ムの切替えを行う場合、まず、受信端末200bのRT
SPメッセージ送受信部214から、エントリ〔1〕に
対応するURL(サーバアドレス)に対して、RTSP
により、video要素711が示すビデオストリームに対
するDESCRIBE要求メッセージ(DESCRIBE rtsp://s.com/
s1.mp4 RTSP/1.0)Sm1が送信される。すると、上記U
RLに対応するサーバ100aのRTSPメッセージ送
受信部102からは、上記DESCRIBE要求メッセージSm1
に対する応答メッセージ(RTSP/1.0 200 OK)Rm1が受
信端末200bに対して送信される。この応答メッセー
ジRm1には、video要素711が示すビデオストリーム
に対するSDPデータDsdが含まれている。
【0117】続いて、受信端末200bのRTSPメッ
セージ送受信部214から、エントリ〔1〕に対応する
URL(サーバアドレス)に対して、RTSPにより、
video要素711が示すビデオストリームに対する第1
のSETUP要求メッセージ(SETUP rtsp://s.com/s1.mp4/t
rackID=1 RTSP/1.0)Sm2及び第2のSETUP要求メッセー
ジ(SETUP rtsp://s.com/s1.mp4/trackID=2 RTSP/1.0)
Sm3が送信される。すると、上記URLに対応するサー
バ100aのRTSPメッセージ送受信部102から
は、上記第1,第2のSETUP要求メッセージSm2,Sm3
に対する応答メッセージ(RTSP/1.0 200 OK)Rm2,Rm
3が受信端末200bに対して送信される。
【0118】その後、受信端末200bのRTSPメッ
セージ送受信部214から、エントリ〔1〕に対応する
URL(サーバアドレス)に対して、RTSPにより、
video要素711が示すビデオストリームに対するPL
AY要求メッセージ(PLAY rtsp://s.com/s1.mp4 RTSP/
1.0)Sm4が送信される。PLAY要求の際には、要求
データの先頭位置を情報(Range:npt=37-)により指定
する。現在受信中のビデオストリームに対する最新の受
信RTPパケットのタイムスタンプ値は、ビデオストリ
ームに対する表示時刻が34秒であることを示している
ため、要求データの先頭位置は、34秒以降とする。こ
こでは、ビデオストリームの切替えに対する処理遅延時
間を3秒程度と想定して、要求データの先頭位置を、表
示時刻が37秒である位置としている。
【0119】上記PLAY要求メッセージSm4に対して
は、上記URLに対応するサーバ100aのRTSPメ
ッセージ送受信部102から、応答メッセージ(RTSP/
1.0 200 OK)Rm4が受信端末200bに対して送信され
る。このとき、同時に、上記サーバ100aのRTP送
信部103では、ビデオストリーム(video要素71
1)のRTPパケットをRTPにより受信端末に送信す
る処理が開始され(時刻Ts2)、受信端末200aのR
TPデータ受信部216bでは、該RTPパケットを受
信する処理が開始される(時刻Tr2)。
【0120】また、RTSPメッセージ送受信部214
では、RTPデータ受信部216bにて受信された、エ
ントリ〔1〕に対するRTPパケットのタイムスタンプ
が、エントリ〔2〕に対するRTPパケットのタイムス
タンプの値以下であるか否かの判定が行われ、エントリ
〔1〕に対するRTPパケットのタイムスタンプが、エ
ントリ〔2〕に対するRTPパケットのタイムスタンプ
の値以下であれば、エントリ〔2〕に対するサーバに対
して、TEARDOWN要求メッセージSm5を発行する処理が行
われる。同時に、エントリ〔2〕に対するRTPパケッ
トを受信する処理が停止される(時刻Tr3)。
【0121】言いかえると、ビデオストリーム(s1.mp
4)に対応する、最初に受信したRTPパケットのタイ
ムスタンプ値から計算される表示時刻(T1)が、ビデオ
ストリーム(s2.mp4)に対応する、既に受信している最
新のRTPパケットのタイムスタンプ値から計算される
表示時刻(T2)よりも小さい場合のみ、RTPデータ受
信部216bは、ビデオストリーム(s1.mp4)に対応す
るRTPパケットの受信を停止する。これにより、ビデ
オストリームの切替えの際に、切替え後のビデオストリ
ームの再生が、切替えの前のビデオストリームの再生に
続けて途切れなく行われることとなる。
【0122】一方、エントリ〔2〕に対するサーバ10
0aでは、RTPデータ送信部103は上記TEARDOWN要
求メッセージ(TEARDOWN rtsp://s.com/s2.mp4 RTSP/1.
0)Sm5の受信により、エントリ〔2〕に対するRTP
パケットの送信を停止し(時刻Ts3)、TEARDOWN要求メ
ッセージSm5に対する応答メッセージRm5を受信端末2
00bに送信する処理が行われる。
【0123】受信端末200bのRTPデータ受信部2
16bは、エントリ〔1〕に対するRTPパケットのタ
イムスタンプと重なるタイムスタンプを持つ、エントリ
〔2〕に対するRTPパケットを破棄する。一方、受信
状況の観測結果、エラー発生率が5パーセントとなった
場合は、図8(b)に示すテーブル情報Rteに基づいて、
エラー耐性強度の数値化レベルが“60”に近いものが
選択され、受信中のビデオストリームを、エントリ
〔3〕に対応するビデオストリームに切り替える処理が
行われる。なお、図9中、時刻Ts1は、ビデオストリー
ム(s2.mp4)の送信開始時刻、時刻Ts4は、ビデオスト
リーム(s1.mp4)の送信停止時刻、時刻Tr1は、ビデオ
ストリーム(s2.mp4)の受信開始時刻、時刻Tr4は、ビ
デオストリーム(s1.mp4)の受信停止時刻である。
【0124】図10は、上記受信端末でのビデオストリ
ームの切替処理を、具体的なRTPパケットを例に挙げ
て説明するための図である。図10(a)は、ビデオスト
リーム(s2.mp4)に対応する受信バッファに格納されて
いる、最後に受信した数個のRTPパケットP2(k-s)
〜P2(k+3)を示しており、図10(b)は、ビデオストリ
ーム(s1.mp4)に対応する受信バッファに格納されてい
る、最初に受信した数個のRTPパケットP1(j)〜P
1(j+m)を示している。なお、ここで、RTPパケット
P2(k),P2(k+1),P2(k+2),P2(k+3)のタイムス
タンプの値から計算される表示時刻T2(k),T2(k+
1),T2(k+2),T2(k+3)は、それぞれ、36.00
(秒),36.50(秒),37.00(秒),37.50(秒)であ
り、RTPパケットP1(j),P1(j+1),P1(j+2),
P1(j+3) ,P1(j+4)のタイムスタンプの値から計算
される表示時刻T1(j),T1(j+1),T1(j+2),T1
(j+3) ,T1(j+4)は、それぞれ、37.00(秒),37.25
(秒),37.50(秒),37.75(秒),38.00(秒)であ
る。
【0125】具体的には、RTPデータ受信部216b
は、ビデオストリーム(s1.mp4)の受信をRTPパケッ
トP1(j)から開始し、ビデオストリーム(s2.mp4)の
受信を、RTPパケットP2(k+3)を受信した時点で終
了する。そして、タイムスタンプ値(表示時刻)がビデ
オストリーム(s1.mp4)のものと重なる、ビデオストリ
ーム(s2.mp4)に対応するRTPパケットP2(k+2),
P2(k+3)は破棄する。
【0126】図11は、上記受信端末でのビデオストリ
ームの切替処理のフローを示す図である。SMILデー
タ解析部212bが、エラー発生率に基づいて、受信す
べきビデオストリームをビデオストリーム(s2.mp4)か
らビデオストリーム(s1.mp4)に切り替えることを決定
すると、図11に示すビデオストリームの切替処理が開
始される。
【0127】まず、RTPデータ受信部216bでは、
切替後のビデオストリーム(s1.mp4)に対応する、RT
PパケットPs1を受信する処理が行われるとともに、
SMILデータ解析部212bでは、変数Taに、最初
に受信したRTPパケットPs1のタイムスタンプ値T
s1から算出される表示時刻(切替後データの表示時
刻)が設定される(ステップS1)。
【0128】次に、SMILデータ解析部212bで
は、変数Tbに、切替前のビデオストリーム(s2.mp4)
に対応する、最後に受信したRTPパケットPs2のタ
イムスタンプ値Ts2から算出される表示時刻(切替前
データの表示時刻の最大値)が設定される(ステップS
2)。次に、SMILデータ解析部212bでは、上記
変数Ta、つまり上記表示時刻(切替後データの表示時
刻)が、上記変数Tb、つまり上記表示時刻(切替前デ
ータの表示時刻の最大値)以下であるか否かの判定が行
われる(ステップS3)。
【0129】上記ステップS3での判定の結果、上記変
数Taが上記変数Tb以下でないとき、さらに、切替前
のビデオストリームに対応するRTPパケットを受信し
たか否かの判定が行われる(ステップS4)。上記ステ
ップS4での判定の結果、切替前のビデオストリームに
対応するRTPパケットを受信していないときは、再度
ステップS4での判定が行われる。一方、上記ステップ
S4での判定の結果、切替前のビデオストリームに対応
するRTPパケットを受信したときは、ステップS2に
て、上記変数Tbに、最後に受信したRTPパケットP
s2のタイムスタンプ値Ts2から得られる表示時刻を
設定する処理が行われる。
【0130】また、上記ステップ3での判定の結果、上
記変数Taが上記変数Tb以下であるときは、RTPデ
ータ受信部216bでは、切替前のビデオストリーム
(s2.mp4)に対応する、RTPパケットPs2を受信す
る処理が停止され、かつ、切替前のビデオストリーム
(s2.mp4)に対応する、タイムスタンプ値がビデオスト
リーム(s1.mp4)のものと重なるRTPパケットPs2
を破棄する処理が行われ、さらにRTSPメッセージ送
受信部214では、切替前のビデオストリーム(s2.mp
4)に対応する、RTPパケットPs2の送信を停止す
る要求メッセージの発行が行われる(ステップS5)。
【0131】図12は、上記ビデオストリームの切替時
の、受信端末のRTSPメッセージ送受信部214及び
RTPデータ受信部216bでの処理を、表示時刻に従
って具体的に説明する模式図である。RTPデータ受信
部216bのエラー発生率計算部216b1では、RT
Pパケットの受信中、例えば、5秒に1回の間隔で、エ
ラー発生率を計算する処理P1が行われる。そして、例
えば、エラー発生率の変動により、現在受信中のビデオ
ストリーム(例えばs2.mp4)の他のビデオストリーム
(例えばs1.mp4)への切替を決定する処理P2が行われ
ると(時刻Tp2)、RTSPメッセージ送受信部214
では、ビデオストリーム(s1.mp4)に対するDESCRIBE要
求メッセージ、SETUP要求メッセージ,PLAY要求メッセ
ージを発行する処理P3が行われる。
【0132】その後、RTPデータ受信部216bで
は、ビデオストリーム(s1.mp4)に対するRTPパケッ
トP1(j)を受信すると、この最初に受信したRTPパ
ケットP1(j)のタイムスタンプ値に相当する表示時刻
(37.00秒)を、切替え前のビデオストリーム(s2.mp
4)に対する、この時点で受信している最新のRTPパ
ケットP2(k+2)のタイムスタンプ値に相当する表示時
刻(37.00秒)と比較する処理P4が、図11に示す処
理フローに従って行われる(時刻Tp4)。
【0133】この比較処理P4の結果、ビデオストリー
ム(s1.mp4)に対応する、最初に受信したRTPパケッ
トP1(j)のタイムスタンプ値と重なるタイムスタンプ
値が付与されている、ビデオストリーム(s2.mp4)に対
応するRTPパケットが受信されている場合、ビデオス
トリーム(s2.mp4)に対応するRTPパケットの受信を
停止する処理P5が行われる(時刻Tp5)。このため、
受信停止処理P5の後に送信されてくるRTPパケット
P2(k+4)〜P2(k+n)は、この受信端末では、受信され
ない。また、切替え前のビデオストリーム(s2.mp4)に
対応する、受信されたRTPパケットP2(k+2)及びP
2(k+3)のタイムスタンプ値に相当する表示時刻は、切
替え後のビデオストリーム(s1.mp4)に対応する、最初
に受信したRTPパケットP1(j)のタイムスタンプ値
に相当する表示時刻より大きいので、これらのRTPパ
ケットP2(k+2)及びP2(k+3)は、RTPデータ受信部
216bにて破棄される。さらに、上記RTPデータ受
信部216bでの受信停止処理P5と並行して、RTS
Pメッセージ送受信部214では、ビデオストリーム
(s2.mp4)に対するTEARDOWN要求メッセージを発行する
処理P6が行われる。
【0134】なお、図12中、P2(k-r)は、ビデオス
トリーム(s2.mp4)に対応する先頭のRTPパケットで
あり、P2(k-7)〜P2(k+3)は、受信停止処理P5の開
始の数秒前から受信停止処理P5の開始直前までの間に
受信したビデオストリーム(s2.mp4)に対応するRTP
パケットであり、これらのRTPパケットP2(k-7),
P2(k-6),P2(k-5),P2(k-4),P2(k-3),P2(k
-2),P2(k-1),P2(k),P2(k+1)にはそれぞれ、表
示時刻32.50(秒),33.00(秒),33.50(秒),34.00
(秒),34.50(秒),35.00(秒),35.50(秒),36.
00(秒),36.50(秒)に相当するタイムスタンプ値が
付与されている。
【0135】また、P1(j+1)〜P1(j+3)は、ビデオス
トリーム(s1.mp4)に対応する、最初に受信したRTP
パケットP1(j)に続くRTPパケットであり、これら
のRTPパケットP1(j+1)〜P1(j+3)には、表示時刻
37.25(秒),37.50(秒),37.75(秒)に相当するタ
イムスタンプ値が付与されている。また、P1(j+m)
は、ビデオストリーム(s1.mp4)に対応する、最後に受
信したRTPパケットである。
【0136】なお、RTPパケットのヘッダに書かれた
タイムスタンプ値は、RTSPによる送信メッセージに
おけるRTP-Infoフィールドに記述されているtimestamp
により、その初期値が与えられるものであるため、上記
比較処理では、異なるビデオストリームに対応するRT
Pパケットの間で、単純にタイムスタンプ値同士が比較
されるのではなく、タイムスタンプ値に相当する表示時
刻同士が比較される。
【0137】また、上記表示時刻Tdは、下記の計算式
(4)により算出される。 Td=Th+(Pts−Ptsi)/Sts ・・・(4) ここで、Thは、PLAY応答メッセージにおけるRang
eフィールドに指定されている再生データの先頭位置を
示す時刻であり、Ptsは、各パケットに付与されている
タイムスタンプ(パケットタイムスタンプ)の値であ
り、Ptsiは、上記タイムスタンプの初期値であり、St
sはタイムスケールであり、該タイムスケールは、DESCR
IBE要求の応答としてサーバから返されるSDP情報中にて
指定されている。
【0138】このように本実施の形態2のデータ伝送シ
ステム10bでは、実施の形態1の受信端末200aの
RTPデータ受信部216に代えて、サーバ100aか
らのRTPデータDrtpを受信するとともに、受信した
RTPパケットの解析により、受信端末におけるRTP
パケットのロス率(伝送エラー率)を示すエラー信号R
errをSMILデータ解析部212bに出力するRTP
データ受信部216bを備え、データ解析手段212b
では、該パケットのロス率の変動に応じて、サーバ10
0aから提供されるビデオストリームを、伝送エラー耐
性の高いものあるいは映像品質の高いものに切り換える
ことをサーバに指令する信号(データ指定信号)Scを
発生するので、受信端末200bでは、伝送エラーの発
生率が高いときには、サーバ側に用意されているビデオ
ストリームのうちで、Iフレーム周期の短いエラー耐性
の高いものを受信することができ、伝送エラーの発生率
が低いときには、サーバ側に用意されているビデオスト
リームのうちで、Iフレーム周期の長い映像品質の高い
ものを受信することができる。
【0139】なお、上記実施の形態2では、SMILフ
ァイルが、図5(a)に示す、エラー耐性強度が異なる4
つのビデオデータファイルを示すもの(SMILファイ
ルFSD2)である場合について説明したが、SMILフ
ァイルは、図13(a)に示すように、エラー耐性強度が
異なる3つのvideo要素を示し、各video要素には、エラ
ー耐性強度が、system-protocol属性として記載されて
いるもの(SMILファイルFSD3)であってもよい。
【0140】すなわち、図13(a)に示すSMILファ
イルFSD3は、switch 要素732aを含む行と/switch
要素732bを含む行との間に記述された、エラー耐性
強度が異なる3つのvideo要素721〜723に関する
項目を含んでいる。また、各video要素の項目には、エ
ラー耐性強度が、system-protocol属性として記載され
ており、この属性に基づいて、ユーザ設定の内容に最も
適合するvideo要素が選択される。
【0141】ここでは、上記各video要素721,72
2,723におけるsystem-protocol属性の具体値はそ
れぞれ、“nop”,“ret”,“fec+ret”である。該属
性値“nop"は、video要素721に対応するビデオスト
リーム(s1.mp4)は、通常のデータ伝送プロトコルであ
るRTPにより伝送されるものであることを示してい
る。また、上記属性値“ret"は、video要素722に対
応するビデオストリーム(s2.mp4)は、通常のデータ伝
送プロトコルであるRTPに対してエラー耐性を持たせ
た再送(ret:retransmission)を行う方法により伝送
されるものであることを示している。さらに、上記属性
値“fec+ret" は、video要素723に対応するビデオス
トリーム(s3.mp4)は、上記エラー耐性を持たせた、再
送(ret:retransmission)を行う伝送方法よりさらに
高いエラー耐性を持たせた、再送、及び重複伝送(fec
= forward error correction)を行う方法により伝送さ
れるものであることを示している。
【0142】つまり、system-protocol属性値“nop”が
付与されているvideo要素721に対応するビデオスト
リーム(s1.mp4)は、再送も重複伝送も行われないもの
であるため、エラー耐性が上記3つのvideo要素に対応
するビデオストリームのうちで最も弱いものである。従
って、受信端末にてエラー耐性強度が〔弱レベル〕に設
定されている場合、受信すべきビデオストリームとし
て、上記video要素721に対応するものが選択され
る。また、受信端末におけるエラー耐性強度の設定がな
い場合には、最初に受信するビデオストリームとして
は、該video要素721に対応するもの(s1.mp4)が選択
され、該ビデオストリーム(s1.mp4)の受信後に、伝送
エラーの発生率が増大した場合、受信中のビデオストリ
ームが、system-protocol属性値“ret”あるいは“ret
+ fec”が付与されているvideo要素722,723に対
応するビデオストリーム(s2.mp4)あるいは(s3.mp4)
に切替えられる。なお、上記video要素722に対応す
る、再送を行う伝送方法により伝送されるビデオストリ
ーム(s2.mp4)は、重複伝送を行う伝送方法により伝送
されるもの、つまりそのvideo要素のsystem-protocol属
性値が“fec”であるものとしてもよい。
【0143】また、SMILデータ解析部212bで
は、上記図13(a)に示すSMILファイルFSD3が入
力された場合、該SMILファイルに基づいて、SMI
Lファイルの記載情報を、図13(b)に示すように、ワ
ークメモリ(図示せず)に記憶する処理が行われる。す
なわち、上記ワークメモリには、図13(a)に示すSM
ILファイルFSD3における、video要素721〜72
3に関する情報が記録される。ここで、該ワークメモリ
に記録される項目の数(エントリ数)は、SMILファ
イルFSD3における、<switch>要素732a及び</swit
ch>要素732bの間に記述されたエレメント数(つま
りvideo要素の数)に一致している。
【0144】各項目(エントリ)には、図13(b)に示
すように、対応するビデオストリームのネットワーク上
での所在場所を示すURL(サーバアドレス)と、対応
するビデオストリームの伝送プロトコルと、対応するビ
デオストリームが、受信されて再生されている受信(再
生)状態であるか、受信も再生もされていない非受信
(非再生)状態であるかを示す実行フラグと、対応する
ビデオストリームに関する、最新のタイムスタンプとが
含まれている。
【0145】エントリ〔1〕の項目E1では、実行フラ
グの値が“1”となっており、これは、この項目E1に
対応するビデオストリームが、現在、受信(再生)が行
われていることを示している。また、エントリ〔2〕,
〔3〕の項目E2,E3では、実行フラグの値が“0”
となっており、これは、これらの項目E2,E3に対応
するビデオストリームが、現在、受信(再生)が行われ
ていないことを示している。
【0146】また、各項目E1〜E3におけるプロトコ
ル種別を示す具体的な値は、“nop”,“ret”,“fec
+ ret”となっており、これらの値は、上記SMILフ
ァイルFSD3における、system-protocol属性の値と一
致している。また、各項目E1〜E3における最新タイ
ムスタンプは、受信した最新のRTPパケットのヘッダに
付与されているタイムスタンプにより随時更新されるも
のであり、特定項目に対応するビデオストリームを、他
の項目に対応するビデオストリームに切り替える際、デ
ータ要求タイミングの決定に用いるものである。
【0147】図13(b)では、項目E2,E3における
最新タイムスタンプの値は“0”であり、この値“0”
は、これらの項目に対応するビデオストリームはまだ受
信されていないことを示している。また、項目E1にお
ける最新タイムスタンプの値は“3060000”である。M
PEG-4では、タイムスタンプは90kHzのクロッ
クを用いて設定されているため、この値“3060000”
は、34秒に相当する。また、図13(c)は、エラー発
生率とプロトコルとの関連付けを示している。
【0148】この関連付けに関する情報は、SMILデ
ータ解析部212bの情報記憶部(図示せず)に、受信
端末固有のテーブル情報Rtpとして記録されているもの
である。ここでは、エラー発生率Eth(Eth=0)パー
セント,Eth(0<Eth≦3)パーセント,Eth(3<
Eth)パーセントはそれぞれ、nopプロトコルにより伝
送されるビデオストリーム、retプロトコルにより伝送
されるビデオストリーム、fec + retプロトコルにより
伝送されるビデオストリームに対応している。つまり、
このテーブル情報では、エラー発生率0パーセント,3
パーセントが、エラー発生率に応じてビデオストリーム
を切替える際の閾値となっている。
【0149】そして、SMILデータ解析部212bで
は、エラー発生率の変動に応じたビデオストリームの切
替えが、図13(c)に示すエラー発生率とプロトコルと
の関連付けに基づいて行われる。また、シームレスな再
生を行うためのビデオストリームの切替えは、上記実施
の形態2と同様、図9〜図12により説明した処理と同
様に行われる。
【0150】また、上記実施の形態2では、受信端末と
して、同一の画像系列に対応するエラー耐性の異なる複
数の画像データのうちの、最初に受信すべき画像データ
のエラー耐性強度をユーザが設定するものを示したが、
最初に受信すべき画像データのエラー耐性強度は、受信
端末固有のデフォルト値としてもよい。
【0151】この場合、受信端末は、例えば、SMIL
ファイルFSD2により示された複数のvideo要素711
〜714のうちの、エラー耐性強度のデフォルト値に適
したvideo要素のビデオストリームを要求し、該ビデオ
ストリームを受信することとなり、その後は、該受信端
末では、ビデオストリームの受信中におけるエラー発生
率に応じて、受信中のビデオストリームが適切なエラー
耐性強度を有するビデオストリームに切替えられること
となる。また、上記実施の形態2では、ビデオストリー
ムの切替えを、受信中のビデオストリームに対するエラ
ー発生率に応じて行うものを示したが、ビデオストリー
ムの切替えを、受信中の電波強度に応じて行うようにし
てもよい。
【0152】(実施の形態3)図14は本発明の実施の
形態3によるデータ伝送システムを説明するための図で
あり、該システムのサーバ及びクライアント端末の構成
を示している。なお、図14中、図3と同一符号は実施
の形態1のデータ伝送システム10aにおけるものと同
一のものを示している。
【0153】この実施の形態3のデータ伝送システム1
0cは、上記実施の形態1のシステム10aにおけるク
ライアント端末200aに代えて、サーバからのRTP
データ(RTPパケット)の伝送エラーの発生率やパケ
ット到着時刻などの送信状況に関する情報Drrをサーバ
100cに伝送するクライアント端末200cを備え、
さらに実施の形態1のシステム10aにおけるサーバ1
00aに代えて、クライアント端末200cからの送信
状況に関する情報Drrに基づいて、RTPデータとして
サーバから供給されるビデオストリームを、符号化条件
が異なる他のビデオストリームに切り換えるサーバ10
0cを備えたものである。
【0154】上記クライアント端末200cは、クライ
アント端末200aにおけるRTPデータ受信部216
aに代えて、RTPデータDrtpを受信するとともに、
該RTPデータの伝送エラーの発生率及びRTPパケッ
トの到着時刻などの送信状況を検出するRTPデータ受
信部216cを備えるとともに、この送信状況を示す情
報Drrをレシーバレポートとしてサーバ100cに送信
するRTCPレポート送受信部219を備えたものであ
る。
【0155】また、上記サーバ100cは、サーバから
送信したRTPパケットの個数やシーケンス番号に関す
る情報Dsrをセンダーレポートとして受信端末200c
のRTCPレポート送受信部219へ送信するととも
に、送受信部219からのレシーバレポートを受信する
RTCPレポート送受信部104を備えるとともに、実
施の形態1のサーバにおけるRTPデータ送信部103
に代えて、レシーバレポートとしての情報Drrを受け、
伝送エラーの発生頻度及びRTPパケットの到着時刻な
どの送信状況に基づいて、RTPデータとして送信され
るビデオストリームを、符号化条件が異なる他のビデオ
ストリームに切り換えるRTPデータ送信部103cを
備えたものである。
【0156】なお、上記RTCPレポート送受信部10
4及び219は、上記センダーレポート及びレシーバレ
ポートをRTCP(real time control protocol)によ
り送受信するものである。また、レシーバレポートは、
配信サーバに例えば5秒毎など一定周期で通知される。
また、サーバにてビデオストリームを切り換えるタイミ
ングは、一般的にはIフレームが出現するタイミングで
行うことが好ましい。
【0157】次に動作について説明する。この実施の形
態3のデータ伝送システム10cの動作は、受信端末2
00cかからのレシーバレポートに基づいて、サーバ1
00cにて、RTPデータとして受信端末へ伝送される
ビデオストリームを、符号化条件の異なるものに切り換
える点のみ、実施の形態1のデータ送信システム10a
の動作と異なっている。
【0158】つまり、受信端末200cのRTPデータ
受信部216cでは、受信されたRTPデータDrtpの
伝送エラーの発生率が検出され、このエラー発生率を示
すエラー信号Rerrが上記RTCPレポート送受信部2
19に出力される。上記RTCPレポート送受信部21
9からは、レシーバレポートDrrとして、伝送エラーの
発生頻度及びRTPパケットの到着時刻などに関する情
報がサーバ100cに送信される。
【0159】すると、サーバ100cのRTCPレポー
ト送受信部104では、レシーバレポートDrrとして受
信した情報に基づいて、RTPデータDrtpの伝送エラ
ーの発生率及びパケットの到着遅延時間が検出され、こ
のエラー発生率及び到着遅延時間を示す情報Drrが、R
TPデータ送信部103cに出力される。
【0160】該RTPデータ送信部103cでは、エラ
ー発生率及びパケット到着遅延時間の増減に応じて、デ
ータ格納部120に格納されている複数のビデオファイ
ルの中から、所定のエラー耐性を有するビデオファイル
が選択され、RTPデータDrtpとして受信端末200
cに送信される。
【0161】このように本実施の形態3のデータ伝送シ
ステム10cでは、実施の形態1のシステム10aにお
けるクライアント端末200aに代えて、サーバからの
RTPデータ(RTPパケット)の伝送エラーの発生率
やパケット到着時刻などの送信状況に関する情報Drrを
サーバ100cに伝送するクライアント端末200cを
備え、さらに実施の形態1のシステム10aにおけるサ
ーバ100aに代えて、クライアント端末200cから
の送信状況に関する情報Drrに基づいて、RTPデータ
としてサーバから供給されるビデオストリームを、符号
化条件が異なる他のビデオストリームに切り換えるサー
バ100cを備えたので、サーバ100cでは、受信端
末200cからのレシーバレポートに基づいて、伝送エ
ラーの発生率が高いときには、複数のビデオストリーム
のうちで、Iフレーム周期の短いエラー耐性の高いもの
を送信することができ、伝送エラーの発生率が低いとき
には、複数のビデオストリームのうちで、Iフレーム周
期の長い映像品質の高いものを送信することができる。
【0162】(実施の形態4)図15は本実施の形態4
のデータ伝送システムを説明するための図であり、該シ
ステムのサーバ及びクライアント端末の構成を示してい
る。なお、図15中、図3と同一符号は実施の形態1の
データ伝送システム10aにおけるものと同一のものを
示している。この実施の形態4のデータ伝送システム1
0dは、実施の形態1のシステム10aにおけるクライ
アント端末200aに代えて、ユーザが設定した動作内
容に応じて、復号処理及び表示処理を変更するクライア
ント端末200dを備えたものである。
【0163】つまり、このクライアント端末200d
は、実施の形態1のクライアント端末200aのデコー
ド部210及び表示部218に代えて、制御信号C1に
基づいて、ビデオストリームの復号処理を行う動作モー
ドを変更するデコード部210d、及び制御信号C2に
基づいて画像データDdecの表示処理を行う動作モード
を変更する表示部218dを備え、ユーザの設定内容を
示す設定信号Serrに基づいてデコーダ部210d及び
表示部218dの動作モードを上記制御信号C1及びC
2により制御する制御部220を備えたものである。
【0164】次に動作について説明する。この実施の形
態4のデータ伝送システム10dの動作は、受信端末2
00dにてユーザの設定内容に応じて、ビデオストリー
ムの復号化処理モード及び画像データの表示処理モード
が変更される点のみ、実施の形態1のシステム10aの
動作と異なっている。
【0165】つまり、ユーザのユーザ操作部213に対
する操作により、受信端末200dで再生されるべきビ
デオストリームとして、Iフレーム周期が受信端末固有
の一定の基準周期より小さいものが設定されている場合
には、デコード部210dは、制御部220からの制御
信号C1により、その動作モードが、伝送エラーの発生
時にはIフレームのビデオストリームが正常に受信され
るまで復号処理を一旦停止する第1の復号動作モードに
設定される。また、この場合、表示部218dは、制御
部220からの制御信号C2により、その動作モード
が、伝送エラーの発生時には次のIフレームのビデオス
トリームが正常に受信されるまで、伝送エラーの発生の
直前に復号化された画像データを表示する第1の表示動
作モードに設定される。
【0166】一方、ユーザのユーザ操作部213に対す
る操作により、受信端末200dで再生されるべきビデ
オストリームとして、Iフレーム周期が受信端末固有の
一定の基準周期以上のものが設定されている場合には、
デコード部210dは、制御部220からの制御信号C
1により、その動作モードが、伝送エラーの発生時に
は、伝送エラーによりデータが欠落したフレームの復号
化処理のみスキップして、伝送エラーの発生後には正常
にデータが受信されたフレームから復号化処理を行う第
2の復号動作モードに設定される。この第2の復号動作
モードでは、伝送エラーの発生後には正常にデータが受
信されたフレームがPフレームであるとき、伝送エラー
の発生直前に復号化されたフレームを参照して復号化処
理が行われる。また、この場合、表示部218dは、制
御部220からの制御信号C2により、その動作モード
が、伝送エラーの発生にかかわらずデータの復号化処理
が行われたフレームをすべて表示する第2の表示動作モ
ードに設定される。
【0167】このように本実施の形態4のデータ伝送シ
ステム10dでは、ユーザが受信端末にて設定した、受
信端末で要求されるビデオストリームのエラー耐性に関
する条件に応じて、受信端末におけるデコード部210
d及び表示部218dの動作モードを変更するようにし
た、つまり、受信端末で受信すべきビデオストリーム
を、Iフレームの周期が一定の基準値より短いビデオス
トリームとするという条件が設定されている場合には、
伝送エラーの発生時にはIフレームのビデオストリーム
が正常に受信されるまで、復号処理を一旦停止するとと
もに、伝送エラーの発生の直前に復号化された画像デー
タを表示し、受信端末で受信すべきビデオストリームを
Iフレームの周期が一定の基準値以上のビデオストリー
ムとするという条件が設定されている場合には、伝送エ
ラーによりデータが欠落したフレーム以外のフレームに
対する復号化処理のみを行うとともに、データの復号化
処理が行われたフレームをすべて表示するので、ユーザ
が設定した、受信すべきビデオストリームのエラー耐性
(つまりIフレームの間隔)に応じて、デコード部及び
表示部の動作モードを、エラー発生時の表示画像の違和
感が小さい動作モードとすることができる。
【0168】なお、上記実施の形態4では、データ送信
システムとして、受信端末側にてユーザが設定したビデ
オストリームに関する条件に応じて、受信端末における
復号化処理モード及び表示処理モードを変更するものを
示したが、データ送信システムは、サーバから通知され
る、サーバから送信されるビデオストリームに関するI
フレームの出現間隔(Iフレームの周期)に基づいて、
受信端末にてデコード部210d及び表示部218dの
動作モードを変更するものであってもよい。この場合、
Iフレームの出現間隔を示す情報は、SMIL,SD
P,RTSPなどを使用してサーバから受信端末に送信
することができる。
【0169】また、上記実施の形態4では、デコード部
210dの第2の復号動作モードとして、伝送エラーの
発生時には、伝送エラーによりデータが欠落したフレー
ムの復号化処理のみスキップして、伝送エラーの発生後
には正常にデータが受信されたフレームから復号化処理
を行う動作モードを示したが、上記第2の復号動作モー
ドはこれに限るものではない。
【0170】例えば、図6(b)に示すように、1フレー
ムのビデオストリームが、複数のビデオパケットに分散
して格納されている場合は、上記第2の復号動作モー
ド、つまりIフレーム周期が受信端末固有の一定の基準
周期以上のものが設定されているときの復号動作モード
は、伝送エラーによりデータが欠落したビデオパケット
以外のパケットのデータに対する復号化処理のみを行う
モードとしてもよい。また、この場合、画像データの表
示モードは、上記実施の形態4の第2の表示動作モード
と同様、少なくともその一部のデータに対する復号化処
理が行われたフレームはすべて表示するモードとしても
よい。
【0171】さらに、上記実施の形態4では、制御部
が、デコード部の動作モードを、受信端末でのユーザ設
定に応じて、上記第1の復号動作モードから第2の復号
動作モードに切替えるものを示したが、制御部によるデ
コード部の動作の制御は、これに限るものではなく、例
えば、受信端末でのユーザ設定以外の条件に応じて行わ
れるものであってもよい。
【0172】例えば、伝送エラーが発生した時点では、
次にIフレームのビデオストリームが復号されるまでの
時間は、Iフレームの周期が既知であることから算出可
能である。このため、上記制御部は、伝送エラーが発生
したとき、デコード部の復号動作を、伝送エラーの発生
したフレームの復号時から、その後に復号化されるIフ
レームの復号時までの時間差に応じて、例えば、伝送エ
ラーの発生したフレームの復号時から、その後のIフレ
ームの復号時までの間は、復号処理を停止する復号動作
と、伝送エラーの発生したフレームの復号時から、その
後のIフレームの復号時までの間は、画面間符号化デー
タを、その伝送エラーの発生により復号不可能な部分を
除いて復号化する復号動作のいずれとするかの判定を行
い、デコード部を、伝送エラー発生後の復号動作が、こ
の判定により決定された復号動作となるよう制御するも
のであってもよい。
【0173】具体的には、上記制御部は、伝送エラーが
発生した時、上記伝送エラーの発生したフレームの復号
時から、その後のIフレームの復号時までの時間差が、
上記端末固有の既定値より小さいとき、デコード部の復
号動作が、上記伝送エラーの発生したフレームの復号時
からその後にIフレームが復号されるまでの間は、画像
データに対する復号処理を停止する動作となり、一方、
上記伝送エラーの発生したフレームの復号時から、その
後のIフレームの復号時までの時間差が、上記端末固有
の既定値以上であるとき、デコード部の復号動作が、上
記伝送エラーの発生したフレームの復号時からその後に
Iフレームが復号されるまでの間は、上記伝送エラーの
発生したフレーム以外のフレームに対応する画像データ
のみを復号化する動作となるよう、デコード部を制御す
る。
【0174】ここで、上記各フレームの画像データが、
図6(b)に示すように、フレームより小さいデータ単位
毎にパケット化されている場合は、上述した伝送エラー
の発生したフレーム以外のフレームに対する復号処理の
みを行う復号動作は、受信した画像データにおける、伝
送エラーの発生したパケット以外のパケットに対する復
号処理のみを行うものとしてもよい。
【0175】また、上記各実施の形態では、RTSPを
使ってサーバに視聴者の表示画像に関する嗜好(Iフレ
ームの周期の短いものがよいかIフレームの周期の長い
ものがよいかなど)を通知してもよい。また、視聴者の
嗜好を通知するためのプロトコルは、他の伝送プロトコ
ルであるCC/PP(composite capability/preference pro
files)を使ってもよい。このとき、サーバでは、SM
ILを使ってビデオストリームの侯補を受信端末へ通知
するようにしてもよい。
【0176】さらに、上記各実施の形態では、サーバか
ら受信端末に伝送されるデータが映像データである場合
について説明したが、上記伝送データは、音声データや
テキストデータであってもよく、つまり、音声データや
テキストデータをRTP/UDP/IPで伝送する場合にも、上記
各実施の形態と同様の効果が得られる。
【0177】例えば、同一のコンテンツに対応する、エ
ラー耐性の異なる複数の音声データ、あるいは複数のテ
キストデータから、受信端末にてユーザにより設定され
た、あるいは受信端末のデフォルト値として設定され
た、受信すべきデータに対するエラー耐性強度に適した
ものが選択され、選択された音声データ,あるいはテキ
ストデータが受信端末にて再生されることとなる。ここ
で、複数の音声データ(テキストデータ)が異なるエラ
ー耐性を有する場合の一例としては、複数の音声データ
(テキストデータ)の一つが、以前に復号処理が施され
た音声フレーム(テキストフレーム)のデータを参照し
て復号するフレームを利用し、他の1つがこのようなフ
レームを利用しない場合が挙げられる。
【0178】また、上記同一のコンテンツに対応する、
エラー耐性強度の異なる複数の音声データ、あるいは複
数のテキストデータは、データ伝送プロトコルが異なる
ものであってもよい。そして、音声データあるいはテキ
ストデータに関する伝送プロトコルの異なる一例として
は、IETF(Internet Engineering Task Force)で定め
られているFEC(Forward Error Correction、RFC 273
3)の冗長度が異なるものが挙げられる。
【0179】(実施の形態5)図21は、本発明の実施
の形態5によるデータ伝送システムを説明するための図
であり、図21(a)は該システムの構成を、図21(b)
は、該システムでのデータ伝送処理を示している。この
実施の形態5のデータ伝送システム10eは、所定のビ
デオストリーム(画像符号化データ)を送出するサーバ
100eと、該サーバ100eから送出されたビデオス
トリームを受信して映像データを再生する受信端末(ク
ライアント端末)200eと、該ビデオストリームをサ
ーバ100eから受信端末200eへ伝送するためのネ
ットワーク11とを有している。
【0180】ここで、上記サーバ100eは、複数の画
像系列のデジタル映像信号を、決められた符号化条件で
もって符号化して得られる複数のビデオストリームを格
納するとともに、対応するビデオストリームの属性が記
述されたSMILデータを格納したデータ格納部120
eと、該データ格納部120eに格納されているデータ
を、ネットワーク11上に送出するデータ送信部110
eとから構成されている。また、上記データ格納部12
0eにはハードディクスなどの大容量記憶装置が用いら
れている。
【0181】また、この実施の形態5では、上記複数の
ビデオストリームは、異なる画像系列に対応する、それ
ぞれ決められたエラー耐性を有する画像データである。
具体的には、複数のビデオストリームはそれぞれ、デジ
タル映像信号を画面内画素値相関を用いて符号化してな
る符号量の大きい画面内符号化データと、デジタル映像
信号を画面間画素値相関を用いて符号化してなる符号量
の少ない画面間符号化データとを含み、それぞれ決めら
れた画面内符号化データの出現間隔、言い換えるとIフ
レーム(I−VOP)の周期を有するものである。
【0182】そして、上記ハードディスクなどのデータ
格納部120eには、例えば、Iフレームの周期が5
秒,2秒であるビデオストリームがビデオファイルDv
a,Dvbとして格納され、上記SMILデータDaa,Da
bとして、対応するビデオファイルDva,Dvbの属性な
どを記述したSMILファイルが格納されている。ここ
で、各ビデオストリーム(ビデオファイル)Dva,Dvb
の属性であるIフレーム(I−VOP)の出現間隔は、
それぞれ、5秒,2秒となっている。
【0183】図22は上記システムを構成するサーバ1
00e及びクライアント端末200eの詳細な構成を示
す図である。上記サーバ100eを構成するデータ送信
部110eは、クライアント端末200eからHTTP
により送信されたSMILデータの要求メッセージMdr
を受け、該要求に従ってデータ格納部120eからSM
ILファイルDaを読み出し、読み出したSMILファ
イルDaをHTTPによりSMILデータDsmとして送
信するHTTP送受信部101と、クライアント端末2
00eからRTSPにより送信されたデータ要求メッセ
ージMrtspを受け、その応答信号Sackを出力するとと
もに、要求されたビデオファイル名を示すデータ指定信
号Scを出力するRTSPメッセージ送受信部102
と、該データ指定信号Scを受け、該データ指定信号S
cが示すビデオデータファイル名に相当するビデオスト
リームDeをデータ格納部120eから読み出し、読み
出したビデオストリームをRTPによりRTPデータD
rtpとして伝送するRTPデータ送信部103とを有し
ている。なお、この実施の形態5のデータ送信部110
eにおけるHTTP送受信部101,RTSPメッセー
ジ送受信部102,及びRTPデータ送信部103は、
実施の形態1のデータ送信部110aにおけるものと同
一のものである。
【0184】また、上記クライアント端末200eは、
ユーザの操作により種々のユーザ操作信号Sop1,Sop
2,Sop3を出力するユーザ操作部213と、該ユーザ操
作信号Sop1に基づいて、ユーザ指定のビデオデータに
対応するSMILデータの要求メッセージMdrをHTT
Pにより送信するとともに、上記サーバ100eからH
TTPにより送信されたSMILデータDsmを受信する
HTTP送受信部211と、該SMILデータDsmを解
析するとともに、その解析結果に基づいて、ユーザ指定
のビデオデータを指定するデータ指定信号Scを出力す
るSMILデータ解析部212eとを有している。
【0185】上記クライアント端末200eは、上記デ
ータ指定信号ScをRTSPメッセージ信号Mrtspとし
て送信するとともに、該信号Mrtspの応答信号Sackを
受信するRTSPメッセージ送受信部214と、上記サ
ーバ100eから送信されたRTPデータDrtpを受信
してビデオストリームDeを出力するRTPデータ受信
部216とを有している。
【0186】さらに上記クライアント端末200eは、
該ビデオストリームDeを復号化して画像データDdec
を出力するとともに、制御信号C1に基づいて、ビデオ
ストリームの復号処理を行う動作モードを変更するデコ
ード部210eと、該画像データDdecに基づいて画像
表示を行うとともに、制御信号C2に基づいて画像デー
タDdecの表示処理を行う動作モードを変更する表示部
218eと、デコーダ部210e及び表示部218eの
動作モードを上記制御信号C1及びC2により制御する
制御部220eとを有している。なお、該表示部218
eは、上記ユーザ操作信号Sop2に応じた表示も行うも
のである。
【0187】また、このクライアント端末200eで
は、受信中の画像データにおける画面内符号化データの
出現間隔と比較される既定値がデフォルト値として設定
されており、エラー発生時には、受信中の画像データに
おける画面内符号化データの出現間隔と上記既定値との
比較結果に応じて、上記復号化部の動作モードが切替え
られる。具体的には、上記画面内符号化データの出現間
隔が、上記既定値より短い画像データを受信する場合、
上記復号化部の動作モードは、伝送エラーの発生時に、
その後画面内符号化データが正常に受信されるまで、復
号処理を一旦停止する第1の復号モードとされ、上記画
面内符号化データの出現間隔が、上記設定条件が示す既
定値以上の画像データを受信する場合、上記復号化部の
動作モードは、伝送エラーの発生時に、伝送エラーによ
り復号不可能となった部分を除いて復号化する第2の復
号モードとされる。
【0188】なお、受信端末は、上記受信中の画像デー
タにおける画面内符号化データの出現間隔と比較される
既定値をデフォルト値として有するものに限らず、上記
受信端末は、該既定値を、ユーザ操作により設定可能な
ものであってもよい。
【0189】次に動作について説明する。このデータ伝
送システム10eでは、ユーザがユーザ操作部213e
にて、所定のビデオファイルを要求する操作を行うと、
この操作信号Sop1に基づいて、図21(b)に示すよう
に、受信端末200eのHTTP送受信部211からサ
ーバ100eへ、ユーザ指定のビデオファイルに対応す
るSMILデータを要求するSMIL要求信号Sd1(図
22に示すSMIL要求メッセージMrd)がHTTPに
より送信され、その応答として、サーバ100eのHT
TP送受信部101からSMILデータDsmがHTTP
信号Dsdにより受信端末200eに送信される。なお、
ユーザがユーザ操作部213eにて、所要の画像系列の
ビデオファイルを指定する操作は、図4(a)に示す携帯
端末を用いて説明した操作と同様に行われる。
【0190】その後、受信端末200eでは、RTSP
メッセージ送受信部214が、SMILデータDsmの解
析結果に対応するデータ指定信号Scに基づいて、ユー
ザの必要とするビデオストリームを指定するメッセージ
MrtspをRTSP信号Sd2としてサーバ100eへ送信
する処理を行う。そして、その応答信号Sackがサーバ
100eのRTSPメッセージ送受信部102からRT
SPにより受信端末200eに送信された後、サーバ1
00eからは、RTPデータ送信部103により、所定
のビデオストリームDstrがRTPデータDrtpとして受
信端末200eに送信される。
【0191】このようにして、上記RTPデータDrtp
がネットワーク11を介して受信端末200aに伝送さ
れると、該受信端末200aでは、RTPデータDrtp
がRTPデータ受信部216にて受信され、ビデオスト
リームDeがデコード部210eに出力される。デコー
ド部210eではビデオストリームDeの復号化処理に
より画像データDdecが生成されて表示部218eに出
力される。表示部218eでは、画像データDdecに基
づいて画像表示が行われる。
【0192】そして、この実施の形態4のデータ伝送シ
ステム10eでは、上記ビデオストリームの伝送中にエ
ラーが発生した場合は、受信端末200eにて、デフォ
ルト値として設定されている画面内符号化データの出現
間隔(つまりIフレームの周期)と、受信しているビデ
オストリームの属性値であるIフレームの周期との比較
結果に応じて、復号化部210eの動作モード及び表示
部218eの動作モードが制御部220eからの制御信
号C1,C2に基づいて変更される。
【0193】つまり、受信端末200eにて、Iフレー
ム周期(I−VOPの周期)が受信端末での既定値(一
定の基準周期)より短いビデオストリームを受信してい
る場合には、デコード部210eは、制御部220eか
らの制御信号C1により、その動作モードが、伝送エラ
ーの発生時にはIフレームのビデオストリームが正常に
受信されるまで復号処理を一旦停止する第1の復号動作
モードに設定される。また、この場合、表示部218e
は、制御部220eからの制御信号C2により、その動
作モードが、伝送エラーの発生時には次のIフレームの
ビデオストリームが正常に受信されるまで、伝送エラー
の発生の直前に復号化された画像データを表示する第1
の表示動作モードに設定される。
【0194】一方、受信端末200eにて、Iフレーム
周期が受信端末での既定値(一定の基準周期)以上のビ
デオストリームを受信している場合には、デコード部2
10eは、制御部220eからの制御信号C1により、
その動作モードが、伝送エラーの発生時には、伝送エラ
ーによりデータが欠落したフレームの復号化処理のみス
キップして、伝送エラーの発生後には正常にデータが受
信されたフレームから復号化処理を行う第2の復号動作
モードに設定される。この第2の復号動作モードでは、
伝送エラーの発生後には正常にデータが受信されたフレ
ームがPフレームであるとき、伝送エラーの発生直前に
復号化されたフレームを参照して復号化処理が行われ
る。また、この場合、表示部218eは、制御部220
eからの制御信号C2により、その動作モードが、伝送
エラーの発生にかかわらずデータの復号化処理が行われ
たフレームをすべて表示する第2の表示動作モードに設
定される。
【0195】このように本実施の形態5のデータ伝送シ
ステム10eでは、受信端末にデフォルト値として設定
されているIフレーム周期の既定値と、受信しているビ
デオストリームのIフレーム周期の値とに応じて、受信
端末におけるデコード部210e及び表示部218eの
動作モードを変更するようにした、つまり、受信端末で
受信するビデオストリームのIフレーム周期の値が、受
信端末にデフォルト値として設定されている既定値より
短い場合には、伝送エラーの発生時にはIフレームのビ
デオストリームが正常に受信されるまで、復号処理を一
旦停止するとともに、伝送エラーの発生の直前に復号化
された画像データを表示し、受信端末で受信するビデオ
ストリームのIフレーム周期の値が、受信端末にデフォ
ルト値として設定されている既定値以上の場合には、伝
送エラーによりデータが欠落したフレーム以外のフレー
ムに対する復号化処理のみを行うとともに、データの復
号化処理が行われたフレームをすべて表示するので、受
信するビデオストリームのエラー耐性(つまりIフレー
ムの間隔)に応じて、デコード部及び表示部の動作モー
ドを、エラー発生時の表示画像の違和感が小さいものと
することができる。
【0196】なお、上記実施の形態5では、受信するビ
デオストリームの属性値であるIフレームの出現間隔
(Iフレームの周期)は、サーバ100eから、SMI
Lファイルとして受信端末へ供給される場合について示
したが、受信するビデオストリームのIフレームの出現
間隔(Iフレームの周期)は、SDPやRTSPなどを
使用してサーバから受信端末に送信するようにしてもよ
い。
【0197】また、受信するビデオストリームのIフレ
ームの出現間隔(Iフレームの周期)は、サーバから端
末へ送信する場合に限らず、例えば、受信端末200e
のRTPデータ受信部216にて、受信したビデオスト
リームに含まれる情報から算出するようにしてもよい。
【0198】また、上記実施の形態5では、デコード部
210eの第2の復号動作モードとして、伝送エラーの
発生時には、伝送エラーによりデータが欠落したフレー
ムの復号化処理のみスキップして、伝送エラーの発生後
には正常にデータが受信されたフレームから復号化処理
を行う動作モードを示したが、上記第2の復号動作モー
ドはこれに限るものではない。
【0199】例えば、図6(b)に示すように、1フレー
ムのビデオストリームが、複数のビデオパケットに分散
して格納されている場合は、上記第2の復号動作モード
は、伝送エラーによりデータが欠落したビデオパケット
以外のパケットのデータに対する復号化処理のみを行う
モードとしてもよい。また、この場合、画像データの表
示モードは、上記実施の形態5の第2の表示動作モード
と同様、少なくともその一部のデータに対する復号化処
理が行われたフレームはすべて表示するモードとしても
よい。
【0200】さらに、上記実施の形態5では、受信中の
ビデオストリームのIフレームの出現間隔と、受信端末
でのデフォルト値(既定値)との大小関係に応じて、エ
ラー発生時におけるデコード部の動作モードを切替える
ものを示したが、デコード部の動作モードの切替えは、
これに限るものではない。例えば、伝送エラーが発生し
た時点では、次にIフレームのビデオストリームが復号
されるまでの時間は、Iフレームの周期が既知であるこ
とから算出可能である。このため、上記制御部は、伝送
エラーが発生したとき、デコード部の復号動作を、伝送
エラーの発生したフレームの復号時から、その後に復号
されるIフレームの復号時までの時間差に応じて、例え
ば、伝送エラーの発生したフレームの復号時から、その
後のIフレームの復号時までの間は、復号処理を停止す
る復号動作と、伝送エラーの発生したフレームの復号時
から、その後のIフレームの復号時までの間は、画面間
符号化データを、その伝送エラーの発生により復号不可
能な部分を除いて復号化する復号動作のいずれとするか
の判定を行い、デコード部を、伝送エラー発生後の復号
動作が、この判定により決定された復号動作となるよう
制御するものであってもよい。
【0201】具体的には、上記制御部は、伝送エラーが
発生したとき、上記伝送エラーの発生したフレームの復
号時から、その後のIフレームの復号時までの時間差
が、上記受信端末でのデフォルト値(既定値)より小さ
い場合、上記復号化部の復号動作が、上記伝送エラーの
発生したフレームの復号時からその後にIフレームが復
号されるまでの間は、画像データに対する復号処理を停
止する動作となり、上記伝送エラーの発生したフレーム
の復号時から、その後のIフレームの復号時までの時間
差が、上記受信端末でのデフォルト値(既定値)以上で
ある場合、上記復号化部の復号動作が、上記伝送エラー
の発生したフレームの復号時からその後にIフレームが
復号されるまでの間は、画面間符号化データをその伝送
エラーの発生により復号不可能となった部分を除いて復
号化する動作となるよう、デコード部を制御する。
【0202】ここで、画面間符号化データをその伝送エ
ラーの発生により復号不可能となった部分を除いて復号
化する復号動作は、伝送エラーの発生したフレーム以外
のフレームに対する復号処理のみを行う復号動作であ
る。なお、上記各フレームの画像データが、図6(b)に
示すように、フレームより小さいデータ単位毎にパケッ
ト化されている場合は、伝送エラーが発生したフレーム
以外のフレームを復号化する復号動作は、受信した画像
データにおける、伝送エラーの発生したパケット以外の
パケットを復号化するものとしてもよい。
【0203】さらに、上記実施の形態5では、サーバか
ら受信端末に伝送されるデータが映像データである場合
について説明したが、上記伝送データは、音声データや
テキストデータであってもよく、つまり、音声データや
テキストデータをRTP/UDP/IPで伝送する場合にも、上記
実施の形態5と同様の効果が得られる。
【0204】また、上記実施の形態2ないし4では、サ
ーバに対して、端末でのユーザ設定に基づいて画像デー
タを要求し、該要求に応じて送信された画像データを再
生するデータ再生装置として、インターネットなどのネ
ットワークを介してサーバに接続可能な受信端末を示
し、実施の形態5では、受信された画像データのIフレ
ーム周期の値と、受信端末で設定されている既定値との
大小関係に応じて、エラー発生時の復号動作を切替える
受信端末を示したが、上記実施の形態2〜5の受信端末
の具体的なものとしては、PC(パーソナルコンピュー
タ)や、上記実施の形態1で受信端末の具体例として示
した携帯電話などが挙げられる。
【0205】(実施の形態6)以下、本発明の実施の形
態6として、上記実施の形態2のデータ再生装置と同様
に、サーバに対して、ユーザ設定により指定したエラー
耐性強度を有する画像データを要求する携帯電話につい
て説明する。図16は、この実施の形態6の携帯電話を
説明するための図である。この実施の形態5の携帯電話
300は、種々の信号処理を行う信号処理部302と、
アンテナ301で受信された無線信号Nを受信信号とし
て信号処理部302に出力するとともに、信号処理部3
02にて生成された送信信号を無線信号Nとしてアンテ
ナ301から送信する無線通信部303とを有してい
る。
【0206】また、上記携帯電話300は、画像表示を
行う液晶パネル(LCD)306と、音声の入力を行う
ためのマイク308と、音声信号を再生するスピーカ3
07と、上記信号処理部302にて処理された画像信号
を受け、上記液晶表示部(LCD)306を、画像信号
に基づいて画像表示が行われるよう制御する表示制御部
304と、マイク308からの入力音声信号を信号処理
部302に出力するとともに、信号処理部302にて処
理された音声信号をスピーカ307に出力する音声入出
力部305とを有している。なお、ここでは説明の簡略
化のため、携帯電話のボタン操作部は図示していない。
【0207】ここで、上記信号処理部302は、上記実
施の形態2のデータ再生装置200bと同一のデータ再
生処理を行うものである。つまり、上記信号処理部30
2は、実施の形態2の受信端末側における、HTTP送
受信部211,RTSPメッセージ送受信部214、S
MILデータ解析部212b、RTPデータ受信部21
6b、デコード部210,及びユーザ操作部213に相
当する部分を有している。また、この実施の形態6の携
帯電話300における表示制御部304及び液晶パネル
(LCD)306は、上記実施の形態2の表示部218
に相当するものである。
【0208】このような構成を有する携帯電話300で
は、ユーザにより、受信すべき画像データに対するエラ
ー耐性強度が設定され、特定のコンテンツに対応する画
像データの再生を行うための操作が行われると、サーバ
からは、エラー耐性強度のユーザ設定値に適したビデオ
ストリームがRTPパケットにより順次送信され、携帯
電話では、サーバからのビデオストリームの再生が行わ
れるとともに、該ビデオストリームの受信中における伝
送エラー発生率に応じて、ビデオストリームを切替える
処理が行われる。
【0209】なお、上記実施の形態6では、携帯電話と
して、上記実施の形態2のデータ再生装置と同一のデー
タ再生処理を行うものを示したが、この携帯電話は、上
記実施の形態3ないし5のデータ伝送システムにおける
データ再生装置(受信端末)200c,200d,20
0eと同一のデータ再生処理を行うものであってもよ
い。
【0210】さらに、上記各実施の形態では、データ再
生装置(受信端末)あるいはデータ送信装置(サーバ)
をハードウエアにより実現したものを示したが、これら
の装置はソフトウエアにより実現してもよい。この場
合、上記各実施の形態で示したデータ再生処理あるいは
データ送信処理を行うためのプログラムをフレキシブル
ディスク等のデータ記憶媒体に記録しておくことによ
り、上記データ再生装置(受信端末)及びデータ送信装
置(サーバ)を、独立したコンピュータシステムにおい
て構築することが可能となる。
【0211】図17は、上記各実施の形態のデータ再生
処理あるいはデータ送信処理をソフトウエアにより行う
ためのプログラムを格納した記録媒体、及び該記録媒体
を含むコンピュータシステムを説明するための図であ
る。図17(a)は、フレキシブルディスクの正面からみ
た外観、断面構造、及びフレキシブルディスク本体を示
し、図17(b)は、該フレキシブルディスク本体の物理
フォーマットの例を示している。
【0212】上記フレキシブルディスクFDは、上記フ
レキシブルディスク本体Dをフレキシブルディスクケー
スFC内に収容した構造となっており、該フレキシブル
ディスク本体Dの表面には、同心円状に外周から内周に
向かって複数のトラックTrが形成され、各トラックT
rは円周方向に16のセクタSeに分割されている。従
って、上記プログラムを格納したフレキシブルディスク
FDは、上記フレキシブルディスク本体Dの上に割り当
てられた領域(セクタ)Seに、上記プログラムとして
のデータが記録されたものとなっている。また、図17
(c)は、フレキシブルディスクFDに上記プログラムを
記録するための構成、及びフレキシブルディスクFDに
格納したプログラムを用いてソフトウエアによるデータ
再生処理あるいはデータ送信処理を行うための構成を示
している。
【0213】上記プログラムをフレキシブルディスクF
Dに記録する場合は、コンピュータシステムCsから上
記プログラムとしてのデータを、フレキシブルディスク
ドライブFDDを介してフレキシブルディスクFDに書き
込む。また、フレキシブルディスクFDに記録されたプ
ログラムにより、上記データ再生装置あるいはデータ送
信装置をコンピュータシステムCs中に構築する場合
は、フレキシブルディスクドライブFDDによりプログラ
ムをフレキシブルディスクFDから読み出し、コンピュ
ータシステムCsにロードする。
【0214】なお、上記説明では、データ記録媒体とし
てフレキシブルディスクを示したが、データ記録媒体と
して光ディスクを用いてもよく、この場合も上記フレキ
シブルディスクの場合と同様にソフトウェアによるデー
タ再生処理あるいはデータ送信処理を行うことができ
る。さらに、上記データ記録媒体は上記光ディスクやフ
レキシブルディスクに限るものではなく、ICカード、
ROMカセット等、プログラムを記録できるものであれ
ばどのようなものでもよく、これらのデータ記録媒体を
用いる場合でも、上記フレキシブルディスク等を用いる
場合と同様にソフトウェアによるデータ再生処理あるい
はデータ送信処理を実施することができる。
【0215】
【発明の効果】以上のように、本発明(請求項1)に係
るデータ再生装置によれば、複数の、エラー耐性の異な
る各画像データのうちのいずれかを受信して再生するデ
ータ再生装置であって、上記複数の画像データのエラー
耐性強度を示す補助データを受信する補助データ受信部
と、受信すべき画像データに関する条件と、上記補助デ
ータが示す上記各画像データのエラー耐性強度とに基づ
いて、上記複数の画像データのうちの1つを指定するデ
ータ指定信号を生成するデータ指定部と、該データ指定
信号を送信するデータ送信部と、該送信されたデータ指
定信号に基づいて上記複数の画像データのうちから選択
され、送信された画像データを受信する画像データ受信
部とを備えたことを特徴とするので、伝送エラーの発生
時における表示画像に対してユーザが抱く違和感が小さ
くなるよう、受信端末に提供されるビデオストリームを
選択することができる。
【0216】本発明(請求項2)によれば、請求項1記
載のデータ再生装置において、上記複数の、エラー耐性
の異なる各画像データは、デジタル映像信号を画面内画
素値相関を用いて符号化してなる画面内符号化データ
と、デジタル映像信号を画面間画素値相関を用いて符号
化してなる画面間符号化データとを含み、上記各画像デ
ータにおける上記画面内符号化データの出現間隔が異な
るものであることを特徴とするので、ビデオストリーム
におけるIフレームの出現間隔の選択により、伝送エラ
ーの発生状況やユーザの好みに応じたエラー耐性を有す
る画像データを選択することができる。
【0217】本発明(請求項3)によれば、請求項1記
載のデータ再生装置において、上記複数の、エラー耐性
の異なる複数の画像データは、デジタル映像信号を符号
化してなる第1,及び第2の画像符号化データであり、
上記第1の画像符号化データは、1フレームに対応する
符号化データがフレームより小さいデータ単位毎にパケ
ット化されているものであり、上記第2の画像符号化デ
ータは、1フレームに対応する符号化データが、フレー
ム毎にあるいはフレームより大きいデータ単位毎にパケ
ット化されているものであることを特徴とするので、画
像符号化データのパケットサイズの選択により、伝送エ
ラー耐性の高いビデオストリームと、映像品質のよいビ
デオストリームとを切り換えることができる。
【0218】本発明(請求項4)によれば、請求項1記
載のデータ再生装置において、上記複数の、エラー耐性
の異なる各画像データは、同一の画像系列に対応するも
のであって、それぞれのフレームレートが異なるもので
あることを特徴とするので、フレームレートの選択によ
り、伝送エラー耐性の高いビデオストリームと、映像品
質のよいビデオストリームとを切り換えることができ
る。
【0219】本発明(請求項5)によれば、請求項1記
載のデータ再生装置において、上記複数の、エラー耐性
の異なる各画像データは、同一の画像系列に対応するも
のであって、該各画像データに対する伝送プロトコルが
異なるものであることを特徴とするので、プロトコルの
選択により異なるエラー耐性の画像データを選択可能と
なる。
【0220】本発明(請求項6)によれば、請求項1記
載のデータ再生装置において、上記画像データ受信部に
て受信された画像データを復号化する復号化部と、設定
された動作条件に応じて、上記復号化部の動作モードを
切り替える制御部とを備えたことを特徴とするので、エ
ラー発生時の表示画像の違和感を、動作条件の設定によ
り小さくすることができる。
【0221】本発明(請求項7)によれば、請求項6記
載のデータ再生装置において、上記複数の、エラー耐性
の異なる各画像データは、デジタル映像信号を画面内画
素値相関を用いて符号化してなる画面内符号化データ
と、デジタル映像信号を画面間画素値相関を用いて符号
化してなる画面間符号化データとを含み、上記各画像デ
ータにおける上記画面内符号化データの出現間隔が異な
るものであり、上記制御部は、上記動作条件が、画面内
符号化データの出現間隔が既定値より短い画像データを
受信する動作条件であるとき、上記復号化部の動作モー
ドを、伝送エラーが発生した時に、その後画面内符号化
データが正常に受信されるまで、復号処理を一旦停止す
る第1の復号モードとし、上記動作条件が、画面内符号
化データの出現間隔が既定値以上の画像データを受信す
る動作条件であるとき、上記復号化部の動作モードを、
伝送エラーが発生した時に、その後画面内符号化データ
が正常に受信されるまで、画面間符号化データを、その
伝送エラーにより復号不可能となった部分を除いて復号
化する第2の復号モードとするものであることを特徴と
するので、エラー発生時の復号動作を、動作条件の設定
に応じた、表示画像の違和感の小さいものとできる。
【0222】本発明(請求項8)によれば、請求項7記
載のデータ再生装置において、上記第2の復号モード
は、伝送エラーの発生によりデータが欠落したフレーム
以外のフレームの画像データを復号化するものであるこ
とを特徴とするので、伝送エラーの発生時にも、データ
が欠落したフレーム以外のフレームの表示が可能とな
り、スムースな画像表示を行うことができる。
【0223】本発明(請求項9)によれば、請求項7記
載のデータ再生装置において、上記画像データは、フレ
ームより小さいデータ単位毎にパケット化されたもので
あり、上記第2の復号モードは、伝送エラーの発生によ
りデータが欠落したパケット以外のパケットの画像デー
タを復号化するものであることを特徴とするので、伝送
エラーの発生時には、エラー発生によりデータが欠落し
たフレームであってもその一部の表示が可能となり、よ
りスムースな画像表示が可能となる。
【0224】本発明(請求項10)に係るデータ再生装
置によれば、複数の、エラー耐性の異なる各画像データ
のうちのいずれかを受信して再生するデータ再生装置で
あって、上記複数の画像データのエラー耐性強度を示す
補助データを受信する補助データ受信部と、受信した画
像データのエラー発生率を検出するエラー検出部と、上
記検出した画像データのエラー発生率、及び上記補助デ
ータが示す各画像データのエラー耐性強度に基づいて、
上記複数の画像データのうちの1つを指定するデータ指
定信号を生成するデータ指定部と、該データ指定信号を
送信するデータ送信部と、該送信されたデータ指定信号
に基づいて上記複数の画像データのうちから選択され、
送信された画像データを受信する画像データ受信部とを
備えたことを特徴とするので、例えばビデオストリーム
におけるIフレームの出現間隔を伝送エラーの発生率に
応じて変更することができ、これにより、伝送エラーの
発生時における表示画像の違和感を小さく抑えることが
できる。
【0225】本発明(請求項11)に係るデータ再生方
法によれば、複数の、エラー耐性の異なる各画像データ
のうちのいずれかを受信して再生するデータ再生方法で
あって、上記複数の画像データのエラー耐性強度を示す
補助データを受信する補助データ受信ステップと、受信
すべき画像データに関する条件と、上記補助データが示
す上記各画像データのエラー耐性強度とに基づいて、上
記複数の画像データのうちの1つを指定するデータ指定
信号を生成するデータ指定ステップと、該データ指定信
号を送信するデータ送信ステップと、該送信されたデー
タ指定信号に基づいて上記複数の画像データのうちから
選択され、送信された画像データを受信する画像データ
受信ステップとを含むことを特徴とするので、伝送エラ
ーの発生時における表示画像に対してユーザが抱く違和
感が小さくなるよう、受信端末に提供されるビデオスト
リームを選択することができ、これにより、伝送エラー
の発生時における表示画像の違和感を小さく抑えること
ができる。
【0226】本発明(請求項12)に係るデータ再生方
法によれば、複数の、エラー耐性の異なる各画像データ
のうちのいずれかを受信して再生するデータ再生方法で
あって、上記複数の画像データのエラー耐性強度を示す
補助データを受信する補助データ受信ステップと、受信
した画像データのエラー発生率を検出するエラー検出ス
テップと、上記検出した画像データのエラー発生率と、
上記補助データが示す上記各画像データのエラー耐性強
度とに基づいて、上記複数の画像データのうちの1つを
指定するデータ指定信号を生成するデータ指定ステップ
と、該データ指定信号を送信するデータ送信ステップ
と、該送信されたデータ指定信号に基づいて上記複数の
画像データのうちから選択され、送信された画像データ
を受信する画像データ受信ステップとを含むことを特徴
とするので、例えばビデオストリームにおけるIフレー
ムの出現間隔を伝送エラーの発生率に応じて変更するこ
とができ、これにより、伝送エラーの発生時における表
示画像の違和感を小さく抑えることができる。
【0227】本発明(請求項13)に係るデータ記録媒
体によれば、複数の、エラー耐性の異なる各画像データ
のうちのいずれかを受信して再生するデータ再生処理を
コンピュータにより行うためのデータ再生プログラムを
格納したデータ記録媒体であって、上記データ再生プロ
グラムは、上記複数の画像データのエラー耐性強度を示
す補助データを受信する補助データ受信ステップと、受
信すべき画像データに関する条件と、上記補助データが
示す上記各画像データのエラー耐性強度とに基づいて、
上記複数の画像データのうちの1つを指定するデータ指
定信号を生成するデータ指定ステップと、該データ指定
信号を送信するデータ送信ステップと、該送信されたデ
ータ指定信号に基づいて上記複数の画像データのうちか
ら選択され、送信された画像データを受信する画像デー
タ受信ステップとを含むものであることを特徴とするの
で、受信端末でのユーザ設定などにより、伝送エラーの
発生時における表示画像の違和感を小さく抑えることが
できる復号処理を、ソフトウエアにより実現可能とな
る。
【0228】本発明(請求項14)に係るデータ記録媒
体によれば、複数の、エラー耐性の異なる各画像データ
のうちのいずれかを受信して再生するデータ再生処理を
コンピュータにより行うためのデータ再生プログラムを
格納したデータ記録媒体であって、上記データ再生プロ
グラムは、上記複数の画像データのエラー耐性強度を示
す補助データを受信する補助データ受信ステップと、受
信した画像データのエラー発生率を検出するエラー検出
ステップと、上記検出した画像データのエラー発生率
と、上記補助データが示す上記各画像データのエラー耐
性強度とに基づいて、上記複数の画像データのうちの1
つを指定するデータ指定信号を生成するデータ指定ステ
ップと、該データ指定信号を送信するデータ送信ステッ
プと、該送信されたデータ指定信号に基づいて上記複数
の画像データのうちから選択され、送信された画像デー
タを受信する画像データ受信ステップとを含むものであ
ることを特徴とするので、例えば、伝送エラーの発生率
に応じたIフレームの出現間隔の変更により、伝送エラ
ーの発生時における表示画像の違和感を小さく抑えるこ
とができる復号化処理を、ソフトウエアにより実現する
ことができる。
【0229】本発明(請求項15)に係るデータ再生装
置によれば、画像データを受信して再生するデータ再生
装置であって、上記画像データを受信する画像データ受
信部と、上記画像データ受信部にて受信された画像デー
タを復号化する復号化部と、設定された条件に応じて、
上記復号化部の動作モードを切り替える制御部とを備え
たことを特徴とするので、エラー発生時には、復号化部
の動作モードを、表示画像の違和感の少ないものに変更
可能となる。
【0230】本発明(請求項16)によれば、請求項1
5記載のデータ再生装置において、上記画像データのエ
ラー耐性強度を示す補助データを受信する補助データ受
信部を備えたことを特徴とするので、エラー発生時に
は、復号化部の動作モードを、受信中の画像データのエ
ラー耐性強度に基づいて、表示画像の違和感の少ないも
のに変更可能となる。
【0231】本発明(請求項17)によれば、請求項1
6記載のデータ再生装置において、上記画像データは、
デジタル映像信号を画面内画素値相関を用いて符号化し
てなる画面内符号化データと、デジタル映像信号を画面
間画素値相関を用いて符号化してなる画面間符号化デー
タとを含むものであり、上記補助データは、上記画像デ
ータにおける画面内符号化データの出現間隔を示すもの
であることを特徴とするので、エラー発生時には、復号
化部の動作モードを、受信中の画像データにおける画面
内符号化データの出現間隔に基づいて、表示画像の違和
感の少ないものに変更することができる。
【0232】本発明(請求項18)によれば、請求項1
5記載のデータ再生装置において、上記画像データは、
デジタル映像信号を画面内画素値相関を用いて符号化し
てなる画面内符号化データと、デジタル映像信号を画面
間画素値相関を用いて符号化してなる画面間符号化デー
タとを含むものであり、上記画像データ受信部は、上記
画像データにおける画面内符号化データの出現間隔を算
出する演算部を有するものであることを特徴とするの
で、エラー発生時には、復号化部の動作モードを、受信
中の画像データにおける画面内符号化データの出現間隔
に基づいて、表示画像の違和感の少ないものに変更する
ことができる。
【0233】本発明(請求項19)によれば、請求項1
5記載のデータ再生装置において、上記画像データは、
デジタル映像信号を画面内画素値相関を用いて符号化し
てなる画面内符号化データと、デジタル映像信号を画面
間画素値相関を用いて符号化してなる画面間符号化デー
タとを含むものであり、上記制御部は、上記画面内符号
化データの出現間隔が、上記設定条件が示す既定値より
短い画像データを受信する場合、上記復号化部の動作モ
ードを、伝送エラーが発生した時に、その後画面内符号
化データが正常に受信されるまで、復号処理を一旦停止
する第1の復号モードとし、上記画面内符号化データの
出現間隔が、上記設定条件が示す既定値以上の画像デー
タを受信する場合、上記復号化部の動作モードを、伝送
エラーが発生した時に、伝送エラーにより復号不可能と
なった部分を除いて復号化する第2の復号モードとする
ものであることを特徴とするので、エラー発生時の復号
動作を、受信端末側の設定条件に応じた、表示画像の違
和感の小さいものとできる。
【0234】本発明(請求項20)によれば、請求項1
9記載のデータ再生装置において、上記第2の復号モー
ドは、伝送エラーの発生によりデータが欠落したフレー
ム以外のフレームの画像データを復号化するものである
ことを特徴とするので、伝送エラーの発生時にも、デー
タが欠落したフレーム以外のフレームの表示が可能とな
り、スムースな画像表示を行うことができる。
【0235】本発明(請求項21)によれば、請求項1
9記載のデータ再生装置において、上記画像データは、
フレームより小さいデータ単位毎にパケット化されたも
のであり、上記第2の復号モードは、伝送エラーの発生
によりデータが欠落したパケット以外のパケットの画像
データを復号化するものであることを特徴とするので、
伝送エラーの発生時には、エラー発生によりデータが欠
落したフレームであってもその一部の表示が可能とな
り、よりスムースな画像表示が可能となる。
【0236】本発明(請求項22)によれば、請求項1
5記載のデータ再生装置において、上記画像データは、
デジタル映像信号を画面内画素値相関を用いて符号化し
てなる画面内符号化データと、デジタル映像信号を画面
間画素値相関を用いて符号化してなる画面間符号化デー
タとを含むものであり、上記制御部は、伝送エラーが発
生した時の、上記復号化部の復号動作を、該伝送エラー
の発生したフレームの復号時間と、その後に復号される
画面内符号化フレームの復号時間との時間差に応じて切
り替えるものであることを特徴とするので、伝送エラー
の発生の復号動作を、伝送エラー発生時に表示される画
像の違和感のより少ないものとできる。
【0237】本発明(請求項23)によれば、請求項2
2記載のデータ再生装置において、上記制御部は、伝送
エラーが発生したとき、上記伝送エラーの発生したフレ
ームの復号時から、その後に復号される画面内符号化フ
レームの復号時までの時間差が、上記設定された条件が
示す一定の基準値より小さい第1の場合、上記復号化部
の復号動作を、上記伝送エラーの発生したフレームの復
号時からその後に画面内符号化フレームに対する復号が
行われるまでの間は、画像データに対する復号処理を停
止するよう制御し、上記伝送エラーの発生したフレーム
の復号時から、その後に復号される画面内符号化フレー
ムの復号時までの時間差が、上記設定された条件が示す
一定の基準値以上である第2の場合、上記復号化部の復
号動作を、上記伝送エラーの発生したフレームの復号時
からその後に画面内符号化フレームに対する復号が行わ
れるまでの間は、画面間符号化データをその伝送エラー
の発生により復号不可能となった部分を除いて復号化す
る復号処理を行うよう制御するものであることを特徴と
するので、伝送エラーの発生時には、画像の乱れのない
表示と、動きの滑らかな表示とのうちでより違和感の少
ない方の表示を行うことが可能となる。
【0238】本発明(請求項24)によれば、請求項2
3記載のデータ再生装置において、上記第2の場合に行
われる復号処理は、伝送エラーの発生によりデータが欠
落したフレーム以外のフレームの画像データを復号化す
るものであることを特徴とするので、伝送エラーの発生
から、その後に画面内符号化フレームの復号が行われる
までの時間が比較的長い場合には、伝送エラーの発生時
の復号動作を、データが欠落したフレーム以外のフレー
ムの表示を行う、スムースな画像表示の可能なものとで
きる。
【0239】本発明(請求項25)によれば、請求項2
3記載のデータ再生装置において、上記画像データは、
フレームより小さいデータ単位毎にパケット化されたも
のであり、上記第2の場合に行われる復号処理は、伝送
エラーの発生によりデータが欠落したパケット以外のパ
ケットの画像データを復号化するものであることを特徴
とするので、伝送エラーの発生から、その後に画面内符
号化フレームの復号が行われるまでの時間が比較的長い
場合には、伝送エラーの発生時の復号動作を、エラー発
生によりデータが欠落したフレームであってもその一部
の表示を行う、よりスムースな画像表示が可能なものと
できる。
【0240】本発明(請求項26)に係るデータ再生方
法によれば、画像データを受信して再生するデータ再生
方法であって、上記画像データを受信する画像データ受
信ステップと、上記画像データ受信部にて受信された画
像データを復号化する復号化ステップと、設定された条
件に応じて、上記復号化部の動作モードを切り替える制
御ステップとを含むことを特徴とするので、エラー発生
時には、復号化部の動作モードを、表示画像の違和感の
少ないものに変更することができる。
【0241】本発明(請求項27)に係るデータ記録媒
体によれば、画像データを受信して再生するデータ再生
処理をコンピュータにより行うためのデータ再生プログ
ラムを格納したデータ記録媒体であって、上記データ再
生プログラムは、上記画像データを受信する画像データ
受信ステップと、上記画像データ受信部にて受信された
画像データを復号化する復号化ステップと、設定された
条件に応じて、上記復号化部の動作モードを切り替える
制御ステップとを含むものであることを特徴とするの
で、エラー発生時には、復号モードを、表示画像の違和
感の少ないものに変更する復号処理を、ソフトウエアに
より実現することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1によるデータ伝送システ
ムを説明するための図であり、該システムの構成(図
(a))、及び該システムにおけるデータ送信処理(図
(b))を示している。
【図2】上記実施の形態1のデータ伝送システムにて用
いられるSMILファイルFSD1の記述内容の一例を示
す図である。
【図3】上記実施の形態1のデータ伝送システムを構成
するサーバ100a及びクライアント端末200aの詳
細な構成を示す図である。
【図4】上記実施の形態1の受信端末200aにおける
具体的なエラー耐性強度の設定方法を説明する図であ
り、2つのエラー耐性強度の一方を選択する方法(図
(a))と、スライドバーによりエラー耐性強度を指定す
る方法(図(b))を示している。
【図5】上記実施の形態1のデータ伝送システムにて用
いられる、図2に示すSMILファイルとは異なるSM
ILファイルFSD2の記述内容(図(a))、及びユーザ
設定値Xus2に基づいたvideo要素の具体的な選択の方
法(図(b))を示す図である。
【図6】上記実施の形態1におけるエラー耐性の異なる
複数の画像データの他の例として、1フレームを1ビデ
オパケットとするビデオストリーム(図(a))と、1フ
レームを3ビデオパケットとするビデオストリーム(図
(b))とを示す図である。
【図7】本発明の実施の形態2によるデータ伝送システ
ムを説明するための図であり、上記システムを構成する
サーバ及びクライアント端末の詳細な構成を示してい
る。
【図8】上記実施の形態2で用いるSMILファイルF
SD2の記述情報に対応する、ワークメモリにおける記憶
内容(図(a))、及びエラー発生率とエラー耐性強度と
を関連付けるテーブル(図(b))を示す図である。
【図9】上記実施の形態2にてビデオストリームの切替
えを行う際の、RTSPメッセージの交換の例を示す図
である。
【図10】上記実施の形態2にてビデオストリームの切
替えを行う際、切替え前、及び切替え後のビデオストリ
ームに対応する受信バッファに格納されるRTPパケッ
ト(図(a),(b))を示す図である。
【図11】上記実施の形態2における受信端末でのビデ
オストリームの切替処理のフローを示す図である。
【図12】上記実施の形態2における、上記ビデオスト
リームの切替時に受信端末のRTSPメッセージ送受信
部214及びパケットRTPデータ受信部216bにて
行われる処理を、表示時刻に従って具体的に示す模式図
である。
【図13】上記実施の形態2で用いられる、伝送プロト
コルが異なるビデオストリームに関する情報を示すSM
ILファイルの記述(図(a))、該記述に対応する、ワ
ークメモリにおける記憶内容(図(b))、及びエラー発
生率とプロトコルとを関連付けるテーブル(図(c))を
示す図である。
【図14】本発明の実施の形態3によるデータ伝送シス
テムを説明するための図であり、上記システムを構成す
るサーバ及びクライアント端末の詳細な構成を示してい
る。
【図15】本発明の実施の形態4によるデータ伝送シス
テムを説明するための図であり、上記システムを構成す
るサーバ及びクライアント端末の詳細な構成を示してい
る。
【図16】本発明の実施の形態6によるデータ再生装置
としての携帯電話を説明するための図である。
【図17】上記各実施の形態のデータ再生処理及びデー
タ送信処理をコンピュータシステムにより行うためのプ
ログラムを格納したデータ記憶媒体(図(a),(b))、及
び上記コンピュータシステム(図(c))を説明するため
の図である。
【図18】インターネットを利用して画像データを配信
するための通信システムを説明するための図である。
【図19】従来の画像符号化装置を説明するための図で
あり、該画像符号化装置の構成(図(a))、及び該画像
符号化装置におけるVOP単位の符号化処理(図(b))
を示している。
【図20】従来の画像復号化装置を説明するためのブロ
ック図である。
【図21】本発明の実施の形態5によるデータ伝送シス
テムを説明するための図であり、図21(a)は該システ
ムの構成を、図21(b)は、該システムでのデータ伝送
処理を示している。
【図22】上記実施の形態5のシステムを構成するサー
バ100e及びクライアント端末200eの詳細な構成
を示す図である。
【符号の説明】
10a,10b,10c,10d,10e ネットワー
クシステム 11 ネットワーク 21 ボタン操作部 21a〜21d カーソルキー 21e 確定ボタン 22a 電波強度表示画面 22b,22d エラー耐性設定画面 22c,22e 操作案内画面 100a,100c
サーバ 101 HTTP送信手段 102 RTSPメッセージ受信手段 103 RTPデータ送信手段 104,219 RTCPレポート送受信手段 110a,110c,100e 送信装置 120 データ格納部 200a,200b,200c,200d,200e
受信端末 201a,201b 携帯端末 211 HTTP受信手段 212,212b,212e SMILデータ解析手段 213 ユーザ操作部 214 RTSPメッセージ受信手段 216,216b,216c RTPデータ受信手段 210,210d,210e デコード部 218,218d,218e 表示部 220,220e 制御部 300 携帯電話 301 アンテナ 302 信号処理部 303 無線通信部 304 表示制御部 305 音声入力出力部 306 液晶パネル(LCD) 307 スピーカ 308 マイク Cs コンピュータ・システム FD フレキシブルディスク FDD フレキシブルディスクドライブ FSD1〜FSD3 SMILファイル

Claims (27)

    【特許請求の範囲】
  1. 【請求項1】 複数の、エラー耐性の異なる各画像デー
    タのうちのいずれかを受信して再生するデータ再生装置
    であって、 上記複数の画像データのエラー耐性強度を示す補助デー
    タを受信する補助データ受信部と、 受信すべき画像データに関する条件と、上記補助データ
    が示す上記各画像データのエラー耐性強度とに基づい
    て、上記複数の画像データのうちの1つを指定するデー
    タ指定信号を生成するデータ指定部と、 該データ指定信号を送信するデータ送信部と、 該送信されたデータ指定信号に基づいて上記複数の画像
    データのうちから選択され、送信された画像データを受
    信する画像データ受信部とを備えたことを特徴とするデ
    ータ再生装置。
  2. 【請求項2】 請求項1記載のデータ再生装置におい
    て、 上記複数の、エラー耐性の異なる各画像データは、デジ
    タル映像信号を画面内画素値相関を用いて符号化してな
    る画面内符号化データと、デジタル映像信号を画面間画
    素値相関を用いて符号化してなる画面間符号化データと
    を含み、上記各画像データにおける上記画面内符号化デ
    ータの出現間隔が異なるものであることを特徴とするデ
    ータ再生装置。
  3. 【請求項3】 請求項1記載のデータ再生装置におい
    て、 上記複数の、エラー耐性の異なる複数の画像データは、
    デジタル映像信号を符号化してなる第1,及び第2の画
    像符号化データであり、 上記第1の画像符号化データは、1フレームに対応する
    符号化データがフレームより小さいデータ単位毎にパケ
    ット化されているものであり、 上記第2の画像符号化データは、1フレームに対応する
    符号化データが、フレーム毎にあるいはフレームより大
    きいデータ単位毎にパケット化されているものであるこ
    とを特徴とするデータ再生装置。
  4. 【請求項4】 請求項1記載のデータ再生装置におい
    て、 上記複数の、エラー耐性の異なる各画像データは、同一
    の画像系列に対応するものであって、それぞれのフレー
    ムレートが異なるものであることを特徴とするデータ再
    生装置。
  5. 【請求項5】 請求項1記載のデータ再生装置におい
    て、 上記複数の、エラー耐性の異なる各画像データは、同一
    の画像系列に対応するものであって、該各画像データに
    対する伝送プロトコルが異なるものであることを特徴と
    するデータ再生装置。
  6. 【請求項6】 請求項1記載のデータ再生装置におい
    て、 上記画像データ受信部にて受信された画像データを復号
    化する復号化部と、 設定された動作条件に応じて、上記復号化部の動作モー
    ドを切り替える制御部とを備えたことを特徴とするデー
    タ再生装置。
  7. 【請求項7】 請求項6記載のデータ再生装置におい
    て、 上記複数の、エラー耐性の異なる各画像データは、デジ
    タル映像信号を画面内画素値相関を用いて符号化してな
    る画面内符号化データと、デジタル映像信号を画面間画
    素値相関を用いて符号化してなる画面間符号化データと
    を含み、上記各画像データにおける上記画面内符号化デ
    ータの出現間隔が異なるものであり、 上記制御部は、 上記動作条件が、画面内符号化データの出現間隔が既定
    値より短い画像データを受信する動作条件であるとき、
    上記復号化部の動作モードを、伝送エラーが発生した時
    に、その後画面内符号化データが正常に受信されるま
    で、復号処理を一旦停止する第1の復号モードとし、 上記動作条件が、画面内符号化データの出現間隔が既定
    値以上の画像データを受信する動作条件であるとき、上
    記復号化部の動作モードを、伝送エラーが発生した時
    に、その後画面内符号化データが正常に受信されるま
    で、画面間符号化データを、その伝送エラーにより復号
    不可能となった部分を除いて復号化する第2の復号モー
    ドとするものであることを特徴とするデータ再生装置。
  8. 【請求項8】 請求項7記載のデータ再生装置におい
    て、 上記第2の復号モードは、伝送エラーの発生によりデー
    タが欠落したフレーム以外のフレームの画像データを復
    号化するものであることを特徴とするデータ再生装置。
  9. 【請求項9】 請求項7記載のデータ再生装置におい
    て、 上記画像データは、フレームより小さいデータ単位毎に
    パケット化されたものであり、 上記第2の復号モードは、伝送エラーの発生によりデー
    タが欠落したパケット以外のパケットの画像データを復
    号化するものであることを特徴とするデータ再生装置。
  10. 【請求項10】 複数の、エラー耐性の異なる各画像デ
    ータのうちのいずれかを受信して再生するデータ再生装
    置であって、 上記複数の画像データのエラー耐性強度を示す補助デー
    タを受信する補助データ受信部と、 受信した画像データのエラー発生率を検出するエラー検
    出部と、 上記検出した画像データのエラー発生率、及び上記補助
    データが示す各画像データのエラー耐性強度に基づい
    て、上記複数の画像データのうちの1つを指定するデー
    タ指定信号を生成するデータ指定部と、 該データ指定信号を送信するデータ送信部と、 該送信されたデータ指定信号に基づいて上記複数の画像
    データのうちから選択され、送信された画像データを受
    信する画像データ受信部とを備えたことを特徴とするデ
    ータ再生装置。
  11. 【請求項11】 複数の、エラー耐性の異なる各画像デ
    ータのうちのいずれかを受信して再生するデータ再生方
    法であって、 上記複数の画像データのエラー耐性強度を示す補助デー
    タを受信する補助データ受信ステップと、 受信すべき画像データに関する条件と、上記補助データ
    が示す上記各画像データのエラー耐性強度とに基づい
    て、上記複数の画像データのうちの1つを指定するデー
    タ指定信号を生成するデータ指定ステップと、 該データ指定信号を送信するデータ送信ステップと、 該送信されたデータ指定信号に基づいて上記複数の画像
    データのうちから選択され、送信された画像データを受
    信する画像データ受信ステップとを含むことを特徴とす
    るデータ再生方法。
  12. 【請求項12】 複数の、エラー耐性の異なる各画像デ
    ータのうちのいずれかを受信して再生するデータ再生方
    法であって、 上記複数の画像データのエラー耐性強度を示す補助デー
    タを受信する補助データ受信ステップと、 受信した画像データのエラー発生率を検出するエラー検
    出ステップと、 上記検出した画像データのエラー発生率と、上記補助デ
    ータが示す上記各画像データのエラー耐性強度とに基づ
    いて、上記複数の画像データのうちの1つを指定するデ
    ータ指定信号を生成するデータ指定ステップと、 該データ指定信号を送信するデータ送信ステップと、 該送信されたデータ指定信号に基づいて上記複数の画像
    データのうちから選択され、送信された画像データを受
    信する画像データ受信ステップとを含むことを特徴とす
    るデータ再生方法。
  13. 【請求項13】 複数の、エラー耐性の異なる各画像デ
    ータのうちのいずれかを受信して再生するデータ再生処
    理をコンピュータにより行うためのデータ再生プログラ
    ムを格納したデータ記録媒体であって、 上記データ再生プログラムは、 上記複数の画像データのエラー耐性強度を示す補助デー
    タを受信する補助データ受信ステップと、 受信すべき画像データに関する条件と、上記補助データ
    が示す上記各画像データのエラー耐性強度とに基づい
    て、上記複数の画像データのうちの1つを指定するデー
    タ指定信号を生成するデータ指定ステップと、 該データ指定信号を送信するデータ送信ステップと、 該送信されたデータ指定信号に基づいて上記複数の画像
    データのうちから選択され、送信された画像データを受
    信する画像データ受信ステップとを含むものであること
    を特徴とするデータ記録媒体。
  14. 【請求項14】 複数の、エラー耐性の異なる各画像デ
    ータのうちのいずれかを受信して再生するデータ再生処
    理をコンピュータにより行うためのデータ再生プログラ
    ムを格納したデータ記録媒体であって、 上記データ再生プログラムは、 上記複数の画像データのエラー耐性強度を示す補助デー
    タを受信する補助データ受信ステップと、 受信した画像データのエラー発生率を検出するエラー検
    出ステップと、 上記検出した画像データのエラー発生率と、上記補助デ
    ータが示す上記各画像データのエラー耐性強度とに基づ
    いて、上記複数の画像データのうちの1つを指定するデ
    ータ指定信号を生成するデータ指定ステップと、 該データ指定信号を送信するデータ送信ステップと、 該送信されたデータ指定信号に基づいて上記複数の画像
    データのうちから選択され、送信された画像データを受
    信する画像データ受信ステップとを含むものであること
    を特徴とするデータ記録媒体。
  15. 【請求項15】 画像データを受信して再生するデータ
    再生装置であって、 上記画像データを受信する画像データ受信部と、 上記画像データ受信部にて受信された画像データを復号
    化する復号化部と、 設定された条件に応じて、上記復号化部の動作モードを
    切り替える制御部とを備えたことを特徴とするデータ再
    生装置。
  16. 【請求項16】 請求項15記載のデータ再生装置にお
    いて、 上記画像データのエラー耐性強度を示す補助データを受
    信する補助データ受信部を備えたことを特徴とするデー
    タ再生装置。
  17. 【請求項17】 請求項16記載のデータ再生装置にお
    いて、 上記画像データは、デジタル映像信号を画面内画素値相
    関を用いて符号化してなる画面内符号化データと、デジ
    タル映像信号を画面間画素値相関を用いて符号化してな
    る画面間符号化データとを含むものであり、 上記補助データは、上記画像データにおける画面内符号
    化データの出現間隔を示すものであることを特徴とする
    データ再生装置。
  18. 【請求項18】 請求項15記載のデータ再生装置にお
    いて、 上記画像データは、デジタル映像信号を画面内画素値相
    関を用いて符号化してなる画面内符号化データと、デジ
    タル映像信号を画面間画素値相関を用いて符号化してな
    る画面間符号化データとを含むものであり、 上記画像データ受信部は、上記画像データにおける画面
    内符号化データの出現間隔を算出する演算部を有するも
    のであることを特徴とするデータ再生装置。
  19. 【請求項19】 請求項15記載のデータ再生装置にお
    いて、 上記画像データは、デジタル映像信号を画面内画素値相
    関を用いて符号化してなる画面内符号化データと、デジ
    タル映像信号を画面間画素値相関を用いて符号化してな
    る画面間符号化データとを含むものであり、 上記制御部は、 上記画面内符号化データの出現間隔が、上記設定条件が
    示す既定値より短い画像データを受信する場合、上記復
    号化部の動作モードを、伝送エラーが発生した時に、そ
    の後画面内符号化データが正常に受信されるまで、復号
    処理を一旦停止する第1の復号モードとし、 上記画面内符号化データの出現間隔が、上記設定条件が
    示す既定値以上の画像データを受信する場合、上記復号
    化部の動作モードを、伝送エラーが発生した時に、伝送
    エラーにより復号不可能となった部分を除いて復号化す
    る第2の復号モードとするものであることを特徴とする
    データ再生装置。
  20. 【請求項20】 請求項19記載のデータ再生装置にお
    いて、 上記第2の復号モードは、伝送エラーの発生によりデー
    タが欠落したフレーム以外のフレームの画像データを復
    号化するものであることを特徴とするデータ再生装置。
  21. 【請求項21】 請求項19記載のデータ再生装置にお
    いて、 上記画像データは、フレームより小さいデータ単位毎に
    パケット化されたものであり、 上記第2の復号モードは、伝送エラーの発生によりデー
    タが欠落したパケット以外のパケットの画像データを復
    号化するものであることを特徴とするデータ再生装置。
  22. 【請求項22】 請求項15記載のデータ再生装置にお
    いて、 上記画像データは、デジタル映像信号を画面内画素値相
    関を用いて符号化してなる画面内符号化データと、デジ
    タル映像信号を画面間画素値相関を用いて符号化してな
    る画面間符号化データとを含むものであり、 上記制御部は、 伝送エラーが発生した時の、上記復号化部の復号動作
    を、該伝送エラーの発生したフレームの復号時間と、そ
    の後に復号される画面内符号化フレームの復号時間との
    時間差に応じて切り替えるものであることを特徴とする
    データ再生装置。
  23. 【請求項23】 請求項22記載のデータ再生装置にお
    いて、 上記制御部は、伝送エラーが発生したとき、 上記伝送エラーの発生したフレームの復号時から、その
    後に復号される画面内符号化フレームの復号時までの時
    間差が、上記設定された条件が示す一定の基準値より小
    さい第1の場合、上記復号化部の復号動作を、上記伝送
    エラーの発生したフレームの復号時からその後に画面内
    符号化フレームに対する復号が行われるまでの間は、画
    像データに対する復号処理を停止するよう制御し、 上記伝送エラーの発生したフレームの復号時から、その
    後に復号される画面内符号化フレームの復号時までの時
    間差が、上記設定された条件が示す一定の基準値以上で
    ある第2の場合、上記復号化部の復号動作を、上記伝送
    エラーの発生したフレームの復号時からその後に画面内
    符号化フレームに対する復号が行われるまでの間は、画
    面間符号化データをその伝送エラーの発生により復号不
    可能となった部分を除いて復号化する復号処理を行うよ
    う制御するものであることを特徴とするデータ再生装
    置。
  24. 【請求項24】 請求項23記載のデータ再生装置にお
    いて、 上記第2の場合に行われる復号処理は、伝送エラーの発
    生によりデータが欠落したフレーム以外のフレームの画
    像データを復号化するものであることを特徴とするデー
    タ再生装置。
  25. 【請求項25】 請求項23記載のデータ再生装置にお
    いて、 上記画像データは、フレームより小さいデータ単位毎に
    パケット化されたものであり、 上記第2の場合に行われる復号処理は、伝送エラーの発
    生によりデータが欠落したパケット以外のパケットの画
    像データを復号化するものであることを特徴とするデー
    タ再生装置。
  26. 【請求項26】 画像データを受信して再生するデータ
    再生方法であって、 上記画像データを受信する画像データ受信ステップと、 上記画像データ受信部にて受信された画像データを復号
    化する復号化ステップと、 設定された条件に応じて、上記復号化部の動作モードを
    切り替える制御ステップとを含むことを特徴とするデー
    タ再生方法
  27. 【請求項27】 画像データを受信して再生するデータ
    再生処理をコンピュータにより行うためのデータ再生プ
    ログラムを格納したデータ記録媒体であって、 上記データ再生プログラムは、 上記画像データを受信する画像データ受信ステップと、 上記画像データ受信部にて受信された画像データを復号
    化する復号化ステップと、 設定された条件に応じて、上記復号化部の動作モードを
    切り替える制御ステップとを含むものであることを特徴
    とするデータ記録媒体。
JP2002092538A 2001-03-29 2002-03-28 データ再生装置及び携帯電話機 Expired - Fee Related JP4008734B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002092538A JP4008734B2 (ja) 2001-03-29 2002-03-28 データ再生装置及び携帯電話機

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001-97023 2001-03-29
JP2001097023 2001-03-29
JP2002092538A JP4008734B2 (ja) 2001-03-29 2002-03-28 データ再生装置及び携帯電話機

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007119408A Division JP4544640B2 (ja) 2001-03-29 2007-04-27 データ再生装置及びデータ再生方法

Publications (2)

Publication Number Publication Date
JP2003032690A true JP2003032690A (ja) 2003-01-31
JP4008734B2 JP4008734B2 (ja) 2007-11-14

Family

ID=26612610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002092538A Expired - Fee Related JP4008734B2 (ja) 2001-03-29 2002-03-28 データ再生装置及び携帯電話機

Country Status (1)

Country Link
JP (1) JP4008734B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003075526A1 (en) * 2002-03-06 2003-09-12 Hewlett-Packard Company Medium streaming distribution system
JP2004260812A (ja) * 2003-02-05 2004-09-16 Canon Inc 受信装置及び再生装置
WO2005050992A1 (en) * 2003-11-19 2005-06-02 Miwagi Inc. Intelligent broadcasting system for providing broadcasting services with multi-level quality
WO2005071967A1 (ja) * 2004-01-23 2005-08-04 Nec Corporation 動画像通信装置、動画像通信システム及び動画像通信方法
JP2009134747A (ja) * 2009-02-09 2009-06-18 Panasonic Corp 送信装置およびメディアデータ送信方法
US7650567B2 (en) 2003-03-10 2010-01-19 Panasonic Corporation Reception apparatus and information browsing method
US8731069B2 (en) 2005-08-25 2014-05-20 Canon Kabushiki Kaisha Remote display system and method
JP2018507662A (ja) * 2015-02-13 2018-03-15 エスケー テレコム カンパニー リミテッド 低遅延生放送コンテンツ提供のためのプログラムを記録した記録媒体及び装置
EP2412166B1 (en) * 2009-03-23 2020-05-06 Sony Interactive Entertainment America LLC System and method for selecting a video encoding format based on feedback data

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003075526A1 (en) * 2002-03-06 2003-09-12 Hewlett-Packard Company Medium streaming distribution system
US7443797B2 (en) 2002-03-06 2008-10-28 Hewlett-Packard Development Company, L.P. Medium streaming distribution system
KR100941562B1 (ko) 2002-03-06 2010-02-10 휴렛-팩커드 컴퍼니(델라웨어주법인) 미디어 스트리밍 분배 시스템, 패킷 분석 장치, 네트워크 중계 장치, 미디어 분배 장치, 중계 장치 및 미디어 스트림 분배 시스템
JP2004260812A (ja) * 2003-02-05 2004-09-16 Canon Inc 受信装置及び再生装置
JP4497944B2 (ja) * 2003-02-05 2010-07-07 キヤノン株式会社 受信装置及び受信装置の制御方法
US7650567B2 (en) 2003-03-10 2010-01-19 Panasonic Corporation Reception apparatus and information browsing method
WO2005050992A1 (en) * 2003-11-19 2005-06-02 Miwagi Inc. Intelligent broadcasting system for providing broadcasting services with multi-level quality
WO2005071967A1 (ja) * 2004-01-23 2005-08-04 Nec Corporation 動画像通信装置、動画像通信システム及び動画像通信方法
US8731069B2 (en) 2005-08-25 2014-05-20 Canon Kabushiki Kaisha Remote display system and method
JP2009134747A (ja) * 2009-02-09 2009-06-18 Panasonic Corp 送信装置およびメディアデータ送信方法
EP2412166B1 (en) * 2009-03-23 2020-05-06 Sony Interactive Entertainment America LLC System and method for selecting a video encoding format based on feedback data
JP2018507662A (ja) * 2015-02-13 2018-03-15 エスケー テレコム カンパニー リミテッド 低遅延生放送コンテンツ提供のためのプログラムを記録した記録媒体及び装置

Also Published As

Publication number Publication date
JP4008734B2 (ja) 2007-11-14

Similar Documents

Publication Publication Date Title
KR100832189B1 (ko) 데이터 재생 장치 및 데이터 재생 방법
TWI358234B (en) Data transmission system, receiving apparatus, and
US20070237098A1 (en) Classified Media Quality of Experience
WO2009128515A1 (ja) ゲートウエイ装置と方法とプログラム
US20070183494A1 (en) Buffering of decoded reference pictures
JP3925218B2 (ja) ストリーミングシステム及びストリーミング方法、ストリーミングサーバ及びデータ配信方法、クライアント端末及びデータ復号方法、並びにプログラム及び記録媒体
JP5524193B2 (ja) メディアストリーム処理
CN101715046B (zh) 电子设备和内容再现方法
KR20100124811A (ko) 서버 장치와 콘텐츠 배신 방법
KR20020045571A (ko) 데이터 재생방법, 데이터 수신단말 및 데이터 수신방법
JP2009512265A (ja) ネットワーク上の動画データ伝送制御システムとその方法
JP4768250B2 (ja) 送信装置、受信装置、送受信装置、送信方法及び伝送システム
JP4008734B2 (ja) データ再生装置及び携帯電話機
JP4544640B2 (ja) データ再生装置及びデータ再生方法
JP2007028241A (ja) 映像符号化・送信装置,映像符号化・送信方法,映像符号化・送信プログラムおよびその記録媒体
US11184665B2 (en) Initialization set for network streaming of media data
US20060161676A1 (en) Apparatus for IP streaming capable of smoothing multimedia stream
JP2002058002A (ja) テレビ電話装置
WO2008020792A1 (en) Error recovery for rich media
US20240098307A1 (en) Automatic generation of video content in response to network interruption
US11943501B2 (en) Dynamic resolution change hints for adaptive streaming
CN100518304C (zh) 与视频信息包损耗对应的解码方法
TW202423095A (zh) 回應於網路中斷的視訊內容的自動產生
JP2000236526A (ja) 画像通信装置
JP2007067826A (ja) 音声動画通信システム及びデータ通信端末装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070830

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100907

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110907

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120907

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees