JP3003618B2 - 動画像送受信装置 - Google Patents

動画像送受信装置

Info

Publication number
JP3003618B2
JP3003618B2 JP6523497A JP6523497A JP3003618B2 JP 3003618 B2 JP3003618 B2 JP 3003618B2 JP 6523497 A JP6523497 A JP 6523497A JP 6523497 A JP6523497 A JP 6523497A JP 3003618 B2 JP3003618 B2 JP 3003618B2
Authority
JP
Japan
Prior art keywords
packet
moving image
image frame
packets
moving picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP6523497A
Other languages
English (en)
Other versions
JPH10262245A (ja
Inventor
浩久 塩尻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP6523497A priority Critical patent/JP3003618B2/ja
Priority to US09/044,006 priority patent/US6275534B1/en
Publication of JPH10262245A publication Critical patent/JPH10262245A/ja
Application granted granted Critical
Publication of JP3003618B2 publication Critical patent/JP3003618B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Small-Scale Networks (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は動画像送受信装置に
関し、特に動画像を画質上の重要度に従って階層符号化
して伝送する動画像送受信装置に関するものである。
【０００２】
【従来の技術】動画像の階層的符号化は、動画像情報を
圧縮符号化するに当たり、画質上の重要性からいくつか
のブロックに分割し、符号化する手法である。動画像情
報を構成する各動画像フレームにおいては、２次元的な
空間周波数が低い部分にエネルギーが集中し、画質上重
要な意味を持つ。
【０００３】この性質を利用して、各画像フレームを再
帰的に周波数的に分割することにより、各動画像フレー
ムから複数の周波数成分の異なる情報を取出す方式がサ
ブバンド符号化と呼ばれるものである。
【０００４】特開平８−４６９６０号公報では、この方
式で帯域分割された各サブバンド毎に異なる符号化を行
い、その結果を多重化することにより、多解像度の動画
像をマルチスピード，マルチフォーマットで伝送する符
号化装置が提案されている。また、特開平６−３３９１
３０号公報では、最も重要なサブバンドに対して、別個
の２つの経路で誤り訂正、伝送を行うことで、最低画質
の確保を行う動画像伝送方式が提案されている。
【０００５】もう一つの階層的符号化の典型例として
は、動画像フレームをブロックに分割した後に各ブロッ
ク内で離散コサイン変換（ＤＣＴ）を行い、更にその結
果を量子化する方式において、ＤＣＴの結果得られるブ
ロックの低周波数領域と高周波数領域に分割し、各ブロ
ックの低周波数領域を集めたものと高周波数領域を集め
たものとで階層的に動画像フレームを表現する方式や、
ＤＣＴ係数を粗く量子化したものと、元々のＤＣＴ係数
と粗く量子化された係数の差分を細かく量子化した結果
とで階層的に動画像フレームを表現する方法等が挙げら
れる。
【０００６】特開平２−１１３７４８号公報では、ＤＣ
Ｔブロックを２分割して夫々のブロックに対してパケッ
トのネットワークでの輻輳による廃棄に対して、優先順
位を指定しながら伝送する動画像伝送システムにおい
て、ネットワークの輻輳状態を検出しながら、低周波数
領域、即ち画質上重要な部分(Most Significant Parts:
ＭＳＰ) と高周波数領域(Least Significant Parts: Ｌ
ＳＰ) との比率を動的に変化させることで、画質の揺ら
ぎを抑制する方式が提案されている。
【０００７】更に、特開平４−１００４９４号公報で
は、ＭＳＰとＬＳＰの分割を、ブロック毎に、画質に与
える影響を推測しながら、つまりＬＳＰから再生される
画質が一定になるように決定する方式が提案されてい
る。
【０００８】これらの従来技術は、階層的符号化によっ
て符号化された動画像情報が、受信端末で少なくともＭ
ＳＰが受信されれば、ある程度の画質の動画像が再生さ
れ、更にＬＳＰも含めて受信できれば、高画質の動画像
が再生されるという特徴を用い、同一のビット列を用い
て品質の異なる動画像伝送サービスを実現したり、輻輳
によるパケット廃棄が発生する可能性のあるネットワー
クでの動画像伝送を実現するために用いられている。
【０００９】
【発明が解決しようとする課題】上述した従来技術にお
いては、以下の２点の課題がある。即ち、オフィス等で
広く使用されているイサーネット(Ethernet)の様な方式
のネットワークにおいて、ネットワークが混雑した状況
では、動画像フレームの周期の時間内に全ての階層の符
号が送出できなくなり、受信端末での動画像フレーム受
信時間が実際のフレーム周期より長くなる。この効果は
ネットワークの混雑状況が続く限り蓄積され、単位時間
当たりの再生フレーム数が減少する。これにより、動画
像情報の再生時間が延びてしまい、主観的な画質に悪影
響を及ぼす。
【００１０】また、上述の方式では、廃棄された階層符
号は仮にネットワークの混雑状況が解消されても受信端
末には受信されないため、混雑状況の解消による画質の
向上は望めない。
【００１１】これ等の課題を解決するためには、受信端
末に大きなメモリを配置し、動画像情報の全てを受信し
た後、受信端末で再生を開始することも考えられる。し
かしながらこの場合、遅延は非常に大きくなり、リアル
タイムな通信には使用できず、また動画像データベース
の検索の様なリアルタイム性を直接は要求されないサー
ビスにおいても、受信端末を利用しているユーザの待ち
時間が大きくなると共に、受信端末に具備すべきメモリ
容量も大きくなるという課題が残る。
【００１２】本発明は、階層化符号化を用いた動画像伝
送システムにおいて、上述の課題を解決し、ある程度の
リアルタイム性を保持したまま、受信端末における再生
動画像の主観画質を、ネットワーク混雑時にも向上する
ことを目的としている。特に、イサーネットの様な、同
一ネットワークに接続された端末のネットワーク使用状
況によるスループットと遅延の変動が発生するネットワ
ークでの動画像伝送のサービス品質を向上させることを
主たる目的とする。
【００１３】
【００１４】
【００１５】
【００１６】
【００１７】
【課題を解決するための手段】 本発明によれば、 動画像
情報を画質上の重要度に従って階層符号化する階層符号
化手段と、この階層化符号情報を階層毎にパケット化す
る手段と、このパケットを順次蓄積するパケットバッフ
ァ手段と、このパケットバッファ手段から１動画像フレ
ーム周期毎に所定優先順位でパケットを順次読出しつつ
送出する手段と、１動画像フレーム周期内で伝送できな
かったパケットについて、その動画像フレーム周期に続
く少なくとも１動画像フレーム周期内で前記優先順位で
更に送出を行う手段とを含むことを特徴とする動画像送
信装置が得られる。
【００１８】そして、この動画像送信装置からのパケッ
トを受信して複数動画像フレーム周期に相当する期間蓄
積するパケットバッファ手段と、このパケットバッファ
手段から同一の動画像フレームの階層化情報を含んだパ
ケットを選択的に読出す手段と、これ等選択的に読出さ
れたパケットの情報により同一の動画像フレームの再生
をなす手段とを含むことを特徴とする。
【００１９】また、前記優先順位は、階層順または前記
パケットバッファ手段におけるパケット残留時間により
決定されることを特徴としており、前記パケットバッフ
ァ手段に残留可能な最大動画像フレーム周期数を階層毎
に予め定めておき、その時間内に送出されなかったパケ
ットを廃棄する様にしたことを特徴とする。
【００２０】本発明の作用を述べる。本発明による動画
像伝送システムによれば、動画像フレーム周期毎に、１
動画像フレームに相当する階層符号化情報をパケット化
してパケットバッファに蓄積しつつ送出するに際して、
各動画像フレーム周期内に送出しきれなかったパケット
は廃棄する様にすることで、受信側では、動画像フレー
ム周期内で受信されたパケットのみで動画像フレームの
再生をなすものであり、これにより伝送ネットワークの
混雑状況下でも、パケットの送信装置内での滞留が防止
でき、動画像フレーム周期に同期した動画像伝送及び再
生が可能となる。
【００２１】また、１動画像フレーム周期内で送出でき
なかったパケットに関しては、その重要度により次の動
画像フレーム周期、あるいは更にそれに続く動画像フレ
ーム周期にもパケットバッファ内に残留せしめておき、
ネットワークの混雑解消した場合に送出される可能性を
大とすることで、ネットワークの短時間の混雑状下で
も、安定した画質の動画像の伝送、再生が可能となる。
【００２２】
【発明の実施の形態】以下に、図面を参照して本発明の
実施の形態について詳述する。
【００２３】図１は、本発明による動画像伝送システム
の構成を示したものである。図１において、動画像送信
装置１００は、階層符号化器１０１，パケット生成部１
０２，パケットキュー１０３，キューイング制御部１０
４，パケット送信部１０５から成る。
【００２４】階層符号化器１０１はリアルタイムの動画
像符号化装置または予め階層符号化された動画像情報を
蓄積した動画像データベースであり、各動画像フレーム
を階層符号化した結果を動画像フレーム周期に出力す
る。
【００２５】パケット生成部１０２はこれを入力して、
各動画像フレームの各階層符号を、一つあるいは複数の
パケットに格納する。生成されたパケットはキューイン
グ制御部１０４の制御によりパケットキュー１０３に蓄
積される。パケット送信部１０５は動画像フレーム周期
毎にパケットキューの先頭にあるパケットから順にネッ
トワーク１１１に送出する。
【００２６】パケット送信部１０５は動画像フレーム周
期内にどのパケットが送出できたかをキューイング制御
部１０４に通知する。キューイング制御部１０４はパケ
ットキュー１０３へのパケット生成部１０２からのパケ
ット入力制御の他に、パケットキュー１０３内のパケッ
トの廃棄、並び替えの制御も行う。
【００２７】一方、動画像受信端末２００は、パケット
受信部１０６，パケットバッファ１０７，バッファ制御
部１０８，階層復号化器１０９から成る。パケット受信
部１０６はネットワーク１１１からパケットを受信して
パケットバッファ１０７に入力する。バッファ制御部１
０８はパケットバッファに蓄積されているパケットがど
の動画像フレームのどの階層に属するものであるかを管
理する。
【００２８】階層復号化器１０９は動画像フレーム周期
毎にバッファ制御部１０８から指定されるパケットをパ
ケットバッファ１０７から入力し、入力されたパケット
の階層数に応じて、動画像フレームの再生を行う。最後
に、再生された動画像フレームは表示部１１０に表示さ
れる。
【００２９】ここで、パケット送信部１０５の動作の前
提条件を説明する。パケット送信部１０５はパケットキ
ュー１０３内のパケットを順に読出してネットワーク１
１１に送出するが、その際、各パケットは、読出し順
に送出され、読出し順に動画像受信端末でエラー無く
受信され、どのパケットまでが正常に受信されたかを
判断できること、を前提とする。
【００３０】
【００３１】ネットワーク１１１が例えば、イサーネッ
トであった場合、パケットの送出に際してネットワーク
１１１上の他の端末の送信との衝突を検出すると、その
パケットを再送する。即ち、送出パケットはネットワー
ク１１１が空くのを待って動画像受信端末に送信される
こととなり、この伝送が完了した後に、次のパケットを
パケットキュー１０３から入力して送信する。
【００３２】更に、ＴＣＰ／ＩＰ(Transmission Contro
l Protocol/Internet Protocol) の様な高信頼性のプロ
トコルを用いれば、前提条件，，は全て保証され
る。ネットワーク１１１がＡＴＭ網であった場合も、Ｔ
Ｃ／ＩＰを適当な動作パラメータで使用することによ
り、前提条件を満たすことができる。前提条件，，
については、様々な方式が検討されるが、上記の例を
挙げることにとどめておく。
【００３３】図２は、図１の構成を用いて、本発明の実
施例による動画像伝送システムを実現した場合の動作チ
ャートである。動画像送信装置１００は動画像フレーム
周期に同期して動作する。階層符号化器１０１は動画像
フレーム周期毎に階層的に符号化された符号を生成し、
パケット生成部１０２に入力する。
【００３４】本例では、各動画像フレームは３階層に分
割されて符号化されている。各階層は、重要度の高い順
に、Ｍ(Most Significant Parts)，Ｓ(Significant Par
ts)，Ｌ(Least Significant Parts) と名付ける。これ
と動画像フレームの番号１，２，３，…との組合せによ
り、動画像フレーム１は１Ｍ，１Ｓ，１Ｌ、動画像フレ
ーム２は２Ｍ，２Ｓ，２Ｌと分割される。
【００３５】パケット生成部１０２は符号の各階層部分
を本例では夫々一つのパケットに格納する。即ち、１
Ｍ，１Ｓ，１Ｌ，２Ｍ，２Ｓ，２Ｌ，…は、夫々一つの
パケットを形成する。パケット生成部１０２は動画像フ
レーム周期の先頭でパケットキュー１０３に一つの動画
像フレームに相当する３つのパケット、例えば１Ｍ，１
Ｓ，１Ｌを入力する。この場合、パケットキュー１０３
への入力順序はキューイング制御部１０４の制御により
制御され、１Ｍが先頭、１Ｓがその次、１Ｌが最後に入
力される。
【００３６】パケット送信部１０５は動画像フレーム周
期の先頭でパケットキュー１０３に準備されたパケット
をキューイングされている順序で読出し、ネットワーク
１１１に送出する。パケット送信部１０５からのパケッ
ト送出はネットワーク１１１の混雑状況に依存する。パ
ケット送信部１０５は各動画像フレーム周期の最後でパ
ケット送信を中断する。
【００３７】キューイング制御部１０４は動画像フレー
ム周期の最後でパケットキュー１０３の中身を廃棄し、
パケット生成部１０２は次の動画像フレームの階層符号
をパケットキュー１０３に入力する。図２の例では、動
画像フレーム周期１〜８で、夫々、１階層，３階層，１
階層，１階層，３階層，３階層，２階層，２階層の階層
符号が動画像送信装置から送出されている。
【００３８】動画像受信端末２００では、動画像受信端
末の各動画像フレーム周期に、これ等の階層符号がパケ
ット受信部１０６で受信され、パケットバッファ１０７
に入力される。バッファ制御部１０８は動画像フレーム
周期内に受信された階層符号のパケットを監視し、動画
像フレームの１周期単位にその動画像フレーム周期内に
受信されたパケットをパケットバッファ１０７から階層
復号化器１０９に出力する。階層復号化器１０９は入力
された階層数に応じた画像フレーム復号化を実行する。
復号化された動画像フレームは表示部１１０に表示され
る。
【００３９】次に、本発明による動画像伝送システムの
構成と動作について、図１と図３を用いて説明する。図
１の構成に関しては、前述した請求項１の動画像伝送シ
ステムと共通するため、説明を省略する。図１におい
て、一部機能が異なるブロックに関しては、以下に図３
を用いた動作と共に説明する。
【００４０】図３において、図２で説明した動作との違
いを以下に説明する。図３の動作においては、動画像フ
レーム周期内に送出されなかった階層パケットは、その
まま廃棄されずに、その階層の重要性によって決定され
る時間は、パケットキュー１０３に残留する。
【００４１】本例では、Ｓ階層のパケットは最大２フレ
ーム時間まで廃棄が延長され、Ｌ階層のパケットは最大
１フレーム時間まで廃棄が延長される動作を示してい
る。
【００４２】この動作を行うため、先ず、パケット送信
部１０５は動画像フレーム周期の最後でそのフレーム周
期内に送出されなかったパケットをキューイング制御部
１０４に通知する。キューイング制御部１０４は送出さ
れなかったパケットと、新しくパケット生成部１０２か
らパケットキュー１０３に入力されてくる３つのパケッ
トに対して、以下の優先順位を付け、この順にパケット
キュー１０３に格納する。
【００４３】ｎＭ＞（ｎ−２）Ｓ＞（ｎ−１）Ｓ＞ｎＳ
＞（ｎ−１）Ｌ＞ｎＬ （ｎ−２），（ｎ−１），ｎは動画像パケット番号を示
し、（ｎ−２）Ｍ，（ｎ−１）Ｍ，（ｎ−１）Ｌは、そ
れまでに送出されていれば、キューイングされない。ま
た、これ以外のパケット、例えば、（ｎ−３）Ｓ，（ｎ
−２）Ｌがまだ送出されずに残留していた場合、これ等
のパケットはキューイング制御部１０４によって、選択
的に廃棄される。
【００４４】これは、これ等のパケットが上で規定した
最大残留時間を超過したことを意味するためである。ま
た、この未送出パケットの残留に対応するため、パケッ
トキュー１０３は６パケット分の容量を必要とする。
【００４５】図３に示した動作チャートの動画像送信装
置部分の動作については、図２と同様のネットワーク混
雑状況を想定した。即ち、動画像送信装置の動画像の各
動画像フレーム周期内で送出されるパケット数は、図２
の時と同一とした。
【００４６】動画像受信端末では、ある動画像フレーム
に対応するパケットが最大２動画フレーム時間遅れて伝
送される可能性があるため、復号化動作は、図２の場合
と比べて、遅れて開始する必要がある。
【００４７】バッファ制御部１０８はこの遅延を考慮し
てある動画像フレームの最初のパケットが到着してから
２動画フレーム時間経った後、パケットバッファ１０７
からその動画像フレームを構成するパケットを階層復号
化器１０９に入力し、階層復号化器１０９は階層復号化
を実行する。
【００４８】図２と図３を比較すると、図３の場合の方
が動画像の画質が安定している、つまり、各動画フレー
ムについて、復号化されるパケット数が安定しているこ
とが判る。
【００４９】次に、図４，図５，図６を用いて、階層符
号化器と階層復号化器の構成の一例を示す。本例は、Ｍ
ＰＥＧで採用されている動画像符号化方式を元にしたも
ので、公知であるため、ここでは、ごく簡単に説明す
る。
【００５０】図４は階層符号化器の一例を示している。
本階層符号化器には、動画像フレームがブロックに分割
されて、ブロック単位に入力される。ブロック差分器４
０１，離散コサイン変換器（ＤＣＴ）４０２，量子化器
４０３，逆量子化器４０５，逆離散コサイン変換器（Ｉ
ＤＣ）４０６，ブロック加算器４０７は公知の動画像符
号化器と同様の動作を実行する。
【００５１】本例の階層符号化器では、図５に示した量
子化された８×８のＤＣＴ係数ブロック、即ち、量子化
器４０３の出力が動画像１フレーム分、符号メモリ４０
９に蓄積される。図５に示した８×８のＤＣＴ係数ブロ
ックのうち、斜線を付した５０１の６係数が上述したそ
のブロックのＭ階層を、点を付した５０２の２２係数が
Ｓ階層を、そして残りの５０３の３６係数がＬ階層を構
成する。
【００５２】図１のパケット生成部１０２は符号メモリ
４０９に蓄積された全ＤＣＴ係数ブロックから５０１に
相当する部分をまとめて読出し、該動画像フレームのＭ
パケットを生成する。同様に、全ＤＣＴ係数ブロックの
５０２の部分からＳパケットを、５０３部分からＬパケ
ットを構成する。この時、各階層データは一般的に、ラ
ンレングス符号化等により符号化される。
【００５３】また、マスク４０４は、図５に示した８×
８ＤＣＴ係数ブロックのうち、５０２と５０３を０とし
て、５０１に相当する部分のみから、局所復号信号を生
成するために用いられる。
【００５４】図６は図４に示した階層符号化器によって
生成された階層符号を復号化するための階層復号化器の
構成を示している。パケットバッファ１０７から入力さ
れるパケットは符号メモリ６０１の中に符号メモリ４０
９に相当する並びに８×８ＤＣＴ係数ブロックが再構成
される様に、並び替えされる。この際、階層符号化器で
ランレングス符号化が行われていたら、それを復号する
機能を有する必要がある。
【００５５】動画像受信端末では、階層復号化を実行す
るに際して、階層符号化器で生成された全てのパケット
を受信しているとは限らないため、受信されなかった階
層パケットに関しては、対応するＤＣＴ係数を全て０と
して、以降の復号化動作を実行する。マスク６０５は図
５に示したＤＣＴ係数ブロック５０１に相当する部分の
係数のみから逆量子化器６０６，逆離散コサイン変換器
（ＩＤＣＴ）６０７，ブロック加算器６０８によって復
号化信号をフレームメモリ６０９上に再生するために、
５０２，５０３に相当する係数部分を０にする作用を持
つ。
【００５６】実際に表示される動画像フレームはマスク
６０５を使用せずに逆量子化器６０２，ＩＤＣＴ６０３
によって再生されたフレーム間差分信号をフレームメモ
リ６０９に格納された前フレームのＭ階層動画像フレー
ムと加算器６０４によって加算することで得られる。
【００５７】
【発明の効果】以上説明した様に、本発明によれば、動
画像送信装置が、動画像フレーム周期毎に、１つの動画
像フレームに相当する階層符号をパケット化してパケッ
トバッファに蓄積し、送出するに当たり、各動画像フレ
ーム周期内に送出しきれなかったパケットは廃棄する作
用を持ち、また、動画像受信端末では、動画像フレーム
周期内に受信したパケットのみから、動画像フレームを
再生できる構成としたことで、ネットワークの混雑状況
下でも、パケットの動画像送信装置内での滞留が防止で
き、動画像フレーム周期に同期した動画像伝送と再生が
可能となるという効果がある。
【００５８】更に本発明によれば、動画像送信装置にお
いて、動画像フレーム周期内に受信端末で送信されなか
ったパケットに関して、その重要度により、次の動画像
フレーム周期、あるいは更に引き続く動画像フレーム周
期も動画像送信装置内のパケットバッファに残留させ、
ネットワークの混雑状況が解消されたら、送出されるこ
とが可能な方式とすることにより、ネットワークの短時
間の混雑状況下でも、安定した画質の動画像を伝送，再
生することを可能とするという効果がある。
【図面の簡単な説明】
【図１】本発明による動画像伝送システムと動画像送信
装置及び動画像受信端末の一構成例を示す図である。
【図２】本発明の一実施例の動作を示すタイムチャート
である。
【図３】本発明の他の実施例の動作を示すタイムチャー
トである。
【図４】図１の動画像送信装置中の階層符号化器１０１
の一例を示す図である。
【図５】図１の階層符号化の一方式を示す図である。
【図６】図１の動画像受信端末中の階層復号化器１０９
の一例を示す図である。
【符号の説明】
１００ 動画像送信装置 １０１ 階層復号化器 １０２ パケット生成部 １０３ パケットキュー １０４ キューイング制御部 １０５ パケット送信部 １０６ パケット受信部 １０７ パケットバッファ １０８ バッファ制御部 １０９ 階層復号化器 １１０ 表示部 １１１ ネットワーク ２００ 動画像受信端末 ４０１ ブロック差分器 ４０２ 離散コサイン変換器 ４０３，６０２ 量子化器 ４０４，６０５ マスク ４０５，６０６ 逆量子化器 ４０６，６０３，６０７ 逆離散コサイン変換器 ４０７，６０４ ブロック加算器 ４０８，６０９ フレームメモリ ４０９，６０１ 符号メモリ

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項１】 動画像情報を画質上の重要度に従って階
    層符号化する階層符号化手段と、この階層化符号情報を
    階層毎にパケット化する手段と、このパケットを順次蓄
    積するパケットバッファ手段と、このパケットバッファ
    手段から１動画像フレーム周期毎に所定優先順位でパケ
    ットを順次読出しつつ送出する手段と、１動画像フレー
    ム周期内で伝送できなかったパケットについて、その動
    画像フレーム周期に続く少なくとも１動画像フレーム周
    期内で前記優先順位で更に送出を行う手段とを含むこと
    を特徴とする動画像送信装置。
  2. 【請求項２】 請求項１記載の動画像送信装置からのパ
    ケットを受信して複数動画像フレーム周期に相当する期
    間蓄積するパケットバッファ手段と、このパケットバッ
    ファ手段から同一の動画像フレームの階層化情報を含ん
    だパケットを選択的に読出す手段と、これ等選択的に読
    出されたパケットの情報により同一の動画像フレームの
    再生をなす手段とを含むことを特徴とする動画像受信装
    置。
  3. 【請求項３】 前記優先順位は、階層順または前記パケ
    ットバッファ手段におけるパケット残留時間により決定
    されることを特徴とする請求項１記載の動画像送信装
    置。
  4. 【請求項４】 前記パケットバッファ手段に残留可能な
    最大動画像フレーム周期数を階層毎に予め定めておき、
    その時間内に送出されなかったパケットを廃棄する様に
    したことを特徴とする請求項１または３記載の動画像送
    信装置。
JP6523497A 1997-03-19 1997-03-19 動画像送受信装置 Expired - Fee Related JP3003618B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP6523497A JP3003618B2 (ja) 1997-03-19 1997-03-19 動画像送受信装置
US09/044,006 US6275534B1 (en) 1997-03-19 1998-03-19 Moving picture transmission system and moving picture transmission apparatus used therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6523497A JP3003618B2 (ja) 1997-03-19 1997-03-19 動画像送受信装置

Publications (2)

Publication Number Publication Date
JPH10262245A JPH10262245A (ja) 1998-09-29
JP3003618B2 true JP3003618B2 (ja) 2000-01-31

Family

ID=13281029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6523497A Expired - Fee Related JP3003618B2 (ja) 1997-03-19 1997-03-19 動画像送受信装置

Country Status (2)

Country Link
US (1) US6275534B1 (ja)
JP (1) JP3003618B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7912324B2 (en) 2005-04-28 2011-03-22 Ricoh Company, Ltd. Orderly structured document code transferring method using character and non-character mask blocks
JP2011176764A (ja) * 2010-02-25 2011-09-08 Aiphone Co Ltd テレビインターホン装置、及び画像伝送装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6988238B1 (en) 2000-01-24 2006-01-17 Ati Technologies, Inc. Method and system for handling errors and a system for receiving packet stream data
US6885680B1 (en) 2000-01-24 2005-04-26 Ati International Srl Method for synchronizing to a data stream
US7366961B1 (en) 2000-01-24 2008-04-29 Ati Technologies, Inc. Method and system for handling errors
US6763390B1 (en) * 2000-01-24 2004-07-13 Ati Technologies, Inc. Method and system for receiving and framing packetized data
US6778533B1 (en) 2000-01-24 2004-08-17 Ati Technologies, Inc. Method and system for accessing packetized elementary stream data
US7113546B1 (en) * 2000-05-02 2006-09-26 Ati Technologies, Inc. System for handling compressed video data and method thereof
JP3348080B1 (ja) 2000-07-07 2002-11-20 松下電器産業株式会社 データ送信装置とデータ受信装置及びデータ送受信方法
US7095945B1 (en) * 2000-11-06 2006-08-22 Ati Technologies, Inc. System for digital time shifting and method thereof
CA2428325C (en) * 2000-11-29 2011-08-30 Matthew David Walker Transmitting and receiving real-time data
CN1557072A (zh) * 2001-09-21 2004-12-22 ���˹���Ѷ��� 使用缓冲器大小计算用于拥塞控制的传输速率的数据通信方法和***
WO2003049373A1 (en) * 2001-11-30 2003-06-12 British Telecommunications Public Limited Company Data transmission
AU2003216817A1 (en) * 2002-03-27 2003-10-13 British Telecommunications Public Limited Company Data structure for data streaming system
EP1359722A1 (en) * 2002-03-27 2003-11-05 BRITISH TELECOMMUNICATIONS public limited company Data streaming system and method
JP4404180B2 (ja) 2002-04-25 2010-01-27 ソニー株式会社 データ配信システム、データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム
GB0306296D0 (en) * 2003-03-19 2003-04-23 British Telecomm Data transmission
US20050060420A1 (en) * 2003-09-11 2005-03-17 Kovacevic Branko D. System for decoding multimedia data and method thereof
US20090252219A1 (en) * 2004-12-15 2009-10-08 Koninklijke Philips Electronics, N.V. Method and system for the transmission of digital video over a wireless network
JP4604851B2 (ja) * 2005-06-02 2011-01-05 ソニー株式会社 送信装置、受信装置、送信処理方法、受信処理方法、それらのプログラム
US8443398B2 (en) * 2006-11-01 2013-05-14 Skyfire Labs, Inc. Architecture for delivery of video content responsive to remote interaction
US9247260B1 (en) 2006-11-01 2016-01-26 Opera Software Ireland Limited Hybrid bitmap-mode encoding
US8375304B2 (en) * 2006-11-01 2013-02-12 Skyfire Labs, Inc. Maintaining state of a web page
US8711929B2 (en) * 2006-11-01 2014-04-29 Skyfire Labs, Inc. Network-based dynamic encoding
US8630512B2 (en) * 2007-01-25 2014-01-14 Skyfire Labs, Inc. Dynamic client-server video tiling streaming
JP5339697B2 (ja) * 2007-08-14 2013-11-13 キヤノン株式会社 送信装置、送信方法、及びコンピュータプログラム
JP5585109B2 (ja) * 2010-02-10 2014-09-10 ヤマハ株式会社 映像送信装置
JP2013081020A (ja) * 2011-10-03 2013-05-02 Sumitomo Electric Ind Ltd データ配信方法及びデータ配信システム

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4305131A (en) 1979-02-05 1981-12-08 Best Robert M Dialog between TV movies and human viewers
EP0051226B1 (en) 1980-10-31 1987-03-04 Kabushiki Kaisha Toshiba Document information filing system with a single display device
US4724495A (en) 1982-11-15 1988-02-09 Hedberg David J Digital formatter, controller, and head assembly for video disk recording system, and method
JPS59204346A (ja) 1983-05-06 1984-11-19 Toshiba Corp パケツト通信方式
JPS61123280A (ja) 1984-11-19 1986-06-11 Nec Corp 画像デ−タ圧縮装置
US4760390A (en) 1985-02-25 1988-07-26 Computer Graphics Laboratories, Inc. Graphics display system and method with enhanced instruction data and processing
US5006936A (en) 1985-11-27 1991-04-09 Ltv Aerospace And Defense Company Method and system for high density analog data storage retrieval, and transmission
US4729043A (en) 1985-12-11 1988-03-01 American Telephone And Telegraph Company, At&T Bell Laboratories Digital information storage and retrieval using video signals
JPH088685B2 (ja) 1986-09-16 1996-01-29 日本電信電話株式会社 階層化バ−スト通信方式
US4876597A (en) 1987-09-04 1989-10-24 Adt Security Systems, Inc. Video observation systems
US5010499A (en) 1988-02-22 1991-04-23 Yee Keen Y Digital data capture for use with TV set or monitor
JPH082052B2 (ja) 1988-03-09 1996-01-10 株式会社日立製作所 プロトコル統合ビデオテックス通信システム
US5047977A (en) 1988-04-08 1991-09-10 International Business Machines Corporation Methods of generating and retrieving error and task message records within a multitasking computer system
JPH0215791A (ja) 1988-07-01 1990-01-19 Nippon Telegr & Teleph Corp <Ntt> 可変レート画像符号化方式
JPH0220988A (ja) 1988-07-08 1990-01-24 Fujitsu Ltd 動画像符号化装置における動ベクトル検出方式
US4924303A (en) 1988-09-06 1990-05-08 Kenneth Dunlop Method and apparatus for providing interactive retrieval of TV still frame images and audio segments
JP2551641B2 (ja) 1988-10-24 1996-11-06 日本電信電話株式会社 可変レート画像符号化装置および可変レート画像復号化装置
US5065345A (en) 1988-11-04 1991-11-12 Dyned International, Inc. Interactive audiovisual control mechanism
JPH02162464A (ja) 1988-12-16 1990-06-22 Hitachi Medical Corp 画像蓄積検索方法及びその装置
JP2792882B2 (ja) 1989-02-02 1998-09-03 三洋電機株式会社 アルカリ蓄電池用非焼結式カドミウム負極及びその製造方法
JPH0366228A (ja) 1989-08-04 1991-03-20 Matsushita Electric Ind Co Ltd ブロック符号化装置と復号化装置
JPH02204865A (ja) 1989-02-02 1990-08-14 Matsushita Electric Ind Co Ltd 画像映像情報検索システム
JPH038086A (ja) 1989-06-06 1991-01-16 Pioneer Electron Corp 静止画信号再生装置
JPH0318976A (ja) 1989-06-15 1991-01-28 Nec Corp 画像データ検索システム
US5140417A (en) 1989-06-20 1992-08-18 Matsushita Electric Co., Ltd. Fast packet transmission system of video data
JPH0322780A (ja) 1989-06-20 1991-01-31 Matsushita Electric Ind Co Ltd 映像信号のパケット伝送装置
GB8914843D0 (en) 1989-06-28 1989-08-16 British Aerospace A method of processing video image data for use in the storage or transmission of moving digital images
US5003390A (en) 1990-03-26 1991-03-26 Pbse Enterprises, Inc. Search and lock technique for reliable acquisition of data transmitted via television signals
CA2022302C (en) 1990-07-30 1995-02-28 Douglas J. Ballantyne Method and apparatus for distribution of movies
JPH0817492B2 (ja) 1990-08-20 1996-02-21 松下電器産業株式会社 可変レート動画像符号化装置
JPH04207876A (ja) 1990-11-30 1992-07-29 Toshiba Corp 動画像管理装置
JPH04207877A (ja) 1990-11-30 1992-07-29 Toshiba Corp 動画像管理装置
JPH04330881A (ja) 1991-05-02 1992-11-18 Fuji Xerox Co Ltd 画像検索方法
JPH04345284A (ja) 1991-05-22 1992-12-01 Fuji Xerox Co Ltd 動画像検索装置
JP2736183B2 (ja) 1991-05-23 1998-04-02 株式会社東芝 自走式エレベータのドア駆動装置
JPH0530464A (ja) 1991-07-19 1993-02-05 Toshiba Corp 動画像管理装置
JPH05183863A (ja) 1992-01-06 1993-07-23 Fuji Xerox Co Ltd 動画像編集装置
JPH05244423A (ja) 1992-02-28 1993-09-21 Fujitsu Ltd 符号データ供給方法および符号データ送出装置
JP3420257B2 (ja) 1992-03-12 2003-06-23 キヤノン株式会社 再生装置
JPH0756652B2 (ja) 1992-03-24 1995-06-14 インターナショナル・ビジネス・マシーンズ・コーポレイション 動画像のフレーム列の検索
US5270813A (en) 1992-07-02 1993-12-14 At&T Bell Laboratories Spatially scalable video coding facilitating the derivation of variable-resolution images
US5502571A (en) * 1992-11-18 1996-03-26 U.S. Philips Corporation Device for processing digital signals first coded by means of variable length coding and device for inversely processing signals thus processed
JPH06162116A (ja) 1992-11-25 1994-06-10 Ricoh Co Ltd 動画像表示装置
JP3311077B2 (ja) 1993-05-06 2002-08-05 松下電器産業株式会社 画像検索装置
JP2508583B2 (ja) 1993-05-31 1996-06-19 日本電気株式会社 階層符号化動画像伝送方式
US5461619A (en) * 1993-07-06 1995-10-24 Zenith Electronics Corp. System for multiplexed transmission of compressed video and auxiliary data
JP3200784B2 (ja) 1993-07-29 2001-08-20 キヤノン株式会社 動画像検索方法及び装置
JP3561930B2 (ja) 1993-08-14 2004-09-08 ソニー株式会社 画像検索用ｉｄ信号の記録方法、画像検索方法、及び記録画像再生装置
JPH07135512A (ja) 1993-11-11 1995-05-23 Hitachi Ltd ルータ装置
ES2171447T3 (es) * 1993-11-30 2002-09-16 Gen Electric Indicador de palabra de datos en un sistema para el ensamblaje de paquetes de datos para su transporte.
JPH0846960A (ja) 1994-07-29 1996-02-16 Hitachi Ltd 画像符号化伝送装置
JPH0879674A (ja) 1994-09-06 1996-03-22 Hitachi Ltd 動画像検索方式
JPH08101845A (ja) 1994-09-30 1996-04-16 Toshiba Corp 動画像検索システム
JPH08172592A (ja) 1994-12-19 1996-07-02 Matsushita Electric Ind Co Ltd 動画像再生装置
JP2792454B2 (ja) 1995-02-09 1998-09-03 日本電気株式会社 動画検索システム
US5734677A (en) * 1995-03-15 1998-03-31 The Chinese University Of Hong Kong Method for compression of loss-tolerant video image data from multiple sources
JPH0984007A (ja) 1995-09-19 1997-03-28 Sumitomo Electric Ind Ltd 画像データ通信装置
JPH1013826A (ja) 1996-06-21 1998-01-16 Sony Corp 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像送信装置、画像受信装置、並びに記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7912324B2 (en) 2005-04-28 2011-03-22 Ricoh Company, Ltd. Orderly structured document code transferring method using character and non-character mask blocks
JP2011176764A (ja) * 2010-02-25 2011-09-08 Aiphone Co Ltd テレビインターホン装置、及び画像伝送装置

Also Published As

Publication number Publication date
JPH10262245A (ja) 1998-09-29
US6275534B1 (en) 2001-08-14

Similar Documents

Publication Publication Date Title
JP3003618B2 (ja) 動画像送受信装置
KR100945548B1 (ko) 비디오 오류 회복
JP2986039B2 (ja) 多重チャネル画像圧縮システム用の統計的マルチプレクサ
US5621660A (en) Software-based encoder for a software-implemented end-to-end scalable video delivery system
US6680976B1 (en) Robust, reliable compression and packetization scheme for transmitting video
EP1755308B1 (en) Video streaming
US6226328B1 (en) Transcoding apparatus for digital video networking
US6215824B1 (en) Transcoding method for digital video networking
US6879634B1 (en) Method and system for transmitting media streams over a variable bandwidth network
JPH10257502A (ja) 階層画像符号化方法、階層画像多重化方法、階層画像復号方法及び装置
JPH09139940A (ja) 終端間伸縮可能なビデオデリバリシステム用デコーダ
TW201108748A (en) Information processing device and method
RU93050815A (ru) Система сжатия для телевидения высокой четкости
JP2004507178A (ja) ビデオ信号符号化方法
JPH11225168A (ja) 画像・音声送信装置、画像・音声受信装置、データ処理装置、及びデータ処理方法、並びに、波形データの送信方法、装置、及び波形データの受信方法、装置、並びに、動画像の送信方法、装置、及び動画像の受信方法、装置
JPH09187007A (ja) 誤りを含むデータストリームへの再同期の方法と、符号化器及び復号化器
JP2000101537A (ja) 情報伝送方法、情報符号化方法及び情報伝送装置
EP1713193A1 (en) Content distribution method, encoding method, reception/reproduction method and device, and program
Heybey Video coding and the application level framing protocol architecture
JPH09312625A (ja) データ多重化装置およびその方法
US20020176503A1 (en) Image processing apparatus , image processing method, and supplying medium
JPH0215791A (ja) 可変レート画像符号化方式
JP2659226B2 (ja) 可変レート画像階層符号化装置
JP2000138918A (ja) 映像データベース
KR100701032B1 (ko) 네트워크 상의 동영상 데이터 전송 조절 시스템과 그 방법

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees