JP2016149770A - ストリーミングレイテンシの最小化システム及びそれを使用する方法 - Google Patents
ストリーミングレイテンシの最小化システム及びそれを使用する方法 Download PDFInfo
- Publication number
- JP2016149770A JP2016149770A JP2016022724A JP2016022724A JP2016149770A JP 2016149770 A JP2016149770 A JP 2016149770A JP 2016022724 A JP2016022724 A JP 2016022724A JP 2016022724 A JP2016022724 A JP 2016022724A JP 2016149770 A JP2016149770 A JP 2016149770A
- Authority
- JP
- Japan
- Prior art keywords
- data
- streaming
- latency
- unit
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 239000000872 buffer Substances 0.000 claims abstract description 70
- 238000006243 chemical reaction Methods 0.000 claims description 66
- 238000005259 measurement Methods 0.000 claims description 8
- 230000003139 buffering effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23113—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving housekeeping operations for stored content, e.g. prioritizing content for deletion because of storage space restrictions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
Abstract
【課題】 本発明はバッファのアンダーフローによるレイテンシを最小化するためのシステム及びそれを使用する方法を提供する。【解決手段】本発明によるストリーミングデータレイテンシ最小化システム及び方法は、バッファのアンダーフローによるストリーミングデータのレイテンシを最小化するシステムを提供することで使用者がストリーミング形態の画像データを鑑賞の際発生するレイテンシ(バッファリング)現象を減少させることができる。【選択図】 図2
Description
本発明はストリーミングレイテンシ最小化システムに関わり、より詳細にはデコーダのバッファのアンダーフローによるレイテンシを最小化するためのシステム及びそれを使用する方法に関する。
一般的に画像提供装置は動画像データを処理するためのビデオコデックを具備する。このビデオコデックはエンコーディング部とデコーディング部で構成され、エンコーディング部は動画像データをエンコーディング及び圧縮して伝送する機能を遂行し、デコーディング部は受信された動画像データをデコーディング及び圧縮解除して元の形状に復元する機能を遂行する。このようなビデオコデックにおいて、エンコーディング部とデコーディング部は動画像の効率的な送受信のためにバッファを具備する。
図1は従来の画像提供装置のエンコーディング部110とデコーディング部120を示すブロック構成図である。
図1を参照すると、従来のエンコーディング部110はデータ入力部111、データ変換部112、及び第1バッファ113で構成される。データ入力部111はストリーミングデータの入力を受け、データ変換部112は入力されたデータを圧縮及び変換してビデオエンコーディングデータを出力し、第1バッファ113は変換されたデータを貯蔵し外部装置の要求信号に従って貯蔵されたデータを出力する。また、従来のデコーディング部120は第2バッファ121、データ変換部122、及びデータ出力部123で構成される。第2バッファ121はエンコーディング部110の第1バッファ113から出力されたデータの入力を受け、データ変換部123は入力受けたデータを変換し、データ出力部は変換されたデータをストリーミング形態で出力する。
このように構成された従来の画像提供システムの動作は次のとおりである。
まず、データ入力部111にストリーミングタイプの画像データが入力され、データ変換部112は入力された画像データを圧縮変換して出力する。続いて、変換されたデータは第1バッファ113に貯蔵され、第1バッファ113は外部装置から変換されたデータの出力要求がある時に貯蔵されたデータを外部装置に出力する。
デコーディング部120の第2バッファ121はエンコーディング部110の第1バッファ113から出力されたデータをネットワークを通じて入力を受け、それをデータ変換部122に出力する。データ変換部122は入力を受けたデータを変換してストリーミング形態でデータ出力部123を通じて出力する。
この際、エンコーディング部110の第1バッファ113とデコーディング部120の第2バッファ121は入力されるデータをリアルタイムで出力するが、出力されるデータの量が第1バッファ113または第2バッファ121に入力されるデータの量より多いと第1バッファ113または第2バッファ121はアンダーフロー状態となり、第1バッファ113または第2バッファ121が満たされるまでデータの出力を一時的に中止して待機する。それによって、エンコーディング部110の第1バッファ113を通じてネットワークに出力されるデータ、またはデコーディング部120の第2バッファ121を通じてデータ変換部123に入力されるデータに瞬間的にレイテンシ(latency)が発生するようになり、結果的にデコーディング部120のデータ出力部123に出力されるストリーミングデータにもレイテンシが発生して、画像の提供を受ける使用者は瞬間的に画像が切れてしまうバッファリング現象を受けるようになる。
このような問題点を解決するために、バッファでアンダーフロー発生の際、リアルタイムでビットレートが可変されるエンコーダが提示されているが、ビットレートが固定されているエンコーダではそれを解決するための適切な方法がないのが現実である。
本発明は前述した従来技術による問題点を解決するためのものである。即ち、本発明の目的はビットレートが一定であるエンコーダ及びデコーダのバッファのアンダーフローによるストリーミングデータレイテンシを最小化するシステム及び方法を提供することにある。
前記目的を達成するための本発明の一実施形態によるストリーミングレイテンシ最小化システムはストリーミングタイプのデータの入力を受けるデータ入力部、前記ストリーミングタイプのデータの入力を受けて変換して出力するデータ変換部、前記変換されたデータの入力を受けて出力する第1バッファ、前記変換されたデータの大きさ及び変換所要時間を算出するデータ測定部、及び前記算出結果を基準所要時間及び基準大きさと比較してレイテンシを判断するレイテンシ判断部を含むエンコーディング部と、前記第1バッファから出力されたデータの入力を受ける第2バッファを含むデコーディング部と、を含み、前記レイテンシ判断部は前記第1バッファまたは前記第2バッファのアンダーフローの発生の可能性を判断し、前記判断結果を前記データ入力部に回信し、前記データ入力部は前記回信結果に従って最後のストリーミングデータを再度前記データ変換部に出力する。
一例として、前記データ入力部は前記データ変換部にデータをフレーム単位で出力し、前記最後のストリーミングデータは最後のフレームデータであることを特徴とする。
一例として、前記基準所要時間は8msであり、前記レイテンシ判断部は前記算出された変換所要時間が前記基準所要時間より短い場合アンダーフローと判断することを特徴とする。
一例として、前記基準大きさは20000バイトであり、前記レイテンシ判断部は前記算出された大きさが前記基準大きさより小さい場合アンダーフローと判断する。
一例として、前記データ変換部は、ビットレートが一定であるMPEG(Moving Picture Expert Group)エンコーダであることを特徴とする。
本発明の一実施形態によるストリーミングレイテンシ最小化方法は、ストリーミングデータの入力を受け、前記入力されたストリーミングデータを変換し、前記変換されたデータを伝送し、前記変換されたデータの変換所要時間及び変換されたデータの大きさを算出し、前記算出された変換所要時間と前記変換されたデータの大きさを基準所要時間及び基準大きさと比較し、比較結果を基準としてバッファのアンダーフローを判断し、前記アンダーフロー判断結果に従って最後のストリーミングデータを再度変換することを含む。
一例として、前記ストリーミングデータはフレーム単位でエンコーディングされ、前記最後のストリーミングデータは最後のフレームデータであることを特徴とする。
一例として、前記バッファは、前記変換されたデータを出力するエンコーディング部の第1バッファまたは前記出力されたデータの入力を受けるデコーディング部の第2バッファであることを特徴とする。
一例として、前記データ変換は、ビットレートが一定であるMPEG(Moving Picture Expert Group)エンコーダに変換することを特徴とする。
一例として、前記基準所要時間は8msであり、前記レイテンシ判断部は前記算出された変換所要時間が前記基準所要時間より短い場合アンダーフローと判断することを特徴とする。
一例として、前記基準大きさは20000バイトであり、前記レイテンシ判断部は前記変換されたデータの大きさが前記基準大きさより小さい場合アンダーフローと判断することを特徴とする。
本発明の一実施形態によるエンコーディング部は、ストリーミングタイプのデータの入力を受けて出力するデータ入力部、前記ストリーミングタイプのデータの入力を受けて変換して出力するデータ変換部、前記変換されたデータの入力を受けてデコーダの第2バッファに出力する第1バッファ、前記変換されたデータの大きさ及び変換所要時間を算出するデータ測定部、及び前記算出結果を基準所要時間及び基準大きさと比較してレイテンシを判断するレイテンシ判断部を含み、前記レイテンシ判断部は前記変換されたデータの大きさ及び前記変換所要時間を基準所要時間及び基準大きさと比較して前記第1バッファまたは前記第2バッファのアンダーフローの発生の可能性を判断し、前記判断結果を前記データ入力部に回信し、前記データ入力部は前記回信結果に従って最後のストリーミングデータを再度前記データ変換部に出力する。
一例として、前記データ入力部は前記データ変換部にデータをフレーム単位で出力し、前記最後のストリーミングデータは最後のフレームデータであることを特徴とする。
一例として、前記基準所要時間は8msであり、前記レイテンシ判断部は前記算出された変換所要時間が前記基準所要時間より短い場合アンダーフローと判断することを特徴とする。
一例として、前記基準大きさは20000バイトであり、前記レイテンシ判断部は前記変換されたデータの大きさが前記基準大きさより小さい場合アンダーフローと判断することを特徴とする。
一例として、前記データ変換部はビットレートが一定である MPEG(Moving Picture Expert Group)エンコーダであることを特徴とする。
本発明によるストリーミングデータレイテンシ最小化システム及び方法はバッファのアンダーフローによるストリーミングデータレイテンシを最小化するシステムを提供することで使用者がストリーミング形態の画像データを鑑賞の際発生するレイテンシ(バッファリング)現象を減少させることができる。
本発明は多様な変更を加えることができ、多様な形態を有することできる。ここでは、特定の実施形態を図面に例示し本文に詳細に説明する。
しかし、これは本発明を特定の開示形態に限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むこととして理解されるべきである。第1、第2などの用語は多用な構成要素を説明するのに使用されることがあるが、各構成要素は第1、第2などの用語によって限定解釈されない。第1、第2などの用語は一つの構成要素を他の構成要素から区別する目的のみとして使用される。例えば、本発明の権利範囲を外れることなく第1構成要素を第2構成要素ということができ、同様に第2構成要素も第1構成要素ということができる。
本出願において使用した用語は単なる特定の実施形態を説明するために使用されたもので、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に示さない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は明細書に記載された特徴、数字、ステップ、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを意味し、一つまたはそれ以上の他の特徴や数字、ステップ、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除しないこととして理解されるべきである。
以下、図面を参照して本発明の好適な一実施形態をより詳細に説明する。
図2は本発明の一実施形態によるストリーミングレイテンシ最小化システムのエンコーディング部とデコーディング部を示すブロック構成図である。
図2を参照すると、本発明の一実施形態によるストリーミングレイテンシ最小化システムはエンコーディング部210及びデコーディング部220を含む。エンコーディング部210はデータ入力部211、データ変換部212、第1バッファ213、データ測定部214、及びレイテンシ判断部215を含む。デコーディング部220は第2バッファ221、データ変換部222、及びデータ出力部233を含む。
データ入力部211はストリーミング形態でデジタル化された画像データの入力を受けて、入力されたストリーミングデータをデータ変換部212に出力する。この際、データ入力部211はストリーミングデータをフレーム単位でデータ変換部に出力する。
データ変換部212は入力されるストリーミングデータを圧縮変換して第1バッファ213及びデータ測定部214に出力する。データ変換部212はビデオ及びオ-ディオ信号を符号化するMPEGエンコーダであってもよい。MPEG(Moving Picture Expert Group)エンコーダの出力ビットレートは一定であることを特徴とする。
第1バッファ213は入力を受けた変換されたデータをネットワークを通じてデコーディング部220に出力する。変換されたデータは圧縮されたビット列である符号化データである。
データ変換部212から出力される変換されたデータはデータ測定部214に入力され、データ測定部214は変換されたデータの大きさと変換所要時間を算出する。データの大きさはフレームデータの類型によって異なってもよく、大きさによって変換所要時間が減少してもよい。
より詳細に説明すると、MPEGでは全てのフレームを個別の正画像(ここで、「正画像」とは、圧縮前の元の動画を構成する個々の静止画像を意味する。)で圧縮するのではなく、隣接フレームの間に類似点が多いという点を用いる。例えば、動く動画像において、背景画面は変更事項なしにそのまま保持されながら、左右に移動するオブジェクトがあると仮定すると、背景のように類似したピクセルを有するフレームは大きく変化する情報がないので隣接フレームの属性をそのまま続けて受け、変化する情報の多い自動車部分のみ圧縮を行ってデータの容量を減少させるようになる。即ち、動作補償をするようになり、これは再度予測と補間を用いてより高い圧縮効率を有するようになる。しかし、再生途中の任意の地点に戻ることが可能であるべきなどの多様な理由によってMPEGビデオでは自分が持っている情報のみで復元できるフレームが規則的に挿入されなければならず、このようなフレームは正画像で圧縮される。予測または補間なしに正画像で圧縮されたフレームをIフレーム、予測のみをしたフレームをPフレーム、補間をしたフレームをBフレームとするが、MPEGビデオはこれらの3つのフレームが一定のパターンで混ざって一つの完成された画像を表現するとみてもよい。前述のような方法でビデオ画像が圧縮されるので背景画面及びオブジェクトによって変換されたフレームデータの大きさと変換所要時間は流動的であってもよい。
算出されたデータの大きさと変換所要時間はレイテンシ判断部215に入力され、レイテンシ判断部215は算出結果を基準所要時間及び基準大きさと比較してレイテンシ発生可否を判断する。算出された変換所要時間が基準所要時間より短いか、変換されたデータの大きさが基準大きさより小さい場合アンダーフローと判断し、結果をデータ入力部211に伝送する。
この際、基準大きさは20000バイトであり、変換されたデータの大きさが20000バイトより小さい場合アンダーフローと判断し、基準所要時間は8msであり、算出された変換所要時間が8msより短い場合アンダーフローと判断する。
算出結果がデータの入力部211に回信されると、データ入力部211は回信信号に従ってデータ変換部212に最後のフレームデータを再度出力する。
即ち、データ変換部212は入力を受けたフレーム単位のデータを変換して出力し、変換されたデータが基準大きさまたは基準所要時間を満たさないと、再度最後のフレームの入力を受けて同一のフレームを再度変換するようになる。換言すると、変換されたデータが基準値より小さいか基準値より早く変換されると同一のフレームを再度変換して出力する。
デコーディング部220の第2バッファ221はネットワークを通じてエンコーディング部210から出力された変換されたビット列のデータの入力を受ける。データ変換部222は入力されたビット列のデータを変換してデータ出力部223に出力する。この際、データ変換部222はビデオ及びオーディオ信号を復号化するMPEGデコーダであってもよい。データ変換部222で変換されたデータはデータ出力部223を通じて出力され、データ出力部223はストリーミング形態のデータをフレーム単位で出力して使用者に画像で提供される。
前述のような本発明の一実施形態によると、エンコーディング部210で追加的なデータ変換が行われるのでエンコーディング部210の効率は減少するが、エンコーディング部210またはデコーディング部220のバッファで発生する可能性があるアンダーフローを予防することができ、それにより、使用者に提供される画像のバッファリングを減少させられる効果がある。
図3は本発明の一実施形態によるストリーミングレイテンシ最小化方法に対するフローチャートである。
図3を参照すると、本発明の一実施形態によるストリーミングレイテンシ最小化方法はストリーミングデータの入力を受ける段階(S1)、ストリーミングデータを変換する段階(S2)、変換されたデータを伝送する段階(S3)、データの変換所要時間及び変換されたデータの大きさを算出する段階(S4)、算出された変換所要時間と変換されたデータの大きさを基準所要時間及び基準大きさと比較する段階(S5)、比較結果を基準としてバッファのアンダーフローを判断する段階(S6)、及びアンダーフローの判断結果に従って最後のストリーミングデータを再度変換する段階(S7)を含む。
ストリーミングデータの入力を受ける段階(S1)は、フレーム単位でデジタル化された画像データの入力を受け、最後のストリーミングデータを再度変換する段階(S7)は入力されたストリーミングデータのうち最後のフレームを再度変換する。
バッファのアンダーフローを判断する段階(S6)のバッファは変換されたデータを出力するエンコーディング部210の第1バッファ213または出力されたデータの入力を受けるデコーディング部220の第2バッファ221であってもよい。
ストリーミングデータを変換する段階(S2)は、ビデオ及びオーディオ信号を符号化するMPEGエンコーダに変換されてもよい。MPEGエンコーダの出力ビットレートは一定であることを特徴とする。
算出された変換所要時間と変換されたデータの大きさを基準大きさ及び基準所要時間と比較する段階(S5)において、基準大きさは20000バイトであり、変換されたデータの大きさが20000バイトより小さい場合アンダーフローと判断し、基準所要時間は8msであり、算出された変換所要時間が8msより短い場合アンダーフローと判断する。
本発明の一実施形態によるエンコーディングシステムはストリーミングタイプのデータの入力を受けるデータ入力部211、ストリーミングタイプのデータを変換して出力するデータ変換部212、変換されたデータの入力を受けてデコーディング部220の第2バッファに出力する第1バッファ213、変換されたデータの大きさ及び変換所要時間を算出するデータ測定部214、及び算出された結果を基準としてレイテンシを判断するレイテンシ判断部215を含み、レイテンシ判断部215は変換されたデータの大きさ及び変換所要時間を基準所要時間及び基準大きさと比較して第1バッファ213または第2バッファ221のアンダーフローの発生の可能性を判断し、判断結果をデータ入力部211に回信し、データ入力部211は回信結果に従って最後のストリーミングデータを再度データ変換部212に出力する。
データ入力部211はデータ変換部212にデータをフレーム単位で出力し、最後のストリーミングデータは最後のフレームデータであることを特徴とする。
この際、基準所要時間は8msであり、レイテンシ判断部215は算出された変換所要時間が基準所要時間より短い場合アンダーフローと判断し、基準大きさは20000バイトであり、レイテンシ判断部215は変換されたデータの大きさが基準大きさより小さい場合アンダーフローと判断する。
データ変換部212はビットレートが一定であるMPEGエンコーダであることを特徴とする。
前述のような本発明の一実施形態によるストリーミングレイテンシ最小化方法は、データを変換する過程で基準値と比較して、アンダーフローが予想される場合、最後のフレームを再度変換して出力することを特徴とし、前述のような方法でエンコーディング部またはデコーディング部のバッファで発生する可能性があるアンダーフローを予防することができ、それにより、使用者に提供される画像のバッファリングを減少させることができるという効果を有する。
以上、本発明の実施形態によって詳細に説明したが、本発明はこれに限定されず、本発明が属する技術分野において通常の知識を有する者であれば、本発明の思想と精神を離れることなく、本発明を修正または変更できる。
110、210:エンコーディング部
120、220:デコーディング部
111、211:データ入力部
112、122、212、222:データ変換部
113、213:第1バッファ
121、221:第2バッファ
214:データ測定部
215:レイテンシ判断部
223:データ出力部
120、220:デコーディング部
111、211:データ入力部
112、122、212、222:データ変換部
113、213:第1バッファ
121、221:第2バッファ
214:データ測定部
215:レイテンシ判断部
223:データ出力部
Claims (16)
- ストリーミングタイプのデータの入力を受けるデータ入力部、前記ストリーミングタイプのデータを変換して出力するデータ変換部、前記変換されたデータの入力を受けて出力する第1バッファ、前記変換されたデータの大きさ及び変換所要時間を算出するデータ測定部、及び前記算出結果を基準所要時間及び基準大きさと比較してレイテンシを判断するレイテンシ判断部を含むエンコーディング部と、
前記第1バッファから出力されたデータの入力を受ける第2バッファを含むデコーディング部と、を含み、
前記レイテンシ判断部は前記第1バッファまたは前記第2バッファのアンダーフローの発生の可能性を判断し、前記判断結果を前記データ入力部に回信し、前記データ入力部は前記回信結果に従って最後のストリーミングデータを再度前記データ変換部に出力することを特徴とするストリーミングレイテンシ最小化システム。 - 前記データ入力部は前記データ変換部にデータをフレーム単位で出力し、前記最後のストリーミングデータは最後のフレームデータであることを特徴とする請求項1に記載のストリーミングレイテンシ最小化システム。
- 前記基準所要時間は8msであり、前記レイテンシ判断部は前記算出された変換所要時間が前記基準所要時間より短い場合アンダーフローと判断することを特徴とする請求項1に記載のストリーミングレイテンシ最小化システム。
- 前記基準大きさは20000バイトであり、前記レイテンシ判断部は前記算出された大きさが前記基準大きさより小さい場合アンダーフローと判断することを特徴とする請求項1に記載のストリーミングレイテンシ最小化システム。
- 前記データ変換部は、ビットレートが一定であるMPEG(Moving Picture Expert Group)エンコーダであることを特徴とする請求項1に記載のストリーミングレイテンシ最小化システム。
- ストリーミングデータの入力を受け、
前記入力されたストリーミングデータを変換し、
前記変換されたデータを伝送し、
前記変換されたデータの変換所要時間及び変換されたデータの大きさを算出し、
前記算出された変換所要時間と前記変換されたデータの大きさを基準所要時間及び基準大きさと比較し、
比較結果を基準としてバッファのアンダーフローを判断し、
前記アンダーフロー判断結果に従って最後のストリーミングデータを再度変換することを含むことを特徴とするストリーミングレイテンシ最小化方法。 - 前記ストリーミングデータはフレーム単位でエンコーディングされ、前記最後のストリーミングデータは最後のフレームデータであることを特徴とする請求項6に記載のストリーミングレイテンシ最小化方法。
- 前記バッファは、前記変換されたデータを出力するエンコーディング部の第1バッファまたは前記出力されたデータの入力を受けるデコーディング部の第2バッファであることを特徴とする請求項6に記載のストリーミングレイテンシ最小化方法。
- 前記データ変換は、ビットレートが一定であるMPEG(Moving Picture Expert Group)エンコーダに変換することを特徴とする請求項6に記載のストリーミングレイテンシ最小化方法。
- 前記基準所要時間は8msであり、前記レイテンシ判断部は前記算出された変換所要時間が前記基準所要時間より短い場合アンダーフローと判断することを特徴とする請求項6に記載のストリーミングレイテンシ最小化方法。
- 前記基準大きさは20000バイトであり、前記レイテンシ判断部は前記変換されたデータの大きさが前記基準大きさより小さい場合アンダーフローと判断することを特徴とする請求項6に記載のストリーミングレイテンシ最小化方法。
- ストリーミングタイプのデータの入力を受けるデータ入力部、前記ストリーミングタイプのデータを変換して出力するデータ変換部、前記変換されたデータの入力を受けてデコーディング部の第2バッファに出力する第1バッファ、前記変換されたデータの大きさ及び変換所要時間を算出するデータ測定部、及び前記算出結果を基準としてレイテンシを判断するレイテンシ判断部を含み、
前記レイテンシ判断部は前記変換されたデータの大きさ及び前記変換所要時間を基準所要時間及び基準大きさと比較して前記第1バッファまたは前記第2バッファのアンダーフローの発生の可能性を判断し、前記判断結果を前記データ入力部に回信し、前記データ入力部は前記回信結果に従って最後のストリーミングデータを再度前記データ変換部に出力することを特徴とするエンコーディングシステム。 - 前記データ入力部は前記データ変換部にデータをフレーム単位で出力し、前記最後のストリーミングデータは最後のフレームデータであることを特徴とする請求項12に記載のエンコーディングシステム。
- 前記基準所要時間は8msであり、前記レイテンシ判断部は前記算出された変換所要時間が前記基準所要時間より短い場合アンダーフローと判断することを特徴とする請求項12に記載のエンコーディングシステム。
- 前記基準大きさは20000バイトであり、前記レイテンシ判断部は前記変換されたデータの大きさが前記基準大きさより小さい場合アンダーフローと判断することを特徴とする請求項12に記載のエンコーディングシステム。
- 前記データ変換部はビットレートが一定であるMPEG(Moving Picture Expert Group)エンコーダであることを特徴とする請求項12に記載のエンコーディングシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150019905A KR101732995B1 (ko) | 2015-02-10 | 2015-02-10 | 스트리밍 레이턴시 최소화 시스템 및 이를 사용하는 방법 |
KR10-2015-0019905 | 2015-02-10 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016149770A true JP2016149770A (ja) | 2016-08-18 |
Family
ID=56567252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016022724A Pending JP2016149770A (ja) | 2015-02-10 | 2016-02-09 | ストリーミングレイテンシの最小化システム及びそれを使用する方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10652548B2 (ja) |
JP (1) | JP2016149770A (ja) |
KR (1) | KR101732995B1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021171259A1 (en) * | 2020-02-27 | 2021-09-02 | Ssimwave Inc. | Real-time latency measurement of video streams |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3203168B2 (ja) | 1994-11-30 | 2001-08-27 | 三洋電機株式会社 | Mpegビデオデコーダ |
JPH11252552A (ja) * | 1998-03-05 | 1999-09-17 | Sony Corp | ビデオ信号の圧縮符号化方法及び圧縮符号化装置、並びに、圧縮符号化データの多重化方法及び多重化装置 |
EP1034659B1 (en) * | 1998-07-10 | 2006-11-02 | Koninklijke Philips Electronics N.V. | Bit-rate modification |
ES2259827T3 (es) * | 1998-10-13 | 2006-10-16 | Matsushita Electric Industrial Co., Ltd. | Regulacion de los requisitos de calculo y de memoria de un tren de bits comprimido en un decodificador de video. |
JP2003333488A (ja) | 2002-05-09 | 2003-11-21 | Mitsubishi Electric Corp | ストリーミングデータ再生方式及びストリーミングデータ再生方法 |
US20060125835A1 (en) * | 2004-12-10 | 2006-06-15 | Li Sha | DMA latency compensation with scaling line buffer |
US8320686B2 (en) * | 2006-09-11 | 2012-11-27 | Panasonic Corporation | Detailed description of the invention |
US7895629B1 (en) * | 2007-11-07 | 2011-02-22 | At&T Mobility Ii Llc | Video service buffer management in a mobile rate control enabled network |
US9094684B2 (en) * | 2011-12-19 | 2015-07-28 | Google Technology Holdings LLC | Method for dual pass rate control video encoding |
US9419912B2 (en) * | 2014-02-11 | 2016-08-16 | International Business Machines Corporation | Selective underflow protection in a network switch |
US9973795B2 (en) * | 2014-08-27 | 2018-05-15 | ClearOne Inc. | Method for video synchronization in video distribution systems |
-
2015
- 2015-02-10 KR KR1020150019905A patent/KR101732995B1/ko active IP Right Grant
-
2016
- 2016-02-04 US US15/015,793 patent/US10652548B2/en active Active
- 2016-02-09 JP JP2016022724A patent/JP2016149770A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US10652548B2 (en) | 2020-05-12 |
KR20160098625A (ko) | 2016-08-19 |
KR101732995B1 (ko) | 2017-05-25 |
US20160234505A1 (en) | 2016-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220394307A1 (en) | Reducing latency in video encoding and decoding | |
JP5726919B2 (ja) | リモートディスプレイに画像をレンダリングするためのデルタ圧縮ならびに動き予測およびメタデータの修正を可能にすること | |
JP5161130B2 (ja) | 固定帯域幅ネットワークにおける複数の圧縮ビデオストリームのための適応帯域幅フットプリントマッチング | |
JP5156655B2 (ja) | 画像処理装置 | |
US20180184089A1 (en) | Target bit allocation for video coding | |
KR100746005B1 (ko) | 다중 목적의 비디오 스트림을 처리하는 장치 및 방법 | |
US20110310955A1 (en) | Method and system for repetition based adaptive video compression | |
US20120033727A1 (en) | Efficient video codec implementation | |
JP2016005043A (ja) | 情報処理装置およびプログラム | |
US9008185B2 (en) | Apparatus and method of lossless compression/restoration of selective image information | |
JP2016149770A (ja) | ストリーミングレイテンシの最小化システム及びそれを使用する方法 | |
US10356439B2 (en) | Flexible frame referencing for display transport | |
JP6221820B2 (ja) | 符号化装置、符号化方法および符号化プログラム | |
JP6197708B2 (ja) | 動画像伝送システム、動画像符号化装置、動画像復号装置及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム | |
KR20130101900A (ko) | 전자 장치 및 인코딩 방법 | |
KR100623710B1 (ko) | 하드웨어 리소스를 공유하여 복수의 동영상 콘텐츠를처리하는 방법 | |
KR20160111662A (ko) | 영상 처리 시스템 및 방법 | |
JP2009246489A (ja) | 映像信号切替装置 | |
CN101188768A (zh) | 基于rgb编解码器发送和接收运动图像的方法和设备 | |
CN106954073B (zh) | 一种视频数据输入和输出方法、装置与*** | |
US20160117796A1 (en) | Content Adaptive Decoder Quality Management | |
JP2008532405A (ja) | Mpegデコーダのための適応型フォールバックシステム | |
KR20150006465A (ko) | 비디오 스트림들의 비용-효율적이고 저-레이턴시 인코딩을 가능하게 하기 위한 메커니즘 | |
Lee et al. | Channel-adaptive Image Compression for Wireless Transmission | |
JP2005286594A (ja) | 映像符号化装置 |