JP2016149770A

JP2016149770A - ストリーミングレイテンシの最小化システム及びそれを使用する方法

Info

Publication number: JP2016149770A
Application number: JP2016022724A
Authority: JP
Inventors: イヤンキム; Hye-Young Kim
Original assignee: NHN Entertainment Corp
Current assignee: NHN Corp
Priority date: 2015-02-10
Filing date: 2016-02-09
Publication date: 2016-08-18
Also published as: US10652548B2; KR20160098625A; KR101732995B1; US20160234505A1

Abstract

【課題】本発明はバッファのアンダーフローによるレイテンシを最小化するためのシステム及びそれを使用する方法を提供する。【解決手段】本発明によるストリーミングデータレイテンシ最小化システム及び方法は、バッファのアンダーフローによるストリーミングデータのレイテンシを最小化するシステムを提供することで使用者がストリーミング形態の画像データを鑑賞の際発生するレイテンシ（バッファリング）現象を減少させることができる。【選択図】図２

Description

本発明はストリーミングレイテンシ最小化システムに関わり、より詳細にはデコーダのバッファのアンダーフローによるレイテンシを最小化するためのシステム及びそれを使用する方法に関する。

一般的に画像提供装置は動画像データを処理するためのビデオコデックを具備する。このビデオコデックはエンコーディング部とデコーディング部で構成され、エンコーディング部は動画像データをエンコーディング及び圧縮して伝送する機能を遂行し、デコーディング部は受信された動画像データをデコーディング及び圧縮解除して元の形状に復元する機能を遂行する。このようなビデオコデックにおいて、エンコーディング部とデコーディング部は動画像の効率的な送受信のためにバッファを具備する。

図１は従来の画像提供装置のエンコーディング部１１０とデコーディング部１２０を示すブロック構成図である。

図１を参照すると、従来のエンコーディング部１１０はデータ入力部１１１、データ変換部１１２、及び第１バッファ１１３で構成される。データ入力部１１１はストリーミングデータの入力を受け、データ変換部１１２は入力されたデータを圧縮及び変換してビデオエンコーディングデータを出力し、第１バッファ１１３は変換されたデータを貯蔵し外部装置の要求信号に従って貯蔵されたデータを出力する。また、従来のデコーディング部１２０は第２バッファ１２１、データ変換部１２２、及びデータ出力部１２３で構成される。第２バッファ１２１はエンコーディング部１１０の第１バッファ１１３から出力されたデータの入力を受け、データ変換部１２３は入力受けたデータを変換し、データ出力部は変換されたデータをストリーミング形態で出力する。

このように構成された従来の画像提供システムの動作は次のとおりである。

まず、データ入力部１１１にストリーミングタイプの画像データが入力され、データ変換部１１２は入力された画像データを圧縮変換して出力する。続いて、変換されたデータは第１バッファ１１３に貯蔵され、第１バッファ１１３は外部装置から変換されたデータの出力要求がある時に貯蔵されたデータを外部装置に出力する。

デコーディング部１２０の第２バッファ１２１はエンコーディング部１１０の第１バッファ１１３から出力されたデータをネットワークを通じて入力を受け、それをデータ変換部１２２に出力する。データ変換部１２２は入力を受けたデータを変換してストリーミング形態でデータ出力部１２３を通じて出力する。

この際、エンコーディング部１１０の第１バッファ１１３とデコーディング部１２０の第２バッファ１２１は入力されるデータをリアルタイムで出力するが、出力されるデータの量が第１バッファ１１３または第２バッファ１２１に入力されるデータの量より多いと第１バッファ１１３または第２バッファ１２１はアンダーフロー状態となり、第１バッファ１１３または第２バッファ１２１が満たされるまでデータの出力を一時的に中止して待機する。それによって、エンコーディング部１１０の第１バッファ１１３を通じてネットワークに出力されるデータ、またはデコーディング部１２０の第２バッファ１２１を通じてデータ変換部１２３に入力されるデータに瞬間的にレイテンシ（latency）が発生するようになり、結果的にデコーディング部１２０のデータ出力部１２３に出力されるストリーミングデータにもレイテンシが発生して、画像の提供を受ける使用者は瞬間的に画像が切れてしまうバッファリング現象を受けるようになる。

このような問題点を解決するために、バッファでアンダーフロー発生の際、リアルタイムでビットレートが可変されるエンコーダが提示されているが、ビットレートが固定されているエンコーダではそれを解決するための適切な方法がないのが現実である。

本発明は前述した従来技術による問題点を解決するためのものである。即ち、本発明の目的はビットレートが一定であるエンコーダ及びデコーダのバッファのアンダーフローによるストリーミングデータレイテンシを最小化するシステム及び方法を提供することにある。

前記目的を達成するための本発明の一実施形態によるストリーミングレイテンシ最小化システムはストリーミングタイプのデータの入力を受けるデータ入力部、前記ストリーミングタイプのデータの入力を受けて変換して出力するデータ変換部、前記変換されたデータの入力を受けて出力する第１バッファ、前記変換されたデータの大きさ及び変換所要時間を算出するデータ測定部、及び前記算出結果を基準所要時間及び基準大きさと比較してレイテンシを判断するレイテンシ判断部を含むエンコーディング部と、前記第１バッファから出力されたデータの入力を受ける第２バッファを含むデコーディング部と、を含み、前記レイテンシ判断部は前記第１バッファまたは前記第２バッファのアンダーフローの発生の可能性を判断し、前記判断結果を前記データ入力部に回信し、前記データ入力部は前記回信結果に従って最後のストリーミングデータを再度前記データ変換部に出力する。

一例として、前記データ入力部は前記データ変換部にデータをフレーム単位で出力し、前記最後のストリーミングデータは最後のフレームデータであることを特徴とする。

一例として、前記基準所要時間は８ｍｓであり、前記レイテンシ判断部は前記算出された変換所要時間が前記基準所要時間より短い場合アンダーフローと判断することを特徴とする。

一例として、前記基準大きさは２００００バイトであり、前記レイテンシ判断部は前記算出された大きさが前記基準大きさより小さい場合アンダーフローと判断する。

一例として、前記データ変換部は、ビットレートが一定であるＭＰＥＧ（Moving Picture Expert Group）エンコーダであることを特徴とする。

本発明の一実施形態によるストリーミングレイテンシ最小化方法は、ストリーミングデータの入力を受け、前記入力されたストリーミングデータを変換し、前記変換されたデータを伝送し、前記変換されたデータの変換所要時間及び変換されたデータの大きさを算出し、前記算出された変換所要時間と前記変換されたデータの大きさを基準所要時間及び基準大きさと比較し、比較結果を基準としてバッファのアンダーフローを判断し、前記アンダーフロー判断結果に従って最後のストリーミングデータを再度変換することを含む。

一例として、前記ストリーミングデータはフレーム単位でエンコーディングされ、前記最後のストリーミングデータは最後のフレームデータであることを特徴とする。

一例として、前記バッファは、前記変換されたデータを出力するエンコーディング部の第１バッファまたは前記出力されたデータの入力を受けるデコーディング部の第２バッファであることを特徴とする。

一例として、前記データ変換は、ビットレートが一定であるＭＰＥＧ（Moving Picture Expert Group）エンコーダに変換することを特徴とする。

一例として、前記基準大きさは２００００バイトであり、前記レイテンシ判断部は前記変換されたデータの大きさが前記基準大きさより小さい場合アンダーフローと判断することを特徴とする。

本発明の一実施形態によるエンコーディング部は、ストリーミングタイプのデータの入力を受けて出力するデータ入力部、前記ストリーミングタイプのデータの入力を受けて変換して出力するデータ変換部、前記変換されたデータの入力を受けてデコーダの第２バッファに出力する第１バッファ、前記変換されたデータの大きさ及び変換所要時間を算出するデータ測定部、及び前記算出結果を基準所要時間及び基準大きさと比較してレイテンシを判断するレイテンシ判断部を含み、前記レイテンシ判断部は前記変換されたデータの大きさ及び前記変換所要時間を基準所要時間及び基準大きさと比較して前記第１バッファまたは前記第２バッファのアンダーフローの発生の可能性を判断し、前記判断結果を前記データ入力部に回信し、前記データ入力部は前記回信結果に従って最後のストリーミングデータを再度前記データ変換部に出力する。

一例として、前記データ変換部はビットレートが一定であるＭＰＥＧ（Moving Picture Expert Group）エンコーダであることを特徴とする。

本発明によるストリーミングデータレイテンシ最小化システム及び方法はバッファのアンダーフローによるストリーミングデータレイテンシを最小化するシステムを提供することで使用者がストリーミング形態の画像データを鑑賞の際発生するレイテンシ（バッファリング）現象を減少させることができる。

従来の画像提供装置のエンコーディング部とデコーディング部を示すブロック構成図である。本発明の一実施形態によるストリーミングレイテンシ最小化システムのエンコーディング部とデコーディング部を示すブロック構成図である。本発明の一実施形態によるストリーミングレイテンシ最小化方法に対するフローチャートである。

本発明は多様な変更を加えることができ、多様な形態を有することできる。ここでは、特定の実施形態を図面に例示し本文に詳細に説明する。

しかし、これは本発明を特定の開示形態に限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むこととして理解されるべきである。第１、第２などの用語は多用な構成要素を説明するのに使用されることがあるが、各構成要素は第１、第２などの用語によって限定解釈されない。第１、第２などの用語は一つの構成要素を他の構成要素から区別する目的のみとして使用される。例えば、本発明の権利範囲を外れることなく第１構成要素を第２構成要素ということができ、同様に第２構成要素も第１構成要素ということができる。

本出願において使用した用語は単なる特定の実施形態を説明するために使用されたもので、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に示さない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は明細書に記載された特徴、数字、ステップ、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを意味し、一つまたはそれ以上の他の特徴や数字、ステップ、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除しないこととして理解されるべきである。

以下、図面を参照して本発明の好適な一実施形態をより詳細に説明する。

図２は本発明の一実施形態によるストリーミングレイテンシ最小化システムのエンコーディング部とデコーディング部を示すブロック構成図である。

図２を参照すると、本発明の一実施形態によるストリーミングレイテンシ最小化システムはエンコーディング部２１０及びデコーディング部２２０を含む。エンコーディング部２１０はデータ入力部２１１、データ変換部２１２、第１バッファ２１３、データ測定部２１４、及びレイテンシ判断部２１５を含む。デコーディング部２２０は第２バッファ２２１、データ変換部２２２、及びデータ出力部２３３を含む。

データ入力部２１１はストリーミング形態でデジタル化された画像データの入力を受けて、入力されたストリーミングデータをデータ変換部２１２に出力する。この際、データ入力部２１１はストリーミングデータをフレーム単位でデータ変換部に出力する。

データ変換部２１２は入力されるストリーミングデータを圧縮変換して第１バッファ２１３及びデータ測定部２１４に出力する。データ変換部２１２はビデオ及びオ-ディオ信号を符号化するＭＰＥＧエンコーダであってもよい。ＭＰＥＧ（Moving Picture Expert Group）エンコーダの出力ビットレートは一定であることを特徴とする。

第１バッファ２１３は入力を受けた変換されたデータをネットワークを通じてデコーディング部２２０に出力する。変換されたデータは圧縮されたビット列である符号化データである。

データ変換部２１２から出力される変換されたデータはデータ測定部２１４に入力され、データ測定部２１４は変換されたデータの大きさと変換所要時間を算出する。データの大きさはフレームデータの類型によって異なってもよく、大きさによって変換所要時間が減少してもよい。

より詳細に説明すると、ＭＰＥＧでは全てのフレームを個別の正画像（ここで、「正画像」とは、圧縮前の元の動画を構成する個々の静止画像を意味する。）で圧縮するのではなく、隣接フレームの間に類似点が多いという点を用いる。例えば、動く動画像において、背景画面は変更事項なしにそのまま保持されながら、左右に移動するオブジェクトがあると仮定すると、背景のように類似したピクセルを有するフレームは大きく変化する情報がないので隣接フレームの属性をそのまま続けて受け、変化する情報の多い自動車部分のみ圧縮を行ってデータの容量を減少させるようになる。即ち、動作補償をするようになり、これは再度予測と補間を用いてより高い圧縮効率を有するようになる。しかし、再生途中の任意の地点に戻ることが可能であるべきなどの多様な理由によってＭＰＥＧビデオでは自分が持っている情報のみで復元できるフレームが規則的に挿入されなければならず、このようなフレームは正画像で圧縮される。予測または補間なしに正画像で圧縮されたフレームをIフレーム、予測のみをしたフレームをＰフレーム、補間をしたフレームをＢフレームとするが、ＭＰＥＧビデオはこれらの３つのフレームが一定のパターンで混ざって一つの完成された画像を表現するとみてもよい。前述のような方法でビデオ画像が圧縮されるので背景画面及びオブジェクトによって変換されたフレームデータの大きさと変換所要時間は流動的であってもよい。

算出されたデータの大きさと変換所要時間はレイテンシ判断部２１５に入力され、レイテンシ判断部２１５は算出結果を基準所要時間及び基準大きさと比較してレイテンシ発生可否を判断する。算出された変換所要時間が基準所要時間より短いか、変換されたデータの大きさが基準大きさより小さい場合アンダーフローと判断し、結果をデータ入力部２１１に伝送する。

この際、基準大きさは２００００バイトであり、変換されたデータの大きさが２００００バイトより小さい場合アンダーフローと判断し、基準所要時間は８ｍｓであり、算出された変換所要時間が８ｍｓより短い場合アンダーフローと判断する。

算出結果がデータの入力部２１１に回信されると、データ入力部２１１は回信信号に従ってデータ変換部２１２に最後のフレームデータを再度出力する。

即ち、データ変換部２１２は入力を受けたフレーム単位のデータを変換して出力し、変換されたデータが基準大きさまたは基準所要時間を満たさないと、再度最後のフレームの入力を受けて同一のフレームを再度変換するようになる。換言すると、変換されたデータが基準値より小さいか基準値より早く変換されると同一のフレームを再度変換して出力する。

デコーディング部２２０の第２バッファ２２１はネットワークを通じてエンコーディング部２１０から出力された変換されたビット列のデータの入力を受ける。データ変換部２２２は入力されたビット列のデータを変換してデータ出力部２２３に出力する。この際、データ変換部２２２はビデオ及びオーディオ信号を復号化するＭＰＥＧデコーダであってもよい。データ変換部２２２で変換されたデータはデータ出力部２２３を通じて出力され、データ出力部２２３はストリーミング形態のデータをフレーム単位で出力して使用者に画像で提供される。

前述のような本発明の一実施形態によると、エンコーディング部２１０で追加的なデータ変換が行われるのでエンコーディング部２１０の効率は減少するが、エンコーディング部２１０またはデコーディング部２２０のバッファで発生する可能性があるアンダーフローを予防することができ、それにより、使用者に提供される画像のバッファリングを減少させられる効果がある。

図３は本発明の一実施形態によるストリーミングレイテンシ最小化方法に対するフローチャートである。

図３を参照すると、本発明の一実施形態によるストリーミングレイテンシ最小化方法はストリーミングデータの入力を受ける段階（Ｓ１）、ストリーミングデータを変換する段階（Ｓ２）、変換されたデータを伝送する段階（Ｓ３）、データの変換所要時間及び変換されたデータの大きさを算出する段階（Ｓ４）、算出された変換所要時間と変換されたデータの大きさを基準所要時間及び基準大きさと比較する段階（Ｓ５）、比較結果を基準としてバッファのアンダーフローを判断する段階（Ｓ６）、及びアンダーフローの判断結果に従って最後のストリーミングデータを再度変換する段階（Ｓ７）を含む。

ストリーミングデータの入力を受ける段階（Ｓ１）は、フレーム単位でデジタル化された画像データの入力を受け、最後のストリーミングデータを再度変換する段階（Ｓ７）は入力されたストリーミングデータのうち最後のフレームを再度変換する。

バッファのアンダーフローを判断する段階（Ｓ６）のバッファは変換されたデータを出力するエンコーディング部２１０の第１バッファ２１３または出力されたデータの入力を受けるデコーディング部２２０の第２バッファ２２１であってもよい。

ストリーミングデータを変換する段階（Ｓ２）は、ビデオ及びオーディオ信号を符号化するＭＰＥＧエンコーダに変換されてもよい。ＭＰＥＧエンコーダの出力ビットレートは一定であることを特徴とする。

算出された変換所要時間と変換されたデータの大きさを基準大きさ及び基準所要時間と比較する段階（Ｓ５）において、基準大きさは２００００バイトであり、変換されたデータの大きさが２００００バイトより小さい場合アンダーフローと判断し、基準所要時間は８ｍｓであり、算出された変換所要時間が８ｍｓより短い場合アンダーフローと判断する。

本発明の一実施形態によるエンコーディングシステムはストリーミングタイプのデータの入力を受けるデータ入力部２１１、ストリーミングタイプのデータを変換して出力するデータ変換部２１２、変換されたデータの入力を受けてデコーディング部２２０の第２バッファに出力する第１バッファ２１３、変換されたデータの大きさ及び変換所要時間を算出するデータ測定部２１４、及び算出された結果を基準としてレイテンシを判断するレイテンシ判断部２１５を含み、レイテンシ判断部２１５は変換されたデータの大きさ及び変換所要時間を基準所要時間及び基準大きさと比較して第１バッファ２１３または第２バッファ２２１のアンダーフローの発生の可能性を判断し、判断結果をデータ入力部２１１に回信し、データ入力部２１１は回信結果に従って最後のストリーミングデータを再度データ変換部２１２に出力する。

データ入力部２１１はデータ変換部２１２にデータをフレーム単位で出力し、最後のストリーミングデータは最後のフレームデータであることを特徴とする。

この際、基準所要時間は８ｍｓであり、レイテンシ判断部２１５は算出された変換所要時間が基準所要時間より短い場合アンダーフローと判断し、基準大きさは２００００バイトであり、レイテンシ判断部２１５は変換されたデータの大きさが基準大きさより小さい場合アンダーフローと判断する。

データ変換部２１２はビットレートが一定であるＭＰＥＧエンコーダであることを特徴とする。

前述のような本発明の一実施形態によるストリーミングレイテンシ最小化方法は、データを変換する過程で基準値と比較して、アンダーフローが予想される場合、最後のフレームを再度変換して出力することを特徴とし、前述のような方法でエンコーディング部またはデコーディング部のバッファで発生する可能性があるアンダーフローを予防することができ、それにより、使用者に提供される画像のバッファリングを減少させることができるという効果を有する。

以上、本発明の実施形態によって詳細に説明したが、本発明はこれに限定されず、本発明が属する技術分野において通常の知識を有する者であれば、本発明の思想と精神を離れることなく、本発明を修正または変更できる。

１１０、２１０：エンコーディング部
１２０、２２０：デコーディング部
１１１、２１１：データ入力部
１１２、１２２、２１２、２２２：データ変換部
１１３、２１３：第１バッファ
１２１、２２１：第２バッファ
２１４：データ測定部
２１５：レイテンシ判断部
２２３：データ出力部

Claims

ストリーミングタイプのデータの入力を受けるデータ入力部、前記ストリーミングタイプのデータを変換して出力するデータ変換部、前記変換されたデータの入力を受けて出力する第１バッファ、前記変換されたデータの大きさ及び変換所要時間を算出するデータ測定部、及び前記算出結果を基準所要時間及び基準大きさと比較してレイテンシを判断するレイテンシ判断部を含むエンコーディング部と、
前記第１バッファから出力されたデータの入力を受ける第２バッファを含むデコーディング部と、を含み、
前記レイテンシ判断部は前記第１バッファまたは前記第２バッファのアンダーフローの発生の可能性を判断し、前記判断結果を前記データ入力部に回信し、前記データ入力部は前記回信結果に従って最後のストリーミングデータを再度前記データ変換部に出力することを特徴とするストリーミングレイテンシ最小化システム。
前記データ入力部は前記データ変換部にデータをフレーム単位で出力し、前記最後のストリーミングデータは最後のフレームデータであることを特徴とする請求項１に記載のストリーミングレイテンシ最小化システム。
前記基準所要時間は８ｍｓであり、前記レイテンシ判断部は前記算出された変換所要時間が前記基準所要時間より短い場合アンダーフローと判断することを特徴とする請求項１に記載のストリーミングレイテンシ最小化システム。
前記基準大きさは２００００バイトであり、前記レイテンシ判断部は前記算出された大きさが前記基準大きさより小さい場合アンダーフローと判断することを特徴とする請求項１に記載のストリーミングレイテンシ最小化システム。
前記データ変換部は、ビットレートが一定であるＭＰＥＧ（Moving Picture Expert Group）エンコーダであることを特徴とする請求項１に記載のストリーミングレイテンシ最小化システム。
ストリーミングデータの入力を受け、
前記入力されたストリーミングデータを変換し、
前記変換されたデータを伝送し、
前記変換されたデータの変換所要時間及び変換されたデータの大きさを算出し、
前記算出された変換所要時間と前記変換されたデータの大きさを基準所要時間及び基準大きさと比較し、
比較結果を基準としてバッファのアンダーフローを判断し、
前記アンダーフロー判断結果に従って最後のストリーミングデータを再度変換することを含むことを特徴とするストリーミングレイテンシ最小化方法。
前記ストリーミングデータはフレーム単位でエンコーディングされ、前記最後のストリーミングデータは最後のフレームデータであることを特徴とする請求項６に記載のストリーミングレイテンシ最小化方法。
前記バッファは、前記変換されたデータを出力するエンコーディング部の第１バッファまたは前記出力されたデータの入力を受けるデコーディング部の第２バッファであることを特徴とする請求項６に記載のストリーミングレイテンシ最小化方法。
前記データ変換は、ビットレートが一定であるＭＰＥＧ（Moving Picture Expert Group）エンコーダに変換することを特徴とする請求項６に記載のストリーミングレイテンシ最小化方法。
前記基準所要時間は８ｍｓであり、前記レイテンシ判断部は前記算出された変換所要時間が前記基準所要時間より短い場合アンダーフローと判断することを特徴とする請求項６に記載のストリーミングレイテンシ最小化方法。
前記基準大きさは２００００バイトであり、前記レイテンシ判断部は前記変換されたデータの大きさが前記基準大きさより小さい場合アンダーフローと判断することを特徴とする請求項６に記載のストリーミングレイテンシ最小化方法。
ストリーミングタイプのデータの入力を受けるデータ入力部、前記ストリーミングタイプのデータを変換して出力するデータ変換部、前記変換されたデータの入力を受けてデコーディング部の第２バッファに出力する第１バッファ、前記変換されたデータの大きさ及び変換所要時間を算出するデータ測定部、及び前記算出結果を基準としてレイテンシを判断するレイテンシ判断部を含み、
前記レイテンシ判断部は前記変換されたデータの大きさ及び前記変換所要時間を基準所要時間及び基準大きさと比較して前記第１バッファまたは前記第２バッファのアンダーフローの発生の可能性を判断し、前記判断結果を前記データ入力部に回信し、前記データ入力部は前記回信結果に従って最後のストリーミングデータを再度前記データ変換部に出力することを特徴とするエンコーディングシステム。
前記データ入力部は前記データ変換部にデータをフレーム単位で出力し、前記最後のストリーミングデータは最後のフレームデータであることを特徴とする請求項１２に記載のエンコーディングシステム。
前記基準所要時間は８ｍｓであり、前記レイテンシ判断部は前記算出された変換所要時間が前記基準所要時間より短い場合アンダーフローと判断することを特徴とする請求項１２に記載のエンコーディングシステム。
前記基準大きさは２００００バイトであり、前記レイテンシ判断部は前記変換されたデータの大きさが前記基準大きさより小さい場合アンダーフローと判断することを特徴とする請求項１２に記載のエンコーディングシステム。
前記データ変換部はビットレートが一定であるＭＰＥＧ（Moving Picture Expert Group）エンコーダであることを特徴とする請求項１２に記載のエンコーディングシステム。