JP7499583B2 - 動画配信装置、動画送出装置、動画配信システム、動画配信方法及び動画配信プログラム - Google Patents
動画配信装置、動画送出装置、動画配信システム、動画配信方法及び動画配信プログラム Download PDFInfo
- Publication number
- JP7499583B2 JP7499583B2 JP2020040168A JP2020040168A JP7499583B2 JP 7499583 B2 JP7499583 B2 JP 7499583B2 JP 2020040168 A JP2020040168 A JP 2020040168A JP 2020040168 A JP2020040168 A JP 2020040168A JP 7499583 B2 JP7499583 B2 JP 7499583B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- stream
- distribution
- groups
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009826 distribution Methods 0.000 title claims description 129
- 238000000034 method Methods 0.000 title claims description 30
- 230000005540 biological transmission Effects 0.000 title claims description 24
- 230000004044 response Effects 0.000 claims description 34
- 238000005259 measurement Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、動画配信を行うための装置、システム、方法及びプログラムに関する。
従来、動画配信方式の一つとして、映像品質の異なる複数の動画ストリームを、スループットに合わせて適応的に切り替えて配信するアダプティブストリーミング技術が用いられている。例えば、ＭＰＥＧ－ＤＡＳＨ（非特許文献１参照）等の規格では、ＣＤＮ（Ｃｏｎｔｅｎｔ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ）を構成することによる大規模配信が可能となっている。
ＭＰＥＧ－ＤＡＳＨに採用されている動画フォーマットは、ＭＰＥＧ－２ ＴＳ、Ｈ．２６４、Ｈ．２６５等のいずれの仕様においても、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）構造を有している。ＧＯＰとは、単体で復号可能なＩフレームと、過去のフレームの情報を利用して符号化及び復号を行うＰフレームとを含んで構成されるフレームのグループである。Ｐフレームが直前のＩフレーム又はＰフレームとの差分を表現しているためデータ量が少なく、動画ストリームの全てをＩフレームで構成するよりも、Ｐフレームを含めることで符号化効率が良くなる。
通常、図１０に示すように、動画ストリームの中でＧＯＰ間隔（Ｉフレーム間の間隔）は固定であり、切り替え可能な動画ストリーム間で同期して符号化される。動画の再生は必ずＩフレームから開始され、複数の動画ストリームの切り替えは、Ｉフレームでのみ可能である。なお、図１１のように、切り替え先がＩフレームであれば、切り替え元がＰフレームであっても切り替え可能である。
ＭＰＥＧ－ＤＡＳＨ，[online]，[令和2年2月26日検索]，インターネット＜https://mpeg.chiariglione.org/standards/mpeg-dash/implementation-guidelines/text-isoiec-dtr-23009-3-2nd-edition-dash＞
ＡＶＣ－Ｉｎｔｒａ，[online]，[令和2年2月26日検索]，インターネット＜ftp://ftp.panasonic.com/pub/Panasonic/Drivers/PBTS/papers/WP_AVC-Intra.pdf＞
ダイナミックＧＯＰ，[online]，[令和2年2月26日検索]，インターネット＜https://www.axis.com/ja-jp/learning/web-articles/reducing-the-bit-rate-with-axis-zipstream/dynamic-gop＞
ところで、従来の方式では、動画の再生開始点がＩフレームに限定されＧＯＰ間隔（例えば、１～１０秒程度）に依存するため、フレーム単位で即時に動画を受信端末に配信するリアルタイム配信を行いたい場合には再生開始要求に対する応答が遅れていた。また、動画の切り替え点もＩフレームに限定されＧＯＰ間隔に依存するため、映像品質の選択から切り替えまでに時間を要していた。
そこで、例えば、非特許文献２では、動画ストリームを全てＩフレームとする手法が提案されている。しかしながら、この手法では、映像品質を維持するために高い伝送レートが必要となっていた。
また、非特許文献３では、ＧＯＰ間隔を動的に調整する手法が提案されている。しかしながら、この手法では、受信端末毎にエンコーダが必要となるためコストが高くなっていた。
また、非特許文献３では、ＧＯＰ間隔を動的に調整する手法が提案されている。しかしながら、この手法では、受信端末毎にエンコーダが必要となるためコストが高くなっていた。
本発明は、複数の受信端末に対して、低遅延なリアルタイム配信が可能な動画配信装置、動画送出装置、動画配信システム、動画配信方法及び動画配信プログラムを提供することを目的とする。
本発明に係る動画配信装置は、同一の映像データに基づいて、Ｉフレームのみで構成された第１映像ストリーム、及びＰフレームを含んで構成された第２映像ストリームを受信するデータ受信部と、動画受信端末からの再生要求に応じて、前記第１映像ストリームのＩフレームに続いて、前記第２映像ストリームのフレームを用いて、配信ストリームを生成する配信ストリーム生成部と、前記配信ストリームを前記動画受信端末へ送出するデータ送出部と、を備える。
前記第２映像ストリームには、所定の間隔でＩフレームが挿入されてもよい。
前記データ受信部は、前記第１映像ストリーム及び前記第２映像ストリームの組をストリームグループとし、互いに映像品質の異なるストリームグループを複数受信し、前記配信ストリーム生成部は、映像品質の切り替え要求に応じて、前記複数のストリームグループのいずれかを用いて前記配信ストリームを再構成してもよい。
前記動画配信装置は、前記動画受信端末に対するスループットを計測するスループット計測部を備え、前記配信ストリーム生成部は、計測された前記スループットに基づいて、前記複数のストリームグループのいずれかを選定してもよい。
前記配信ストリーム生成部は、前記複数のストリームグループのそれぞれを用いた場合のビットレートと、計測された前記スループットとを比較し、当該スループットを超えない範囲で最もビットレートが高いストリームグループを選定してもよい。
本発明に係る動画送出装置は、映像データに基づいて、Ｉフレームのみで構成された第１映像ストリームを生成する第１映像ストリームエンコーダと、前記映像データに基づいて、Ｐフレームを含んで構成された第２映像ストリームを前記第１映像ストリームと同期させて生成する第２映像ストリームエンコーダと、前記第１映像ストリーム及び前記第２映像ストリームを、動画受信端末からの再生要求に応じて、前記第１映像ストリームのＩフレームに続いて、前記第２映像ストリームのフレームを用いて配信ストリームを生成するための動画配信装置へ送信するデータ送出部と、を備える。
本発明に係る動画配信システムは、映像データに基づいて、Ｉフレームのみで構成された第１映像ストリームを生成する第１映像ストリームエンコーダと、前記映像データに基づいて、Ｐフレームを含んで構成された第２映像ストリームを前記第１映像ストリームと同期させて生成する第２映像ストリームエンコーダと、動画受信端末からの再生要求に応じて、前記第１映像ストリームのＩフレームに続いて、前記第２映像ストリームのフレームを用いて、配信ストリームを生成する配信ストリーム生成部と、前記配信ストリームを前記動画受信端末へ送出するデータ送出部と、を備える。
本発明に係る動画配信方法は、同一の映像データに基づいて、Ｉフレームのみで構成された第１映像ストリーム、及びＰフレームを含んで構成された第２映像ストリームを受信するデータ受信ステップと、動画受信端末からの再生要求に応じて、前記第１映像ストリームのＩフレームに続いて、前記第２映像ストリームのフレームを用いて、配信ストリームを生成する配信ストリーム生成ステップと、前記配信ストリームを前記動画受信端末へ送出するデータ送出ステップと、をコンピュータが実行する。
本発明に係る動画配信プログラムは、前記動画配信装置としてコンピュータを機能させるためのものである。
本発明によれば、複数の受信端末に対して、低遅延なリアルタイム配信が容易に実現される。
以下、本発明の実施形態の一例について説明する。
図１は、本実施形態における動画配信システム１の構成を示す図である。
動画配信システム１は、動画送出装置１０と、動画配信装置２０と、動画受信端末３０とを備える。
図１は、本実施形態における動画配信システム１の構成を示す図である。
動画配信システム１は、動画送出装置１０と、動画配信装置２０と、動画受信端末３０とを備える。
動画送出装置１０は、動画データに基づいて、音声ストリームと共に、２種類の映像ストリームを同期して生成し、動画配信装置２０に提供する。
動画配信装置２０は、動画受信端末３０毎に、要求に応じてＧＯＰを再構成して配信ストリームを生成し、動画受信端末３０へ配信する。
動画配信装置２０は、動画受信端末３０毎に、要求に応じてＧＯＰを再構成して配信ストリームを生成し、動画受信端末３０へ配信する。
図２は、本実施形態における動画送出装置１０の機能構成を示す図である。
動画送出装置１０は、制御部（例えばＣＰＵ）及び記憶部の他、各種の入出力インタフェースを備えた情報処理装置（コンピュータ）であり、記憶部に格納されたソフトウェアを制御部が実行することにより、次の各機能部が実現される。
動画送出装置１０は、制御部（例えばＣＰＵ）及び記憶部の他、各種の入出力インタフェースを備えた情報処理装置（コンピュータ）であり、記憶部に格納されたソフトウェアを制御部が実行することにより、次の各機能部が実現される。
動画送出装置１０は、映像／音声分離部１１と、Ｉストリームエンコーダ１２１（第１映像ストリームエンコーダ）及びＰストリームエンコーダ１２２（第２映像ストリームエンコーダ）からなるエンコーダグループ１２と、音声エンコーダ１３と、データ送出部１４とを備える。
ここで、動画送出装置１０は、アダプティブストリーミングにより映像品質を適応的に切り替えるために、エンコーダグループ１２を複数設けてもよい。
ここで、動画送出装置１０は、アダプティブストリーミングにより映像品質を適応的に切り替えるために、エンコーダグループ１２を複数設けてもよい。
映像／音声分離部１１は、入力された動画データを、映像データと音声データとに分離し、それぞれをエンコーダグループ１２及び音声エンコーダ１３に提供する。
Ｉストリームエンコーダ１２１は、入力された映像データに基づいて、Ｉフレームのみで構成されたＡｌｌ Ｉストリーム（第１映像ストリーム）を生成する。
Ｐストリームエンコーダ１２２は、Ｉストリームエンコーダ１２１と同一の映像データに基づいて、Ｐフレームを含んで構成されたＡｌｌ Ｐストリーム（第２映像ストリーム）を、第１映像ストリームと同期させて生成する。
ここで、第２映像ストリームには、ドリフト誤差の蓄積を抑制するために、所定の間隔でＩフレームが挿入されてもよい。なお、本実施形態では、説明を簡略化するため、第２映像ストリームは、最初のフレームを除きＰフレームのみで構成されたＡｌｌ Ｐフレームであるものとして説明する。
ここで、第２映像ストリームには、ドリフト誤差の蓄積を抑制するために、所定の間隔でＩフレームが挿入されてもよい。なお、本実施形態では、説明を簡略化するため、第２映像ストリームは、最初のフレームを除きＰフレームのみで構成されたＡｌｌ Ｐフレームであるものとして説明する。
Ｉストリームエンコーダ１２１とＰストリームエンコーダ１２２とは、エンコーダグループ１２を構成する。エンコーダグループ１２は、Ｉストリームエンコーダ１２１により生成されたＡｌｌ Ｉストリーム、及びＰストリームエンコーダにより生成されたＡｌｌ Ｐストリームの組を、一つのストリームグループとしてデータ送出部１４に提供する。
音声エンコーダ１３は、映像／音声分離部１１から入力された音声データから音声ストリームを生成する。
ここで、全てのストリームグループと音声ストリームとは同期し、タイムスタンプが付与される。
なお、タイムスタンプ等のデータ構造を含むエンコードの仕様は、既存の規格（例えば、ＭＰＥＧ－２、Ｈ．２６４、Ｈ．２６５等）が適用されてよい。
ここで、全てのストリームグループと音声ストリームとは同期し、タイムスタンプが付与される。
なお、タイムスタンプ等のデータ構造を含むエンコードの仕様は、既存の規格（例えば、ＭＰＥＧ－２、Ｈ．２６４、Ｈ．２６５等）が適用されてよい。
データ送出部１４は、全てのエンコーダグループ１２及び音声エンコーダ１３から、ストリームグループ及び音声ストリームを受け取り、動画配信装置２０へ送出する。
図３は、本実施形態における動画配信装置２０の機能構成を示す図である。
動画配信装置２０は、制御部（例えばＣＰＵ）及び記憶部の他、各種の入出力インタフェースを備えた情報処理装置（コンピュータ）であり、記憶部に格納されたソフトウェアを制御部が実行することにより、次の各機能部が実現される。
動画配信装置２０は、制御部（例えばＣＰＵ）及び記憶部の他、各種の入出力インタフェースを備えた情報処理装置（コンピュータ）であり、記憶部に格納されたソフトウェアを制御部が実行することにより、次の各機能部が実現される。
動画配信装置２０は、データ受信部２１と、配信ストリーム生成部２２と、スループット計測部２３と、データ送出部２４とを備える。
ここで、動画配信装置２０は、接続された動画受信端末３０の数に応じて、配信ストリーム生成部２２及びスループット計測部２３の組を、動画受信端末３０それぞれに対応して複数設ける。
ここで、動画配信装置２０は、接続された動画受信端末３０の数に応じて、配信ストリーム生成部２２及びスループット計測部２３の組を、動画受信端末３０それぞれに対応して複数設ける。
データ受信部２１は、動画送出装置１０から、Ａｌｌ Ｉストリーム及びＡｌｌ Ｐストリームからなる互いに映像品質の異なる全てのストリームグループと、音声ストリームとを受信する。
配信ストリーム生成部２２は、動画受信端末３０からの動画再生要求に応じて、後述のＧＯＰ構成配信処理により、Ａｌｌ Ｉフレームから最新タイムスタンプのＩフレームに続いて、Ａｌｌ Ｐフレームの各フレームを用いて、配信ストリームを生成する。
また、配信ストリーム生成部２２は、映像品質の切り替え要求に応じて、複数のストリームグループのいずれかを用いて配信ストリームを再構成する。
また、配信ストリーム生成部２２は、映像品質の切り替え要求に応じて、複数のストリームグループのいずれかを用いて配信ストリームを再構成する。
スループット計測部２３は、動画受信端末３０と連携し、動画受信端末３０それぞれに対するスループットを計測する。なお、スループットの計測手法は、例えばｉｐｅｒｆ等、既存のものが適用されてよい。
そして、配信ストリーム生成部２２は、後述の配信ストリーム切り替え処理により、計測されたスループットに基づいて、動画受信端末３０毎に、いずれかの映像品質、すなわち複数のストリームグループのいずれかを選定し、配信ストリームを再構成する。
例えば、配信ストリーム生成部２２は、複数のストリームグループのそれぞれを用いた場合に想定されるビットレートと、スループット計測部２３により計測されたスループットとを比較し、計測されたスループットを超えない範囲で最もビットレートが高いストリームグループを選定する。
例えば、配信ストリーム生成部２２は、複数のストリームグループのそれぞれを用いた場合に想定されるビットレートと、スループット計測部２３により計測されたスループットとを比較し、計測されたスループットを超えない範囲で最もビットレートが高いストリームグループを選定する。
データ送出部２４は、配信ストリーム生成部２２により生成された配信ストリームを動画受信端末３０へ送出する。
図４は、本実施形態における動画受信端末３０の機能構成を示す図である。
動画受信端末３０は、制御部（例えばＣＰＵ）及び記憶部の他、各種の入出力インタフェースを備えた情報処理装置（コンピュータ）であり、記憶部に格納されたソフトウェアを制御部が実行することにより、次の各機能部が実現される。
動画受信端末３０は、制御部（例えばＣＰＵ）及び記憶部の他、各種の入出力インタフェースを備えた情報処理装置（コンピュータ）であり、記憶部に格納されたソフトウェアを制御部が実行することにより、次の各機能部が実現される。
動画受信端末３０は、データ受信部３１と、デコード部３２と、動画提示部３３とを備える。
データ受信部３１は、動画配信装置２０から配信ストリーム及び音声ストリームを受信する。
デコード部３２は、受信した配信ストリーム及び音声ストリームを、動画送出装置１０で利用されたエンコードの仕様に合わせてデコードし、動画提示部３３に提供する。
動画提示部３３は、デコードされた配信ストリーム及び音声ストリームをディスプレイ及びスピーカ等に出力し、ユーザに提示する。
デコード部３２は、受信した配信ストリーム及び音声ストリームを、動画送出装置１０で利用されたエンコードの仕様に合わせてデコードし、動画提示部３３に提供する。
動画提示部３３は、デコードされた配信ストリーム及び音声ストリームをディスプレイ及びスピーカ等に出力し、ユーザに提示する。
図５は、本実施形態における動画配信の流れを例示する第１の図である。
この例では、動画配信装置２０は、動画送出装置１０から、Ａｌｌ Ｉストリーム及びＡｌｌ Ｐストリームからなるストリームグループを受信し、３台の動画受信端末３０Ａ～３０Ｃに対して、それぞれ異なる時刻から動画配信を開始している。
なお、各映像ストリームの数字は、タイムスタンプに相当し、同一の数字が付されたフレームは、同期された同一時刻のフレームを表す。
この例では、動画配信装置２０は、動画送出装置１０から、Ａｌｌ Ｉストリーム及びＡｌｌ Ｐストリームからなるストリームグループを受信し、３台の動画受信端末３０Ａ～３０Ｃに対して、それぞれ異なる時刻から動画配信を開始している。
なお、各映像ストリームの数字は、タイムスタンプに相当し、同一の数字が付されたフレームは、同期された同一時刻のフレームを表す。
まず、動画配信装置２０は、動画受信端末３０Ａからの再生開始要求に応じて、Ａｌｌ Ｉストリームから最新タイムスタンプ「１」のＩフレームを配信し、以降、Ａｌｌ Ｐストリームから継続してＰフレームを配信する（配信ストリームＡ）。
次に、動画配信装置２０は、動画受信端末３０Ｂからの再生開始要求に応じて、最新タイムスタンプ「３」のＩフレームを配信し、以降、継続してＰフレームを配信する（配信ストリームＢ）。
同様に、動画配信装置２０は、動画受信端末３０Ｃからの再生開始要求に応じて、最新タイムスタンプ「６」のＩフレームを配信し、以降、継続してＰフレームを配信する（配信ストリームＣ）。
同様に、動画配信装置２０は、動画受信端末３０Ｃからの再生開始要求に応じて、最新タイムスタンプ「６」のＩフレームを配信し、以降、継続してＰフレームを配信する（配信ストリームＣ）。
このように、動画配信装置２０は、動画受信端末３０からの再生開始要求に対して、タイミングによらず即時にＧＯＰを構成して配信ストリームを送出する。
図６は、本実施形態における動画配信の流れを例示する第２の図である。
この例では、動画配信装置２０は、動画送出装置１０から、映像品質が相対的に高いストリームグループ（Ｈｉ）と、映像品質が相対的に低いストリームグループ（Ｌｏｗ）とを受信し、３台の動画受信端末３０Ａ～３０Ｃに対して、映像品質を適応的に切り替えつつ動画配信を行っている。
この例では、動画配信装置２０は、動画送出装置１０から、映像品質が相対的に高いストリームグループ（Ｈｉ）と、映像品質が相対的に低いストリームグループ（Ｌｏｗ）とを受信し、３台の動画受信端末３０Ａ～３０Ｃに対して、映像品質を適応的に切り替えつつ動画配信を行っている。
まず、動画配信装置２０は、動画受信端末３０Ａからの再生開始要求に応じて、要求時点での最新タイムスタンプ「１」の高品質なＩフレームをＡｌｌ ＩストリームＨｉから配信し、以降、Ａｌｌ ＰストリームＨｉから継続して高品質なＰフレームを配信する。
次に、映像品質の切り替え要求に応じて、要求時点での最新タイムスタンプ「４」の低品質なＩフレームをＡｌｌ ＩストリームＬｏｗから配信し、以降、Ａｌｌ ＰストリームＬｏｗから継続して低品質なＰフレームを配信する。
さらに、映像品質の切り替え要求に応じて、要求時点での最新タイムスタンプ「７」の高品質なＩフレームをＡｌｌ ＩストリームＨｉから配信し、以降、Ａｌｌ ＰストリームＨｉから継続して高品質なＰフレームを配信する。
次に、映像品質の切り替え要求に応じて、要求時点での最新タイムスタンプ「４」の低品質なＩフレームをＡｌｌ ＩストリームＬｏｗから配信し、以降、Ａｌｌ ＰストリームＬｏｗから継続して低品質なＰフレームを配信する。
さらに、映像品質の切り替え要求に応じて、要求時点での最新タイムスタンプ「７」の高品質なＩフレームをＡｌｌ ＩストリームＨｉから配信し、以降、Ａｌｌ ＰストリームＨｉから継続して高品質なＰフレームを配信する。
同様に、動画配信装置２０は、動画受信端末３０Ｂからの再生開始要求に応じて、最新タイムスタンプ「３」の高品質なＩフレームに続いて高品質なＰフレームを、次に、映像品質の切り替え要求に応じて、最新タイムスタンプ「６」の低品質なＩフレームに続いて低品質なＰフレームを配信する。
また、動画配信装置２０は、動画受信端末３０Ｃからの再生開始要求に応じて、最新タイムスタンプ「６」の高品質なＩフレームに続いて高品質なＰフレームを、次に、映像品質の切り替え要求に応じて、最新タイムスタンプ「９」の低品質なＩフレームを配信する。
このように、動画配信装置２０は、映像品質の切り替え要求に対して、タイミングによらず即時にＧＯＰを再構成して配信ストリームを送出する。
図７は、本実施形態におけるＧＯＰ構成配信処理を示すフローチャートである。
この処理は、動画配信装置２０において、配信開始要求又は映像品質の切り替え要求に応じて実行される。
この処理は、動画配信装置２０において、配信開始要求又は映像品質の切り替え要求に応じて実行される。
ステップＳ１において、配信ストリーム生成部２２は、動画受信端末３０から配信開始要求を、又は計測されたスループットに基づく映像品質の切り替え要求を受け付ける。
ステップＳ２において、配信ストリーム生成部２２は、Ａｌｌ Ｉストリームから最新タイムスタンプのＩフレームを抽出し、データ送出部２４を介して動画受信端末３０へ配信する。
ステップＳ３において、配信ストリーム生成部２２は、動画配信を終了するか否かを判定する。例えば、配信ストリームが終了した場合、又は配信終了要求を受け付けた場合に動画配信を終了すると判定される。この判定がＹＥＳの場合、処理は終了し、判定がＮＯの場合、処理はステップＳ４に移る。
ステップＳ４において、配信ストリーム生成部２２は、データ受信部２１を介して、動画送出装置１０から逐次、Ｉフレーム及びＰフレームを受信する。
ステップＳ５において、配信ストリーム生成部２２は、受信した最新のＰフレームを、データ送出部２４を介して動画受信端末３０へ配信する。
その後、処理はステップＳ３に戻る。
その後、処理はステップＳ３に戻る。
図８は、本実施形態における配信ストリーム切り替え処理を示すフローチャートである。
この処理は、動画配信装置２０において、映像品質の切り替え機能（アダプティブストリーミング）を用いる場合に実行される。
この処理は、動画配信装置２０において、映像品質の切り替え機能（アダプティブストリーミング）を用いる場合に実行される。
ステップＳ１１において、配信ストリーム生成部２２は、配信ストリームの切り替え機能を有効にするか否かを判定する。例えば、有効／無効の設定指示が動画受信端末３０から、又は直接に動画配信装置２０へ入力されてもよい。この判定がＹＥＳの場合、処理はステップＳ１２に移り、判定がＮＯの場合、処理は終了する。
ステップＳ１２において、スループット計測部２３は、動画受信端末３０毎にスループットを計測し、配信ストリーム生成部２２に通知する。
ステップＳ１３において、配信ストリーム生成部２２は、計測されたスループットに基づいて、いずれのストリームグループを用いた配信ストリームを配信するのかを選定する。
ステップＳ１４において、配信ストリーム生成部２２は、ステップＳ１３の選定結果が現在と同じか否かを判定する。この判定がＹＥＳの場合、処理はステップＳ１１に戻り、判定がＮＯの場合、処理はステップＳ１５に移る。
ステップＳ１５において、配信ストリーム生成部２２は、選定した配信ストリームへの切り替え要求により、ＧＯＰ構成配信処理を実行する。その後、処理はステップＳ１１に戻る。
図９は、本実施形態における配信ストリームの選定アルゴリズムを説明する図である。
配信ストリーム生成部２２は、選択肢である複数のストリームグループそれぞれによりＧＯＰを再構成したと想定した場合に、この再構成の直後、すなわちＩフレームを挿入してから一定期間における配信ストリームの想定ビットレートを算出する。
配信ストリーム生成部２２は、選択肢である複数のストリームグループそれぞれによりＧＯＰを再構成したと想定した場合に、この再構成の直後、すなわちＩフレームを挿入してから一定期間における配信ストリームの想定ビットレートを算出する。
例えば、想定ビットレートｂｇは、次式で算出される。
ｂｇ＝（ｂｉ＋ｂｐ×（ｆ－１））／ｆ
ここで、ｂｉはＡｌｌ Ｉストリームのターゲットビットレート［ｂｐｓ］、ｂｐはＡｌｌ Ｐストリームのターゲットビットレート［ｂｐｓ］、ｆはフレームレート［ｆｐｓ］であり、ｂｇはＩフレームを含む１秒間の平均ビットレートとなる。
ｂｇ＝（ｂｉ＋ｂｐ×（ｆ－１））／ｆ
ここで、ｂｉはＡｌｌ Ｉストリームのターゲットビットレート［ｂｐｓ］、ｂｐはＡｌｌ Ｐストリームのターゲットビットレート［ｂｐｓ］、ｆはフレームレート［ｆｐｓ］であり、ｂｇはＩフレームを含む１秒間の平均ビットレートとなる。
全てのストリームグループについてｂｇを算出すると、配信ストリーム生成部２２は、各ｂｇと計測されたスループットとを比較し、計測スループットを超えない範囲で、ｂｇが最も大きいストリームグループを選定する。
例えば、想定ビットレートがＡ＞Ｂ＞Ｃと算出され、Ａ＞計測スループット＞Ｂの場合、想定ビットレートＢに対応する配信ストリームが選定される。
例えば、想定ビットレートがＡ＞Ｂ＞Ｃと算出され、Ａ＞計測スループット＞Ｂの場合、想定ビットレートＢに対応する配信ストリームが選定される。
本実施形態によれば、動画配信システム１は、同一の映像データに基づいて、Ｉフレームのみで構成された第１映像ストリーム、及びＰフレームを含んで構成された第２映像ストリームを生成し、動画受信端末３０からの再生要求に応じて、第１映像ストリームのＩフレームに続いて、第２映像ストリームのフレームを配信する。
これにより、動画配信システム１は、要求があった時点で即時にＩフレームから始まるＧＯＰを再構成できる。したがって、動画配信システム１は、伝送レートを高めることなく、また、動画受信端末３０毎にエンコーダを設けることなく、複数の受信端末からの再生開始要求に対して即時に再生可能な動画配信を行えるので、低遅延なリアルタイム配信が容易に実現される。
これにより、動画配信システム１は、要求があった時点で即時にＩフレームから始まるＧＯＰを再構成できる。したがって、動画配信システム１は、伝送レートを高めることなく、また、動画受信端末３０毎にエンコーダを設けることなく、複数の受信端末からの再生開始要求に対して即時に再生可能な動画配信を行えるので、低遅延なリアルタイム配信が容易に実現される。
また、第２映像ストリームには、所定の間隔でＩフレームが挿入されてもよく、これにより、動画配信システム１は、ドリフト誤差の蓄積による画質の劣化を抑制できる。このとき、通常のＧＯＰ間隔（例えば、１秒）に比べて長い間隔（例えば、１０秒）に設定でき、伝送レートを抑えられる。
動画配信システム１は、第１映像ストリーム及び第２映像ストリームの組を複数、互いに映像品質の異なる複数のストリームグループとして生成し、映像品質の切り替え要求に応じて、複数のストリームグループのいずれかを用いて配信ストリームを再構成する。
これにより、動画配信システム１は、映像品質の切り替え要求があった時点で即時に、該当のストリームグループを用いてＩフレームから始まるＧＯＰを再構成できる。したがって、動画配信システム１は、要求に応じて映像品質の切り替えを即時に行える。
これにより、動画配信システム１は、映像品質の切り替え要求があった時点で即時に、該当のストリームグループを用いてＩフレームから始まるＧＯＰを再構成できる。したがって、動画配信システム１は、要求に応じて映像品質の切り替えを即時に行える。
また、動画配信システム１は、動画受信端末３０に対するスループットを計測することで、計測されたスループットに基づいて、複数のストリームグループのいずれかを適切に選定できる。
これにより、スループットに基づく応答性の向上したアダプティブストリーミングを実現できる。
これにより、スループットに基づく応答性の向上したアダプティブストリーミングを実現できる。
このとき、動画配信システム１は、例えば、複数のストリームグループのそれぞれを用いた場合の想定ビットレートと、計測されたスループットとを比較し、計測されたスループットを超えない範囲で最も想定ビットレートが高いストリームグループを選定する。
これにより、動画配信システム１は、明確な選定基準に基づいて、適切な配信ストリームを容易に選定してリアルタイムに配信できる。
これにより、動画配信システム１は、明確な選定基準に基づいて、適切な配信ストリームを容易に選定してリアルタイムに配信できる。
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されるものではない。
前述の実施形態では、動画配信装置２０が単独のサーバ等の装置であるものとして説明したが、これには限られず、例えば、ＣＤＮが構成されることにより、複数の動画配信装置２０が配置されてもよい。また、動画配信装置２０の各機能部が複数の装置に分散配置されてもよいし、動画配信装置２０が動画送出装置１０の機能を併せ持っていてもよい。
本実施形態では、主に動画配信システム１の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、動画を配信するための方法、又はプログラムとして構成されてもよい。
さらに、動画配信システム１の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
１ 動画配信システム
１０ 動画送出装置
１１ 映像／音声分離部
１２ エンコーダグループ
１３ 音声エンコーダ
１４ データ送出部
２０ 動画配信装置
２１ データ受信部
２２ 配信ストリーム生成部
２３ スループット計測部
２４ データ送出部
３０ 動画受信端末
３１ データ受信部
３２ デコード部
３３ 動画提示部
１２１ Ｉストリームエンコーダ（第１映像ストリームエンコーダ）
１２２ Ｐストリームエンコーダ（第２映像ストリームエンコーダ）
１０ 動画送出装置
１１ 映像／音声分離部
１２ エンコーダグループ
１３ 音声エンコーダ
１４ データ送出部
２０ 動画配信装置
２１ データ受信部
２２ 配信ストリーム生成部
２３ スループット計測部
２４ データ送出部
３０ 動画受信端末
３１ データ受信部
３２ デコード部
３３ 動画提示部
１２１ Ｉストリームエンコーダ（第１映像ストリームエンコーダ）
１２２ Ｐストリームエンコーダ（第２映像ストリームエンコーダ）
Claims (8)
- 同一の映像データに基づいて、Ｉフレームのみで構成された第１映像ストリーム、及びＰフレームを含んで構成された第２映像ストリームの組をストリームグループとして、互いに映像品質の異なるストリームグループを複数受信するデータ受信部と、
動画受信端末からの再生要求に応じて、前記第１映像ストリームのＩフレームに続いて、前記第２映像ストリームのフレームを用いて、配信ストリームを生成する配信ストリーム生成部と、
前記配信ストリームを前記動画受信端末へ送出するデータ送出部と、を備え、
前記配信ストリーム生成部は、映像品質の切り替え要求に応じて、前記複数のストリームグループのいずれかを用いて前記配信ストリームを再構成する動画配信装置。 - 前記第２映像ストリームには、所定の間隔でＩフレームが挿入される請求項１に記載の動画配信装置。
- 前記動画受信端末に対するスループットを計測するスループット計測部を備え、
前記配信ストリーム生成部は、計測された前記スループットに基づいて、前記複数のストリームグループのいずれかを選定する請求項１又は請求項２に記載の動画配信装置。 - 前記配信ストリーム生成部は、前記複数のストリームグループのそれぞれを用いた場合のビットレートと、計測された前記スループットとを比較し、当該スループットを超えない範囲で最もビットレートが高いストリームグループを選定する請求項３に記載の動画配信装置。
- 映像データに基づいて、Ｉフレームのみで構成された第１映像ストリームを生成する第１映像ストリームエンコーダと、
前記映像データに基づいて、Ｐフレームを含んで構成された第２映像ストリームを前記第１映像ストリームと同期させて生成する第２映像ストリームエンコーダと、の組からなるエンコーダグループを複数備え、
前記複数のエンコーダグループは、一つのエンコーダグループが生成する前記第１映像ストリーム及び前記第２映像ストリームの組をストリームグループとして、互いに映像品質の異なるストリームグループを生成し、
前記複数のエンコーダグループにより生成されたストリームグループを、動画受信端末からの再生要求に応じて、前記第１映像ストリームのＩフレームに続いて、前記第２映像ストリームのフレームを用いて配信ストリームを生成するための動画配信装置へ送信するデータ送出部をさらに備える動画送出装置。 - 映像データに基づいて、Ｉフレームのみで構成された第１映像ストリームを生成する第１映像ストリームエンコーダ、及び前記映像データに基づいて、Ｐフレームを含んで構成された第２映像ストリームを前記第１映像ストリームと同期させて生成する第２映像ストリームエンコーダの組からなる複数のエンコーダグループと、
動画受信端末からの再生要求に応じて、前記第１映像ストリームのＩフレームに続いて、前記第２映像ストリームのフレームを用いて、配信ストリームを生成する配信ストリーム生成部と、
前記配信ストリームを前記動画受信端末へ送出するデータ送出部と、を備え、
前記複数のエンコーダグループは、一つのエンコーダグループが生成する前記第１映像ストリーム及び前記第２映像ストリームの組をストリームグループとして、互いに映像品質の異なるストリームグループを生成し、
前記配信ストリーム生成部は、映像品質の切り替え要求に応じて、前記複数のエンコーダグループにより生成されたストリームグループのいずれかを用いて前記配信ストリームを再構成する動画配信システム。 - 同一の映像データに基づいて、Ｉフレームのみで構成された第１映像ストリーム、及びＰフレームを含んで構成された第２映像ストリームの組をストリームグループとして、互いに映像品質の異なるストリームグループを複数受信するデータ受信ステップと、
動画受信端末からの再生要求に応じて、前記第１映像ストリームのＩフレームに続いて、前記第２映像ストリームのフレームを用いて、配信ストリームを生成する配信ストリーム生成ステップと、
前記配信ストリームを前記動画受信端末へ送出するデータ送出ステップと、をコンピュータが実行する動画配信方法であって、
前記配信ストリーム生成ステップは、映像品質の切り替え要求に応じて、前記複数のストリームグループのいずれかを用いて前記配信ストリームを再構成する動画配信方法。 - 請求項１から請求項４のいずれかに記載の動画配信装置としてコンピュータを機能させるための動画配信プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020040168A JP7499583B2 (ja) | 2020-03-09 | 2020-03-09 | 動画配信装置、動画送出装置、動画配信システム、動画配信方法及び動画配信プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020040168A JP7499583B2 (ja) | 2020-03-09 | 2020-03-09 | 動画配信装置、動画送出装置、動画配信システム、動画配信方法及び動画配信プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021141549A JP2021141549A (ja) | 2021-09-16 |
| JP7499583B2 true JP7499583B2 (ja) | 2024-06-14 |
Family
ID=77669164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020040168A Active JP7499583B2 (ja) | 2020-03-09 | 2020-03-09 | 動画配信装置、動画送出装置、動画配信システム、動画配信方法及び動画配信プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7499583B2 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002335505A (ja) | 2001-05-08 | 2002-11-22 | Mega Chips Corp | 画像信号処理装置および画像配信システム |
| JP2003198655A (ja) | 2001-10-03 | 2003-07-11 | Victor Co Of Japan Ltd | 伝送出力装置、復号装置、伝送出力プログラム、及び、復号プログラム |
| US20050081244A1 (en) | 2003-10-10 | 2005-04-14 | Barrett Peter T. | Fast channel change |
| JP2009284283A (ja) | 2008-05-23 | 2009-12-03 | Sony Corp | コンテンツサーバ、情報処理装置、ネットワーク機器、コンテンツ配信方法、情報処理方法およびコンテンツ配信システム |
-
2020
- 2020-03-09 JP JP2020040168A patent/JP7499583B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002335505A (ja) | 2001-05-08 | 2002-11-22 | Mega Chips Corp | 画像信号処理装置および画像配信システム |
| JP2003198655A (ja) | 2001-10-03 | 2003-07-11 | Victor Co Of Japan Ltd | 伝送出力装置、復号装置、伝送出力プログラム、及び、復号プログラム |
| US20050081244A1 (en) | 2003-10-10 | 2005-04-14 | Barrett Peter T. | Fast channel change |
| JP2009284283A (ja) | 2008-05-23 | 2009-12-03 | Sony Corp | コンテンツサーバ、情報処理装置、ネットワーク機器、コンテンツ配信方法、情報処理方法およびコンテンツ配信システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021141549A (ja) | 2021-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11856329B2 (en) | Dynamic advertisement stream replacement | |
| US11743519B2 (en) | Fragment server directed device fragment caching | |
| US8914835B2 (en) | Streaming encoded video data | |
| KR101737325B1 (ko) | 멀티미디어 시스템에서 멀티미디어 서비스의 경험 품질 감소를 줄이는 방법 및 장치 | |
| US11997302B2 (en) | Encoding device, decoding device, streaming system, and streaming method | |
| US10432690B1 (en) | Manifest partitioning | |
| JP5147278B2 (ja) | 映像配信装置およびキーフレーム配信方法 | |
| KR100832537B1 (ko) | 네트워크 대역폭 상태에 따라 전송량을 가변하는멀티미디어 데이터 스트리밍 서버 및 방법 | |
| US11750675B2 (en) | Low latency media streaming | |
| KR20120035881A (ko) | Ｈｔｔｐ 스트리밍의 표현 스위칭시 자연스런 재생을 위한 스케일러블한 ｈｔｔｐ 스트리밍 전송 방법 | |
| KR20160111021A (ko) | 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법 | |
| KR20160111016A (ko) | 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법 | |
| KR20160110374A (ko) | 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법 | |
| JP7499583B2 (ja) | 動画配信装置、動画送出装置、動画配信システム、動画配信方法及び動画配信プログラム | |
| GB2395387A (en) | Method of controlling switching between different bandwidth v ersions of video streams | |
| US20160014181A1 (en) | Content transfer method, content transfer apparatus and content receiving apparatus | |
| JP7292901B2 (ja) | 送信装置、送信方法、及びプログラム | |
| Eberhard et al. | Nextsharepc: an open-source bittorrent-based p2p client supporting svc | |
| JP4528022B2 (ja) | 映像配信方法およびシステム | |
| JP2023161219A (ja) | 送信装置、受信装置及びそれらのプログラム | |
| WO2022253561A1 (en) | Buffer management for live video streaming | |
| Shamaya | Investigation of resource usage and video quality with different formats in video broadcasting | |
| JP2012138780A (ja) | データ配信システム、データ配信装置、データ符号化装置、及びデータ符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240416 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240604 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7499583 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |