JPWO2017169721A1 - ファイル生成装置およびファイル生成方法 - Google Patents

ファイル生成装置およびファイル生成方法 Download PDF

Info

Publication number
JPWO2017169721A1
JPWO2017169721A1 JP2018508957A JP2018508957A JPWO2017169721A1 JP WO2017169721 A1 JPWO2017169721 A1 JP WO2017169721A1 JP 2018508957 A JP2018508957 A JP 2018508957A JP 2018508957 A JP2018508957 A JP 2018508957A JP WO2017169721 A1 JPWO2017169721 A1 JP WO2017169721A1
Authority
JP
Japan
Prior art keywords
file
segment
unit
audio stream
bit rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2018508957A
Other languages
English (en)
Inventor
平林 光浩
光浩 平林
徹 知念
徹 知念
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017169721A1 publication Critical patent/JPWO2017169721A1/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/122File system administration, e.g. details of archiving or snapshots using management policies
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10546Audio or video recording specifically adapted for audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本開示は、可逆圧縮方式で符号化されたオーディオストリームとビデオストリームを取得する際、最適なビットレートのビデオストリームを取得することができるようにするファイル生成装置およびファイル生成方法に関する。
MPDファイル生成部は、losslessDSD方式で符号化されたオーディオストリームのビットレートを表すAveBandwidthとDurationForAveBandwidthを生成する。本開示は、例えば、MPEG-DASHに準ずる方式で動画コンテンツのセグメントファイルを生成するファイル生成装置等に適用することができる。

Description

本開示は、ファイル生成装置およびファイル生成方法に関し、特に、可逆圧縮方式で符号化されたオーディオストリームとビデオストリームを取得する際、最適なビットレートのビデオストリームを取得することができるようにしたファイル生成装置およびファイル生成方法に関する。
近年、インターネット上のストリーミングサービスの主流がOTT−V(Over The Top Video)となっている。この基盤技術として普及し始めているのがMPEG−DASH(Moving Picture Experts Group phase − Dynamic Adaptive Streaming over HTTP)である(例えば、非特許文献1参照)。
MPEG−DASHでは、配信サーバが1本の動画コンテンツ用にビットレートが異なる動画データ群を用意し、再生端末が伝送路の状況に応じて最適なビットレートの動画データ群を要求することにより、適応型のストリーミング配信が実現される。
また、現状のMPEG-DASHでは、動画コンテンツの符号化方式として、事前にビットレートが予測可能な符号化方式が想定されている。具体的には、オーディオストリームの符号化方式として、PCM(Pulse Code Modulation)方式でA/D(Analog/Digital)変換されたオーディオデジタル信号を、固定サイズのバッファでアンダーフローやオーバーフローが発生しないように符号化される非可逆圧縮方式などが想定されている。従って、動画コンテンツの予測ビットレートとネットワーク帯域とに基づいて、取得する動画コンテンツのビットレートが決定される。
また、近年、CD(Compact Disc)の音源より高音質のハイレゾオーディオが注目されている。ハイレゾオーディオのA/D変換方式としては、DSD(Direct Stream Digital)方式などがある。DSD方式は、Super Audio CD (SA-CD)の記録再生方式として採用された方式であり、1ビットデジタルシグマ変調を基礎とした方式である。具体的には、DSD方式では、時間軸を利用して「1」と「0」の変化点の密度でオーディオアナログ信号の情報が表現される。従って、ビット数に依存しない高分解能の記録再生を実現することができる。
しかしながら、DSD方式では、オーディオアナログ信号の波形に応じてオーディオデジタル信号の「1」と「0」のパターンが変化する。従って、DSD方式でA/D変換されたオーディオデジタル信号を「1」と「0」のパターンに基づいて可逆圧縮符号化するlosslessDSD方式等では、オーディオアナログ信号の波形に応じて符号化後のオーディオデジタル信号のビット発生量が変動する。よって、事前にビットレートを予測することは困難である。
MPEG−DASH(Dynamic Adaptive Streaming over HTTP)(URL:http://mpeg.chiariglione.org/standards/mpeg−dash/media−presentation−description−and−segment−formats/text−isoiec−23009−12012−dam−1)
以上により、現状のMPEG-DASHでは、losslessDSD方式などの可逆圧縮方式で符号化されたビットレートの予測が不可能なオーディオストリームとビデオストリームを取得する場合、ネットワーク帯域とオーディオストリームのビットレートとしてとり得る値の最大値とに基づいて、取得するビデオストリームのビットレートを選択せざるを得ない。よって、最適なビットレートのビデオストリームを取得することは困難である。
本開示は、このような状況に鑑みてなされたものであり、可逆圧縮方式で符号化されたオーディオストリームとビデオストリームを取得する際、最適なビットレートのビデオストリームを取得することができるようにするものである。
本開示の一側面のファイル生成装置は、可逆圧縮方式で符号化されたオーディオストリームのビットレートを表すビットレート情報を生成する生成部を備えるファイル生成装置である。
本開示の一側面のファイル生成方法は、本開示の一側面のファイル生成装置に対応する。
本開示の一側面においては、可逆圧縮方式で符号化されたオーディオストリームのビットレートを表すビットレート情報が生成される。
なお、本開示の一側面のファイル生成装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、本開示の一側面のファイル生成装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本開示の一側面によれば、可逆圧縮方式で符号化されたオーディオストリームとビデオストリームを取得する際、最適なビットレートのビデオストリームを取得することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した第1実施の形態における情報処理システムの概要を説明する図である。 DSD方式を説明する図である。 図1のファイル生成装置の構成例を示すブロック図である。 MPDファイルの第1の記述例を示す図である。 MPDファイルの第2の記述例を示す図である。 第1実施の形態におけるファイル生成処理を説明するフローチャートである。 ストリーミング再生部の構成例を示すブロック図である。 オーディオストリームの実際のビットレートの例を示す図である。 第1実施の形態における再生処理を説明するフローチャートである。 第2実施の形態におけるMPDファイルの第1の記述例を示す図である。 第2実施の形態におけるMPDファイルの第2の記述例を示す図である。 第2実施の形態におけるファイル生成処理を説明するフローチャートである。 第2実施の形態におけるMPDファイル更新処理を説明するフローチャートである。 第2実施の形態における再生処理を説明するフローチャートである。 第3実施の形態におけるメディアセグメントファイルの構成例を示す図である。 図15のemsgボックスの記述例を示す図である。 第3実施の形態におけるファイル生成処理を説明するフローチャートである。 第4実施の形態におけるemsgボックスの記述例を示す図である。 第4実施の形態におけるファイル生成処理を説明するフローチャートである。 第5実施の形態におけるemsgボックスの記述例を示す図である。 第6実施の形態におけるMPDファイルの記述例を示す図である。 第7実施の形態におけるMPDファイルの第1の記述例を示す図である。 第7実施の形態におけるMPDファイルの第2の記述例を示す図である。 第7実施の形態におけるメディアセグメントファイルの構成例を示す図である。 可逆圧縮符号化部の構成例を示すブロック図である。 データ発生カウントテーブルの例を示す図である。 変換テーブルtable1の例を示す図である。 可逆圧縮復号部の構成例を示すブロック図である。 コンピュータのハードウエアの構成例を示すブロック図である。
以下、本開示を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態:情報処理システム(図1乃至図9)
2.第2実施の形態:情報処理システム(図10乃至図14)
3.第3実施の形態:情報処理システム(図15乃至図17)
4.第4実施の形態:情報処理システム(図18および図19)
5.第5実施の形態:情報処理システム(図20)
6.第6実施の形態:情報処理システム(図21)
7.第7実施の形態:情報処理システム(図22乃至図24)
8.losslessDSD方式の説明(図25乃至図28)
9.第8実施の形態:コンピュータ(図29)
<第1実施の形態>
(情報処理システムの第1実施の形態の概要)
図1は、本開示を適用した第1実施の形態における情報処理システムの概要を説明する図である。
図1の情報処理システム10は、ファイル生成装置11に接続するDASHサーバとしてのWebサーバ12と、DASHクライアントとしての動画再生端末14とが、インターネット13を介して接続されることにより構成される。
情報処理システム10では、MPEG−DASHに準ずる方式で、Webサーバ12が、ファイル生成装置11により生成された動画コンテンツのファイルを、動画再生端末14にライブ配信する。
具体的には、ファイル生成装置11は、動画コンテンツのビデオアナログ信号やオーディオアナログ信号をA/D変換し、ビデオデジタル信号およびオーディオデジタル信号を生成する。そして、ファイル生成装置11は、動画コンテンツのビデオデジタル信号やオーディオデジタル信号等の信号を、所定の符号化方式で、複数のビットレートで符号化し、符号化ストリームを生成する。ここでは、オーディオデジタル信号の符号化方式は、losslessDSD方式またはMPEG-4(Moving Picture Experts Group phase 4)方式であるものとする。MPEG-4方式は、PCM方式でA/D変換されたオーディオデジタル信号を、固定サイズのバッファでアンダーフローやオーバーフローが発生しないように非可逆圧縮する方式である。
ファイル生成装置11は、ビットレートごとに、生成された符号化ストリームを、セグメントと呼ばれる数秒から10秒程度の時間単位でファイル化する。ファイル生成装置11は、その結果生成されたセグメントファイル等をWebサーバ12にアップロードする。
ファイル生成装置11はまた、動画コンテンツを管理するMPD(Media Presentation Description)ファイル(管理ファイル)を生成する。ファイル生成装置11は、MPDファイルをWebサーバ12にアップロードする。
Webサーバ12は、ファイル生成装置11からアップロードされたセグメントファイルとMPDファイルを格納する。Webサーバ12は、動画再生端末14からの要求に応じて、格納しているセグメントファイルやMPDファイルを動画再生端末14に送信する。
動画再生端末14(再生装置)は、ストリーミングデータの制御用ソフトウエア(以下、制御用ソフトウエアという)21、動画再生ソフトウエア22、HTTP(HyperText Transfer Protocol)アクセス用のクライアント・ソフトウエア(以下、アクセス用ソフトウエアという)23などを実行する。
制御用ソフトウエア21は、Webサーバ12からストリーミングするデータを制御するソフトウエアである。具体的には、制御用ソフトウエア21は、動画再生端末14にWebサーバ12からMPDファイルを取得させる。
また、制御用ソフトウエア21は、MPDファイル、動画再生ソフトウエア22により指定される再生時刻等を表す再生時刻情報、およびインターネット13のネットワーク帯域に基づいて、再生対象のセグメントファイルの符号化ストリームの送信要求を、アクセス用ソフトウエア23に指令する。
動画再生ソフトウエア22は、インターネット13を介してWebサーバ12から取得された符号化ストリームを再生するソフトウエアである。具体的には、動画再生ソフトウエア22は、再生時刻情報を制御用ソフトウエア21に指定する。また、動画再生ソフトウエア22は、アクセス用ソフトウエア23から受信開始の通知を受信したとき、動画再生端末14により受信された符号化ストリームを復号する。動画再生ソフトウエア22は、復号の結果得られるビデオデジタル信号およびオーディオデジタル信号を出力する。
アクセス用ソフトウエア23は、HTTPを用いたインターネット13を介したWebサーバ12との通信を制御するソフトウエアである。具体的には、アクセス用ソフトウエア23は、制御用ソフトウエア21の指令に応じて、再生対象のセグメントファイルの符号化ストリームの送信要求を、動画再生端末14に送信させる。また、アクセス用ソフトウエア23は、その送信要求に応じて、Webサーバ12から送信されてくる符号化ストリームの受信を動画再生端末14に開始させ、受信開始の通知を動画再生ソフトウエア22に供給する。
(DSD方式の説明)
図2は、DSD方式を説明する図である。
図2の横軸は、時刻を表し、縦軸は、各信号の値を表す。
図2の例では、オーディオアナログ信号の波形が正弦波となっている。このようなオーディオアナログ信号がPCM方式でA/D変換される場合、図2に示すように、各サンプリング時刻のオーディオアナログ信号の値が、その値に応じた固定数ビットのオーディオデジタル信号に変換される。
これに対して、オーディオアナログ信号がDSD方式でA/D変換される場合、各サンプリング時刻のオーディオアナログ信号の値は、その値に応じた「0」と「1」の変化点の密度のオーディオデジタル信号に変換される。具体的には、オーディオアナログ信号の値が大きいほどオーディオデジタル信号の変化点の密度が高く、オーディオアナログ信号の値が小さいほどオーディオデジタル信号の変化点の密度が低い。即ち、オーディオアナログ信号の値に応じてオーディオデジタル信号の「0」と「1」のパターンが変化する。
従って、このオーディオデジタル信号を、「0」と「1」のパターンに基づいて可逆圧縮符号化するlosslessDSD方式で符号化して得られる符号化ストリームのビット発生量は、オーディオアナログ信号の波形に応じて変動する。よって、事前にビットレートを予測することは困難である。
(ファイル生成装置の構成例)
図3は、図1のファイル生成装置の構成例を示すブロック図である。
図3のファイル生成装置11は、取得部31、符号化部32、セグメントファイル生成部33、MPDファイル生成部34、およびアップロード部35により構成される。
ファイル生成装置11の取得部31は、動画コンテンツのビデオアナログ信号やオーディオアナログ信号を取得してA/D変換を行う。取得部31は、A/D変換の結果得られるビデオデジタル信号やオーディオデジタル信号、その他に取得された動画コンテンツの信号等の信号を、符号化部32に供給する。符号化部32は、取得部31から供給される動画コンテンツの信号を、それぞれ、複数のビットレートで符号化し、符号化ストリームを生成する。符号化部32は、生成された符号化ストリームをセグメントファイル生成部33に供給する。
セグメントファイル生成部33(生成部)は、符号化部32から供給される符号化ストリームを、ビットレートごとに、セグメント単位でファイル化する。セグメントファイル生成部33は、その結果生成されたセグメントファイルをアップロード部35に供給する。
MPDファイル生成部34は、オーディオデジタル信号の符号化方式がlosslessDSD方式であることを示す情報、オーディオデジタル信号の符号化ストリームであるオーディオストリームの最大ビットレート、および、ビデオデジタル信号の符号化ストリームであるビデオストリームのビットレートを含むMPDファイルを生成する。なお、最大ビットレートとは、ビットレートとしてとり得る値の最大値である。MPDファイル生成部34は、MPDファイルをアップロード部35に供給する。
アップロード部35は、セグメントファイル生成部33から供給されるセグメントファイルと、MPDファイル生成部34から供給されるMPDファイルとを、図1のWebサーバ12にアップロードする。
(MPDファイルの第1の記述例)
図4は、MPDファイルの第1の記述例を示す図である。
なお、図4では、説明の便宜上、MPDファイルの記述のうちの、オーディオストリームのセグメントファイルを管理する記述のみを図示している。このことは、後述する図5、図10、図11、図22、および図23においても同様である。
MPDファイルには、動画コンテンツの符号化方式やビットレート、画像のサイズ、音声の言語などの情報が階層化されて、XML形式で記述される。
図4に示すように、MPDファイルには、ピリオド(Period)、アダプテーションセット(AdaptationSet)、リプレゼンテーション(Representation)、セグメントインフォ(Segment)等の要素が階層的に含まれている。
MPDファイルでは、自分が管理する動画コンテンツが所定の時間範囲(例えば、番組、CM(Commercial)などの単位)で分割される。ピリオド要素は、分割された動画コンテンツごとに記述される。ピリオド要素は、対応する動画コンテンツに共通の情報として、動画コンテンツの再生開始時刻、動画コンテンツのセグメントファイルを格納するWebサーバ12のURL(Uniform Resource Locator),MinBufferTimeなどの情報を有する。MinBufferTimeは、仮想バッファのバッファ時間を示す情報であり、図4の例では、0に設定される。
アダプテーションセット要素は、ピリオド要素に含まれ、そのピリオド要素に対応する動画コンテンツの同一の符号化ストリームのセグメントファイル群に対応するリプレゼンテーション要素をグルーピングする。リプレゼンテーション要素は、例えば、対応するセグメントファイル群のデータの種類によってグルーピングされる。図4の例では、ビットレートの異なる3種類のオーディオストリームのセグメントファイルのそれぞれに対応する3つのリプレゼンテーション要素が、1つのアダプテーションセット要素によりグルーピングされている。
アダプテーションセット要素は、対応するセグメントファイル群のグループに共通の情報として、メディア種別、言語、字幕または吹き替えなどの用途、ビットレートの最大値であるmaxBandwidthおよび最小値であるMinBandwidthなどを有する。
なお、図4の例では、ビットレートの異なる3種類のオーディオストリームの符号化方式が全てlosslessDSD方式である。従って、オーディオストリームのセグメントファイルのアダプテーションセット要素は、グループに共通の情報として、オーディオストリームの符号化方式がlosslessDSD方式であることを示す<codecs=”dsd1”>も有する。
また、オーディオストリームの符号化方式が、MPEG-4方式などの固定サイズのバッファでアンダーフローやオーバーフローが発生しないように符号化される方式(以下、固定方式という)であるかどうかを示すディスクリプタである<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”>も有する。
<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”>の値(value)は、オーディオストリームの符号化方式が固定方式であることを示す場合trueに設定され、固定方式ではないこと示す場合、falseに設定される。従って、図4の例では、<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”>の値はfalseである。
また、アダプテーションセット要素は、セグメントの長さおよびセグメントファイルのファイル名のルールを示すSegmentTemplateを有する。SegmentTemplateには、timescale, duration, initialization、およびmediaが記述される。
timescaleは、1秒を表す値であり、durationは、timescaleを1秒としたときのセグメント長の値である。図4の例では、timescaleは44100であり、durationは88200である。従って、セグメント長は2秒である。
initializationは、オーディオストリームのセグメントファイルのうちの初期化セグメントファイルの名前のルールを示す情報である。図4の例では、initializationは「$Bandwidth$init.mp4」である。従って、オーディオストリームの初期化セグメントファイルの名前は、リプレゼンテーション要素が有するBandwidthにinitを付加したものである。
また、mediaは、オーディオストリームのセグメントファイルのうちのメディアセグメントファイルの名前のルールを示す情報である。図4の例では、mediaは「$Bandwidth$-$Number$.mp4」である。従って、オーディオストリームのメディアセグメントファイルの名前は、リプレゼンテーション要素が有するBandwidthに「-」を付加し、順次番号が付加されたものである。
リプレゼンテーション要素は、それをグルーピングするアダプテーションセット要素に含まれ、上位層のピリオド要素に対応する動画コンテンツの同一の符号化ストリームのセグメントファイル群ごとに記述される。リプレゼンテーション要素は、対応するセグメントファイル群に共通の情報として、ビットレートを示すBandwidth、画像のサイズなどを有する。
なお、符号化方式がlosslessDSD方式である場合、オーディオストリームの実際のビットレートは予測不可能である。従って、オーディオストリームに対応するリプレゼンテーション要素には、対応するセグメントファイル群に共通のビットレートとして、オーディオストリームの最大ビットレートが記述される。
図4の例では、3種類のオーディオストリームの最大ビットレートは、2.8Mbps,5.6Mbps、および11.2Mbpsである。従って、3つのリプレゼンテーション要素のBandwidthは、それぞれ、2800000,5600000,11200000をBandwidthである。また、アダプテーションセット要素のMinBandwidthは2800000であり、maxBandwidthは11200000である。
セグメントインフォ要素は、リプレゼンテーション要素に含まれ、そのリプレゼンテーション要素に対応するセグメントファイル群の各セグメントファイルに関する情報を有する。
以上のように、オーディオストリームの符号化方式がlosslessDSD方式である場合、MPDファイルには、オーディオストリームの最大ビットレートが記述される。従って、動画再生端末14は、オーディオストリームのビットレートが最大ビットレートであるものとしてオーディオストリームおよびビデオストリームを取得することにより、途切れずに再生を行うことができる。しかしながら、オーディオストリームの実際のビットレートが最大ビットレートより小さい場合、オーディオストリームに割り当てた帯域に無駄が発生する。
なお、図4の例では、アダプテーションセット要素に、<codecs=”dsd1”>と<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”value=”false”>が記述されたが、各リプレゼンテーション要素に記述されるようにしてもよい。
(MPDファイルの第2の記述例)
図5は、MPDファイルの第2の記述例を示す図である。
図5の例では、ビットレートの異なる3種類のオーディオストリームのうちの2種類のオーディオストリームの符号化方式がlosslessDSD方式であり、1種類のオーディオストリームの符号化方式が、MPEG-4方式である。
従って、図5のMPDファイルでは、アダプテーションセット要素が、<codecs=”dsd1”>と<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”value=”false”>を有さない。その代わりに、リプレゼンテーションセット要素が、オーディオストリームの符号化方式を示す情報、および、<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”>を有する。
具体的には、図5の例では、1つ目のリプレゼンテーションセット要素に対応するオーディオストリームの符号化方式がlosslessDSD方式であり、最大ビットレートが2.8Mbpsである。従って、1つ目のリプレゼンテーションセット要素は、<codecs=”dsd1”>、<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”value=”false”>、およびBandwidthとしての2800000を有する。
また、2つ目のリプレゼンテーションセット要素に対応するオーディオストリームの符号化方式がlosslessDSD方式であり、最大ビットレートが5.6Mbpsである。従って、2つ目のリプレゼンテーションセット要素は、<codecs=”dsd1”>、<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”value=”false”>、およびBandwidthとしての5600000を有する。
さらに、3つ目のリプレゼンテーションセット要素に対応するオーディオストリームの符号化方式がMPEG-4方式であり、実際のビットレートが128kbpsである。従って、1つ目のリプレゼンテーションセット要素は、<codecs=”mp4a”>、<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”value=”true”>、およびBandwidth としての128000を有する。なお、<codecs=”mp4a”>は、オーディオストリームの符号化方式がMPEG-4方式であることを示す情報である。
なお、図4や図5のMPDファイルは、オーディオストリームの符号化方式として固定方式ではない方式が想定されていないMPDファイルに対して、<codecs=”dsd1”>と<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”>を記述可能にしたものである。従って、図4や図5のMPDファイルは、オーディオストリームの符号化方式として固定方式ではない方式が想定されていないMPDファイルと互換性を有する。
(ファイル生成装置の処理の説明)
図6は、図3のファイル生成装置11のファイル生成処理を説明するフローチャートである。
図6のステップS10において、ファイル生成装置11のMPDファイル生成部34は、MPDファイルを生成し、アップロード部35に供給する。ステップS11において、アップロード部35は、MPDファイル生成部34から供給されるMPDファイルを、Webサーバ12にアップロードする。
ステップS12において、取得部31は、セグメント単位の動画コンテンツのビデオアナログ信号およびオーディオアナログ信号を取得してA/D変換を行う。取得部31は、A/D変換の結果得られるビデオデジタル信号およびオーディオアナログ信号、並びに、その他のセグメント単位の動画コンテンツの信号等の信号を符号化部32に供給する。
ステップS13において、符号化部32は、複数のビットレートで、取得部31から供給される動画コンテンツの信号を、所定の符号化方式で符号化し、符号化ストリームを生成する。符号化部32は、生成された符号化ストリームをセグメントファイル生成部33に供給する。
ステップS14において、セグメントファイル生成部33は、符号化部32から供給される符号化ストリームを、ビットレートごとにファイル化し、セグメントファイルを生成する。セグメントファイル生成部33は、生成されたセグメントファイルをアップロード部35に供給する。
ステップS15において、アップロード部35は、セグメントファイル生成部33から供給されるセグメントファイルを、Webサーバ12にアップロードする。
ステップS16において、取得部31は、ファイル生成処理を終了するかどうかを判定する。具体的には、取得部31は、新たにセグメント単位の動画コンテンツの信号が供給される場合、ファイル生成処理を終了しないと判定する。そして、処理はステップS12に戻り、ファイル生成処理を終了すると判定されるまで、ステップS12乃至S16の処理が繰り返される。
一方、取得部31は、新たにセグメント単位の動画コンテンツの信号が供給されない場合、ステップS16でファイル生成処理を終了すると判定する。そして、処理は終了する。
以上のように、ファイル生成装置11は、オーディオストリームの符号化方式がlosslessDSD方式である場合、MPDファイルに<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”value=”false”>を記述する。従って、動画再生端末14は、オーディオストリームの符号化方式が固定方式ではないことを認識することができる。
(動画再生端末の機能的構成例)
図7は、図1の動画再生端末14が制御用ソフトウエア21、動画再生ソフトウエア22、およびアクセス用ソフトウエア23を実行することにより実現されるストリーミング再生部の構成例を示すブロック図である。
ストリーミング再生部60は、MPD取得部61、MPD処理部62、セグメントファイル取得部63、選択部64、バッファ65、復号部66、および出力制御部67により構成される。
ストリーミング再生部60のMPD取得部61は、MPDファイルをWebサーバ12に要求し、取得する。MPD取得部61は、取得されたMPDファイルをMPD処理部62に供給する。
MPD処理部62は、MPD取得部61から供給されるMPDファイルを解析する。具体的には、MPD処理部62は、各符号化ストリームのBandwidth、各符号化ストリームを格納するセグメントファイルのURLやファイル名等の取得情報を取得する。
また、符号化ストリームがオーディオストリームである場合、MPD処理部62は、<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”>の値に基づいて、その値に対応するオーディオストリームの符号化方式が固定方式であるかどうかを認識する。そして、MPD処理部62は、各オーディオストリームの符号化方式が固定方式であるかどうかを示す符号化方式情報を生成する。MPD処理部62は、解析の結果得られるBandwidth、取得情報、符号化方式情報等をセグメントファイル取得部63に供給し、Bandwidthを選択部64に供給する。
セグメントファイル取得部63は、各オーディオストリームの符号化方式情報の少なくとも1つが固定方式ではないことを示す場合、インターネット13のネットワーク帯域と各オーディオストリームのBandwidthとに基づいて、Bandwidthの異なるオーディオストリームから、取得するオーディオストリームを選択する。そして、セグメントファイル取得部63(取得部)は、選択されたオーディオストリームのセグメントファイルのうちの、再生時刻のセグメントファイルの取得情報をWebサーバ12に送信し、そのセグメントファイルを取得する。
また、セグメントファイル取得部63は、取得されたオーディオストリームの実際のビットレートを検出し、選択部64に供給する。さらに、セグメントファイル取得部63は、選択部64から供給されるBandwidthのビデオストリームのセグメントファイルのうちの、再生時刻のセグメントファイルの取得情報をWebサーバ12に送信し、そのセグメントファイルを取得する。
一方、各オーディオストリームの符号化方式情報の全てが固定方式であることを示す場合、セグメントファイル取得部63は、各符号化ストリームのBandwidthとインターネット13のネットワーク帯域とに基づいて、取得するビデオストリームとオーディオストリームのBandwidthを選択する。そして、セグメントファイル取得部63は、選択されたBandwidthのビデオストリームおよびオーディオストリームのセグメントファイルのうちの、再生時刻のセグメントファイルの取得情報をWebサーバ12に送信し、そのセグメントファイルを取得する。セグメントファイル取得部63は、取得されたセグメントファイルに格納される符号化ストリームをバッファ65に供給する。
選択部64は、オーディオストリームの実際のビットレート、インターネット13のネットワーク帯域、およびビデオストリームのBandwidthに基づいて、Bandwidthの異なるビデオストリームから、取得するビデオストリームを選択する。選択部64は、選択されたビデオストリームのBandwidthをセグメントファイル取得部63に供給する。
バッファ65は、セグメントファイル取得部63から供給される符号化ストリームを一時的に保持する。
復号部66は、バッファ65から符号化ストリームを読み出して復号し、動画コンテンツのビデオデジタル信号やオーディオデジタル信号を生成する。復号部66は、生成されたビデオデジタル信号やオーディオデジタル信号を出力制御部67に供給する。
出力制御部67は、復号部66から供給されるビデオデジタル信号に基づいて、動画再生端末14が有する図示せぬディスプレイ等の表示部に画像を表示させる。また、出力制御部67は、復号部66から供給されるオーディオデジタル信号に対してD/A(Digital/Analog)変換を行う。出力制御部67は、D/A変換の結果得られるオーディオアナログ信号に基づいて、動画再生端末14が有する図示せぬスピーカ等の出力部に音声を出力させる。
(オーディオストリームの実際のビットレートの例)
図8は、符号化方式がlosslessDSD方式である場合のオーディオストリームの実際のビットレートの例を示す図である。
図8に示すように、符号化方式がlosslessDSD方式である場合、オーディオストリームの実際のビットレートは、Bandwidthが示す最大ビットレート以下で変動する。
しかしながら、オーディオストリームの実際のビットレートは、予測不可能である。従って、動画コンテンツがライブ配信される場合、動画再生端末14は、オーディオストリームを取得するまで、オーディオストリームの実際のビットレートを認識することはできない。
よって、動画再生端末14は、ビデオストリームのビットレートの選択前にオーディオストリームを取得することにより、オーディオストリームの実際のビットレートを取得する。これにより、動画再生端末14は、インターネット13のネットワーク帯域のうちの、オーディオストリームの実際のビットレート以外の帯域をビデオストリームに割り当てることができる。即ち、オーディオストリームの最大ビットレートと実際のビットレートとの差分である余剰帯域81を、ビデオストリームに割り当てることができる。
これに対して、オーディオストリームの最大ビットレートを示すBandwidthに基づいて、インターネット13のネットワーク帯域の割り当てを行う場合、余剰帯域81をビデオストリームに割り当てることができず、帯域利用に無駄が生じる。
(動画再生端末の処理の説明)
図9は、図7のストリーミング再生部60の再生処理を説明するフローチャートである。この再生処理は、MPDファイルが取得され、MPDファイルの解析の結果生成された各オーディオストリームの符号化方式情報の少なくとも1つが固定方式ではないことを示す場合、開始される。
図9のステップS31において、セグメントファイル取得部63は、MPD処理部62から供給される各符号化ストリームのBandwidthのうち、ビデオストリームとオーディオストリームの最も小さいBandwidthを選択する。
ステップS32において、セグメントファイル取得部63は、ステップS31で選択されたBandwidthのビデオストリームとオーディオストリームのセグメントファイルのうちの、再生開始時刻から所定の時間長のセグメントファイルの取得情報をセグメント単位でWebサーバ12に送信し、そのセグメントファイルをセグメント単位で取得する。
この所定の時間長は、インターネット13のネットワーク帯域の検出用に復号開始までにバッファ65に保持することが望ましい符号化ストリームの時間長である。例えば、この所定の時間長は、バッファ65に保持可能な符号化ストリームの時間長(例えば、30秒から60秒程度)(以下、最大時間長という)の25パーセントである。セグメントファイル取得部63は、取得された各セグメントファイルに格納される符号化ストリームをバッファ65に供給して保持させる。
ステップS33において、復号部66は、バッファ65に記憶されている符号化ストリームの復号を開始する。なお、復号部66により読み出され、復号された符号化ストリームはバッファ65から削除される。復号部66は、復号の結果得られる動画コンテンツのビデオデジタル信号やオーディオデジタル信号を出力制御部67に供給する。出力制御部67は、復号部66から供給されるビデオデジタル信号に基づいて、動画再生端末14が有する図示せぬディスプレイ等の表示部に画像を表示させる。また、出力制御部67は、復号部66から供給されるオーディオデジタル信号に対してD/A変換を行い、その結果得られるオーディオアナログ信号に基づいて、動画再生端末14が有する図示せぬスピーカ等の出力部に音声を出力させる。
ステップS34において、セグメントファイル取得部63は、インターネット13のネットワーク帯域を検出する。
ステップS35において、セグメントファイル取得部63は、インターネット13のネットワーク帯域と、各符号化ストリームのBandwidthとに基づいて、ビデオストリームとオーディオストリームのBandwidthを選択する。具体的には、セグメントファイル取得部63は、選択されたビデオストリームとオーディオストリームのBandwidthの和が、インターネット13のネットワーク帯域以下となるように、ビデオストリームとオーディオストリームのBandwidthを選択する。
ステップS36において、セグメントファイル取得部63は、ステップS35で選択されたBandwidthのオーディオストリームのセグメントファイルのうちの、ステップS32で取得されたセグメントファイルの次の時刻から所定の時間長のセグメントファイルの取得情報をセグメント単位でWebサーバ12に送信し、セグメント単位でセグメントファイルを取得する。
この所定の時間長は、最大時間長に対して、バッファ65に保持されている符号化ストリームの時間長が不足している時間長より小さければ、どのような時間長であってもよい。セグメントファイル取得部63は、取得された各セグメントファイルに格納されるオーディオストリームをバッファ65に供給して保持させる。
ステップS37において、セグメントファイル取得部63は、ステップS36で取得されたオーディオストリームの実際のビットレートを検出し、選択部64に供給する。
ステップS38において、選択部64は、オーディオストリームの実際のビットレート、ビデオストリームのBandwidth、およびインターネット13のネットワーク帯域に基づいて、ビデオストリームのBandwidthを選択し直すかどうかを判定する。
具体的には、選択部64は、インターネット13のネットワーク帯域からオーディオストリームの実際のビットレートを減算した値以下で最も大きいビデオストリームのBandwidthが、ステップS35で選択されたビデオストリームのBandwidthであるかどうかを判定する。
そして、選択部64は、ステップS35で選択されたビデオストリームのBandwidthではないと判定した場合、ビデオストリームのBandwidthを選択し直すと判定する。一方、ステップS35で選択されたビデオストリームのBandwidthであると判定された場合、選択部64は、ビデオストリームのBandwidthを選択し直さないと判定する。
ステップS38でビデオストリームのBandwidthを選択し直すと判定された場合、処理はステップS39に進む。
ステップS39において、選択部64は、インターネット13のネットワーク帯域からオーディオストリームの実際のビットレートを減算した値以下で最も大きいビデオストリームのBandwidthを選択し直す。そして、選択部64は、選択し直されたBandwidthをセグメントファイル取得部63に供給し、処理をステップS40に進める。
一方、ステップS38で、ビデオストリームのBandwidthを選択し直さないと判定された場合、選択部64は、ステップS35で選択されたビデオストリームのBandwidthをセグメントファイル取得部63に供給し、処理をステップS40に進める。
ステップS40において、セグメントファイル取得部63は、選択部64から供給されるBandwidthのビデオストリームのセグメントファイルのうちの、ステップS36で取得されたオーディオストリームに対応する所定の時間長のセグメントファイルの取得情報をセグメント単位でWebサーバ12に送信し、そのセグメントファイルをセグメント単位で取得する。セグメントファイル取得部63は、取得された各セグメントファイルに格納されるビデオストリームをバッファ65に供給して保持させる。
ステップS41において、セグメントファイル取得部63は、バッファ65に空きがあるかどうかを判定する。ステップS41でバッファ65に空きがないと判定された場合、セグメントファイル取得部63は、バッファ65に空きができるまで待機する。
一方、ステップS41でバッファ65に空きがあると判定された場合、ステップS42において、ストリーミング再生部60は、再生を終了するかどうかを判定する。ステップS42で再生を終了しないと判定された場合、処理はステップS34に戻り、再生を終了するまで、ステップS34乃至S42の処理が繰り返される。
一方、ステップS42で再生を終了すると判定された場合、ステップS43において、復号部66は、バッファ65に記憶されている全ての符号化ストリームの復号を終了した後、復号を終了する。そして、処理は終了する。
以上のように、動画再生端末14は、losslessDSD方式で符号化されたオーディオストリームをビデオストリームの前に取得してオーディオストリームの実際のビットレートを取得し、その実際のビットレートに基づいて、取得するビデオストリームのBandwidthを選択する。
従って、losslessDSD方式で符号化されたオーディオストリームとビデオストリームを取得する際、オーディオストリームのBandwidthと実際のビットレートとの差分である余剰帯域をビデオストリームに割り当てることができる。その結果、オーディオストリームのBandwidthに基づいて、取得するビデオストリームのBandwidthを選択する場合に比べて、最適なビットレートのビデオストリームを取得することができる。
<第2実施の形態>
(MPDファイルの第1の記述例)
本開示を適用した情報処理システムの第2実施の形態は、MPDファイルの構成、MPDファイルが所定の期間ごとに更新される点、ファイル生成処理、および再生処理が、図1の情報処理システム10の構成と異なる。従って、以下では、MPDファイルの構成、ファイル生成処理、MPDファイルの更新処理、および再生処理についてのみ説明する。
第2実施の形態では、ファイル生成装置11が、オーディオストリームを生成後に、生成されたオーディオストリームの実際のビットレートの平均値を算出し、MPDファイルに記述する。ライブ配信では、オーディオストリームの生成とともに、平均値が変化するため、動画再生端末14は、MPDファイルを定期的に取得して更新する必要がある。
図10は、第2実施の形態におけるMPDファイルの第1の記述例を示す図である。
図10のMPDファイルの構成は、リプレゼンテーション要素がAveBandwidthとDurationForAveBandwidthをさらに有する点が、図4のMPDファイルの構成と異なる。
AveBandwidthは、リプレゼンテーション要素に対応するオーディオストリームの実際のビットレートの所定の期間の平均値を示す情報である。DurationForAveBandwidthは、AveBandwidthに対応する所定の期間を示す情報である。
具体的には、第2実施の形態におけるMPDファイル生成部34は、基準期間ごとに、符号化部32により生成されたオーディオストリームの実際のビットレートの積算値から平均値を算出することにより、基準期間だけ増加した所定の期間のオーディオストリームの実際のビットレートの平均値を算出する。
そして、MPDファイル生成部34(生成部)は、基準期間ごとに、算出された平均値と、その平均値に対応する所定の期間とを、オーディオストリームの実際のビットレートを表すビットレート情報として生成する。そして、MPDファイル生成部34は、ビットレート情報のうちの平均値を示す情報をAveBandwidthとして含み、所定の期間を示す情報をDurationForAveBandwidthとして含むMPDファイルを生成する。
図10の例では、MPDファイル生成部34は、先頭から600秒間のオーディオストリームの実際のビットレートの平均値を算出している。従って、3つのリプレゼンテーション要素が有するDurationForAveBandwidthは、600秒を示すPT600Sである。
また、1つ目のリプレゼンテーション要素に対応する最大ビットレートが2.8MbpsであるlosslessDSD方式のオーディオストリームの先頭から600秒間の実際のビットレートの平均値は、2Mbpsである。従って、1つ目のリプレゼンテーション要素が有するAveBandwidthは2000000である。
2つ目のリプレゼンテーション要素に対応する最大ビットレートが5.6MbpsであるlosslessDSD方式のオーディオストリームの先頭から600秒間の実際のビットレートの平均値は、4Mbpsである。従って、2つ目のリプレゼンテーション要素が有するAveBandwidthは4000000である。
3つ目のリプレゼンテーション要素に対応する最大ビットレートが11.2MbpsであるlosslessDSD方式のオーディオストリームの先頭から600秒間の実際のビットレートの平均値は、8Mbpsである。従って、3つ目のリプレゼンテーション要素が有するAveBandwidthは8000000である。
(MPDファイルの第2の記述例)
図11は、第2実施の形態におけるMPDファイルの第2の記述例を示す図である。
図11のMPDファイルの構成は、losslessDSD方式で符号化されたオーディオストリームに対応する2つのリプレゼンテーション要素がAveBandwidthとDurationForAveBandwidthをさらに有する点が、図5のMPDファイルの構成と異なる。
2つのリプレゼンテーション要素が有するAveBandwidthとDurationForAveBandwidthは、それぞれ、図10の1つ目、2つ目のリプレゼンテーション要素が有するAveBandwidthとDurationForAveBandwidthと同一であるので、説明は省略する。
なお、MPDファイル生成部34は、動画コンテンツの最後のオーディオストリームのビットレートまで積算された積算値から平均値を算出する場合、DurationForAveBandwidthとして動画コンテンツの時間を記述してもよいし、DurationForAveBandwidthの記述を省略してもよい。
また、図示は省略するが、図10や図11のMPDファイルには、MPDファイルの更新間隔として基準期間を示すminimumUpdatePeriodが含まれる。そして、動画再生端末14は、minimumUpdatePeriodが示す更新間隔でMPDファイルを更新する。従って、MPDファイル生成部34は、MPDファイルに記述するminimumUpdatePeriodを変更するだけで、MPDファイルの更新間隔を容易に変更することができる。
さらに、図10や図11のAveBandwidthとDurationForAveBandwidthは、リプレゼンテーション要素のパラメータとして記述するのではなく、SupplementalProperty descriptorとして記述するようにしてもよい。
また、図10や図11のAveBandwidthの代わりに、所定の期間のオーディオストリームの実際のビットレートの積算値を記述するようにしてもよい。
なお、図10や図11のMPDファイルは、オーディオストリームの符号化方式として固定方式ではない方式が想定されていないMPDファイルに対して、<codecs=”dsd1”>と<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”>のほか、AveBandwidthとDurationForAveBandwidthを記述可能にしたものである。従って、図10や図11のMPDファイルは、オーディオストリームの符号化方式として固定方式ではない方式が想定されていないMPDファイルと互換性を有する。
(情報処理システムの処理の説明)
図12は、第2実施の形態におけるファイル生成装置11のファイル生成処理を説明するフローチャートである。このファイル生成処理は、オーディオストリームの符号化方式の少なくとも1つがlosslessDSD方式である場合に行われる。
図12のステップS60において、ファイル生成装置11のMPDファイル生成部34は、MPDファイルを生成する。このとき、まだ、オーディオストリームの実際のビットレートの平均値は算出されていないので、例えば、MPDファイルのAveBandwidthには、Bandwidthと同一の値が記述され、DurationForAveBandwidthには、0秒を示すPT0Sが記述される。また、MPDファイルのminimumUpdatePeriodには、例えば基準期間ΔTが設定される。MPDファイル生成部34は、生成されたMPDファイルをアップロード部35に供給する。
ステップS61乃至S65の処理は、図6のステップS11乃至S15の処理と同様であるので、説明は省略する。
ステップS66において、MPDファイル生成部34は、オーディオストリームの実際のビットレートを、保持されている積算値に積算し、その結果得られる積算値を保持する。
ステップS67において、MPDファイル生成部34は、ステップS66の処理によりMPDファイルの更新時刻の1秒前の再生時刻のオーディオストリームの実際のビットレートまで積算されたかどうかを判定する。なお、図12の例では、積算値を更新したMPDファイルが実際にWebサーバ12にアップロードされるまでの時間が1秒であるため、MPDファイル生成部34は、更新時刻の1秒前の再生時刻のオーディオストリームの実際のビットレートまで積算されたかどうかを判定する。しかしながら、その時間は、勿論、1秒に限定されず、1秒以外である場合には、その時間だけ更新時刻より前の再生時刻のオーディオストリームの実際のビットレートまで積算されたかどうかが判定される。また、最初のステップS67の処理におけるMPDファイルの更新時刻は、0秒から基準期間ΔT後であり、次のステップS67の処理におけるMPDファイルの更新時刻は、0秒から基準期間ΔTの2倍後である。以降も同様に、MPDファイルの更新時刻は基準期間ΔTずつ増加する。
ステップS67で、ステップS66の処理によりMPDファイルの更新時刻の1秒前の再生時刻のオーディオストリームの実際のビットレートまで積算されたと判定された場合、処理はステップS68に進む。ステップS68において、MPDファイル生成部34は、保持している積算値を、積算されたビットレートに対応するオーディオストリームの期間で除算することにより平均値を算出する。
ステップS69において、MPDファイル生成部34は、MPDファイルのAveBandwidthとDurationForAveBandwidthを、それぞれ、ステップS67で算出された平均値を示す情報、その平均値に対応する期間を示す情報に更新し、処理をステップS70に進める。
一方、ステップS67で、まだステップS66の処理によりMPDファイルの更新時刻の1秒前の再生時刻のオーディオストリームの実際のビットレートまで積算されていないと判定された場合、処理はステップS70に進む。
ステップS70の処理は、図6のステップS16の処理と同一であるので、説明は省略する。
図13は、第2実施の形態におけるストリーミング再生部60のMPDファイル更新処理を説明するフローチャートである。このMPDファイル更新処理は、MPDファイルにminimumUpdatePeriodが記述されている場合に行われる。
図13のステップS91において、ストリーミング再生部60のMPD取得部61は、MPDファイルを取得し、MPD処理部62に供給する。ステップS92において、MPD処理部62は、MPD取得部61から供給されるMPDファイルを解析することにより、MPDファイルからminimumUpdatePeriodが示す更新間隔を取得する。
また、MPD処理部62は、第1実施の形態の場合と同様に、MPDファイルを解析することにより、符号化ストリームのBandwidth、取得情報、符号化方式情報等を得る。さらに、MPD処理部62は、MPDファイルを解析することにより、符号化方式情報が固定方式ではないことを示す場合、オーディオストリームのAveBandwidthを取得し、選択用ビットレートとする。また、符号化方式情報が固定方式であることを示す場合、MPD処理部62は、オーディオストリームのBandwidthを選択用ビットレートとする。
MPD処理部62は、各ビデオストリームのBandwidthおよび取得情報、並びに、各オーディオストリームの選択用ビットレート、取得情報、および符号化方式情報をセグメントファイル取得部63に供給する。また、MPD処理部62は、各オーディオストリームの選択用ビットレートを選択部64に供給する。
ステップS93において、MPD取得部61は、前回のステップS91の処理によるMPDファイルの取得から更新間隔が経過したかどうかを判定する。ステップS93で更新間隔が経過していないと判定された場合、MPD取得部61は、更新間隔が経過するまで待機する。
ステップS93で更新間隔が経過したと判定された場合、処理はステップS94に進む。ステップS94において、ストリーミング再生部60は、再生処理を終了するかどうかを判定する。ステップS94で再生処理を終了しないと判定された場合、処理はステップS91に戻り、再生処理を終了するまで、ステップS91乃至S94の処理が繰り返される。
一方、ステップS94で再生処理を終了すると判定された場合、処理は終了する。
図14は、第2実施の形態におけるストリーミング再生部60の再生処理を説明するフローチャートである。この再生処理は、図13のMPDファイル更新処理と並列して行われる。
図14のステップS111において、セグメントファイル取得部63は、MPD処理部62から供給されるビデオストリームのBandwidthとオーディオストリームの選択用ビットレートそれぞれの最も小さいものを選択する。
ステップS112において、セグメントファイル取得部63は、ステップS111で選択されたBandwidthのビデオストリームと選択用ビットレートのオーディオストリームのセグメントファイルのうちの、再生開始時刻から所定の時間長のセグメントファイルの取得情報をセグメント単位でWebサーバ12に送信し、そのセグメントファイルをセグメント単位で取得する。この所定の時間長は、図9のステップS32における時間長と同一である。セグメントファイル取得部63は、取得されたセグメントファイルをバッファ65に供給して保持させる。
ステップS113およびS114の処理は、図9のステップS33およびS34の処理と同様であるので、説明は省略する。
ステップS115において、セグメントファイル取得部63は、インターネット13のネットワーク帯域と、ビデオストリームのBandwidthおよびオーディオストリームの選択用ビットレートとに基づいて、ビデオストリームのBandwidthとオーディオストリームの選択用ビットレートを選択する。
具体的には、セグメントファイル取得部63は、選択されたビデオストリームのBandwidthとオーディオストリームの選択用ビットレートの和が、インターネット13のネットワーク帯域以下となるように、ビデオストリームのBandwidthとオーディオストリームの選択用ビットレートを選択する。
ステップS116において、セグメントファイル取得部63は、ステップS115で選択されたBandwidthのビデオストリームと選択用ビットレートのオーディオストリームのセグメントファイルのうちの、ステップS112で取得されたセグメントファイルの次の時刻から所定の時間長のセグメントファイルの取得情報をセグメント単位でWebサーバ12に送信し、そのセグメントファイルをセグメント単位で取得する。セグメントファイル取得部63は、取得されたセグメントファイルをバッファ65に供給して保持させる。
なお、AveBandwidthは、オーディオストリームの実際のビットレートの平均値であるため、実際のビットレートはAveBandwidthを超える場合がある。従って、ステップS116における所定の時間長は、基準期間ΔTより短い時間長にされる。これにより、実際のビットレートがAveBandwidthを超える場合、インターネット13のネットワーク帯域が小さくなり、より低い選択用ビットレートのオーディオストリームが取得されるようになる。その結果、バッファ65のオーバーフローを防止することができる。
ステップS117乃至S119の処理は、図9のステップS41乃至S43の処理と同様であるので、説明は省略する。
以上のように、第2実施の形態におけるファイル生成装置11は、losslessDSD方式で符号化されたオーディオストリームの実際のビットレートの平均値を生成する。従って、動画再生端末14は、オーディオストリームの実際のビットレートの平均値に基づいて、取得するビデオストリームのBandwidthを選択することにより、オーディオストリームのBandwidthと実際のビットレートとの差分である余剰帯域の少なくとも一部をビデオストリームに割り当てることができる。その結果、オーディオストリームのBandwidthに基づいて、取得するビデオストリームのBandwidthを選択する場合に比べて、最適なビットレートのビデオストリームを取得することができる。
また、第2実施の形態では、オーディオストリームの実際のビットレートを取得するために、ビデオストリームの取得前にオーディオストリームを取得する必要がない。さらに、第2実施の形態では、ファイル生成装置11が、基準期間ごとにMPDファイルのAveBandwidthを更新するので、動画再生端末14は、再生開始時刻において最新のMPDファイルを取得することにより、最新のAveBandwidthを取得することができる。
<第3実施の形態>
(オーディオストリームのメディアセグメントファイルの構成例)
本開示を適用した情報処理システムの第3実施の形態は、主に、MPDファイルにminimumUpdatePeriodを記述するのではなく、オーディオストリームのメディアセグメントファイルにMPDファイルの更新時刻を通知する更新通知情報を格納する点が、第2実施の形態と異なる。従って、以下では、オーディオストリームのセグメントファイル、ファイル生成処理、MPDファイル更新処理、再生処理についてのみ説明する。
図15は、第3実施の形態におけるオーディオストリームの更新通知情報を含むメディアセグメントファイルの構成例を示す図である。
図15のメディアセグメントファイル(Media Segment)は、stypボックス、sidxボックス、emsgボックス(Event Message Box)、および1以上のMovie fragmentにより構成される。
stypボックスは、メディアセグメントファイルの形式を示す情報を格納するボックスである。図15の例では、メディアセグメントファイルの形式がMPEG-DASHの形式であることを示すmsdhが、stypボックスに格納されている。sidxボックスは、1以上のMovie fragmentからなるサブセグメントのインデックス情報を格納するボックスである。
emsgボックスは、MPD validity expirationを用いて更新通知情報を格納するボックスである。Movie fragmentは、moofボックスとmdatボックスにより構成される。moofボックスは、オーディオストリームのメタデータを格納するボックスであり、mdatボックスは、オーディオストリームを格納するボックスである。Media Segmentを構成するMovie fragmentは、1以上のサブセグメントに分割される。
(emsgボックスの記述例)
図16は、図15のemsgボックスの記述例を示す図である。
図16に示すように、emsgボックスには、string value,presentation_time_delta,event_duration,id,message_dataなどが記述される。
string valueは、このemsgボックスに対応するイベントを定義する値であり、図16の場合、MPDファイルの更新を示す1である。
presentation_time_deltaは、このemsgボックスが配置されるメディアセグメントファイルの再生時刻から、イベントが行われる再生時刻までの時間である。従って、図16の場合、presentation_time_deltaは、このemsgボックスが配置されるメディアセグメントファイルの再生時刻から、MPDファイルの更新が行われる再生時刻までの時間であり、更新通知情報である。第3実施の形態では、presentation_time_deltaは5である。従って、このemsgボックスが配置されるメディアセグメントファイルの再生時刻から5秒後にMPDファイルが更新される。
event_durationは、このemsgボックスに対応するイベントの期間であり、図16の場合、期間が不明であることを示す「0xFFFF」である。idは、このemsgボックスに固有のIDである。また、message_dataは、このemsgボックスに対応するイベントに関するデータであり、図16の場合MPDファイルの更新時刻のXML(ExtensibleMarkupLanguage)データである。
以上のように、ファイル生成装置11は、必要に応じて、オーディオストリームのメディアセグメントファイルに、presentation_time_deltaを格納する図16のemsgボックスを含める。これにより、ファイル生成装置11は、このメディアセグメントファイルの再生時刻から何秒後にMPDファイルが更新されるかを動画再生端末14に通知することができる。
また、ファイル生成装置11は、emsgボックスをメディアセグメントファイルに配置させる頻度を変更するだけで、MPDファイルの更新頻度を容易に変更することができる。
(ファイル生成装置の処理の説明)
図17は、第3実施の形態におけるファイル生成装置11のファイル生成処理を説明するフローチャートである。このファイル生成処理は、オーディオストリームの符号化方式の少なくとも1つがlosslessDSD方式である場合に行われる。
図17のステップS130において、ファイル生成装置11のMPDファイル生成部34は、MPDファイルを生成する。このMPDファイルは、minimumUpdatePeriodが記述されない点、および、「urn:mpeg:dash:profile:is-off-ext-live:2014」が記述される点が、第2実施の形態におけるMPDファイルと異なる。「urn:mpeg:dash:profile:is-off-ext-live:2014」は、メディアセグメントファイルに図16のemsgボックスが配置されることを示すプロファイルである。MPDファイル生成部34は、生成されたMPDファイルをアップロード部35に供給する。
ステップS131乃至S133の処理は、図12のステップS61乃至S63の処理と同様であるので、説明は省略する。
ステップS134において、ファイル生成装置11のセグメントファイル生成部33は、ステップS133で符号化されたオーディオデジタル信号の再生時刻が、MPDファイルの更新時刻の5秒前であるかどうかを判定する。なお、図17の例では、動画再生端末14にMPDファイルの更新を5秒前に通知するため、セグメントファイル生成部33は、MPDファイルの更新時刻の5秒前であるかどうかを判定する。しかしながら、動画再生端末14への通知は、勿論、5秒以外の時間だけ前に行われてもよく、5秒以外の時間だけ前に行われる場合には、その時間だけMPDファイルの更新時刻より前であるかどうかが判定される。また、最初のステップS134の処理におけるMPDファイルの更新時刻は、0秒から基準期間ΔT後であり、次のステップS134の処理におけるMPDファイルの更新時刻は、0秒から基準期間ΔTの2倍後である。以降も同様に、MPDファイルの更新時刻は基準期間ΔTずつ増加する。
ステップS134でMPDファイルの更新時刻の5秒前であると判定された場合、処理はステップS135に進む。ステップS135において、セグメントファイル生成部33は、図16のemsgボックスを含む、符号化部32から供給されるオーディオストリームのセグメントファイルを生成する。また、セグメントファイル生成部33は、符号化部32から供給されるビデオストリームのセグメントファイルを生成する。そして、セグメントファイル生成部33は、生成されたセグメントファイルをアップロード部35に供給し、処理をステップS137に進める。
一方、ステップS134でMPDファイルの更新時刻の5秒前ではないと判定された場合、処理はステップS136に進む。ステップS136において、セグメントファイル生成部33は、図16のemsgボックスを含まない、符号化部32から供給されるオーディオストリームのセグメントファイルを生成する。また、セグメントファイル生成部33は、符号化部32から供給されるビデオストリームのセグメントファイルを生成する。そして、セグメントファイル生成部33は、生成されたセグメントファイルをアップロード部35に供給し、処理をステップS137に進める。
ステップS137乃至S142の処理は、図12のステップS65乃至S70の処理と同一であるので、説明は省略する。
なお、図示は省略するが、第3実施の形態におけるストリーミング再生部60のMPDファイル更新処理は、セグメントファイル取得部63が取得したメディアセグメントファイルに図16のemsgボックスが含まれているとき、5秒後に、MPD取得部61がMPDファイルを取得する処理である。第3実施の形態では、presentation_time_deltaは5であるが、勿論、これに限定されない。
また、第3実施の形態におけるストリーミング再生部60の再生処理は、図14の再生処理と同一であり、MPDファイル更新処理と並列して行われる。
以上のように、第3実施の形態では、動画再生端末14が、emsgボックスを含むメディアセグメントファイルを取得した場合にのみ、MPDファイルを取得すればよいため、符号化ストリームの取得以外のHTTPオーバーヘッドの増加を抑制することができる。
<第4実施の形態>
(emsgボックスの記述例)
本開示を適用した情報処理システムの第4実施の形態は、主に、MPDファイルを更新するのではなく、MPDファイルの更新情報(更新前後の差分情報)としてAveBandwidthとDurationForAveBandwidthの更新値を格納するemsgボックスをオーディオストリームのセグメントファイルに配置する点が、第3実施の形態と異なる。
即ち、第4実施の形態では、AveBandwidthとDurationForAveBandwidthの初期値がMPDファイルに含まれ、AveBandwidthとDurationForAveBandwidthの更新値は、オーディオストリームのセグメントファイルに含まれる。従って、以下では、AveBandwidthとDurationForAveBandwidthの更新値を格納するemsgボックス、ファイル生成処理、MPDファイル更新処理、再生処理についてのみ説明する。
図18は、第4実施の形態におけるAveBandwidthとDurationForAveBandwidthの更新値を格納するemsgボックスの記述例を示す図である。
図18のemsgボックスでは、string valueは、MPDファイルの更新情報の送信を示す2である。また、presentation_time_deltaには、このemsgボックスが配置されるメディアセグメントファイルの再生時刻から、MPDファイルの更新情報の送信が行われる再生時刻までの時間として0が設定される。これにより、動画再生端末14は、このemsgボックスが配置されるメディアセグメントファイルにMPDファイルの更新情報が配置されることを認識することができる。
event_durationは、図16の場合と同様に「0xFFFF」である。また、message_dataは、MPDファイルの更新情報であるAveBandwidthとDurationForAveBandwidthの更新値のXMLデータである。
(ファイル生成装置の処理の説明)
図19は、第4実施の形態におけるファイル生成装置11のファイル生成処理を説明するフローチャートである。このファイル生成処理は、オーディオストリームの符号化方式の少なくとも1つがlosslessDSD方式である場合に行われる。
図19のステップS160において、ファイル生成装置11のMPDファイル生成部34は、MPDファイルを生成する。このMPDファイルは、プロファイルが、メディアセグメントファイルに図16や図18のemsgボックスが配置されることを示すプロファイルに代わる点を除いて、第3実施の形態におけるMPDファイルと同一である。MPDファイル生成部34は、生成されたMPDファイルをアップロード部35に供給する。
ステップS161乃至S164の処理は、図17のステップS131乃至S134の処理と同様であるので、説明は省略する。
ステップS164でMPDファイルの更新時刻の5秒前ではないと判定された場合、処理はステップS165に進む。ステップS165乃至S167の処理は、図17のステップS138乃至S140の処理と同様であるので、説明は省略する。
ステップS168において、セグメントファイル生成部33は、ステップS167で算出された平均値をAveBandwidthの更新値として含み、その平均値に対応する期間をDurationForAveBandwidthの更新値として含む図18のemsgボックスを含む、符号化部32から供給されるオーディオストリームのセグメントファイルを生成する。また、セグメントファイル生成部33は、符号化部32から供給されるビデオストリームのセグメントファイルを生成する。そして、セグメントファイル生成部33は、生成されたセグメントファイルをアップロード部35に供給し、処理をステップS172に進める。
一方、ステップS166でまだMPDファイルの更新時刻の1秒前の再生時刻のオーディオストリームの実際のビットレートまで積算されていないと判定された場合、処理はステップS169に進む。
ステップS169において、セグメントファイル生成部33は、図16のemsgボックスと図18のemsgボックスを含まない、符号化部32から供給されるオーディオストリームのセグメントファイルを生成する。また、セグメントファイル生成部33は、符号化部32から供給されるビデオストリームのセグメントファイルを生成する。そして、セグメントファイル生成部33は、生成されたセグメントファイルをアップロード部35に供給し、処理をステップS172に進める。
一方、ステップS164で更新時刻の5秒前であると判定された場合、ステップS170において、セグメントファイル生成部33は、図16の更新通知情報を格納するemsgボックスを含む、符号化部32から供給されるオーディオストリームのセグメントファイルを生成する。また、セグメントファイル生成部33は、符号化部32から供給されるビデオストリームのセグメントファイルを生成する。そして、セグメントファイル生成部33は、生成されたセグメントファイルをアップロード部35に供給する。
ステップS171において、MPDファイル生成部34は、オーディオストリームの実際のビットレートを、保持されている積算値に積算し、その結果得られる積算値を保持し、処理をステップS172に進める。
ステップS172において、アップロード部35は、セグメントファイル生成部33から供給されるセグメントファイルを、Webサーバ12にアップロードする。
ステップS173の処理は、図17のステップS142の処理と同様であるので、説明は省略する。
なお、図示は省略するが、第4実施の形態におけるストリーミング再生部60のMPDファイル更新処理は、セグメントファイル取得部63が取得したメディアセグメントファイルに図16のemsgボックスが含まれているとき、5秒後のメディアセグメントファイルの図18のemsgボックスからAveBandwidthとDurationForAveBandwidthの更新値を取得し、MPDファイルを更新する処理である。
また、第4実施の形態におけるストリーミング再生部60の再生処理は、図14の再生処理と同一であり、MPDファイル更新処理と並列して行われる。
以上のように、第4実施の形態では、AveBandwidthとDurationForAveBandwidthの更新値のみが動画再生端末14に伝送される。従って、AveBandwidthとDurationForAveBandwidthを更新するために必要な伝送量を削減することができる。また、MPD処理部62は、更新後のMPDファイルについてはAveBandwidthとDurationForAveBandwidthに関する記述のみを解析すればよいため、解析負荷が軽減される。
また、第4実施の形態では、AveBandwidthとDurationForAveBandwidthの更新値がオーディオストリームのセグメントファイルに格納されるため、MPDファイルが更新されるたびにMPDファイルを取得する必要がない。従って、符号化ストリームの取得以外のHTTPオーバーヘッドの増加を抑制することができる。
<第5実施の形態>
(emsgボックスの記述例)
本開示を適用した情報処理システムの第5実施の形態は、主に、AveBandwidthとDurationForAveBandwidthの初期値がMPDファイルに記述されない点、および、更新通知情報を格納するemsgボックスがオーディオストリームのセグメントファイルに配置されない点が、第4実施の形態と異なる。従って、以下では、AveBandwidthとDurationForAveBandwidthを格納するemsgボックス、ファイル生成処理、AveBandwidthとDurationForAveBandwidthの更新処理、再生処理についてのみ説明する。
図20は、第5実施の形態におけるAveBandwidthとDurationForAveBandwidthを格納するemsgボックスの記述例を示す図である。
図20のemsgボックスでは、string valueは、AveBandwidthとDurationForAveBandwidthの送信を示す3である。また、presentation_time_deltaには、このemsgボックスが配置されるメディアセグメントファイルの再生時刻から、AveBandwidthとDurationForAveBandwidthの送信が行われる再生時刻までの時間として0が設定される。これにより、動画再生端末14は、このemsgボックスが配置されるメディアセグメントファイルにAveBandwidthとDurationForAveBandwidthが配置されることを認識することができる。
event_durationは、図16の場合と同様に「0xFFFF」である。また、message_dataは、AveBandwidthとDurationForAveBandwidthのXMLデータである。
ファイル生成装置11は、オーディオストリームのメディアセグメントファイルへの図20のemsgボックスの配置頻度を変更するだけで、AveBandwidthとDurationForAveBandwidthの更新頻度を容易に変更することができる。
なお、図示は省略するが、第5実施の形態におけるファイル生成装置11のファイル生成処理は、主に、ステップS164,S170、およびS171の処理が行われない点、および、図18のemsgボックスが図20のemsgボックスに代わる点を除いて、図19のファイル生成処理と同様である。
但し、第5実施の形態におけるMPDファイルにはAveBandwidthとDurationForAveBandwidthが記述されない。また、MPDファイルに記述されるプロファイルは、セグメントファイルに図20のemsgが配置されることを示すプロファイルであり、例えば、「urn:mpeg:dash:profile:isoff-dynamic-bandwidth:2015」である。
また、図示は省略するが、第5実施の形態におけるストリーミング再生部60のAveBandwidthとDurationForAveBandwidthの更新処理は、第4実施の形態におけるMPDファイル更新処理の代わりに行われる。AveBandwidthとDurationForAveBandwidthの更新処理は、セグメントファイル取得部63が取得したメディアセグメントファイルに図20のemsgボックスが含まれているとき、そのemsgボックスからAveBandwidthとDurationForAveBandwidthを取得し、AveBandwidthとDurationForAveBandwidthを更新する処理である。
また、第5実施の形態におけるストリーミング再生部60の再生処理は、ステップS111における選択用ビットレートのうちのAveBandwidthが、MPD処理部62から供給されるのではなく、セグメントファイル取得部63自らが更新したものである点を除いて、図14の再生処理と同一である。この再生処理は、AveBandwidthとDurationForAveBandwidthの更新処理と並列して行われる。
以上のように、第5実施の形態では、AveBandwidthとDurationForAveBandwidthがemsgボックスに配置されるので、AveBandwidthとDurationForAveBandwidth が更新されるたびにMPDファイルを解析する必要がない。
なお、AveBandwidthとDurationForAveBandwidthは、emsgボックスに格納するのではなく、HTTP2.0やWebSocketなどの他の規格に準拠して、Webサーバ12から定期的に送信されるようにしてもよい。この場合も、第5実施の形態と同様の効果が得られる。
また、第5実施の形態において、第3実施の形態のように、更新通知情報を格納するemsgボックスがセグメントファイルに配置されてもよい。
<第6実施の形態>
(MPDファイルの記述例)
本開示を適用した情報処理システムの第6実施の形態は、主に、AveBandwidthとDurationForAveBandwidthのXMLデータが、オーディオストリームのセグメントファイルとは異なるセグメントファイルに配置される点が、第5実施の形態と異なる。従って、以下では、AveBandwidthとDurationForAveBandwidthを格納するセグメントファイル(以下、帯域セグメントファイルという)、ファイル生成処理、AveBandwidthとDurationForAveBandwidthの更新処理、再生処理についてのみ説明する。
図21は、第6実施の形態におけるMPDファイルの記述例を示す図である。
なお、図21では、説明の便宜上、MPDファイルの記述のうちの、帯域セグメントファイルを管理する記述のみを図示している。
図21に示すように、帯域セグメントファイルのアダプテーションセット要素は、<SupplementalProperty schemeIdUri="urn:mpeg:dash:bandwidth:2015">を有する点が、図4のオーディオストリームのアダプテーションセット要素と異なっている。
<SupplementalProperty schemeIdUri="urn:mpeg:dash:bandwidth:2015">は、帯域セグメントファイルの更新間隔を示すディスクリプタである。<SupplementalProperty schemeIdUri="urn:mpeg:dash:bandwidth:2015">の値(value)としては、更新間隔と、帯域セグメントファイルの名前のベースであるfile URLが設定される。図21の例では、更新間隔が基準期間ΔTとされ、file URLが「$Bandwidth$bandwidth.info」とされる。従って、帯域セグメントファイルの名前のベースは、リプレゼンテーション要素が有するBandwidthに「bandwidth」を付加したものである。
また、図21の例では、帯域セグメントファイルに対応する3種類のオーディオストリームの最大ビットレートは、2.8Mbps,5.6Mbps、および11.2Mbpsである。従って、3つのリプレゼンテーション要素は、それぞれ、2800000,5600000,11200000をBandwidthとして有する。従って、図21の例では、帯域セグメントファイルの名前のベースが、2800000bandwidth.info,5600000bandwidth.info、および11200000 bandwidth.infoである。
リプレゼンテーション要素に含まれるセグメントインフォ要素は、そのリプレゼンテーションに対応する帯域セグメントファイル群の各帯域セグメントファイルに関する情報を有する。
以上のように、第6実施の形態では、MPDファイルに更新間隔が記述される。従って、MPDファイルに記述される更新間隔と、帯域セグメントファイルの更新間隔を変更するだけで、AveBandwidthとDurationForAveBandwidthの更新頻度を容易に変更することができる。
なお、図示は省略するが、第6実施の形態におけるファイル生成装置11のファイル生成処理は、ステップS60で生成されるMPDファイルが図21のMPDファイルである点、および、ステップS69でMPDファイルが更新されずにセグメントファイル生成部33により帯域セグメントファイルが生成され、アップロード部35を介してWebサーバ12にアップロードされる点を除いて、図12のファイル生成処理と同様である。
また、第6実施の形態におけるストリーミング再生部60におけるAveBandwidthとDurationForAveBandwidthの更新処理は、ステップS93とステップS94の間でセグメントファイル取得部63が帯域セグメントファイルを取得してAveBandwidthとDurationForAveBandwidthを更新する点、および、ステップS94で終了しないと判定された場合処理はステップS93に戻る点を除いて、図13のMPDファイル更新処理と同様である。
さらに、第6実施の形態のストリーミング再生部60の再生処理は、ステップS111における選択用ビットレートのうちのAveBandwidthが、MPD処理部62から供給されるのではなく、セグメントファイル取得部63が自ら更新したものである点を除いて、図14の再生処理と同一である。この再生処理は、AveBandwidthとDurationForAveBandwidthの更新処理と並列して行われる。
以上のように、第6実施の形態では、AveBandwidthとDurationForAveBandwidthが帯域セグメントファイルに配置されるので、AveBandwidthとDurationForAveBandwidth が更新されるたびにMPDファイルを解析する必要がない。
<第7実施の形態>
(MPDファイルの第1の記述例)
本開示を適用した情報処理システムの第7実施の形態は、MPDファイルの構成、およびオーディオストリームのセグメントファイルの実際のビットレートが所定の範囲内になるように、オーディオストリームのセグメント長が可変にされる点が、第2実施の形態と異なる。従って、以下では、MPDファイルの構成およびセグメントファイルについてのみ説明する。
図22は、第7実施の形態におけるMPDファイルの第1の記述例を示す図である。
図22のMPDファイルの記述は、オーディオストリームのセグメントファイルのアダプテーションセット要素が、各セグメントファイルのセグメント長を示すConsecutiveSegmentInformationを有する点が、図10の構成と異なる。
図22の例では、セグメント長が基準の時間としての固定のセグメント長の正の倍数で変化する。具体的には、セグメントファイルは、固定のセグメント長の1以上のセグメントファイルが連結されることにより構成される。
従って、ConsecutiveSegmentInformationの値(Value)として、MaxConsecutiveNumberが記述され、その後、FirstSegmentNumberとConsecutiveNumbersが順に繰り返し記述される。
MaxConsecutiveNumberは、固定のセグメント長のセグメントファイルの最大の連結数を示す情報である。固定のセグメント長は、オーディオストリームのセグメントファイルのアダプテーションセット要素が有するSegment Templateのtimescaleとdurationに基づいて設定される。図22の例では、timescaleが44100であり、durationが88200であるので、固定のセグメント長は2秒である。
FirstSegmentNumberは、長さが同一である連続するセグメント群の先頭のセグメントの先頭からの数、即ち、セグメントの長さが同一である連続するセグメントファイル群の先頭のセグメントファイルの名前に含まれる番号である。ConsecutiveNumbersは、直前のFirstSegmentNumberに対応するセグメント群のセグメント長が固定のセグメント長の何倍であるかを示す情報である。
図22の例では、ConsecutiveSegmentInformationの値が、2,1,1,11,2,31,1である。従って、固定のセグメント長の最大の連結数は2である。また、Bandwidthが2800000であるリプレゼンテーション要素に対応する、最大ビットレートが2.8Mbpsであり、ファイル名が「2800000-1.mp4」である先頭から1番目のメディアセグメントファイルは、ファイル名が「2800000-1.mp4」である固定セグメント長のメディアセグメントファイルが1つ連結したものである。従って、ファイル名が「2800000-1.mp4」であるメディアセグメントファイルのセグメント長は、固定セグメント長の1倍である2秒である。
同様に、ファイル名が「2800000-2.mp4」乃至「2800000-10.mp4」である先頭から2乃至10番目のメディアセグメントファイルも、それぞれ、ファイル名が「2800000-2.mp4」乃至「2800000-10.mp4」である固定セグメント長のメディアセグメントファイルが1つ連結したものであり、セグメント長は2秒である。
また、ファイル名が「2800000-11.mp4」である先頭から11番目のメディアセグメントファイルは、ファイル名が「2800000-11.mp4」および「2800000-12.mp4」である2つの固定セグメント長のメディアセグメントファイルが連結したものである。従って、ファイル名が「2800000-11.mp4」であるメディアセグメントファイルのセグメント長は、固定セグメント長の2倍である4秒である。また、ファイル名が「2800000-11.mp4」であるメディアセグメントファイルに連結されたメディアセグメントファイルのファイル名「2800000-12.mp4」は欠番とされる。
同様に、ファイル名が「2800000-13.mp4」,「2800000-15.mp4」,...,「2800000-29.mp4」である先頭から12乃至19番目のメディアセグメントファイルも、固定セグメント長のメディアセグメントファイルが2つ連結したものであり、セグメント長は4秒である。
さらに、ファイル名が「2800000-31.mp4」である先頭から20番目のメディアセグメントファイルは、ファイル名が「2800000-31.mp4」である1つの固定セグメント長のメディアセグメントファイルが連結したものである。従って、ファイル名が「2800000-31.mp4」であるメディアセグメントファイルのセグメント長は、固定セグメント長の1倍である2秒である。
Bandwidthが5600000,11200000であるリプレゼンテーション要素に対応する最大ビットレートが5.6Mbps,11.2Mbpsであるメディアセグメントファイルの構成は、最大ビットレートが2.8Mbpsであるメディアセグメントファイルの構成と同様であるので、説明は省略する。
(MPDファイルの第2の記述例)
図23は、第7実施の形態におけるMPDファイルの第2の記述例を示す図である。
図23のMPDファイルの構成は、Segment Templateにtimescaleとdurationが記述されない点、および、オーディオストリームのセグメントファイルのアダプテーションセット要素がSegmentDurationを有する点が、図10の構成と異なる。
図23の例では、セグメント長が任意の時間に変化する。従って、SegmentDurationとして、timescaleとdurationが記述される。timescaleは、1秒を表す値であり、図23の例では、44100が設定される。
また、durationとしては、FirstSegmentNumberとSegmentDurationが順に繰り返し記述される。FirstSegmentNumberは、図22のFirstSegmentNumberと同一である。SegmentDurationは、timescaleを1秒としたときの、直前のFirstSegmentNumberに対応するセグメント群のセグメント長の値である。
図23の例では、SegmentDurationの値が、1,88200,11,44100,15,88200である。従って、Bandwidthが2800000であるリプレゼンテーション要素に対応する、最大ビットレートが2.8Mbpsであり、ファイル名が「2800000-1.mp4」である先頭から1番目のメディアセグメントファイルのセグメント長は、2秒(=88200/44100)である。同様に、ファイル名が「2800000-2.mp4」乃至「2800000-10.mp4」である先頭から2乃至10番目のメディアセグメントファイルのセグメント長も2秒である。
また、ファイル名が「2800000-11.mp4」である先頭から11番目のメディアセグメントファイルのセグメント長は、1秒(=44100/44100)である。同様に、ファイル名が「2800000-12.mp4」乃至「2800000-14.mp4」である先頭から12乃至14番目のメディアセグメントファイルのセグメント長も1秒である。
さらに、ファイル名が「2800000-15.mp4」である先頭から15番目のメディアセグメントファイルのセグメント長は、2秒(=88200/44100)である。
Bandwidthが5600000,11200000であるリプレゼンテーション要素に対応する最大ビットレートが5.6Mbps,11.2Mbpsであるメディアセグメントファイルの構成は、2.8Mbpsであるメディアセグメントファイルの構成と同様であるので、説明は省略する。
以上のように、図23の例では、オーディオストリームのメディアセグメントファイルのファイル名の欠番はない。
なお、第7実施の形態では、セグメントファイル生成部33は、オーディオストリームの実際のビットレートまたは実際のビットレートの平均値に基づいて、そのビットレートが所定の範囲内になるようにセグメント長を決定する。また、第7実施の形態では、セグメントファイルはライブ配信されるので、オーディオストリームの生成とともにセグメント長は変化する。従って、動画再生端末14は、セグメント長が変更されるたびにMPDファイルを取得して更新する必要がある。
第7実施の形態では、セグメント長の変更タイミングは、オーディオストリームの実際のビットレートの平均値の算出タイミングと同一であるものとするが、異なるようにしてもよい。両方のタイミングが異なる場合、セグメント長の更新間隔や更新時刻を示す情報が動画再生端末14に伝送され、動画再生端末14は、その情報に基づいてMPDファイルを更新する。
(セグメントファイルの構成例)
図24は、第7実施の形態におけるlosslessDSD方式のオーディオストリームのメディアセグメントファイルの構成例を示す図である。
図24のAのメディアセグメントファイルの構成は、Movie fragmentが、固定のセグメント長ではなく、可変のセグメント長分存在する点、および、emsgボックスが設けられない点が、図15の構成と異なる。
なお、図22の例のように、メディアセグメントファイルが、固定のセグメント長の1以上のメディアセグメントファイルが連結されることにより構成される場合、メディアセグメントファイルは、図24のBに示すように、1以上の固定のセグメント長のメディアセグメントファイルを単に連結することにより構成されるようにしてもよい。この場合、stypボックスとsidxボックスは、連結するメディアセグメントファイルの数だけ存在する。
以上のように、第7実施の形態では、オーディオストリームのセグメントファイルの実際のビットレートが所定の範囲内になるように、オーディオストリームのセグメント長が可変にされる。従って、オーディオストリームの実際のビットレートが小さい場合であっても、動画再生端末14は、セグメント単位でセグメントファイルを取得することにより、所定の範囲内のビットレートでオーディオストリームを取得することができる。
これに対して、セグメント長が固定である場合、オーディオストリームの実際のビットレートが小さいと、1回のセグメント単位のセグメントファイルの取得で取得されるオーディオストリームのビット量が少なくなる。その結果、ビット量あたりのHTTPオーバーヘッドが増加する。
なお、各セグメントファイルのセグメント長を示す情報は、第3乃至第6実施の形態におけるAveBandwidthおよびDurationForAveBandwidthと同様に、動画再生端末14に送信されるようにしてもよい。また、各セグメントファイルのセグメント長を示すファイルがMPDファイルとは別に生成され、動画再生端末14に送信されるようにしてもよい。
さらに、第3乃至第6実施の形態においても、第7実施の形態と同様にセグメント長が可変にされるようにしてもよい。
<losslessDSD方式の説明>
(可逆圧縮符号化部の構成例)
図25は、図3の取得部31と符号化部32のうちの、オーディオアナログ信号をA/D変換し、losslessDSD方式で符号化する可逆圧縮符号化部の構成例を示すブロック図である。
図25の可逆圧縮符号化部100は、入力部111、ADC112、入力バッファ113、制御部114、エンコード部115、符号化データバッファ116、データ量比較部117、データ送信部118、および出力部119により構成される。可逆圧縮符号化部100は、オーディオアナログ信号をDSD方式でオーディオデジタル信号に変換し、変換後のオーディオデジタル信号を可逆圧縮符号化して出力する。
具体的には、動画コンテンツのオーディオアナログ信号は、入力部111から入力されて、ADC112へ供給される。
ADC112は、加算器121、積分器122、比較器123、1サンプル遅延回路124、および1ビットDAC125により構成され、オーディオアナログ信号をDSD方式でオーディオデジタル信号に変換する。
即ち、入力部111から供給されたオーディオアナログ信号は、加算器121に供給される。加算器121は、1ビットDAC125から供給された1サンプル期間前のオーディオアナログ信号と、入力部111からのオーディオアナログ信号を加算して、積分器122に出力する。
積分器122は、加算器121からのオーディオアナログ信号を積分して比較器123に出力する。比較器123は、1サンプル期間ごとに、積分器122から供給されるオーディオアナログ信号の積分値と中点電位とを比較することにより、1ビット量子化を行う。
なお、ここでは、比較器123が、1ビット量子化を行うものとするが、2ビット量子化や4ビット量子化などを行うようにしてもよい。また、サンプル期間の周波数(サンプリング周波数)としては、例えば、48kHz、44.1kHzの64倍や128倍の周波数が用いられる。比較器123は、1ビット量子化により得られた1ビットのオーディオデジタル信号を、入力バッファ113に出力するとともに、1サンプル遅延回路124に供給する。
1サンプル遅延回路124は、比較器123からの1ビットのオーディオデジタル信号を1サンプル期間分遅延させて1ビットDAC125に出力する。1ビットDAC125は、1サンプル遅延回路124からのオーディオデジタル信号をオーディオアナログ信号に変換して加算器121に出力する。
入力バッファ113は、ADC112から供給される1ビットのオーディオデジタル信号を一時蓄積し、1フレーム単位で、制御部114、エンコード部115、およびデータ量比較部117に供給する。ここで、1フレームとは、オーディオデジタル信号を所定の時間(期間)に区切って1まとまりとみなす単位である。
制御部114は、可逆圧縮符号化部100全体の動作を制御する。また、制御部114は、エンコード部115が可逆圧縮符号化を行うために必要となる変換テーブルtable1を作成して、エンコード部115に供給する機能を有する。
具体的には、制御部114は、入力バッファ113から供給される1フレームのオーディオデジタル信号を用いて、フレーム単位でデータ発生カウントテーブルpre_tableを作成し、データ発生カウントテーブルpre_tableからさらに変換テーブルtable1を作成する。制御部114は、フレーム単位で作成した変換テーブルtable1を、エンコード部115とデータ送信部118に供給する。
エンコード部115は、制御部114から供給された変換テーブルtable1を用いて、入力バッファ113から供給されるオーディオデジタル信号を、4ビット単位で可逆圧縮符号化する。従って、エンコード部115には入力バッファ113から、制御部114に供給されるタイミングと同時にオーディオデジタル信号が供給されるが、エンコード部115では、制御部114から変換テーブルtable1が供給されるまで処理は待機される。
可逆圧縮符号化の詳細は後述するが、エンコード部115は、4ビットのオーディオデジタル信号を、2ビットのオーディオデジタル信号に可逆圧縮符号化するか、または、6ビットのオーディオデジタル信号に可逆圧縮符号化して、符号化データバッファ116に出力する。
符号化データバッファ116は、エンコード部115で可逆圧縮符号化の結果生成されたオーディオデジタル信号を一時的にバッファリングし、データ量比較部117とデータ送信部118に供給する。
データ量比較部117は、入力バッファ113から供給される可逆圧縮符号化されていないオーディオデジタル信号と、符号化データバッファ116から供給される可逆圧縮符号化されたオーディオデジタル信号のデータ量を、フレーム単位で比較する。
即ち、エンコード部115は、上述したように、4ビットのオーディオデジタル信号を、2ビットのオーディオデジタル信号か、または6ビットのオーディオデジタル信号に可逆圧縮符号化するため、アルゴリズム上、可逆圧縮符号化後のオーディオデジタル信号のデータ量が、可逆圧縮符号化前のオーディオデジタル信号のデータ量を超えてしまう場合がある。そこで、データ量比較部117は、可逆圧縮符号化後のオーディオデジタル信号と可逆圧縮符号化前のオーディオデジタル信号のデータ量を比較する。
そして、データ量比較部117は、データ量の少ない方を選択し、どちらを選択したかを示す選択制御データをデータ送信部118に供給する。なお、データ量比較部117は、可逆圧縮符号化前のオーディオデジタル信号を選択したことを示す選択制御データをデータ送信部118に供給する場合には、可逆圧縮符号化前のオーディオデジタル信号もデータ送信部118に供給する。
データ送信部118は、データ量比較部117から供給される選択制御データに基づいて、符号化データバッファ116から供給されるオーディオデジタル信号か、または、データ量比較部117から供給されるオーディオデジタル信号のどちらかを選択する。データ送信部118は、符号化データバッファ116から供給される可逆圧縮符号化されたオーディオデジタル信号を選択した場合、そのオーディオデジタル信号、選択制御データ、および制御部114から供給される変換テーブルtable1からオーディオストリームを生成する。一方、データ送信部118は、データ量比較部117から供給される可逆圧縮符号化されていないオーディオデジタル信号を選択した場合、そのオーディオデジタル信号と選択制御データから、オーディオストリームを生成する。そして、データ送信部118は、生成されたオーディオストリームを、出力部119を介して出力する。なお、データ送信部118は、所定数のサンプルごとのオーディオデジタル信号に同期信号と誤り訂正符号(ECC)を付加してオーディオストリームを生成することもできる。
(データ発生カウントテーブルの例)
図26は、図25の制御部114により生成されるデータ発生カウントテーブルの例を示す図である。
制御部114は、入力バッファ113から供給されるフレーム単位のオーディオデジタル信号を4ビット単位で分割する。以下では、分割された先頭からi番目(iは1より大きい整数)の4ビット単位のオーディオデジタル信号をD4データD4[i]という。
制御部114は、フレームごとに、先頭からn番目(n>3)のD4データD4[n]を順に処理対象のD4データとする。制御部114は、処理対象のD4データD4[n]の直近の過去の3つのD4データD4[n-3],D4[n-2],D4[n-1]のパターンごとに、処理対象のD4データD4[n]の発生回数をカウントし、図26に示すデータ発生カウントテーブルpre_table[4096][16]を作成する。ここで、データ発生カウントテーブルpre_table[4096][16]の[4096]と[16]は、データ発生カウントテーブルが4096行16列のテーブル(行列)であることを表し、[0]乃至[4095]の各行は、過去の3つのD4データD4[n-3],D4[n-2],D4[n-1]がとり得る値に対応し、[0]乃至[15]の各列は、処理対象のD4データD4[n]がとり得る値に対応する。
具体的には、データ発生カウントテーブルpre_tableの1行目であるpre_table[0][0]乃至[0][15]は、過去の3つのD4データD4[n-3],D4[n-2],D4[n-1]が“0”={0000,0000,0000}だった時の処理対象のD4データD4[n]の発生回数を示している。図26の例では、過去の3つのD4データD4[n-3],D4[n-2],D4[n-1]が“0”であり、処理対象のD4データD4[n]が“0”であった回数が369a(HEX表記)であり、過去の3つのD4データD4[n-3],D4[n-2],D4[n-1]が“0”であり、処理対象のD4データD4[n]が“0”以外であった回数が0である。従って、pre_table[0][0]乃至[0][15]は、{369a,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0}である。
データ発生カウントテーブルpre_tableの2行目であるpre_table[1][0]乃至[1][15]は、過去の3つのD4データD4[n-3],D4[n-2],D4[n-1]が“1”={0000,0000,0001}だった時の処理対象のD4データD4[n]の発生回数を示している。図26の例では、過去の3つのD4データD4[n-3],D4[n-2],D4[n-1]が“1”となるパターンは1フレーム内に存在しない。従って、pre_table[1][0]乃至[1][15]は、{0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0}である。
また、データ発生カウントテーブルpre_tableの118行目であるpre_table[117][0]乃至[117][15]は、過去の3つのD4データD4[n-3],D4[n-2],D4[n-1]が“117”={0000,0111,0101}だった時の処理対象のD4データD4[n]の発生回数を示している。図26の例では、過去の3つのD4データD4[n-3],D4[n-2],D4[n-1]が“117”であり、処理対象のD4データD4[n]が“0”であった回数が0回であり、“1”であった回数が1回であり、“2”であった回数が10回であり、“3”であった回数が18回であり、“4”であった回数が20回であり、“5”であった回数が31回であり、“6”であった回数が11回であり、“7”であった回数が0回であり、“8”であった回数が4回であり、“9”であった回数が12回であり、“10”であった回数が5回であり、“11”乃至“15”であった回数が0回であったことを示している。従って、pre_table[117][0]乃至[117][15]は、{0,1,10,18,20,31,11,0,4,12,5,0,0,0,0,0}である。
(変換テーブルの例)
図27は、図25の制御部114により生成される変換テーブルtable1の例を示す図である。
制御部114は、先に作成したデータ発生カウントテーブルpre_tableに基づいて、4096行3列の変換テーブルtable1[4096][3]を作成する。ここで、変換テーブルtable1[4096][3]の各行[0]乃至[4095]は、過去の3つのD4データD4[n-3],D4[n-2],D4[n-1]がとり得る値に対応し、各列[0]乃至[2]には、処理対象のD4データD4[n]がとり得る16個の値のうち、発生頻度が大きかった3つの値が格納される。変換テーブルtable1[4096][3]の第1列[0]には、発生頻度が最も大きい(1番目の)値が格納され、第2列[1]には、発生頻度が2番目の値が格納され、第3列[2]には、発生頻度が3番目の値が格納される。
具体的には、制御部114が、図26のデータ発生カウントテーブルpre_tableに基づいて変換テーブルtable1[4096][3]を生成する場合、図27に示すように、変換テーブルtable1[4096][3]の118行目であるtable1[117][0]乃至[117][2]は、{05,04,03}となる。即ち、図26のデータ発生カウントテーブルpre_tableの118行目のpre_table[117][0]乃至[117][15]では、発生頻度が最も大きい(1番目の)値は、31回発生した“5”であり、発生頻度が2番目の値は、20回発生した“4”であり、発生頻度が3番目の値は、18回発生した“3”である。従って、変換テーブルtable1[4096][3]の第118行第1列table1[117][0]には、{05}が格納され、第118行第2列table1[117][1]には、{04}が格納され、第118行第3列table1[117][2]には、{03}が格納される。
同様に、変換テーブルtable1[4096][3]の1行目のtable1[0][0]乃至[0][2]は、図26のデータ発生カウントテーブルpre_tableの1行目のpre_table[0][0]乃至[0][15]に基づいて生成される。即ち、図26のデータ発生カウントテーブルpre_tableの1行目のpre_table[0][0]乃至[0][15]では、発生頻度が最も大きい(1番目の)値は、369a(HEX表記)回発生した“0”であり、それ以外の値は発生していない。そこで、変換テーブルtable1[4096][3]の第1行第1列table1[0][0]には、{00}が格納され、第1行第2列table1[0][1]と第1行第3列table1[0][2]には、データが存在しないことを表す{ff}が格納される。データが存在しないことを表す値は、{ff}に限られず、適宜決定することができる。変換テーブルtable1の各要素に格納される値は、“0”から“15”までのいずれかであるので、4ビットで表現できるが、コンピュータ処理上、扱いを容易にするために8ビットで表現されている。
(可逆圧縮符号化の説明)
次に、図25のエンコード部115による、変換テーブルtable1を用いた圧縮符号化方法について説明する。
エンコード部115は、制御部114と同様に、入力バッファ113から供給されるフレーム単位のオーディオデジタル信号を4ビット単位で分割する。制御部114は、先頭からn番目のD4データD4[n]を可逆圧縮符号化する場合、変換テーブルtable1[4096][3]の、直近の過去の3つのD4データD4[n-3],D4[n-2],D4[n-1]に対応する行の3つの値を検索する。エンコード部115は、可逆圧縮符号化対象のD4データD4[n]が、変換テーブルtable1[4096][3]の、直近の過去の3つのD4データD4[n-3],D4[n-2],D4[n-1]に対応する行の1列目の値と同一である場合、2ビットの値“01b”をD4データD4[n]の可逆圧縮符号化結果として生成する。また、エンコード部115は、可逆圧縮符号化対象のD4データD4[n]が、変換テーブルtable1[4096][3]の、直近の過去の3つのD4データD4[n-3],D4[n-2],D4[n-1]に対応する行の2列目の値と同一である場合、2ビットの値“10b”をD4データD4[n]の可逆圧縮符号化結果として生成し、3列目の値と同一である場合、2ビットの値“11b”をD4データD4[n]の可逆圧縮符号化結果として生成する。
一方、エンコード部115は、変換テーブルtable1[4096][3]の、直近の過去の3つのD4データD4[n-3],D4[n-2],D4[n-1]に対応する行の3つの値の中に可逆圧縮符号化対象のD4データD4[n]と同一の値が存在しない場合、そのD4データD4[n]の前に“00b”をつけた6ビットの値“00b+ D4[n]”をD4データD4[n]の可逆圧縮符号化結果として生成する。ここで、“01b”、“10b”、“11b”、“00b+ D4[n]”のbは、2進表記であることを表す。
以上のようにして、エンコード部115は、変換テーブルtable1を用いて、4ビットのDSDデータD4[n]を、2ビットの値“01b”、“10b”、もしくは“11b”に変換するか、または、6ビットの値“00b+D4[n]”に変換し、可逆圧縮符号化結果とする。エンコード部115は、可逆圧縮符号化結果を、可逆圧縮符号化されたオーディオデジタル信号として、符号化データバッファ116に出力する。
(可逆圧縮復号部の構成例>
図28は、図7の復号部66と出力制御部67のうちの、オーディオストリームをlosslessDSD方式で復号し、D/A変換する可逆圧縮復号部の構成例を示すブロック図である。
図28の可逆圧縮復号部170は、入力部171、データ受信部172、符号化データバッファ173、デコード部174、テーブル記憶部175、出力バッファ176、アナログフィルタ177、および出力部178により構成される。可逆圧縮復号部170は、オーディオストリームをlosslessDSD方式で可逆圧縮復号し、その結果得られるオーディオデジタル信号をDSD方式でオーディオアナログ信号に変換して出力する。
具体的には、図7のバッファ65から供給されるオーディオストリームは、入力部171から入力されて、データ受信部172に供給される。
データ受信部172は、オーディオストリームに含まれるオーディオデジタル信号が可逆圧縮符号化されているか否かを示す選択制御データに基づいて、オーディオデジタル信号が可逆圧縮符号化されているか否かを判定する。そして、オーディオデジタル信号が可逆圧縮符号化されていると判定された場合、データ受信部172は、オーディオストリームに含まれるオーディオデジタル信号を、可逆圧縮符号化されたオーディオデジタル信号として、符号化データバッファ173に供給する。また、データ受信部172は、オーディオストリームに含まれる、変換テーブルtable1をテーブル記憶部175に供給する。
一方、オーディオ信号が可逆圧縮符号化されていないと判定された場合、データ受信部172は、オーディオストリームに含まれるオーディオデジタル信号を、可逆圧縮符号化されていないオーディオデジタル信号として、出力バッファ176に供給する。
テーブル記憶部175は、データ受信部172から供給された変換テーブルtable1を記憶し、デコード部174に供給する。
符号化データバッファ173は、データ受信部172から供給される可逆圧縮符号化されたオーディオデジタル信号をフレーム単位で一時蓄積する。符号化データバッファ173は、蓄積しているフレーム単位のオーディオデジタル信号を、所定のタイミングで連続する2ビットずつ後段のデコード部174に供給する。
デコード部174は、2ビットのレジスタ191、12ビットのレジスタ192、変換テーブル処理部193、4ビットのレジスタ194、およびセレクタ195により構成される。デコード部174は、可逆圧縮符号化されたオーディオデジタル信号を可逆圧縮復号して、可逆圧縮符号化前のオーディオデジタル信号を生成する。
具体的には、レジスタ191は、符号化データバッファ173から供給された2ビットのオーディオデジタル信号を記憶する。レジスタ191は、記憶している2ビットのオーディオデジタル信号を、所定のタイミングで変換テーブル処理部193とセレクタ195に供給する。
12ビットのレジスタ192は、セレクタ195から供給される、可逆圧縮復号結果である4ビットのオーディオデジタル信号を、FIFO(First-In First-Out)で12ビット分記憶する。これにより、レジスタ192には、レジスタ191に記憶されている2ビットのオーディオデジタル信号を含むオーディオデジタル信号の可逆圧縮復号結果の直近の過去の3つの可逆圧縮復号結果であるD4データが格納される。
変換テーブル処理部193は、レジスタ191から供給される2ビットのオーディオデジタル信号が“00b”である場合、そのオーディオデジタル信号は変換テーブルtable1[4096][3]に登録されていないので、無視する。また、変換テーブル処理部193は、いま供給された2ビットのオーディオデジタル信号の直後に供給される2回分の合計4ビットのオーディオデジタル信号を無視する。
一方、供給された2ビットのオーディオデジタル信号が、“01b”、“10b”、または“11b”である場合、変換テーブル処理部193は、レジスタ192に記憶されている3つのD4データ(12ビットのD4データ)を読み出す。変換テーブル処理部193は、テーブル記憶部175から、変換テーブルtable1の、読み出された3つのD4データがD4[n-3],D4[n-2],D4[n-1]として登録されている行の、供給された2ビットのオーディオデジタル信号が示す列に格納されるD4データを読み出す。変換テーブル処理部193は、読み出されたD4データをレジスタ194に供給する。
レジスタ194は、変換テーブル処理部193から供給される4ビットのD4データを記憶する。レジスタ194は、記憶している4ビットのD4データを所定のタイミングでセレクタ195の入力端子196bに供給する。
セレクタ195は、レジスタ191から供給される2ビットのオーディオデジタル信号が“00b”である場合、入力端子196aを選択する。そして、セレクタ195は、入力端子196aに“00b”の後に入力された4ビットのオーディオデジタル信号を可逆圧縮復号結果として、出力端子197からレジスタ192および出力バッファ176に出力する。
一方、レジスタ194から入力端子196bに4ビットのオーディオデジタル信号が入力された場合、セレクタ195は、入力端子196bを選択する。そして、セレクタ195は、入力端子196bに入力された4ビットのオーディオデジタル信号を可逆圧縮復号結果として、出力端子197からレジスタ192および出力バッファ176に出力する。
出力バッファ176は、データ受信部172から供給された可逆圧縮符号化されていないオーディオデジタル信号、または、デコード部174から供給された可逆圧縮復号結果であるオーディオデジタル信号を記憶し、アナログフィルタ177に供給する。
アナログフィルタ177は、出力バッファ176から供給されたオーディオデジタル信号に対して、ローパスフィルタ、バンドパスフィルタ等の所定のフィルタ処理を実行し、出力部178を介して出力する。
なお、変換テーブルtable1は、可逆圧縮符号化部100により圧縮されて可逆圧縮復号部170に供給されるようにしてもよい。また、変換テーブルtable1は、予め設定され、可逆圧縮符号化部100と可逆圧縮復号部170に記憶されるようにしてもよい。さらに、変換テーブルtable1の数は複数であってもよい。この場合、j番目(jは0以上の整数)の変換テーブルtable1には、発生頻度の大きい方から3(j−1),3(j−1)+1,3(j−1)+2番目のD4データが各行に格納される。また、各行に対応する過去のD4データの数は、3つに限定されない。
また、可逆圧縮符号化方法は、上述した方法に限定されず、例えば、特開平9−74358号公報に記載の方法であってもよい。
<第8実施の形態>
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図29は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ200において、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、及びドライブ210が接続されている。
入力部206は、キーボード、マウス、マイクロフォンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。
以上のように構成されるコンピュータ200では、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ200(CPU201)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア211に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ200では、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
なお、コンピュータ200が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、第1乃至第8実施の形態におけるlosslessDSD方式は、可逆圧縮符号化によるビット発生量が予測できない可逆圧縮方式であれば、losslessDSD方式以外であってもよい。例えば、第1乃至第8実施の形態におけるlosslessDSD方式は、FLAC(Free Lossless Audio Codec)方式やALAC(Apple lossless Audio Codec)方式などであってもよい。FLAC方式やALAC方式においても、losslessDSD方式と同様に、オーディオアナログ信号の波形に応じてビットの発生量が変動する。なお、変動する比率は方式によって異なる。
また、第1乃至第8実施の形態における情報処理システム10は、セグメントファイルをライブ配信するのではなく、Webサーバ12に動画コンテンツの全てのセグメントファイルが既に記憶されており、そのセグメントファイルをオンデマンド配信するようにしてもよい。
この場合、第2実施の形態、第3実施の形態、および第7実施の形態において、MPDファイルに記述されるAveBandwidthは、動画コンテンツの全期間の平均値になる。従って、第2実施の形態および第7実施の形態では、動画再生端末14は、MPDファイルを更新しない。また、第3実施の形態では、動画再生端末14は、MPDファイルを更新するが、更新前後でMPDファイルは変化しない。
また、この場合、第7実施の形態では、セグメントファイルの生成時には固定のセグメント長のセグメントファイルを生成しておき、オンデマンド配信時に、Webサーバ12が、その固定のセグメント長のセグメントファイルを連結して可変のセグメント長のセグメントファイルを生成し、動画再生端末14に送信するようにしてもよい。
さらに、第1乃至第8実施の形態における情報処理システム10は、Webサーバ12に動画コンテンツのセグメントファイルを途中まで記憶した後、その動画コンテンツの先頭のセグメントファイルから配信を開始するニアライブ配信を行うようにしてもよい。
この場合、再生開始時にWebサーバ12に既に記憶されているセグメントファイルについては、オンデマンド配信と同様の処理が行われ、再生開始時にWebサーバ12にまだ記憶されていないセグメントファイルについては、ライブ配信の場合と同様の処理が行われる。
また、第4乃至第6実施の形態では、AveBandwidthとDurationForAveBandwidth(の更新値)がセグメントファイルに配置される。従って、オンデマンド配信やニアライブ配信のように、動画コンテンツのセグメントファイルが生成されてから再生されるまでに時間がある場合であっても、動画再生端末14は、再生開始時に最新のAveBandwidthとDurationForAveBandwidthを取得することはできない。従って、AveBandwidthとDurationForAveBandwidth(の更新値)を格納するセグメントファイルの送信時に、最新のAveBandwidthとDurationForAveBandwidthを格納し直すようにしてもよい。この場合、動画再生端末14は、再生開始時に最新のAveBandwidthとDurationForAveBandwidthを認識することができる。
また、第2乃至第7実施の形態では、最新のAveBandwidthとDurationForAveBandwidthのみがMPDファイルまたはセグメントファイルに記述されたが、任意の時間ごとのAveBandwidthとDurationForAveBandwidthが列挙されるようにしてもよい。この場合、動画再生端末14は、きめ細かい帯域制御を行うことが可能になる。なお、任意の時間が一定の時間である場合には、DurationForAveBandwidthは1つだけ記述されるようにしてもよい。
なお、本開示は、以下のような構成もとることができる。
(1)
可逆圧縮方式で符号化されたオーディオストリームのビットレートを表すビットレート情報を生成する生成部
を備えるファイル生成装置。
(2)
前記ビットレート情報は、前記ビットレートの所定の期間の平均値と前記所定の期間とを含む
ように構成された
前記(1)に記載のファイル生成装置。
(3)
前記所定の期間は、基準期間ごとに、前記基準期間だけ増加し、
前記生成部は、前記基準期間ごとに、前記ビットレート情報を更新する
ように構成された
前記(2)に記載のファイル生成装置。
(4)
前記ビットレート情報は、前記オーディオストリームを管理する管理ファイルに含まれる
ように構成された
前記(3)に記載のファイル生成装置。
(5)
前記管理ファイルには、前記基準期間を示す情報が含まれる
ように構成された
前記(4)に記載のファイル生成装置。
(6)
前記生成部は、前記ビットレート情報の更新時刻を通知する更新通知情報を生成する
ように構成された
前記(3)に記載のファイル生成装置。
(7)
前記更新通知情報は、前記オーディオストリームを格納するファイルに含まれる
ように構成された
前記(6)に記載のファイル生成装置。
(8)
前記ビットレート情報の初期値は、前記オーディオストリームを管理する管理ファイルに含まれ、
前記ビットレート情報の更新値は、前記オーディオストリームを格納するファイルに含まれる
ように構成された
前記(3)、(6)、または(7)に記載のファイル生成装置。
(9)
前記ビットレート情報は、前記オーディオストリームを格納するファイルに含まれる
ように構成された
前記(3)に記載のファイル生成装置。
(10)
前記ビットレート情報は、前記オーディオストリームを格納するファイルとは異なるファイルに含まれ、前記オーディオストリームを管理する管理ファイルに管理される
ように構成された
前記(3)に記載のファイル生成装置。
(11)
前記オーディオストリームをセグメント単位でファイル化するセグメントファイル生成部
をさらに備え、
前記セグメントの長さは、基準の時間の正の数の倍数であり、
前記正の数は、前記オーディオストリームを管理する管理ファイルに含まれる
ように構成された
前記(1)乃至(10)のいずれかに記載のファイル生成装置。
(12)
前記オーディオストリームをセグメント単位でファイル化するセグメントファイル生成部
をさらに備え、
前記セグメントの長さは、所定の時間であり、
前記所定の時間を表す情報は、前記オーディオストリームを管理する管理ファイルに含まれる
ように構成された
前記(1)乃至(10)のいずれかに記載のファイル生成装置。
(13)
前記可逆圧縮方式は、losslessDSD(Direct Stream Digital)方式、FLAC(Free Lossless Audio Codec)方式、またはALAC(Apple lossless Audio Codec)方式である
ように構成された
前記(1)乃至(12)のいずれかに記載のファイル生成装置。
(14)
ファイル生成装置が、
可逆圧縮方式で符号化されたオーディオストリームのビットレートを表すビットレート情報を生成する生成ステップ
を含むファイル生成方法。
11 ファイル生成装置, 13 インターネット, 14 動画再生端末, 33 セグメントファイル生成部, 34 MPDファイル生成部, 63 セグメントファイル取得部, 64 選択部

Claims (14)

  1. 可逆圧縮方式で符号化されたオーディオストリームのビットレートを表すビットレート情報を生成する生成部
    を備えるファイル生成装置。
  2. 前記ビットレート情報は、前記ビットレートの所定の期間の平均値と前記所定の期間とを含む
    ように構成された
    請求項1に記載のファイル生成装置。
  3. 前記所定の期間は、基準期間ごとに、前記基準期間だけ増加し、
    前記生成部は、前記基準期間ごとに、前記ビットレート情報を更新する
    ように構成された
    請求項2に記載のファイル生成装置。
  4. 前記ビットレート情報は、前記オーディオストリームを管理する管理ファイルに含まれる
    ように構成された
    請求項3に記載のファイル生成装置。
  5. 前記管理ファイルには、前記基準期間を示す情報が含まれる
    ように構成された
    請求項4に記載のファイル生成装置。
  6. 前記生成部は、前記ビットレート情報の更新時刻を通知する更新通知情報を生成する
    ように構成された
    請求項3に記載のファイル生成装置。
  7. 前記更新通知情報は、前記オーディオストリームを格納するファイルに含まれる
    ように構成された
    請求項6に記載のファイル生成装置。
  8. 前記ビットレート情報の初期値は、前記オーディオストリームを管理する管理ファイルに含まれ、
    前記ビットレート情報の更新値は、前記オーディオストリームを格納するファイルに含まれる
    ように構成された
    請求項3に記載のファイル生成装置。
  9. 前記ビットレート情報は、前記オーディオストリームを格納するファイルに含まれる
    ように構成された
    請求項3に記載のファイル生成装置。
  10. 前記ビットレート情報は、前記オーディオストリームを格納するファイルとは異なるファイルに含まれ、前記オーディオストリームを管理する管理ファイルに管理される
    ように構成された
    請求項3に記載のファイル生成装置。
  11. 前記オーディオストリームをセグメント単位でファイル化するセグメントファイル生成部
    をさらに備え、
    前記セグメントの長さは、基準の時間の正の数の倍数であり、
    前記正の数は、前記オーディオストリームを管理する管理ファイルに含まれる
    ように構成された
    請求項1に記載のファイル生成装置。
  12. 前記オーディオストリームをセグメント単位でファイル化するセグメントファイル生成部
    をさらに備え、
    前記セグメントの長さは、所定の時間であり、
    前記所定の時間を表す情報は、前記オーディオストリームを管理する管理ファイルに含まれる
    ように構成された
    請求項1に記載のファイル生成装置。
  13. 前記可逆圧縮方式は、losslessDSD(Direct Stream Digital)方式、FLAC(Free Lossless Audio Codec)方式、またはALAC(Apple lossless Audio Codec)方式である
    ように構成された
    請求項1に記載のファイル生成装置。
  14. ファイル生成装置が、
    可逆圧縮方式で符号化されたオーディオストリームのビットレートを表すビットレート情報を生成する生成ステップ
    を含むファイル生成方法。
JP2018508957A 2016-03-28 2017-03-14 ファイル生成装置およびファイル生成方法 Abandoned JPWO2017169721A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016063223 2016-03-28
JP2016063223 2016-03-28
PCT/JP2017/010105 WO2017169721A1 (ja) 2016-03-28 2017-03-14 ファイル生成装置およびファイル生成方法

Publications (1)

Publication Number Publication Date
JPWO2017169721A1 true JPWO2017169721A1 (ja) 2019-02-07

Family

ID=59964317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018508957A Abandoned JPWO2017169721A1 (ja) 2016-03-28 2017-03-14 ファイル生成装置およびファイル生成方法

Country Status (4)

Country Link
US (1) US20190088265A1 (ja)
JP (1) JPWO2017169721A1 (ja)
CN (1) CN108886628A (ja)
WO (1) WO2017169721A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308093B1 (en) * 2019-12-13 2022-04-19 Amazon Technologies, Inc. Encoding scheme for numeric-like data types
JP7454951B2 (ja) * 2020-01-27 2024-03-25 日本放送協会 コンテンツ配信装置、端末、およびプログラム
CN113709524B (zh) * 2021-08-25 2023-12-19 三星电子(中国)研发中心 选择音视频流的比特率的方法及其装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4835638B2 (ja) * 1998-10-13 2011-12-14 日本ビクター株式会社 音声符号化方法及び音声復号方法
JP2004145929A (ja) * 2002-10-22 2004-05-20 Matsushita Electric Ind Co Ltd 光ディスク再生装置及び光ディスク再生方法
JP4935385B2 (ja) * 2007-02-01 2012-05-23 ソニー株式会社 コンテンツ再生方法およびコンテンツ再生システム
TWI368845B (en) * 2008-12-02 2012-07-21 Ite Tech Inc Multimedia palying method and apparatus thereof
US8631455B2 (en) * 2009-07-24 2014-01-14 Netflix, Inc. Adaptive streaming for digital content distribution
US8468262B2 (en) * 2010-11-01 2013-06-18 Research In Motion Limited Method and apparatus for updating http content descriptions
WO2013004260A1 (en) * 2011-07-07 2013-01-10 Telefonaktiebolaget L M Ericsson (Publ) Network-capacity optimized adaptive http streaming
JP2013029679A (ja) * 2011-07-28 2013-02-07 Panasonic Corp 圧縮オーディオ再生装置及び平均ビットレート算出方法
KR20170083641A (ko) * 2012-07-10 2017-07-18 브이아이디 스케일, 인크. 품질 주도형 스트리밍
US9125073B2 (en) * 2012-08-03 2015-09-01 Intel Corporation Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file
US9967300B2 (en) * 2012-12-10 2018-05-08 Alcatel Lucent Method and apparatus for scheduling adaptive bit rate streams
WO2015038578A2 (en) * 2013-09-12 2015-03-19 Dolby Laboratories Licensing Corporation System aspects of an audio codec
WO2016000211A1 (zh) * 2014-07-01 2016-01-07 华为技术有限公司 视频数据传输装置、方法、服务器、基站和客户端

Also Published As

Publication number Publication date
CN108886628A (zh) 2018-11-23
US20190088265A1 (en) 2019-03-21
WO2017169721A1 (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
US10735794B2 (en) Information processing device, information processing method, and information processing system
CN103858419B (zh) 一种回放装置及回放内容的方法
JP3957666B2 (ja) マルチメディアストリーミング装置、マルチメディアストリーミングサーバ、マルチメディアストリーミングクライアント、マルチメディアストリーミング方法及びそのプログラムを記録した記録媒体
CN105814900B (zh) 用于在自适应流播环境中管理相邻频道的***和方法
WO2017138387A1 (ja) 情報処理装置および情報処理方法
WO2013008867A1 (ja) 送信装置、送信装置の制御方法、制御プログラム、及び記録媒体
JP6876928B2 (ja) 情報処理装置および方法
WO2017169721A1 (ja) ファイル生成装置およびファイル生成方法
WO2017169720A1 (ja) 再生装置および再生方法、並びにファイル生成装置およびファイル生成方法
JP6555263B2 (ja) 情報処理装置および方法
JP5781550B2 (ja) メディアコンテンツデータ再生装置及び方法
JP4526294B2 (ja) ストリームデータ送信装置、受信装置、プログラムを記録した記録媒体、およびシステム
JP2016059018A (ja) 配信装置、再生装置および配信システム
JP2004215074A (ja) サーバ、送信レート制御方法、プログラムおよび記録媒体
JP2017098706A (ja) 受信装置、セグメント取得方法、及びプログラム
KR102343639B1 (ko) 압축 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램
JP6793526B2 (ja) 動画配信システム、配信サーバ、及びプログラム
US20200314163A1 (en) Image processing device and method thereof
JP7324012B2 (ja) 受信装置、及びプログラム
KR102367134B1 (ko) 가속기를 제어하는 방법 및 이를 이용한 가속기
KR20130029235A (ko) 스트리밍 되어오는 동영상 파일을 실시간 변환하여 스트리밍 전송하는 방법
KR101684705B1 (ko) 미디어 컨텐츠 재생 장치 및 방법
JP6127708B2 (ja) コンテンツ再生装置、コンテンツ再生プログラム及びコンテンツ再生方法
JP2023161219A (ja) 送信装置、受信装置及びそれらのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200117

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20200520