TW201939960A - 資訊處理裝置、資訊處理方法及程式 - Google Patents

資訊處理裝置、資訊處理方法及程式 Download PDF

Info

Publication number
TW201939960A
TW201939960A TW107145623A TW107145623A TW201939960A TW 201939960 A TW201939960 A TW 201939960A TW 107145623 A TW107145623 A TW 107145623A TW 107145623 A TW107145623 A TW 107145623A TW 201939960 A TW201939960 A TW 201939960A
Authority
TW
Taiwan
Prior art keywords
file
audio
data
priority
audio data
Prior art date
Application number
TW107145623A
Other languages
English (en)
Inventor
勝股充
平林光浩
浜田俊也
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW201939960A publication Critical patent/TW201939960A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/02Synthesis of acoustic waves
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/173Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/07Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information characterised by processes or methods for the generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • H04N21/2335Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4825End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

[課題] 可按照已被取得之每一物件音訊資料而設定優先度。
[解決手段] 提供一種資訊處理裝置,其係具備:處理部,係按照已被取得之每一物件音訊資料而設定優先度;基於前記優先度,從1或2個以上之前記物件音訊資料,決定要含入至所被生成之區段檔案中的前記物件音訊資料;基於前記優先度,而生成對已被生成之前記區段檔案所要設定的新的優先度來作為優先度資訊。

Description

資訊處理裝置、資訊處理方法及程式
本發明係有關於資訊處理裝置、資訊處理方法及程式。
近年來,網際網路上的串流化服務的主流係為OTT-V(Over The Top Video)。作為其基礎技術而開始普及的,係為MPEG-DASH(Moving Picture Experts Group phase - Dynamic Adaptive Streaming over HTTP)(例如參照非專利文獻1)。
使用MPEG-DASH而被進行的音訊內容之配訊中,配訊伺服器是按照每一物件而準備了音訊資料(該當資料稱為「物件音訊資料」),客戶端會隨應於傳輸路之狀況等而要求最佳的物件音訊資料群,藉此以實現適應型的串流化配訊。

[先前技術文獻]
[非專利文獻]
[非專利文獻1] MPEG-DASH(Dynamic Adaptive Streaming over HTTP) (URL: http://standards.iso.org/ittf/PubliclyAvailableStandards/
index.html)
[發明所欲解決之課題]
可是,在非專利文獻1所揭露的MPEG-DASH的規格中,無法以物件音訊資料單位而設定優先度。因此,客戶端係必須要先一度取得所有音訊檔案,換言之,就連包含有原本不需要之資料的檔案全體都先加以取得以後,才能夠處理音訊檔案的物件音訊後設資料,因而無法有效活用頻寬,或是導致客戶端上產生處理之額外負擔的課題。
於是,本揭露係有鑑於上記問題而研發,本揭露的目的在於,提供一種,可按照已被取得之每一物件音訊資料而設定優先度的,新穎且改良過的資訊處理裝置、資訊處理方法及程式。

[用以解決課題之手段]
若依據本揭露,則可提供一種資訊處理裝置,其係具備:處理部,係按照已被取得之每一物件音訊資料而設定優先度;基於前記優先度,從1或2個以上之前記物件音訊資料,決定要含入至所被生成之區段檔案中的前記物件音訊資料;基於前記優先度,而生成對已被生成之前記區段檔案所要設定的新的優先度來作為優先度資訊。
又,若依據本揭露,則可提供一種藉由電腦而被執行的資訊處理方法,係具有:將按照已被取得之每一物件音訊資料而被設定有優先度的串流資料進行資訊處理的步驟。
又,若依據本揭露,則可提供一種程式,其係用來使電腦實現:將按照已被取得之每一物件音訊資料而被設定有優先度的串流資料進行資訊處理的步驟。

[發明效果]
如以上說明,若依據本揭露,則可按照已被取得之每一物件音訊資料而設定優先度。
此外,上記效果並不一定是限定性的,亦可連同上記效果、或取代上記效果,而達成本說明書所揭露之效果、或根據本說明書所能掌握的其他效果。
以下,一邊參照添附圖式,一邊詳細說明本揭露的理想實施形態。此外,於本說明書及圖面中,關於實質上具有同一機能構成的構成要素,係標示同一符號而省略重複說明。
此外,說明是按照以下順序進行。
1.背景
2.構成例
3.基於優先度的檔案生成例
4.優先度資訊之訊令例
5.位元速率資訊之訊令例
6.描述資訊之訊令例
7.客戶端200之處理例
8.硬體構成例
<1.背景>
首先說明本揭露的背景。
MPEG-H 3D Audio及AAC 3D Audio,係為可以處理按照每一物件而被生成的音訊資料也就是物件音訊資料的規格。音訊內容,係由音源的波形資料也就是複數物件音訊資料、與含有物件的位置、聲音的寬廣度、或者是各種特效等的相關之資訊的物件後設資料所構成。
例如,如圖1所示,物件後設資料與複數物件音訊資料(圖1中係圖示了物件音訊資料1~物件音訊資料n),是藉由伺服器等而被提供給客戶端。作為物件渲染器而發揮機能的客戶端,係一旦接收物件後設資料與物件音訊資料,就基於再生環境資訊(例如揚聲器的位置或數量等)而進行渲染,對揚聲器等之再生環境提供波形資料,以實現音訊內容之再生。
此處,於MPEG-H 3D Audio及AAC 3D Audio中,係並沒有一定要所有的物件音訊資料都被渲染。這可以想成是,例如,伺服器不把渲染對象外的物件音訊資料本身提供給客戶端,或從物件後設資料中把渲染對象外的物件音訊資料予以排除等之方法。
又,在這些規格中,複數物件音訊資料亦可藉由彼此互異之位元速率而被再生。例如,如圖2的2A所示,假設音訊內容係具有:物件後設資料、和分別被準備有高位元速率及低位元速率的物件音訊資料1~物件音訊資料3。此情況下,所被再生的物件音訊資料之位元速率之組合,係為任意。例如,如2B所示,物件音訊資料1及物件音訊資料2是以高位元速率而被再生,物件音訊資料3是以低位元速率而被再生。
在音訊內容被提供的情況下,物件音訊資料是被儲存在音訊檔案中而被傳輸給客戶端。此處,參照圖3來說明具體例。如圖3的3A所示,在有物件音訊資料1~物件音訊資料3,和對應於這些資料的物件後設資料存在的情況下,音訊檔案中儲存的態樣係如3B-1~3B-3所示般地可考慮有複數組合。
更具體而言,亦可如3B-1所示,所有的資料是被儲存在1個音訊檔案中,亦可如3B-3所示,1個物件音訊資料與對應於其之物件後設資料是被儲存在1個音訊檔案中。又,亦可如3B-2所示,1或2個以上之物件音訊資料與對應於它們的物件後設資料是分別被儲存在音訊檔案中。
話說回來,在音訊內容是以MPEG-DASH而被提供的情況下,會生成位元速率彼此互異之音訊檔案,客戶端係可能會從這些音訊檔案之中選擇出所望之音訊檔案。
例如,如圖4所示,假設具有64[kbps]與32[kbps]之位元速率的物件音訊資料1~物件音訊資料3是分別被生成。此情況下,客戶端所能取得的音訊檔案之組合,係存在有23 種。例如,像是檔案1-1、檔案2-1、檔案3-2之組合(合計為160[kbps]),或檔案1-1、檔案2-2、檔案3-1之組合(合計為160[kbps])般地,會有合計之位元速率會是相同的組合存在。
可是,客戶端,如果光就合計之位元速率的相關之資訊,是無法判斷哪種組合比較適切。於是,為了能讓客戶端判斷較為適切的組合,設定優先度來作為表示應該要將哪個物件音訊資料之音質較高地(換言之,係為位元速率較高地)進行再生的資訊,此事可被研討。
可作為優先度資訊而被利用的物件後設資料之1,可舉出MPEG-H 3D Audio等中的「Priority」。可是,Priority,係為被儲存在物件後設資料中的資料,因此Priority對MPEG-DASH做適用的情況下,客戶端係必須先一度取得音訊檔案,從物件後設資料取得Priority,然後才決定音訊檔案之位元速率。換言之,客戶端係不得不取得不需要的資料。
於是,本案的揭露人係有鑑於上記事情,而最後創作出本揭露所涉及之技術。本揭露係按照已被取得之每一物件音訊資料而設定優先度,並可有效率地加以取得,基於該當優先度而可實現適切的音訊內容之配訊及再生。
又,於MPEG-DASH中,客戶端基本上是基於音訊檔案之位元速率而決定要取得的音訊檔案。因此,在沒有上記優先度資訊的狀況下,例如,如圖5所示的物件音訊資料1與物件音訊資料2之位元速率之組合所致之4種類的音訊檔案已被生成的情況下,檔案2與檔案3之位元速率係皆為96[kbps],因此客戶端只根據位元速率的相關之資訊是無法判斷哪個音訊檔案較為適切,又,內容製作者係無法將其所意圖的物件音訊資料與其位元速率之組合提供給客戶端。
另一方面,本揭露係可將音訊檔案中所被儲存之物件音訊資料單位之位元速率資訊,提供給客戶端。藉此,客戶端係可一併考慮上記之優先度資訊,藉此而可判斷檔案2與檔案3之哪個音訊檔案是較為適切。
又,本揭露係可將物件音訊資料的Description資訊,提供給客戶端。藉此,操作客戶端的使用者,係可將所望之物件音訊資料,以高位元速率使其被再生。
以下,詳細說明本揭露之一實施形態。
<2.構成例>
上記係說明了本揭露之背景。接下來,參照圖6~圖8,說明本揭露之一實施形態所述之資訊處理系統之構成例。
(2-1.系統構成例)
首先,參照圖6,說明本實施形態所述之資訊處理系統之系統構成例。
如圖6所示,本實施形態所述之資訊處理系統,係具備伺服器100、客戶端200。然後,伺服器100和客戶端200,係藉由網際網路300而被彼此連接。
伺服器100,係為基於MPEG-DASH,而將音訊內容中所被使用之物件音訊資料配訊(串流化)至客戶端200的資訊處理裝置(送訊裝置)。更具體而言,伺服器100係將音訊內容中所被使用之音訊資料按照每一物件而加以取得,以物件單位將該當資料進行編碼以生成串流資料。然後,伺服器100係按照一種被稱為區段的數秒至10秒左右的每一時間單位,或是針對內容前體,將該當串流資料進行檔案化以生成音訊檔案。
此外,所謂物件,係為音源,各物件的音訊資料,係藉由被安裝在該物件的麥克風等,而被取得。物件,係可為固定的麥克風架等之物體,也可以是人物等之動體。
又,伺服器100,係將含有各物件之位置資訊等的物件後設資料,予以編碼。伺服器100,係將物件後設資料的編碼資料以區段單位進行檔案化,以生成後設資料檔案。
然後,伺服器100係生成用來管理音訊檔案的MPD(Media Presentation Description)檔案(控制資訊)。
然後,伺服器100係隨應於來自客戶端200之要求,而將上記之音訊檔案、後設資料檔案、或MPD檔案等,發送至客戶端200。
客戶端200,係為將音訊內容予以再生的資訊處理裝置(收訊裝置)。更具體而言,客戶端200,係從伺服器100取得MPD檔案,基於該當MPD檔案而從伺服器100取得後設資料檔案及音訊檔案。然後,客戶端200,係將已從伺服器100取得之音訊檔案予以解碼,並加以合成而輸出以實現音訊內容之再生。
以上說明了本實施形態所述之資訊處理系統之構成例。此外,參照圖6所說明的上記之構成係僅止於一例,本實施形態所述之資訊處理系統之構成係不限定於所述之例子。例如,伺服器100的機能之一部分,係亦可被客戶端200或其他外部裝置所具備。例如,提供伺服器100的機能之一部分的軟體(例如使用了所定之API(Application Programming Interface)的WEB應用程式等),亦可在客戶端200上被執行。又,反之,客戶端200的機能之一部分,係亦可被伺服器100或其他外部裝置所具備。本實施形態所述之資訊處理系統之構成,係可隨著規格或運用而做彈性地變形。
(2-2.伺服器100之機能構成例)
上記說明了,本實施形態所述之資訊處理系統之系統構成例。接下來,參照圖7,說明伺服器100之機能構成例。
如圖7所示,伺服器100係具備:處理部110、控制部120、通訊部130、記憶部140。
處理部110,係為進行關於音訊內容之提供之處理的機能構成。如圖7所示,處理部110係具備:資料取得部111、編碼處理部112、區段檔案生成部113、MPD檔案生成部114。
資料取得部111,係為將音訊內容中所被使用之音訊資料按照每一物件而加以取得(換言之,係為取得物件音訊資料)的機能構成。資料取得部111,係亦可從伺服器100內取得該當物件音訊資料,亦可從連接至伺服器100的外部裝置取得物件音訊資料。又,資料取得部111,係亦可按照已經取得的每一物件音訊資料來設定優先度,亦可取得已被預先設定好優先度的物件音訊資料。資料取得部111,係將已取得之物件音訊資料,提供給編碼處理部112。
編碼處理部112,係為將從資料取得部111所被提供的物件音訊資料按照每一物件而進行編碼以生成串流資料的機能構成。又,編碼處理部112,係將從外部所被輸入之含有各物件之物件位置資訊等的物件後設資料,予以編碼。編碼處理部112,係將各物件之串流資料與物件後設資料之編碼資料,提供給區段檔案生成部113。
區段檔案生成部113,係為將可作為音訊內容而配訊之單位的資料也就是區段檔案予以生成的機能構成。更具體而言,區段檔案生成部113,係將從編碼處理部112所被提供的各物件之串流資料,以區段單位進行檔案化,以生成音訊檔案。關於音訊檔案之生成係存在有各式各樣的態樣。例如,區段檔案生成部113,係基於每一物件音訊資料之優先度而將1或2個以上之物件音訊資料儲存在1個音訊檔案中以生成音訊檔案。然後,區段檔案生成部113,係亦可按照每一該當檔案而設定優先度資訊。基於優先度的音訊檔案之生成之細節將於後述。
又,區段檔案生成部113係亦可藉由,將從編碼處理部112所被提供的物件後設資料之編碼資料以區段單位進行檔案化,而生成只儲存有物件後設資料的後設資料檔案。關於後設資料檔案之內容、或後設資料檔案會被生成的案例,將於後述。
MPD檔案生成部114,係為生成MPD檔案的機能構成。於本實施形態中,MPD檔案生成部114,係生成含有優先度資訊、位元速率資訊或描述資訊的MPD檔案。MPD檔案之內容的細節將於後述。
控制部120係為,將伺服器100所進行的全盤處理予以統籌控制的機能構成。例如,控制部120,係可基於透過通訊部130而被接收之來自客戶端200之要求資訊等,來控制各構成的啟動或停止。此外,控制部120的控制內容係無特別限定。例如,控制部120係亦可控制在通用電腦、PC、平板PC等中一般所被進行的處理。
通訊部130,係為與客戶端200進行各種通訊的機能構成(亦作為送訊部而發揮機能)。例如,通訊部130,係將來自客戶端200之要求資訊予以接收,或者作為對該當要求資訊之回應而將MPD檔案、後設資料檔案或音訊檔案等發送至客戶端200等等。此外,通訊部130的通訊內容係不限定於這些。
記憶部140,係為記憶各種資訊的機能構成。例如,記憶部140,係將物件音訊資料、音訊檔案、物件後設資料、後設資料檔案或MPD檔案等加以記憶,或將被伺服器100之各機能構成所使用的程式或參數等加以記憶等等。此外,記憶部140所記憶的資訊係不限定於這些。
以上說明了伺服器100之機能構成例。此外,使用圖7所說明的上記之機能構成係僅止於一例,伺服器100之機能構成係不限定於所述之例子。例如,伺服器100並不一定要具備圖7所示之機能構成的全部。又,伺服器100之機能構成,係可隨著規格或運用而做彈性地變形。
(2-3.客戶端200之機能構成例)
上記係說明了伺服器100之機能構成例。接下來,參照圖8,說明客戶端200之機能構成例。
如圖8所示,客戶端200係具備:處理部210、控制部220、通訊部230、記憶部240。
處理部210,係為進行關於音訊內容之再生之處理的機能構成。如圖8所示,處理部210係具備:MPD檔案取得部211、MPD檔案處理部212、區段檔案選擇部213、區段檔案取得部214、解碼處理部215、合成處理部216。
MPD檔案取得部211,係為早於音訊內容之再生之前從伺服器100取得MPD檔案的機能構成。更具體而言,MPD檔案取得部211,係基於使用者操作等而生成MPD檔案之要求資訊,透過通訊部230而將該當要求資訊提供給伺服器100,藉此以將MPD檔案從伺服器100加以取得。MPD檔案取得部211,係將已取得之MPD檔案,提供給MPD檔案處理部212。
MPD檔案處理部212,係為進行從MPD檔案取得部211所被提供之MPD檔案的相關之處理的機能構成。更具體而言,MPD檔案處理部212,係將MPD檔案予以解析,以辨識出音訊檔案或是其所對應之後設資料檔案之取得時所必須之資訊(例如URL等),或是辨識出各物件音訊資料(或音訊檔案)之優先度或位元速率等等。MPD檔案處理部212,係將這些資訊提供給區段檔案選擇部213。
區段檔案選擇部213,係為選擇取得對象之區段檔案的機能構成。更具體而言,區段檔案選擇部213,係基於從MPD檔案處理部212所被提供之上記各種資訊而選擇取得對象之音訊檔案或後設資料檔案。例如,區段檔案選擇部213,係以使得優先度越高的音訊檔案的位元速率為越高的方式,來選擇取得對象之音訊檔案。此時,區段檔案選擇部213,係也考慮可利用之傳輸頻寬,而選擇例如在可利用之傳輸頻寬下位元速率為最高的音訊檔案。
此外,取得對象之檔案的選擇方法係不限定於上記。例如,區段檔案選擇部213,係亦可基於來自使用者之輸入而將使用者所望之音訊檔案視為取得對象而加以選擇。區段檔案選擇部213,係將取得對象之檔案的相關之資訊,提供給區段檔案取得部214。
區段檔案取得部214,係為進行區段檔案之取得的機能構成。更具體而言,區段檔案取得部214,係基於從區段檔案選擇部213所被提供之各種資訊而生成音訊檔案或後設資料檔案的要求資訊,透過通訊部230而將該當要求資訊提供給伺服器100,以從伺服器100取得這些檔案。區段檔案取得部214,係將已取得之這些檔案,提供給解碼處理部215。
解碼處理部215,係為將從區段檔案取得部214所被提供之音訊檔案或後設資料檔案中所含之資料予以解碼的機能構成。解碼處理部215,係將藉由解碼處理而獲得的物件音訊資料等,提供給合成處理部216。
合成處理部216,係為將從解碼處理部215所被提供之複數物件音訊資料加以合成、輸出的機能構成。合成處理部216,係將合成後的資料,提供給控制部220。
控制部220係為,將客戶端200所進行的全盤處理予以統籌控制的機能構成。例如,控制部220,係控制顯示器或揚聲器等之輸出部(未圖示),將由合成處理部216所被提供的合成後之資料予以輸出,以將音訊內容提供給使用者。又,控制部220,係基於使用者使用滑鼠、鍵盤等之輸入部(未圖示)所進行的輸入而控制各種處理。此外,控制部220的控制內容係無特別限定。例如,控制部220係亦可控制在通用電腦、PC、平板PC等中一般所被進行的處理。
通訊部230,係為與伺服器100進行各種通訊的機能構成(亦作為收訊部而發揮機能)。例如,通訊部230,係基於使用者輸入等而向伺服器100發送要求資訊,或者作為對該當要求資訊之回應而將MPD檔案、後設資料檔案或音訊檔案等從伺服器100予以接收等等。此外,通訊部230的通訊內容係不限定於這些。
記憶部240,係為記憶各種資訊的機能構成。例如,記憶部240,係將從伺服器100所提供之物件音訊資料、音訊檔案、物件後設資料、後設資料檔案或MPD檔案等加以記憶,或將被客戶端200之各機能構成所使用的程式或參數等加以記憶等等。此外,記憶部240所記憶的資訊係不限定於這些。
以上說明了客戶端200之機能構成例。此外,使用圖8所說明的上記之機能構成係僅止於一例,客戶端200之機能構成係不限定於所述之例子。例如,客戶端200並不一定要具備圖8所示之機能構成的全部。又,客戶端200之機能構成,係可隨著規格或運用而做彈性地變形。
<3.基於優先度的音訊檔案生成例>
上記係說明了客戶端200之機能構成例。接下來,說明基於優先度的音訊檔案之生成例。
如上記,伺服器100的區段檔案生成部113,係使用每一物件音訊資料的優先度資訊而將1或2個以上之物件音訊資料加以組合而儲存在1個音訊檔案中以生成音訊檔案。然後,區段檔案生成部113,係亦可按照每一該當檔案而設定優先度資訊。
此處,參照圖9~圖12,說明基於優先度的音訊檔案之生成例。例如,如圖9的9A所示,假設有物件音訊資料1~物件音訊資料4存在,對這些資料預先設定有優先度。更具體而言,物件音訊資料1的優先度為3,物件音訊資料2及物件音訊資料3的優先度為2,物件音訊資料4的優先度為1(此外,假設值越高,優先度越高)。
此情況下,區段檔案生成部113,係亦可將彼此的優先度為較為接近(優先度的差為所定值以下)的物件音訊資料加以組合而儲存在1個音訊檔案中。例如,如9B所示,區段檔案生成部113,係亦可將一連串之資料之中的最初之資料也就是物件音訊資料1、和具有與該當資料之優先度3較為接近(例如優先度的差為1以下)的優先度2的物件音訊資料2及物件音訊資料3,加以組合而儲存在1個音訊檔案中。然後,區段檔案生成部113,係亦可將剩餘的物件音訊資料4,儲存在別的音訊檔案中。
然後,區段檔案生成部113,係亦可將1個音訊檔案中所被儲存之物件音訊資料之優先度之中的最高的優先度,視為該當音訊檔案之優先度而加以設定。例如,如9B所示,區段檔案生成部113,係將物件音訊資料1~物件音訊資料3之優先度之中的最高的優先度3,視為這些資料所被儲存的音訊檔案之優先度而加以設定。此外,音訊檔案的優先度之設定方法係不限定於此。例如,區段檔案生成部113,係亦可將1個音訊檔案中所被儲存之物件音訊資料之優先度之中,具有相同優先度的資料數為最多的優先度,視為該當音訊檔案之優先度而加以設定。又,區段檔案生成部113,係亦可將1個音訊檔案中所被儲存之物件音訊資料之優先度的平均值,視為該當音訊檔案之優先度而加以設定。
又,如圖10的10A所示,在對物件音訊資料1~物件音訊資料4沒有設定優先度的情況或優先度全部相同的情況下,則如10B所示,區段檔案生成部113,係亦可將所有的物件音訊資料,儲存在同一音訊檔案中。然後,區段檔案生成部113,係亦可不設定音訊檔案之優先度,也可將對各物件音訊資料所被設定的同一優先度,視為音訊檔案之優先度而加以設定。
又,如圖11的11A所示,在對物件音訊資料1~物件音訊資料4的優先度各為不同的情況下,則如11B所示,區段檔案生成部113,係亦可將各物件音訊資料,分別儲存在不同的音訊檔案中。然後,區段檔案生成部113,係亦可將與各物件音訊資料之優先度相同的值,視為各音訊檔案之優先度而加以設定。
又,如圖12的12A所示,假設物件音訊資料1~物件音訊資料3的優先度為2,物件音訊資料4的優先度為1。此情況下,如12B所示,區段檔案生成部113,係亦可將具有相同優先度的物件音訊資料1~物件音訊資料3儲存在1個音訊檔案中,將具有不同優先度的物件音訊資料4儲存在別的音訊檔案中。於12B中也是,與各物件音訊資料之優先度相同的值,是被視為各音訊檔案之優先度而加以設定。
此處,於MPEG-DASH中,客戶端200係以音訊檔案單位來進行取得控制。因此,如圖9的9B、圖10的10B、圖12的12B所示,區段檔案生成部113,係在1個音訊檔案中儲存複數物件音訊資料,藉此,內容製作者就可控制物件音訊資料與其位元速率之組合。換言之,內容製作者係可用其所意圖的物件音訊資料與位元速率之組合,來提供音訊內容。另一方面,對使用者而言,物件音訊資料之取得的自由度會變低。
相對於此,如圖11的11B所示,在1個音訊檔案中儲存1個物件音訊資料的情況下,使用者係可只取得其所望之物件音訊資料,因此物件音訊資料之取得的自由度較高。另一方面,對內容製作者而言,則會難以防止音訊內容是以非意圖之物件音訊資料與位元速率之組合而被再生。基於上述理由,內容製作者係可藉由音訊檔案對物件音訊資料之儲存的態樣,來調整使用者所致之物件音訊資料之取得的自由度要到哪種程度。
此外,基於優先度的音訊檔案之生成方法、或音訊檔案之優先度的設定方法,係不限定於上記,亦可被適宜變更。
<4.優先度資訊之訊令例>
上記係說明了基於優先度的音訊檔案之生成例。接下來,說明優先度資訊之訊令例。
(4-1.優先度不會隨著時間經過而變化時的訊令例)
首先說明,優先度不會隨著時間經過而變化時的訊令例。
同一物件音訊資料所被儲存的位元速率不同之音訊檔案的優先度會是彼此相同。因此,MPD檔案的AdaptationSet所致之訊令係為適切。更具體而言,本揭露係利用SupplementalProperty,新規定了表示這是優先度資訊的schemeIdUri,伺服器100的MPD檔案生成部114,係在value中儲存優先度資訊。
此處,參照圖13,說明優先度資訊之訊令例。如圖13的13A所示,考慮物件音訊資料1及物件音訊資料2所被儲存之音訊檔案之位元速率差異、物件音訊資料3所被儲存之音訊檔案之位元速率差異係為存在的情況(在圖中為了方便起見而將物件音訊資料表示成「obj」)。然後,假設物件音訊資料1與物件音訊資料2所被儲存之音訊檔案之優先度係為2,物件音訊資料3所被儲存之音訊檔案之優先度係為1。
此情況下,MPD檔案生成部114,係生成如13B所示的MPD檔案。更具體而言,在Preselection的
preselectionComponents中,含有以音訊內容而被同時再生之物件音訊資料的AdaptationSet係被列舉。第1個AdaptationSet,係為物件音訊資料1與物件音訊資料2所被儲存之音訊檔案的AdaptationSet(AdaptationSet之id為o1者)。MPD檔案生成部114,係將表示優先度為2的SupplementalProperty,設定至該當AdaptationSet。
第2個AdaptationSet,係為物件音訊資料3所被儲存之音訊檔案的AdaptationSet(AdaptationSet之id為o2者)。MPD檔案生成部114,係將表示優先度為1的SupplementalProperty,設定至該當AdaptationSet。藉此,客戶端200的MPD檔案處理部212,係可基於該當MPD檔案而掌握各音訊檔案之優先度。
此外,上記係僅止於一例,訊令方法係不限定於上記。例如,亦可不是利用SupplementalProperty,而是作為AdaptationSet的Attribute而追加
objectAcquisitionPriority。更具體而言,伺服器100的MPD檔案生成部114,係亦可在MPD檔案中,不利用
SupplementalProperty,而是記載成「<AdaptationSet id=“o1” objectAcquisitionPriority =“2”>」、「<AdaptationSet id=“o2”
objectAcquisitionPriority =“1”>」。
(4-2.優先度會隨著時間經過而變化時的訊令例)
上記說明了,優先度不會隨著時間經過而變化時的訊令例。接下來說明,優先度會隨著時間經過而變化時的訊令例。
優先度會隨著時間經過而變化的情況下,物件後設資料係會隨著時間經過而變化。因此,若記載於MPD或ISOBMFF之檔案的MovieBox領域中,則從伺服器的處理負荷或客戶端的處理的額外負擔增大的觀點來看,並非適切。於是,伺服器100的區段檔案生成部113,係生成只儲存有各物件音訊資料所對應之物件後設資料的後設資料檔案。
例如,如圖14所示,考慮有物件音訊資料1、物件音訊資料2及各自所對應之物件後設資料1+2所被儲存之音訊檔案1,與物件音訊資料3及其所對應之物件後設資料3所被儲存之音訊檔案2存在的情況。此情況下,區段檔案生成部113,係將物件後設資料1+2及物件後設資料3予以整合而成的物件後設資料1+2+3進行檔案化,以生成後設資料檔案。此外,後設資料檔案,雖然想定係為只儲存有物件後設資料的檔案,但並非限定於此,後設資料檔案係亦可適宜儲存有其他資料。
此處,後設資料檔案之檔案大小,係比物件音訊資料所被儲存之音訊檔案之檔案大小還小,因此客戶端200,係在音訊檔案之取得前,藉由取得該當後設資料檔案,就可基於被儲存在該當檔案中的物件後設資料1+2+3之優先度資訊,而適切地進行音訊檔案之取得控制。
後設資料檔案對ISOBMFF之儲存方法及在MPEG-DASH中的處置方式係未被規定,因此於本揭露中是做新規定。以下,針對MPEG-H 3D Audio與AAC 3D Audio中的後設資料檔案的ISOBMFF(ISO Base Media File Format)、以及該當後設資料檔案中所被儲存之物件後設資料與物件音訊資料的對應關連方法,逐一說明。
(4-2-1.MPEG-H 3D Audio的ISOBMFF)
在說明MPEG-H 3D Audio中的後設資料檔案的ISOBMFF之前,首先說明既存的檔案格式。在MPEG-H 3D Audio中,規定有將物件音訊資料與物件後設資料儲存至音訊檔案的方法。例如,如圖15的15A所示,考慮有物件音訊資料1、物件音訊資料2、物件後設資料1+2所被儲存之音訊檔案1,以及物件音訊資料3、物件後設資料3所被儲存之音訊檔案2存在的情況。
此情況下,音訊檔案1及音訊檔案2各自的ISOBMFF係如15B所示。更具體而言,於各音訊檔案中,係MovieBox(‘moov’)的SampleEntry中所含之
MHAConfigurationBox(‘mhaC’)的
MHADecoderConfigurationRecord中,記載了sample中所含之物件的Configuration。又,SampleEntry中所含的MHAMultiStreamBox(‘maeM’)中係記載了,音訊內容是以複數音訊檔案而被提供時用來唯一識別各音訊檔案所需之streamID。MediaDataBox(‘mdat’)中所含之各sample資料中係含有,各時間的物件音訊資料(ES(Elementary Stream))與物件後設資料。
此外,圖15及以後所說明的ISOBMFF的Box結構係被適宜省略。更具體而言,圖15的15B所示的MovieBox,係如圖16所示,含有Track Box等之各式各樣的構成要素。然後,SampleEntry係被包含在,該當Box結構中的Sample Description Box中。
(4-2-1-1.MPEG-H 3D Audio中的後設資料檔案的ISOBMFF (實施例1))
上記是說明了,MPEG-H 3D Audio中的音訊檔案的ISOBMFF。接下來,參照圖17,說明MPEG-H 3D Audio中的後設資料檔案的ISOBMFF(實施例1)。更具體而言,是說明圖15的15A所示的,被儲存有物件音訊資料1~物件音訊資料3所對應之物件後設資料1+2+3的,MPEG-H 3D Audio中的後設資料檔案的ISOBMFF。又,於MPEG-H 3D Audio中,係存在有RAW方式與MHAS方式這2種類之儲存方式,但以下首先針對RAW方式來做說明。
此處,本揭露係新規定了
MHAMetadataSampleEntry(‘mham’)。如圖17的17A及17B所示,在SampleEntry中,作為後設資料檔案所對應之音訊檔案的相關之資訊,係被記載有
num_reference_streamID及reference_streamID。更具體而言,藉由num_reference_streamID,而表示了該當後設資料檔案所對應的音訊檔案數,藉由reference_streamID,而表示了該當後設資料檔案所對應的音訊檔案之streamID。
然後,在SampleEntry中係含有,用來表示各個物件後設資料之內容所需的MHAMetadataConfigurationBox (‘mhmC’)。在MHAMetadataConfigurationBox (‘mhmC’)中係含有,與圖15的15B所示的音訊檔案相同的
MHADecoderConfigurationRecord。但是,在後設資料檔案的MHADecoderConfigurationRecord中,藉由把與Elementary stream關連的Configuration予以排除,就可表示只含有物件後設資料。
在MediaDataBox(‘mdat’)的sample中係儲存有,各streamID所表示的音訊檔案所對應之物件後設資料。換言之,伺服器100的區段檔案生成部113,係將各音訊檔案中所被儲存之物件後設資料,儲存在後設資料檔案中的sample中。此時,在各物件後設資料之開頭係被附加有,表示各物件後設資料之資料大小的size。
此外,在本實施例中,
num_reference_streamID及reference_streamID等,係在ISOBMFF的Box結構中的SampleEntry中而被表示,但並非限定於此。例如num_reference_streamID及
reference_streamID等,係亦可在Sample Description Box、Sample Group或Sub-Sample Information Box中被表示。
接下來,參照圖18,說明MHAS方式的ISOBMFF。如圖18所示,於MHAS方式中,
MHAMetadataSampleEntry(‘mhmm’)會被使用。又,在MHAS方式中,MHAMetadataConfigurationBox,係可在sample中作為MHAConfigurationBox而被儲存,因此亦可不被儲存在SampleEntry中(圖中係圖示了
MHAMetadataConfigurationBox是被儲存在SampleEntry中的例子)。至於其他點,係和上記說明的RAW方式相同因此省略說明。
(4-2-1-2.MPEG-H 3D Audio中的後設資料檔案的ISOBMFF (實施例2))
接下來,參照圖19,說明MPEG-H 3D Audio中的後設資料檔案的ISOBMFF(實施例2)的RAW方式。
在該當實施例中,圖15的15A所示的音訊檔案1中所被儲存之物件後設資料1+2、與音訊檔案2中所被儲存之物件後設資料3所被整合而成的物件後設資料1+2+3,是被儲存在sample中。換言之,伺服器100的編碼處理部112,係藉由將物件後設資料1+2與物件後設資料3予以整合以生成物件後設資料1+2+3,區段檔案生成部113,係在後設資料檔案的生成之際,將該當物件後設資料1+2+3儲存在sample中。
於該當實施例中,sample中所被儲存之物件後設資料之物件數,是按照每一streamID而被表示。更具體而言,如圖19的19A所示,係表示了,streamID
(reference_streamID)為1的音訊檔案1所對應之物件後設資料之物件數(object_num)係為2。換言之,表示了streamID為1的音訊檔案1中係被儲存有物件音訊資料1與物件音訊資料2。又,係表示了,streamID(reference_streamID)為2的音訊檔案2所對應之物件後設資料之物件數(object_num)係為1。換言之,表示了streamID為2的音訊檔案2中係被儲存有物件音訊資料2與下個物件音訊資料3。
以圖19的19A及19B所示的
MHAMetadataConfigurationBox為首的其他事項,係和參照圖17所說明的相同,因此省略說明。此外,在本實施例中,reference_streamID等,係在ISOBMFF的Box結構中的SampleEntry中而被表示,但並非限定於此。例如
reference_streamID等,係亦可在Sample Description Box、Sample Group或Sub-Sample Information Box中被表示。
圖20係為本實施例中的MHAS方式的ISOBMFF的圖示。除了物件後設資料之物件數(object_num)被表示這點以外,其餘係和參照圖18所說明的相同因此省略說明。
(4-2-2.AAC 3D Audio的ISOBMFF)
上記是說明了,MPEG-H 3D Audio的ISOBMFF。接下來,說明AAC 3D Audio的ISOBMFF。
在說明AAC 3D Audio中的後設資料檔案的ISOBMFF之前,首先說明既存的檔案格式。在AAC 3D Audio中,由於將複數音訊檔案進行訊令的方法未被規定,因此於本揭露中是做新規定。
更具體而言,如圖21的21A及21B所示,關於SampleEntry,表示複數音訊檔案會被使用的AAC3DAudioSampleEntry(‘a3a2’),係被使用(若為1個檔案會被使用的情況則SampleEntry(‘a3a1’)會被使用)。又,作為用來將複數音訊檔案進行訊令所需之資訊,係和MPEG-H 3D Audio同樣地,使用MHAMultiStreamBox(‘maeM’)。藉此,可與MPEG-H 3D Audio同樣地使用streamID來表示音訊檔案間的關係。
又,Track間的關係,係藉由track reference而被表示。更具體而言,從main track(於圖21中係為含有物件音訊資料1與物件音訊資料2的file1)往auxiliary track(於圖21中係為含有物件音訊資料3的file2)之連結,係藉由main track的track reference(‘maux’)而被表示。又,從auxiliary track往main track之連結,係藉由auxiliary track的track reference(‘mbas’)而被表示。
此外,參照圖21所說明的ISOBMFF的Box結構也被適宜省略。更具體而言,圖21的21A及21B所示的MovieBox,係如圖16所示,含有Track Box等之各式各樣的構成要素。然後,SampleEntry係被包含在,該當Box結構中的Sample Description Box中(但是,Sample Entry,係並非圖16所示的(‘mham’)而是(‘a3a2’))。
(4-2-2-1.AAC 3D Audio中的後設資料檔案的ISOBMFF(實施例3))
上記是說明了,AAC 3D Audio中的音訊檔案的ISOBMFF。接下來,參照圖22,說明AAC 3D Audio中的後設資料檔案的ISOBMFF(實施例3)。換言之,是說明圖15的15A所示的,被儲存有物件音訊資料1~物件音訊資料3所對應之物件後設資料1+2+3的,AAC 3D Audio中的後設資料檔案的ISOBMFF。
於本揭露中是新規定了,用來表示這是AAC 3D Audio中的後設資料檔案所需的
A3AMetadataSampleEntry(‘a3am’)。如圖22的22A及22B所示,在SampleEntry中,作為後設資料檔案所對應之音訊檔案的相關之資訊,係被記載有num_reference_streamID及reference_streamID。更具體而言,藉由
num_reference_streamID,而表示了該當後設資料檔案所對應的音訊檔案數,藉由reference_streamID,而表示了該當後設資料檔案所對應的音訊檔案之streamID。此外,於AAC 3D Audio中,物件後設資料的Configuration,係被儲存在MediaDataBox(‘mdat’)的sample中,因此在
SampleEntry中不做訊令。
在MediaDataBox(‘mdat’)的sample中係儲存有,各streamID所表示的音訊檔案所對應之物件後設資料。換言之,伺服器100的區段檔案生成部113,係將各音訊檔案中所被儲存之物件後設資料,儲存在後設資料檔案中的sample中。此時,在各物件後設資料之開頭係被附加有,表示各物件後設資料之資料大小的size。
此處,關於sample之結構,係亦可使用AAC 3D Audio的3da_meta_data(),也可使用在AAC 3D Audio的Elementary stream中所被使用的,被儲存在DSE中的3da_meta_data()。此外,3da_meta_data()之結構係示於圖45,被儲存在DSE中的3da_meta_data()之結構係示於圖46,DSE之結構係示於圖47。此外,圖47所示的,DSE中的data_stream_byte中所被儲存之3da_ancillary_data之結構,係示於圖48。但是,若相較於DSE的data_stream_byte的最大大小而3da_meta_data()之大小是比較大的情況下,則3da_meta_data()係被分割而儲存在複數DSE中。
此外,圖22及以後所說明的ISOBMFF的Box結構也被適宜省略。更具體而言,圖22的22A所示的MovieBox,係如圖16所示,含有Track Box等之各式各樣的構成要素。然後,SampleEntry係被包含在,該當Box結構中的Sample Description Box中(但是,Sample Entry,係並非圖16所示的(‘mham’)而是(‘a3am’))。
又,在本實施例中,num_reference_streamID及reference_streamID等,係在ISOBMFF的Box結構中的SampleEntry中而被表示,但並非限定於此。例如
num_reference_streamID及reference_streamID等,係亦可在Sample Description Box、Sample Group或Sub-Sample Information Box中被表示。
(4-2-2-2.AAC 3D Audio中的後設資料檔案的ISOBMFF(實施例4))
接下來,參照圖23,說明AAC 3D Audio中的後設資料檔案的ISOBMFF(實施例4)。
在該當實施例中,圖15的15A所示的音訊檔案1中所被儲存之物件後設資料1+2、與音訊檔案2中所被儲存之物件後設資料3所被整合而成的物件後設資料1+2+3,是被儲存在sample中。換言之,編碼處理部112,係藉由將物件後設資料1+2與物件後設資料3予以整合以生成物件後設資料1+2+3,區段檔案生成部113,係在後設資料檔案的生成之際,將該當物件後設資料1+2+3儲存在sample中。
於該當實施例中,sample中所被儲存之物件後設資料之物件數,是按照每一streamID而被表示。更具體而言,如圖23的23A所示,係表示了,streamID (reference_streamID)為1的音訊檔案1所對應之物件後設資料之物件數(object_num)係為2。換言之,表示了streamID為1的音訊檔案1中係被儲存有物件音訊資料1與物件音訊資料2。又,係表示了,streamID(reference_streamID)為2的音訊檔案2所對應之物件後設資料之物件數(object_num)係為1。換言之,表示了streamID為2的音訊檔案2中係被儲存有物件音訊資料2與下個物件音訊資料3。
此處,關於sample之結構,係亦可使用AAC 3D Audio的3da_meta_data(),也可使用在AAC 3D Audio的Elementary stream中所被使用的,被儲存在DSE中的3da_meta_data()。
以圖23的23A及23B所示的其他事項,係和參照圖22所說明的相同,因此省略說明。此外,在本實施例中,reference_streamID等,係在ISOBMFF的Box結構中的SampleEntry中而被表示,但並非限定於此。例如reference_streamID等,係亦可在Sample Description Box、Sample Group或Sub-Sample Information Box中被表示。
(4-2-3.音訊檔案與後設資料檔案之對應關連例)
接下來,說明音訊檔案與後設資料檔案之對應關連例。本揭露係使用MPD檔案來實現音訊檔案與後設資料檔案之對應關連。此處,在有關MPD檔案的規定中,雖然音訊檔案之訊令方法有被規定,但後設資料檔案之訊令方法係未被規定。於是,於本揭露中,將MPD檔案中的後設資料檔案之訊令方法加以規定。
例如,如圖24所示,考慮物件音訊資料1及物件音訊資料2所被儲存之音訊檔案之位元速率差異,與物件音訊資料3所被儲存之音訊檔案之位元速率差異,與這些音訊檔案所對應之後設資料檔案係為存在的情況。
(4-2-3-1.音訊檔案與後設資料檔案之對應關連例(實施例1))
該當實施例係為,在Preselection element中追加Property,而使後設資料檔案之取得變得容易的方法。參照圖25,詳細說明該當實施例。
如圖25所示,藉由MPD檔案中的Preselection,含有再生時所被使用之物件音訊資料的AdaptationSet是被preselectionComponents所表示,藉此而實現音訊內容之再生。如此,會以Preselection為起點而進行再生,因此為了使後設資料檔案之取得變得容易,本揭露係在Preselection中將後設資料檔案的AdaptationSet進行訊令。
更具體而言,本揭露係追加
「SupplementalProperty schemeIdUri=“urn:mpeg:dash:
objectAudio:objectMetadataFile” value=“**”」。此處,value係表示含有後設資料檔案的AdaptationSet之id。例如,已經取得了圖25之MPD檔案的客戶端200的MPD檔案處理部212,係可根據Preselection中所含之SupplementalProperty,而辨識出含有後設資料檔案的AdaptationSet之id是”m1”(圖中的符號10)。
然後,關於音訊檔案與後設資料檔案之對應關連,則是使用既存的Representation的associationId。更具體而言,客戶端200的MPD檔案處理部212,係基於associationId為“o1-1”、“o1-2”、“o2-1”、“o2-2”(圖中的符號11),而可辨識出該當後設資料檔案所對應的音訊檔案。
可是,在該當實施例的方法中,客戶端200,係為了確認後設資料檔案中所含之streamID、與各音訊檔案之streamID的一致性,而必須要在確認了後設資料檔案之streamID後,然後取得各音訊檔案,確認該當音訊檔案的MovieBox(‘moov’)部分。換言之,客戶端200係變成要一路取得到不需使用於再生的音訊檔案為止。
又,物件後設資料係為,若物件相同,則無論位元速率為何,都是相同的內容。亦即,同一AdaptationSet中所含之音訊檔案所對應之物件後設資料,係為彼此相同。因此,用associationId所進行的對應關連,係不是以Representation單位,而是以AdaptationSet單位來為之即可。換言之,在音訊檔案與後設資料檔案之對應關連的相關記載中,也存在有多餘的記載。
(4-2-3-2.音訊檔案與後設資料檔案之對應關連例(實施例2))
該當實施例係為,相對於上記的實施例1,追加了表示音訊檔案之streamID的方法。更具體而言,如圖26所示,在含有各音訊檔案的AdaptationSet中,追加了
「SupplementalProperty schemeIdUri=“urn:mpeg:dash:
objectAudio:objectMetadataStreamID” value=“**”」(圖中的符號12)。value係表示音訊檔案之streamID。
藉此,客戶端200的MPD檔案處理部212,係可藉由MPD檔案,而確認後設資料檔案中所含之streamID、各音訊檔案之streamID的一致性。換言之,客戶端200係不必取得不需使用於再生的音訊檔案。此外,關於以音訊檔案與後設資料檔案之對應關連為首的其他內容,係和圖25所示的MPD檔案相同因此省略說明。
(4-2-3-3.音訊檔案與後設資料檔案之對應關連例(實施例3))
該當實施例係為,相對於上記的實施例2,省略了音訊檔案與後設資料檔案之對應關連的多餘描述。進行含有後設資料檔案的AdaptationSet、與含有各音訊檔案的AdaptationSet之對應關連的associationId,係可以作為AdaptationSet的attribute而加以設定。更具體而言,如圖27所示,可將表示音訊檔案之AdaptationSet的associationId(圖中的符號13),作為含有後設資料檔案的AdaptationSet的attribute而加以設定。藉此,可以削減關於音訊檔案與後設資料檔案之對應關連的多餘記載。此外,關於其他內容,係和圖26所示的MPD檔案相同因此省略說明。
(4-2-3-4.音訊檔案與後設資料檔案之對應關連例(實施例4))
該當實施例係為,在Preselection中將後設資料檔案的AdaptationSet等進行訊令的方法。更具體而言,如圖28所示,追加了「SupplementalProperty schemeIdUri=
“urn:mpeg:dash:objectAudio:objectMetadataFileAndStreamID” value=“metadataASid,num_streamID,streamID1,audioASid1,streamID2,audioASid2,…,streamIDk,audioASidk”」(圖中的符號14)。
關於value,metadataASid係表示含有後設資料檔案的AdaptationSet之id,num_streamID係表示該當後設資料檔案所對應的音訊檔案數(換言之,是和ISOBMFF中的num_reference_streamID相同)。然後,streamIDk係表示該當後設資料檔案所對應的音訊檔案之streamID,audioASidk係表示含有該streamID之音訊檔案的AdaptationSet之id。
(4-2-3-5.音訊檔案與後設資料檔案之對應關連例(實施例5))
該當實施例係為,將實施例4中的num_streamID、streamIDk、audioASidk,以後設資料檔案的AdaptationSet來進行訊令。更具體而言,如圖29所示,在後設資料檔案的AdaptationSet中,追加了「SupplementalProperty schemeIdUri =“urn:mpeg:dash:objectAudio:objectMetadataStreamID” value= “num_streamID,streamIDk,audioASidk”」(圖中的符號15)。此外,關於其他內容,係和圖28所示的MPD檔案相同因此省略說明。
<5.位元速率資訊之訊令例>
上記係說明了優先度資訊之訊令例。接下來,說明位元速率資訊之訊令例。更具體而言,針對在1個音訊檔案中儲存有複數物件音訊資料的情況,說明將各個物件音訊資料的位元速率資訊以MPD檔案加以表示的方法之例子。
(5-1.位元速率不會隨著時間經過而變化時的訊令例)
首先說明,位元速率不會隨著時間經過而變化時的訊令例。
(5-1-1.位元速率不會隨著時間經過而變化時的訊令例(實施例1))
該當實施例係為,只有在音訊檔案中所被儲存之複數物件音訊資料之位元速率是彼此相等的情況下才能使用的位元速率資訊之訊令例。
例如,如圖30的30A所示,考慮具有彼此相等之位元速率(64[kbps])的物件音訊資料1~物件音訊資料3是被儲存在1個音訊檔案中的情況。此情況下,伺服器100的MPD檔案生成部114,係生成如30B所示的MPD檔案。
更具體而言,在MPD檔案的Representation中,追加了「SupplementalProperty schemeIdUri=“urn:
mpeg:dash:objectAudio:objectNumber” value=“**”」(圖中的符號16)。value係表示音訊檔案中所被儲存之物件音訊資料數。藉此,客戶端200的MPD檔案處理部212,係可將音訊檔案全體之位元速率(圖中的「bitrate=“192000”」)除以物件音訊資料數所得到的值,視為各物件音訊資料之位元速率而予以算出。此外,圖30及以後所說明的MPD檔案之內容係被適宜省略。
(5-1-2.位元速率不會隨著時間經過而變化時的訊令例(實施例2))
該當實施例係為,即使在音訊檔案中所被儲存之複數物件音訊資料之位元速率是彼此互異的情況下也能使用的位元速率資訊之訊令例。
例如,如圖31的31A所示,考慮具有64[kbps]之位元速率的物件音訊資料1與物件音訊資料2、以及具有32[kbps]之位元速率的物件音訊資料3,是被儲存在1個音訊檔案的情況。此情況下,伺服器100的MPD檔案生成部114,係生成31B所示的MPD檔案。
更具體而言,在MPD檔案的Representation中,追加了「SupplementalProperty schemeIdUri=
“urn:mpeg:dash:objectAudio:objectBitrate” value=
“bitrate1,bitrate2,…,bitratek”」(圖中的符號17)。value係將音訊檔案中所被儲存之各物件音訊資料之位元速率,按照物件音訊資料的儲存順序而加以表示。藉此,客戶端200的MPD檔案處理部212就可辨識各物件音訊資料之位元速率。
(5-1-3.位元速率不會隨著時間經過而變化時的訊令例(實施例3))
該當實施例係為,即使在音訊檔案中所被儲存之複數物件音訊資料之位元速率是彼此互異的情況下也能使用的位元速率資訊之訊令例。
例如,如圖31的31A所示,考慮具有64[kbps]之位元速率的物件音訊資料1與物件音訊資料2、以及具有32[kbps]之位元速率的物件音訊資料3,是被儲存在1個音訊檔案的情況。此情況下,伺服器100的MPD檔案生成部114,係亦可生成如圖32所示的MPD檔案。
更具體而言,在MPD檔案的Representation中,追加了「SupplementalProperty schemeIdUri=
“urn:mpeg:dash:objectAudio:objectBitrateRatio” value=
“ratio1,ratio2,…,ratiok”」(圖中的符號18)。value係將音訊檔案中所被儲存之各物件音訊資料之位元速率的比例,按照物件音訊資料的儲存順序而加以表示。在圖32的例子中,value係表示了,物件音訊資料1~物件音訊資料3之位元速率的比例係為「2:2:1」。
藉此,客戶端200的MPD檔案處理部212係可使用音訊檔案全體之位元速率(圖中的「bitrate= “160000”」)與各物件音訊資料之位元速率的比例,而算出各物件音訊資料之位元速率。更具體而言,MPD檔案處理部212係可辨識出,最初所被儲存之物件音訊資料1之位元速率是音訊檔案全體之位元速率(160[kbps])的2/5,而算出物件音訊資料1之位元速率是64[kbps]。至於物件音訊資料2及物件音訊資料3之位元速率也是可用相同的方法而算出。
(5-1-4.位元速率不會隨著時間經過而變化時的訊令例(實施例4))
該當實施例係為,將上記之實施例1及實施例2加以組合的位元速率資訊之訊令例。
例如,如圖31的31A所示,考慮具有64[kbps]之位元速率的物件音訊資料1與物件音訊資料2、以及具有32[kbps]之位元速率的物件音訊資料3,是被儲存在1個音訊檔案的情況。此情況下,伺服器100的MPD檔案生成部114,係亦可生成如圖33所示的MPD檔案。
更具體而言,在MPD檔案的Representation中,追加了「SupplementalProperty schemeIdUri=
“urn:mpeg:dash:objectAudio:objectNumberBitrate” value=“number,bitrate1,bitrate2,…,bitratek”」(圖中的符號19)。value中的number係表示音訊檔案中所被儲存之物件音訊資料數,bitratek係將各物件音訊資料之位元速率,按照物件音訊資料的儲存順序而加以表示。
在該當實施例中,即使伺服器100的MPD檔案生成部114適宜地省略了上記的number或bitratek之任一者,客戶端200的MPD檔案處理部212仍可適切地算出各物件音訊資料之位元速率。
此外,亦可不是將上記的實施例1及實施例2做組合,而是將實施例1和實施例3做組合。換言之,音訊檔案中所被儲存之物件音訊資料數之資訊、與各物件音訊資料之位元速率的比例,是按照物件音訊資料的儲存順序而被表示的資訊,亦可在MPD檔案中被表示。
(5-2.位元速率會隨著時間經過而變化時的訊令例)
接下來說明,位元速率會隨著時間經過而變化時的訊令例。此處係說明,位元速率是隨著優先度而與時間經過一起變化時的訊令例。
例如,如圖34所示,考慮物件音訊資料1~物件音訊資料3是被儲存在1個音訊檔案中的情況。然後,在時刻t1上,物件音訊資料1的優先度為3且位元速率為64[kbps],物件音訊資料2的優先度為2且位元速率為64[kbps],物件音訊資料3的優先度為1且位元速率為32[kbps]。然後,假設在其後的時刻t2上,物件音訊資料2的優先度為1但位元速率變化成32[kbps],物件音訊資料3的優先度為2但位元速率變化成64[kbps]。
(5-2-1.位元速率會隨著時間經過而變化時的訊令例(實施例5))
該當實施例係為表示,音訊檔案中所被儲存之物件音訊資料只有位元速率會隨著時間經過而變化的訊令例。
更具體而言,如圖35所示,在MPD檔案的Representation中,追加了
「SupplementalProperty schemeIdUri=“urn:mpeg:dash:objectAudio:objectDynamicBitrate”」(圖中的符號20)。藉此,客戶端200的MPD檔案處理部212,係可辨識出物件音訊資料之位元速率會隨著時間經過而變化,而可活用於任意之用途。此外,圖35及以後所說明的MPD檔案之內容係被適宜省略。
(5-2-2.位元速率會隨著時間經過而變化時的訊令例(實施例6))
該當實施例係為表示,音訊檔案中所被儲存之物件音訊資料之位元速率會隨著優先度而決定,且物件音訊資料之位元速率會隨著時間經過而變化的訊令例。
更具體而言,如圖36所示,在MPD檔案的Representation中,追加了
「SupplementalProperty schemeIdUri=“urn:mpeg:dash:objectAudio:objectBitratePriority” value=“bitrate1,bitreta2,…, bitratek”」(圖中的符號21)。value係表示,優先度由高往低而被依序排列的物件音訊資料之位元速率。藉此,客戶端200的MPD檔案處理部212就可辨識各物件音訊資料之位元速率。
(5-2-3.位元速率會隨著時間經過而變化時的訊令例(實施例7))
該當實施例係為表示,音訊檔案中所被儲存之物件音訊資料之位元速率的比例會隨著優先度而決定,且物件音訊資料之位元速率會隨著時間經過而變化的訊令例。
更具體而言,如圖37所示,在MPD檔案的Representation中,追加了
「SupplementalProperty schemeIdUri=“urn:mpeg:dash:objectAudio:objectBitrateRatioPriority” value=“ratio1,
ratio2,…,ratiok”」(圖中的符號22)。value係表示,優先度由高往低而被依序排列的物件音訊資料之位元速率的比例。
藉此,客戶端200的MPD檔案處理部212係可使用音訊檔案全體之位元速率(圖中的「bitrate=
“160000”」)與各物件音訊資料之位元速率的比例,而算出各物件音訊資料之位元速率。
(5-2-4.位元速率會隨著時間經過而變化時的訊令例(實施例8))
該當實施例係為,可切換將位元速率以對音訊檔案之儲存順序加以表示的方法、與將位元速率以優先度之高低順序加以表示的方法的訊令例。
更具體而言,如圖38所示,在MPD檔案的Representation中,追加了、「SupplementalProperty
schemeIdUri=“urn:mpeg:dash:objectAudio:objectBitrate” value=“flag,bitrate1,bitrate2,…,bitratek”」(圖中的符號23)。value中的flag係表示,位元速率是否是以對音訊檔案之儲存順序而排列,還是以優先度之高低順序而排列。例如,flag為0係表示位元速率是以對音訊檔案之儲存順序而排列,flag為1係表示位元速率是以優先度之高低順序而排列。又,value中的bitratek係係表示各物件音訊資料之位元速率。
此外,亦可不是藉由value中的bitratek來表示各物件音訊資料之位元速率,而是藉由ratiok來表示各物件音訊資料之位元速率的比例。又,即使音訊檔案中所含之物件音訊資料的優先度為彼此相同,仍可作成物件音訊資料之位元速率為彼此互異之音訊檔案,而進行如上記的訊令。此情況下,客戶端200係可選擇使用者所望之音訊檔案。
<6.描述資訊之訊令例>
上記係說明了位元速率資訊之訊令例。接下來,說明描述資訊之訊令例。
此處,所謂描述資訊,係為表示音訊檔案中所被儲存之物件音訊資料之內容(或種類、種別、類別等)的資訊。例如,如圖39的39A所示,假設物件音訊資料1~物件音訊資料3是被儲存在1個音訊檔案中,各個內容係分別人聲、合唱、樂團。此情況下,伺服器100的MPD檔案生成部114,係生成如39B所示的MPD檔案。
更具體而言,在MPD檔案的Representation中,追加了「SupplementalProperty schemeIdUri=
“urn:mpeg:dash:objectAudio:objectDescription” value=“description1,description2,…,descriptionk”」(圖中的符號24)。value係將物件音訊資料之描述資訊,按照物件音訊資料的儲存順序而加以表示。例如,在value中係如39B所示,儲存了「”人聲,合唱,樂團”」。
藉此,操作客戶端200的使用者,係可辨識各物件音訊資料之內容,因此可容易地選擇所望之音訊檔案。此外,圖39的39B所示的MPD檔案之內容係被適宜省略。
<7.客戶端200之處理例>
上記係說明了描述資訊之訊令例。接下來,說明客戶端200之處理例。
(7-1.優先度不會隨著時間經過而變化時的客戶端200之處理例)
首先,參照圖40,說明優先度不會隨著時間經過而變化時的客戶端200之處理例。圖40係為,在優先度不會隨著時間經過而變化的情況下,客戶端200取得音訊內容之再生時所要使用的音訊檔案以前的處理例的流程圖。
在步驟S1000中,客戶端200的MPD檔案處理部212係將MPD檔案的AdaptationSet之各音訊檔案中所被儲存之物件音訊資料之位元速率資訊,從MPD檔案加以取得(或基於MPD檔案之資訊而予以算出)。在步驟S1004中,MPD檔案處理部212係從AdaptationSet的SupplementalProperty的objectAcquisitionPriority,取得優先度資訊。
在步驟S1008中,區段檔案選擇部213係將,優先度較高的音訊檔案中所被儲存之物件音訊資料之中的最低之位元速率,是大於等於優先度較低的音訊檔案中所被儲存之物件音訊資料之中的最高之位元速率的此種音訊檔案之組合,予以輸出。換言之,區段檔案選擇部213,係將優先度較高的音訊檔案之物件音訊資料之位元速率會是較高的組合,予以輸出。然後,區段檔案選擇部213,係將所輸出的音訊檔案,按照合計之位元速率由高往低之順序而加以排列。
此處,參照圖41來說明具體例。如圖41的41A所示,考慮有物件音訊資料1~物件音訊資料3所被儲存之音訊檔案1的位元速率差異亦即音訊檔案1-1~音訊檔案1-3,與物件音訊資料4所被儲存之音訊檔案2的位元速率差異亦即音訊檔案2-1及音訊檔案2-2係為存在的情況。然後,假設音訊檔案1之優先度係為2,音訊檔案2之優先度係為1。
此情況下,步驟S1008中的,優先度較高的音訊檔案中所被儲存之物件音訊資料之中的最低之位元速率,是大於等於優先度較低的音訊檔案中所被儲存之物件音訊資料之中的最高之位元速率的此種音訊檔案之組合,係為41B所示的組合1~組合4。
然後,在步驟S1012中,區段檔案選擇部213係決定可利用之傳輸頻寬。在步驟S1016中,區段檔案選擇部213,係將基於可利用之傳輸頻寬而可以最高之位元速率來進行傳輸的組合,從步驟S1008所輸出的組合之中加以選擇,區段檔案取得部214係將該當組合之音訊檔案,從伺服器100加以取得。
其後,若有下個時刻的區段資料(步驟S1020/No),則繼續進行步驟S1012及步驟S1016之處理。若無下個時刻的區段資料(步驟S1020/Yes),亦即,已經取得了內容的最後為止的區段資料的情況下,則結束關於音訊檔案之取得的一連串之處理。步驟S1016中所被取得之區段資料,係藉由解碼處理部215及合成處理部216,進行物件音訊資料之解碼處理及合成處理等,以將音訊內容提供給使用者。
(7-2.優先度會隨著時間經過而變化時的客戶端200之處理例)
接下來,參照圖42,說明優先度會隨著時間經過而變化時的客戶端200之處理例。圖42係為,在優先度會隨著時間經過而變化的情況下,客戶端200取得音訊內容之再生時所要使用的音訊檔案以前的處理例的流程圖。
在步驟S1100中,客戶端200的MPD檔案處理部212係將MPD檔案的AdaptationSet之各音訊檔案中所被儲存之物件音訊資料之位元速率資訊,從MPD檔案加以取得(或基於MPD檔案之資訊而予以算出)。在步驟S1104中,區段檔案選擇部213係從後設資料檔案,取得下個再生時刻之再生時所必須的所有物件音訊資料之優先度。
在步驟S1108中,區段檔案選擇部213係將,優先度較高的音訊檔案中所被儲存之物件音訊資料之中的最低之位元速率,是大於等於優先度較低的音訊檔案中所被儲存之物件音訊資料之中的最高之位元速率的此種音訊檔案之組合,予以輸出。換言之,區段檔案選擇部213,係將優先度較高的音訊檔案之物件音訊資料之位元速率會是較高的組合,予以輸出。然後,區段檔案選擇部213,係將所輸出的音訊檔案,按照合計之位元速率由高往低之順序而加以排列。
此處,參照圖43來說明具體例。如圖43的43A所示,考慮有物件音訊資料1~物件音訊資料3所被儲存之音訊檔案1的位元速率差異亦即音訊檔案1-1~音訊檔案1-3,與物件音訊資料4所被儲存之音訊檔案2的位元速率差異亦即音訊檔案2-1及音訊檔案2-2係為存在的情況。然後,假設物件音訊資料1的優先度為4,物件音訊資料2的優先度為3,物件音訊資料3的優先度為2,物件音訊資料4的優先度為1,且這些優先度是會隨著時間經過而變化。然後,假設音訊檔案1及音訊檔案2之優先度,係會隨著各自中所被儲存的各物件音訊資料之優先度之變化而變化。
此情況下,步驟S1108中的,優先度較高的音訊檔案中所被儲存之物件音訊資料之中的最低之位元速率,是大於等於優先度較低的音訊檔案中所被儲存之物件音訊資料之中的最高之位元速率的此種音訊檔案之組合,係為43B所示的組合1~組合4。
然後,在步驟S1112中,區段檔案選擇部213係決定可利用之傳輸頻寬。在步驟S1116中,區段檔案選擇部213,係將基於可利用之傳輸頻寬而可以最高之位元速率來進行傳輸的組合,從步驟S1108所輸出的組合之中加以選擇,區段檔案取得部214係將該當組合之音訊檔案,從伺服器100加以取得。
其後,若有下個時刻的區段資料(步驟S1120/No),則繼續進行步驟S1104~步驟S1116之處理。換言之,由於優先度是隨著時間經過而變化,因此區段檔案選擇部213,係從隨時取得的後設資料檔案,持續取得下個再生時刻之再生時所必須之所有物件音訊資料之優先度,藉此以適切地對應於優先度之變化。若無下個時刻的區段資料(步驟S1120/Yes),亦即,已經取得了內容的最後為止的區段資料的情況下,則結束關於音訊檔案之取得的一連串之處理。步驟S1116中所被取得之區段資料,係藉由解碼處理部215及合成處理部216,進行物件音訊資料之解碼處理及合成處理等,以將音訊內容提供給使用者。
此外,圖40及圖42的流程圖中的各步驟,係並不一定依照記載之順序而時間序列性地被處理。亦即,流程圖中的各步驟,係可以和所被記載之順序不同的順序而被處理,也可被平行地處理。
<8.硬體構成例>
上記係說明了客戶端200之處理例。接下來,參照圖44,說明伺服器100或客戶端200之硬體構成例。
圖44係將伺服器100或客戶端200予以實現的資訊處理裝置900之硬體構成例的區塊圖。資訊處理裝置900係具備:CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903、主匯流排904、橋接器905、外部匯流排906、介面907、輸入裝置908、輸出裝置909、儲存裝置(HDD)910、驅動機911、通訊裝置912。
CPU901,係成為演算處理裝置及控制裝置而發揮機能,依照各種程式來控制資訊處理裝置900內的整體動作。又,CPU901係亦可為微處理器。ROM902係記憶著,CPU901所使用的程式或演算參數等。RAM903,係將CPU901之執行時所使用的程式、或其執行時會適宜變化的參數等,予以暫時記憶。這些係藉由CPU匯流排等所構成的主匯流排904而被互相連接。藉由該當CPU901、ROM902及RAM903之協同運作,可實現伺服器100的處理部110或控制部120、或者客戶端200的處理部210或控制部220之各機能。
主匯流排904,係透過橋接器905,而被連接至PCI(Peripheral Component Interconnect/Interface)匯流排等之外部匯流排906。此外,主匯流排904、橋接器905及外部匯流排906並不一定要是分離構成,亦可在1個匯流排內實作這些機能。
輸入裝置908,係由滑鼠、鍵盤、觸控面板、按鈕、麥克風、開關及拉桿等用來讓使用者輸入資訊所需的輸入手段、和基於使用者之輸入而生成輸入訊號,向CPU901進行輸出的輸入控制電路等所構成。使用資訊處理裝置900的使用者,係藉由操作該輸入裝置908,就可對各裝置輸入各種資料或指示處理動作等等。
輸出裝置909係包含例如:CRT(Cathode Ray Tube)顯示器裝置、液晶顯示(LCD)裝置、OLED(Organic Light Emitting Diode)裝置及指示燈等等之顯示裝置。甚至,輸出裝置909係包含揚聲器及麥克風等之聲音輸出裝置。輸出裝置909,係例如將已被再生之內容,予以輸出。具體而言,顯示裝置係將已被再生之映像資料等各種資訊,以文字或影像來加以顯示。另一方面,聲音輸出裝置,係將已被再生之聲音資料等,轉換成聲音而予以輸出。
儲存裝置910,係為資料儲存用的裝置。儲存裝置910,係亦可含有:記憶媒體、對記憶媒體記錄資料的記錄裝置、從記憶媒體讀出資料的讀出裝置及將記憶媒體中所記憶之資料予以刪除的刪除裝置等。儲存裝置910係由例如HDD(Hard Disk Drive)所構成。該儲存裝置910,係驅動著硬碟,將CPU901所執行的程式或各種資料,加以儲存。藉由該當儲存裝置910,可實現伺服器100的記憶部140或客戶端200的記憶部240之機能。
驅動機911,係為記憶媒體用讀寫機,可內建於資訊處理裝置900,或是外接。驅動機911,係將所被裝著的磁碟、光碟、光磁碟、或半導體記憶體等之可移除式記憶媒體913中所記錄的資訊予以讀出,並輸出至RAM903。又,驅動機911係亦可對可移除式記憶媒體913寫入資訊。
通訊裝置912,係例如是由用來連接至通訊網914所需之通訊裝置等所構成的通訊介面。藉由通訊裝置912,可實現伺服器100的通訊部130或客戶端200的通訊部230之機能。
以上雖然一面參照添附圖式一面詳細說明了本揭露的理想實施形態,但本揭露之技術範圍並非限定於所述例子。只要是本揭露之技術領域中具有通常知識者,自然可於申請專利範圍中所記載之技術思想的範疇內,想到各種變更例或修正例,而這些當然也都屬於本揭露的技術範圍。
又,本說明書中所記載之效果僅為說明或例示,並非限定。亦即,本揭露所述之技術,係亦可連同上記效果、或取代上記效果,而達成根據本說明書之記載而由當業者所自明的其他效果。
此外,如以下的構成也是屬於本揭露的技術範圍。
(1)
一種送訊裝置,係
具備:送訊部,係將以物件音訊資料單位而被設定有優先度的串流資料,予以發送。
(2)
如前記(1)所記載之送訊裝置,其中,
前記串流資料係為,被MPEG-DASH(Dynamic Adaptive Streaming over Http)所規定的資料。
(3)
如前記(1)或(2)所記載之送訊裝置,其中,
還具備:處理部,係基於前記優先度而將1或2個以上之前記物件音訊資料含入至音訊檔案中,以生成前記串流資料。
(4)
如前記(3)所記載之送訊裝置,其中,
前記處理部,係基於前記優先度而以前記音訊檔案單位來設定別的優先度。
(5)
如前記(3)或(4)所記載之送訊裝置,其中,
前記處理部,係在關於前記串流資料的MPD檔案、或是含有前記物件音訊資料所對應之物件後設資料的後設資料檔案之任一者中,含入前記優先度的相關之資訊。
(6)
如前記(5)所記載之送訊裝置,其中,
在前記優先度是不會隨著時間經過而變化的情況下,前記處理部係在前記MPD檔案中含入前記優先度的相關之資訊。
(7)
如前記(6)所記載之送訊裝置,其中,
前記處理部,係在前記MPD檔案的適應集合(AdaptationSet)中,含入前記優先度的相關之資訊。
(8)
如前記(5)所記載之送訊裝置,其中,
在前記優先度是會隨著時間經過而變化的情況下,前記處理部係在前記後設資料檔案中含入前記優先度的相關之資訊。
(9)
如前記(8)所記載之送訊裝置,其中,
前記處理部,係使用前記MPD檔案而將前記後設資料檔案與前記音訊檔案建立關連。
(10)
如前記(5)至(9)之任1項所記載之送訊裝置,其中,
前記處理部,係將前記物件音訊資料之位元速率的相關之資訊,含入至前記MPD檔案中。
(11)
如前記(10)所記載之送訊裝置,其中,
前記處理部,係將前記位元速率的相關之資訊,按照每一前記物件音訊資料而含入至前記MPD檔案中。
(12)
如前記(10)所記載之送訊裝置,其中,
前記處理部,係將前記位元速率的相關之資訊,按照每一前記優先度而含入至前記MPD檔案中。
(13)
如前記(11)或(12)所記載之送訊裝置,其中,
前記處理部係將用來表示,是否將前記位元速率的相關之資訊,按照每一前記物件音訊資料而含入至前記MPD檔案中,還是按照每一前記優先度而含入至前記MPD檔案中的flag,含入至前記MPD檔案中。
(14)
如前記(5)至(13)之任1項所記載之送訊裝置,其中,
前記處理部,係將前記物件音訊資料的描述資訊,含入至前記MPD檔案中。
(15)
一種藉由電腦而被執行的送訊方法,係
具有:將以物件音訊資料單位而被設定有優先度的串流資料予以發送之步驟。
(16)
一種程式,其係用來使電腦實現:
將以物件音訊資料單位而被設定有優先度的串流資料予以發送之步驟。
(17)
一種收訊裝置,係
具備:收訊部,係將以物件音訊資料單位而被設定有優先度的串流資料,予以接收。
(18)
如前記(17)所記載之收訊裝置,其中,
前記串流資料係為,被MPEG-DASH(Dynamic Adaptive Streaming over Http)所規定的資料。
(19)
如前記(17)或(18)所記載之收訊裝置,其中,
還具備:處理部,係基於關於前記串流資料的MPD檔案、或是含有前記物件音訊資料所對應之物件後設資料的後設資料檔案之任一者中所含之前記優先度的相關之資訊,來進行前記串流資料之收訊處理。
(20)
如前記(19)所記載之收訊裝置,其中,
在前記優先度是不會隨著時間經過而變化的情況下,前記處理部係基於前記MPD檔案中所含之前記優先度的相關之資訊,來進行前記串流資料之收訊處理。
(21)
如前記(19)所記載之收訊裝置,其中,
在前記優先度是會隨著時間經過而變化的情況下,前記處理部係基於前記後設資料檔案中所含之前記優先度的相關之資訊,來進行前記串流資料之收訊處理。
(22)
如前記(19)至(21)之任1項所記載之收訊裝置,其中,
前記處理部,係基於前記MPD檔案中所含之前記物件音訊資料之位元速率的相關之資訊,來進行前記串流資料之選擇及前記收訊處理。
(23)
如前記(19)至(22)之任1項所記載之收訊裝置,其中,
前記處理部,係基於前記MPD檔案中所含之前記物件音訊資料的描述資訊,來進行前記串流資料之選擇及前記收訊處理。
(24)
一種藉由電腦而被執行的收訊方法,係
具有:將以物件音訊資料單位而被設定有優先度的串流資料予以接收之步驟。
(25)
一種程式,其係用來使電腦實現:
將以物件音訊資料單位而被設定有優先度的串流資料予以接收之步驟。
此外,如以下的構成也是屬於本揭露的技術範圍。
(1)
一種資訊處理裝置,係
具備:處理部,係將含有物件音訊資料與物件後設資料的音訊檔案、及不含前記物件音訊資料而含有前記物件後設資料的後設資料檔案,加以生成。
(2)
如前記(1)所記載之資訊處理裝置,其中,
前記後設資料檔案係含有:複數前記音訊檔案之每一者中所含之物件後設資料。
(3)
如前記(1)或(2)所記載之資訊處理裝置,其中,
前記後設資料檔案係含有:以前記物件音訊資料單位而被設定之優先度的相關之資訊。
(4)
如前記(1)至(3)之任1項所記載之資訊處理裝置,其中,
前記後設資料檔案及前記音訊檔案係為,被MP4(ISO/IEC Part 12 ISO Base Media File Format)所規定的檔案。
(5)
如前記(4)所記載之資訊處理裝置,其中,
前記處理部,係在生成前記後設資料檔案之際,將用來特定前記後設資料檔案所對應之前記音訊檔案所需的資訊,含入至前記MP4中的Movie Box中。
(6)
如前記(5)所記載之資訊處理裝置,其中,
前記處理部,係將用來特定前記後設資料檔案所對應之前記音訊檔案所需的資訊,含入至前記Movie Box中的Sample Description Box中。
(7)
如前記(6)所記載之資訊處理裝置,其中,
前記處理部,係將用來特定前記後設資料檔案所對應之前記音訊檔案所需的資訊,含入至前記Sample
Description Box中的Sample Entry中。
(8)
如前記(5)至(7)之任1項所記載之資訊處理裝置,其中,
用來特定前記音訊檔案所需之資訊,係含有streamID;
前記後設資料檔案中所含之前記物件後設資料,係藉由前記streamID而與前記音訊檔案建立對應。
(9)
如前記(1)至(8)之任1項所記載之資訊處理裝置,其中,
前記物件後設資料及前記物件音訊資料係為,被MPEG-H 3D Audio或AAC 3D Audio所規定的資料。
(10)
如前記(9)所記載之資訊處理裝置,其中,
前記物件後設資料及前記物件音訊資料係為被前記AAC 3D Audio所規定的資料的情況下,
前記處理部,係在生成前記音訊檔案之際,將表示含有前記音訊檔案的複數音訊檔案間的對應關係的資訊,含入至MP4中的Movie Box中。
(11)
一種藉由電腦而被執行的資訊處理方法,係
具有:將含有物件音訊資料與物件後設資料的音訊檔案、及不含前記物件音訊資料而含有前記物件後設資料的後設資料檔案,加以生成之步驟。
(12)
一種程式,其係用來使電腦實現:
將含有物件音訊資料與物件後設資料的音訊檔案、及不含前記物件音訊資料而含有前記物件後設資料的後設資料檔案,加以生成之步驟。
(13)
一種資訊處理裝置,係
具備:處理部,係對含有物件音訊資料與物件後設資料的音訊檔案、及不含前記物件音訊資料而含有前記物件後設資料的後設資料檔案,進行收訊處理。
(14)
如前記(13)所記載之資訊處理裝置,其中,
前記後設資料檔案係含有:複數前記音訊檔案之每一者中所含之物件後設資料。
(15)
如前記(13)或(14)所記載之資訊處理裝置,其中,
前記後設資料檔案係含有:以前記物件音訊資料單位而被設定之優先度的相關之資訊。
(16)
如前記(13)至(15)之任1項所記載之資訊處理裝置,其中,
前記後設資料檔案及前記音訊檔案係為,被MP4(ISO/IEC Part 12 ISO Base Media File Format)所規定的檔案。
(17)
如前記(16)所記載之資訊處理裝置,其中,
前記處理部,係在對前記後設資料檔案的收訊處理之際,使用前記MP4中的Movie Box中所含之資訊,而特定出前記後設資料檔案所對應之前記音訊檔案。
(18)
如前記(17)所記載之資訊處理裝置,其中,
前記處理部,係使用前記Movie Box中的Sample Description Box中所含之資訊,而特定出前記後設資料檔案所對應之前記音訊檔案。
(19)
如前記(18)所記載之資訊處理裝置,其中,
前記處理部,係使用前記Sample Description Box中的Sample Entry中所含之資訊,而特定出前記後設資料檔案所對應之前記音訊檔案。
(20)
如前記(17)至(19)之任1項所記載之資訊處理裝置,其中,
前記後設資料檔案中所含之前記物件後設資料,係藉由streamID而與前記音訊檔案建立對應。
(21)
如前記(13)至(20)之任1項所記載之資訊處理裝置,其中,
前記物件後設資料及前記物件音訊資料係為,被MPEG-H 3D Audio或AAC 3D Audio所規定的資料。
(22)
如前記(21)所記載之資訊處理裝置,其中,
前記物件後設資料及前記物件音訊資料係為被前記AAC 3D Audio所規定的資料的情況下,
前記處理部,係在對前記音訊檔案的收訊處理之際,使用MP4中的Movie Box中所含之資訊,而辨識出含有前記音訊檔案的複數音訊檔案間的對應關係。
(23)
一種藉由電腦而被執行的資訊處理方法,係
具有:對含有物件音訊資料與物件後設資料的音訊檔案、及不含前記物件音訊資料而含有前記物件後設資料的後設資料檔案,進行收訊處理之步驟。
(24)
一種程式,其係用來使電腦實現:
對含有物件音訊資料與物件後設資料的音訊檔案、及不含前記物件音訊資料而含有前記物件後設資料的後設資料檔案,進行收訊處理之步驟。
此外,如以下的構成也是屬於本揭露的技術範圍。
(1)
一種資訊處理裝置,係
具備:處理部,其係
按照已被取得之每一物件音訊資料而設定優先度;
基於前記優先度,從1或2個以上之前記物件音訊資料,決定要含入至所被生成之區段檔案中的前記物件音訊資料;
基於前記優先度,而生成對已被生成之前記區段檔案所要設定的新的優先度來作為優先度資訊。
(2)
如前記(1)所記載之資訊處理裝置,其中,
前記處理部係還生成後設資料檔案,其係具有對應於前記物件音訊資料的已被編碼之物件後設資料;
前記物件後設資料中係含有前記優先度資訊。
(3)
如前記(1)所記載之資訊處理裝置,其中,
在前記優先度資訊是不會隨著時間經過而變化的情況下,前記處理部係還生成關於前記區段檔案的MPD檔案,並在前記MPD檔案中含入前記優先度資訊。
(4)
如前記(3)所記載之資訊處理裝置,其中,
前記處理部,係在前記MPD檔案的適應集合(AdaptationSet)中,含入前記優先度資訊。
(5)
如前記(2)所記載之資訊處理裝置,其中,
在前記優先度資訊是會隨著時間經過而變化的情況下,前記處理部係還生成關於前記區段檔案及前記區段檔案的MPD檔案。
(6)
如前記(4)或(5)所記載之資訊處理裝置,其中,
前記處理部,係將前記物件音訊資料之位元速率的相關之資訊,按照每一前記物件音訊資料而含入前記MPD檔案中。
(7)
如前記(2)所記載之資訊處理裝置,其中,
前記處理部,係將前記區段檔案之特定時所被使用之資訊,儲存在前記後設資料檔案的Movie Box的Sample Description Box。
(8)
如前記(7)所記載之資訊處理裝置,其中,
前記處理部,係將前記區段檔案之特定時所被使用之資訊,儲存在前記Sample Description Box中的Sample Entry。
(9)
如前記(8)所記載之資訊處理裝置,其中,
前記區段檔案之特定時所被使用之資訊中係含有:用來唯一識別前記區段檔案所需之streamID。
(10)
一種藉由電腦而被執行的資訊處理方法,係
具有:將按照已被取得之每一物件音訊資料而被設定有優先度的串流資料進行資訊處理的步驟。
(11)
一種程式,其係用來使電腦實現:
將按照已被取得之每一物件音訊資料而被設定有優先度的串流資料進行資訊處理的步驟。
100‧‧‧伺服器
110‧‧‧處理部
111‧‧‧資料取得部
112‧‧‧編碼處理部
113‧‧‧區段檔案生成部
114‧‧‧MPD檔案生成部
120‧‧‧控制部
130‧‧‧通訊部
140‧‧‧記憶部
200‧‧‧客戶端
210‧‧‧處理部
211‧‧‧MPD檔案取得部
212‧‧‧MPD檔案處理部
213‧‧‧區段檔案選擇部
214‧‧‧區段檔案取得部
215‧‧‧解碼處理部
216‧‧‧合成處理部
220‧‧‧控制部
230‧‧‧通訊部
240‧‧‧記憶部
300‧‧‧網際網路
900‧‧‧資訊處理裝置
901‧‧‧CPU
902‧‧‧ROM
903‧‧‧RAM
904‧‧‧主匯流排
905‧‧‧橋接器
906‧‧‧外部匯流排
907‧‧‧介面
908‧‧‧輸入裝置
909‧‧‧輸出裝置
910‧‧‧儲存裝置
911‧‧‧驅動機
912‧‧‧通訊裝置
913‧‧‧可移除式記憶媒體
914‧‧‧通訊網
[圖1] 本揭露之背景的說明圖。
[圖2] 本揭露之背景的說明圖。
[圖3] 本揭露之背景的說明圖。
[圖4] 本揭露之背景的說明圖。
[圖5] 本揭露之背景的說明圖。
[圖6] 本實施形態所述之資訊處理系統之系統構成例的圖示。
[圖7] 本實施形態所述之伺服器100之機能構成例的區塊圖。
[圖8] 本實施形態所述之客戶端200之機能構成例的區塊圖。
[圖9] 基於優先度的音訊檔案之生成例的說明圖。
[圖10] 基於優先度的音訊檔案之生成例的說明圖。
[圖11] 基於優先度的音訊檔案之生成例的說明圖。
[圖12] 基於優先度的音訊檔案之生成例的說明圖。
[圖13] 優先度不會隨著時間經過而變化時,優先度資訊之訊令例的說明圖。
[圖14] 優先度會隨著時間經過而變化時的檔案構成的說明圖。
[圖15] MPEG-H 3D Audio中的音訊檔案的ISOBMFF的說明圖。
[圖16] ISOBMFF的Box結構的說明圖。
[圖17] MPEG-H 3D Audio中的後設資料檔案的ISOBMFF (實施例1,RAW方式)的說明圖。
[圖18] MPEG-H 3D Audio中的後設資料檔案的ISOBMFF (實施例1,MHAS方式)的說明圖。
[圖19] MPEG-H 3D Audio中的後設資料檔案的ISOBMFF (實施例2,RAW方式)的說明圖。
[圖20] MPEG-H 3D Audio中的後設資料檔案的ISOBMFF (實施例2,MHAS方式)的說明圖。
[圖21] AAC 3D Audio中的音訊檔案的ISOBMFF的說明圖。
[圖22] AAC 3D Audio中的後設資料檔案的ISOBMFF (實施例3)的說明圖。
[圖23] AAC 3D Audio中的後設資料檔案的ISOBMFF (實施例4)的說明圖。
[圖24] 音訊檔案與後設資料檔案之對應關連例的說明圖。
[圖25] 音訊檔案與後設資料檔案之對應關連例(實施例1)的說明圖。
[圖26] 音訊檔案與後設資料檔案之對應關連例(實施例2)的說明圖。
[圖27] 音訊檔案與後設資料檔案之對應關連例(實施例3)的說明圖。
[圖28] 音訊檔案與後設資料檔案之對應關連例(實施例4)的說明圖。
[圖29] 音訊檔案與後設資料檔案之對應關連例(實施例5)的說明圖。
[圖30] 位元速率不會隨著時間經過而變化時的訊令例(實施例1)的說明圖。
[圖31] 位元速率不會隨著時間經過而變化時的訊令例(實施例2)的說明圖。
[圖32] 位元速率不會隨著時間經過而變化時的訊令例(實施例3)的說明圖。
[圖33] 位元速率不會隨著時間經過而變化時的訊令例(實施例4)的說明圖。
[圖34] 位元速率會隨著時間經過而變化時的訊令例的說明圖。
[圖35] 位元速率會隨著時間經過而變化時的訊令例(實施例5)的說明圖。
[圖36] 位元速率會隨著時間經過而變化時的訊令例(實施例6)的說明圖。
[圖37] 位元速率會隨著時間經過而變化時的訊令例(實施例7)的說明圖。
[圖38] 位元速率會隨著時間經過而變化時的訊令例(實施例8)的說明圖。
[圖39] 描述資訊之訊令例的說明圖。
[圖40] 優先度不會隨著時間經過而變化的情況下,客戶端200取得音訊內容之再生時所要使用的音訊檔案以前的處理例的流程圖。
[圖41] 優先度不會隨著時間經過而變化的情況下,客戶端200取得音訊內容之再生時所要使用的音訊檔案以前的處理例的說明圖。
[圖42] 優先度會隨著時間經過而變化的情況下,客戶端200取得音訊內容之再生時所要使用的音訊檔案以前的處理例的流程圖。
[圖43] 優先度會隨著時間經過而變化的情況下,客戶端200取得音訊內容之再生時所要使用的音訊檔案以前的處理例的說明圖。
[圖44] 將伺服器100或客戶端200予以實現的資訊處理裝置900之硬體構成例的區塊圖。
[圖45] 3da_meta_data()之結構的圖示。
[圖46] DSE中所被儲存之3da_meta_data()之結構的圖示。
[圖47] DSE之結構的圖示。
[圖48] DSE中的data_stream_byte中所被儲存之
3da_ancillary_data之結構的圖示。

Claims (11)

  1. 一種資訊處理裝置,係 具備:處理部,其係 按照已被取得之每一物件音訊資料而設定優先度; 基於前記優先度,從1或2個以上之前記物件音訊資料,決定要含入至所被生成之區段檔案中的前記物件音訊資料; 基於前記優先度,而生成對已被生成之前記區段檔案所要設定的新的優先度來作為優先度資訊。
  2. 如請求項1所記載之資訊處理裝置,其中, 前記處理部係還生成後設資料檔案,其係具有對應於前記物件音訊資料的已被編碼之物件後設資料; 前記物件後設資料中係含有前記優先度資訊。
  3. 如請求項1所記載之資訊處理裝置,其中, 在前記優先度資訊是不會隨著時間經過而變化的情況下,前記處理部係還生成關於前記區段檔案的MPD檔案,並在前記MPD檔案中含入前記優先度資訊。
  4. 如請求項3所記載之資訊處理裝置,其中, 前記處理部,係在前記MPD檔案的適應集合(AdaptationSet)中,含入前記優先度資訊。
  5. 如請求項2所記載之資訊處理裝置,其中, 在前記優先度資訊是會隨著時間經過而變化的情況下,前記處理部係還生成關於前記區段檔案及前記區段檔案的MPD檔案。
  6. 如請求項4或5所記載之資訊處理裝置,其中, 前記處理部,係將前記物件音訊資料之位元速率的相關之資訊,按照每一前記物件音訊資料而含入前記MPD檔案中。
  7. 如請求項2所記載之資訊處理裝置,其中, 前記處理部,係將前記區段檔案之特定時所被使用之資訊,儲存在前記後設資料檔案的Movie Box的Sample Description Box。
  8. 如請求項7所記載之資訊處理裝置,其中, 前記處理部,係將前記區段檔案之特定時所被使用之資訊,儲存在前記Sample Description Box中的Sample Entry。
  9. 如請求項8所記載之資訊處理裝置,其中, 前記區段檔案之特定時所被使用之資訊中係含有:用來唯一識別前記區段檔案所需之streamID。
  10. 一種藉由電腦而被執行的資訊處理方法,係具有: 將按照已被取得之每一物件音訊資料而被設定有優先度的串流資料進行資訊處理的步驟。
  11. 一種程式,其係用來使電腦實現: 將按照已被取得之每一物件音訊資料而被設定有優先度的串流資料進行資訊處理的步驟。
TW107145623A 2017-12-28 2018-12-18 資訊處理裝置、資訊處理方法及程式 TW201939960A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-253805 2017-12-28
JP2017253805 2017-12-28

Publications (1)

Publication Number Publication Date
TW201939960A true TW201939960A (zh) 2019-10-01

Family

ID=67063395

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107145623A TW201939960A (zh) 2017-12-28 2018-12-18 資訊處理裝置、資訊處理方法及程式

Country Status (9)

Country Link
US (1) US20200321015A1 (zh)
EP (1) EP3734594A4 (zh)
JP (2) JP7226335B2 (zh)
KR (1) KR20200101349A (zh)
CN (1) CN111512634A (zh)
BR (1) BR112020012494A2 (zh)
RU (1) RU2020120328A (zh)
TW (1) TW201939960A (zh)
WO (1) WO2019130763A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
CN111510756A (zh) * 2019-01-30 2020-08-07 上海哔哩哔哩科技有限公司 音视频的切换方法、装置、计算机设备及可读存储介质
US11838578B2 (en) * 2019-11-20 2023-12-05 Dolby International Ab Methods and devices for personalizing audio content

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526427B2 (en) * 2001-03-06 2009-04-28 Ati Technologies, Inc. System and method for reception, processing and transmission of digital audio stream
DE10339498B4 (de) * 2003-07-21 2006-04-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiodateiformatumwandlung
US8204359B2 (en) * 2007-03-20 2012-06-19 At&T Intellectual Property I, L.P. Systems and methods of providing modified media content
JP5635097B2 (ja) * 2009-08-14 2014-12-03 ディーティーエス・エルエルシーDts Llc オーディオオブジェクトを適応的にストリーミングするためのシステム
EP2525587B1 (en) * 2011-05-17 2017-07-05 Alcatel Lucent Method for streaming video content, node in a network for monitoring video content streaming
US9445136B2 (en) * 2011-09-21 2016-09-13 Qualcomm Incorporated Signaling characteristics of segments for network streaming of media data
US20130254611A1 (en) * 2012-03-23 2013-09-26 Qualcomm Incorporated Recovering data in multimedia file segments
JP5979483B2 (ja) 2012-06-25 2016-08-24 パナソニックIpマネジメント株式会社 コンテンツ再生装置、コンテンツ再生システム、及びコンテンツ再生方法
EP2869579B1 (en) * 2012-07-02 2017-04-26 Sony Corporation Transmission apparatus, transmission method, and network apparatus for multi-view video streaming using a meta file including cache priority or expiry time information of said video streams
WO2015107782A1 (ja) * 2014-01-14 2015-07-23 ソニー株式会社 情報処理装置、情報記録媒体、情報処理システム、および情報処理方法、並びにプログラム
US9564136B2 (en) 2014-03-06 2017-02-07 Dts, Inc. Post-encoding bitrate reduction of multiple object audio
BR112016027506B1 (pt) * 2014-05-30 2023-04-11 Sony Corporation Aparelho e método de processamento de informação
EP3151242B1 (en) * 2014-05-30 2020-01-15 Sony Corporation Information processor and information processing method
JP6432180B2 (ja) * 2014-06-26 2018-12-05 ソニー株式会社 復号装置および方法、並びにプログラム
CN105814822A (zh) * 2014-11-12 2016-07-27 Lg电子株式会社 发送广播信号的设备、接收广播信号的设备、发送广播信号的方法和接收广播信号的方法
US10269387B2 (en) * 2015-09-30 2019-04-23 Apple Inc. Audio authoring and compositing

Also Published As

Publication number Publication date
RU2020120328A (ru) 2021-12-20
JPWO2019130763A1 (ja) 2020-12-17
BR112020012494A2 (pt) 2020-11-24
US20200321015A1 (en) 2020-10-08
KR20200101349A (ko) 2020-08-27
JP2023053131A (ja) 2023-04-12
JP7226335B2 (ja) 2023-02-21
RU2020120328A3 (zh) 2021-12-20
EP3734594A4 (en) 2020-11-11
EP3734594A1 (en) 2020-11-04
CN111512634A (zh) 2020-08-07
WO2019130763A1 (ja) 2019-07-04

Similar Documents

Publication Publication Date Title
US8819754B2 (en) Media streaming with enhanced seek operation
US9936183B2 (en) Playback device
JP5267165B2 (ja) ストリーミング配信システム、その動作制御方法及びプログラム
CN104253999B (zh) 用于发送内容的设备和方法
CA2623835C (en) Content delivery system and method, and server apparatus and receiving apparatus used in this content delivery system
JP5652642B2 (ja) データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
WO2013008867A1 (ja) 送信装置、送信装置の制御方法、制御プログラム、及び記録媒体
KR101445074B1 (ko) 미디어 플레이어에서 미디어 객체 처리 방법 및 그 장치
JP2023053131A (ja) 情報処理装置および情報処理方法
US20050055710A1 (en) Motion picture storage apparatus and motion picture distributing system
US20090317064A1 (en) Playback apparatus, method, and program
JP2009027598A (ja) 映像配信サーバおよび映像配信方法
JPWO2012093714A1 (ja) 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、記録媒体、データ構造、制御プログラム、及び該プログラムを記録した記録媒体
WO2021065605A1 (ja) 情報処理装置および情報処理方法
JP6535273B2 (ja) 受信装置、セグメント取得方法、及びプログラム
US20180109585A1 (en) Information processing apparatus and information processing method
WO2019187434A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220239994A1 (en) Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
JP2019121037A (ja) 情報処理装置、情報処理方法およびプログラム
KR20190061734A (ko) 동영상 콘텐츠 제공 장치 및 방법
JP3886892B2 (ja) 動画像蓄積装置
JP2024040912A (ja) 情報処理装置、受信装置、情報処理方法、及びプログラム