TW201519641A - 資料處理裝置、資料處理方法、程式、記錄媒體及資料處理系統 - Google Patents

資料處理裝置、資料處理方法、程式、記錄媒體及資料處理系統 Download PDF

Info

Publication number
TW201519641A
TW201519641A TW103127113A TW103127113A TW201519641A TW 201519641 A TW201519641 A TW 201519641A TW 103127113 A TW103127113 A TW 103127113A TW 103127113 A TW103127113 A TW 103127113A TW 201519641 A TW201519641 A TW 201519641A
Authority
TW
Taiwan
Prior art keywords
stream
video stream
header
combined
multiplexed
Prior art date
Application number
TW103127113A
Other languages
English (en)
Inventor
Hiroyuki Kasai
Original Assignee
Univ Electro Communications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Electro Communications filed Critical Univ Electro Communications
Publication of TW201519641A publication Critical patent/TW201519641A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

具備：資料大小算出部，係算出想定將第1視訊串流內之第1畫格、和第2視訊串流內之第2畫格予以結合時所生成之結合畫格的資料大小；和標頭生成部，係使用結合畫格的資料大小之資訊，生成含有結合視訊串流的多工化串流之標頭；和結合視訊串流生成部，係生成結合視訊串流；和多工化串流輸出部，係進行多工化串流之標頭的輸出處理、或將含有結合視訊串流之多工化串流予以輸出之處理。

Description

資料處理裝置、資料處理方法、程式、記錄媒體及資料處理系統
本發明係有關於資料處理裝置、資料處理方法、程式、記錄媒體及資料處理系統。
近年來，隨著以MPEG(Moving Picture Experts Group)-4為首的動態影像編碼技術之革新、或通訊技術之發展，漸漸可以將高精細映像傳輸至攜帶型終端等之客戶端終端。例如，將複數映像編碼位元串流(以下稱為「視訊串流」)予以結合成為單一串流(以下稱為「結合串流」)，將其和音訊串流或同步再生資訊等之控制資訊、傳輸用標頭資訊等進行多工化之後，從伺服器發送至客戶端終端。
在伺服器側上將複數視訊串流予以結合而生成結合串流，將該結合串流當作多工化串流而發送，藉此，在收訊裝置側上，在複數視訊串流之收訊時，就不需要和伺服器側取得同步。又，欲在顯示畫面的分割領域之各個位置上，使複數影像被同時顯示時，也不需要同時進 行解碼處理和顯示處理，或者在複數影像間取得顯示之同步等等。因此，不只是處理能力高的電腦，在攜帶型終端或內嵌式機器等各式各樣之種類的收訊裝置上，可使視訊串流的解碼及顯示變得容易進行。
例如專利文獻1中係記載，將複數視訊串流結合所得到的單一串流，從伺服器發送至客戶端終端。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2011-24018號公報
可是，視訊串流，一般係如上述般地以多工化串流的方式而被傳輸。作為多工化串流的檔案格式，在播送．通訊用是使用MPEG-2 TS(Transport Stream)，但在積存用則是廣泛使用MPEG-2 PS(Program Stream)或MP4檔案格式。近年來盛行的經由網際網路的動畫配送服務中，一般是使用MP4檔案格式。
MP4檔案格式，原本是為了將視訊串流或音訊串流儲存成檔案而被規定的檔案格式，通常在檔案的開頭會被配置有標頭。在標頭內係含有，構成視訊串流的各圖像在檔案內的位置資訊、或各圖像的資料大小(編碼量)之資訊等。
因此，如果像是專利文獻1所記載之技術那樣，把複數視訊串流結合而生成單一串流和其標頭，則在多工化處理進行之前，必需要先一度將複數視訊串流予以結合，以生成結合視訊串流。這是因為，若不實際嘗試生成結合視訊串流，就無法得知構成視訊串流之各圖像在檔案內的位置之資訊或各圖像的編碼量等、必需要包含在標頭中的資訊。
在結合視訊串流的生成處理中，首先係進行，從複數視訊串流，抽出要成為結合對象之圖像的圖像資料部分之處理。可是，視訊串流之中的哪個位置上有圖像資料存在，係若不嘗試從視訊串流之開頭到尾端都進行解析的話，就無法得知。因此，首先要進行視訊串流的解析，其後進行圖像資料的抽出處理。其後，將所抽出的複數圖像資料部分予以結合而生成一張結合圖像，此種處理必需要進行達到所必要之結合圖像的張數的次數。由於要經過如此處理，因此結合視訊串流的生成處理需非常長的時間。
在先前手法中，如果此種需要很長處理時間的結合視訊串流之生成處理沒有結束，就無法生成多工化串流的標頭。亦即，因為被要求多工化串流之生成，所以等到多工化串流的標頭之生成開始為止的時間，是非常地長。當視訊串流本身的資料量、或結合視訊串流的資料量較多時，則該延遲就會更加顯著。
本發明係有鑑於所述問題點而研發，目的在 於，使得多工化串流的標頭之生成能夠早期開始。
本發明的資料處理裝置，係具備：資料大小算出部、標頭生成部、結合視訊串流生成部、多工化串流輸出部所構成，各部的構成及機能係如下。亦即，資料大小算出部，係想定將第1映像訊號是以所定編碼方式而被編碼所成之第1視訊串流內的結合對象之畫格亦即第1畫格、和異於第1視訊串流之第2視訊串流內的結合對象之畫格亦即第2畫格，予以結合。然後，算出此情況下最終被生成的結合畫格的資料大小。標頭生成部，係使用結合畫格的資料大小之資訊，生成含有結合畫格所成之結合視訊串流的串流亦即多工化串流的標頭。結合視訊串流生成部，係生成結合視訊串流。多工化串流輸出部，係進行多工化串流之標頭的輸出處理、或將含有結合視訊串流之多工化串流予以輸出之處理。
又，本發明的資料處理方法，係首先，想定將第1映像訊號是以結合對象編碼方式而被編碼所成之第1視訊串流內的結合對象之畫格亦即第1畫格、和異於第1視訊串流之第2視訊串流內的所定之畫格亦即第2畫格，加以結合。然後，算出此情況下被生成的結合畫格的資料大小。接著，使用結合畫格的資料大小之資訊，生成含有結合畫格所成之結合視訊串流的串流亦即多工化串流的標頭。接著，生成結合視訊串流。接著，進行多工化串 流之標頭的輸出處理、或將含有結合視訊串流之多工化串流予以輸出之處理。
又，本發明的程式，係為令電腦實現以下之處理程序(a)~(d)的程式。
(a)算出想定將第1映像訊號是以所定編碼方式而被編碼所成之第1視訊串流內的結合對象之畫格亦即第1畫格、和異於第1視訊串流之第2視訊串流內的結合對象之畫格亦即第2畫格予以結合時所被生成之結合畫格的資料大小之程序。
(b)使用結合畫格的資料大小之資訊，生成含有結合畫格所成之結合視訊串流的串流亦即多工化串流的標頭之程序。
(c)生成結合視訊串流之程序。
(d)進行多工化串流之標頭的輸出處理、或將含有結合視訊串流之多工化串流予以輸出之處理之程序。
又，本發明的記錄媒體中，係記錄用來令電腦實現(a)~(d)之處理程序所需的程式。
又，本發明的資料處理系統，係具備：資料大小算出裝置、標頭生成裝置、結合視訊串流生成裝置、多工化串流輸出裝置所構成，各裝置的構成及機能係如下。資料大小算出裝置，係想定將第1映像訊號是以所定編碼方式而被編碼所成之第1視訊串流內的結合對象之畫格亦即第1畫格、和異於第1視訊串流之第2視訊串流內的結合對象之畫格亦即第2畫格，予以結合。然後，算出 此情況下被生成的結合畫格的資料大小。標頭生成裝置，係使用結合畫格的資料大小之資訊，生成含有結合畫格所成之結合視訊串流的串流亦即多工化串流的標頭。結合視訊串流生成裝置，係生成結合視訊串流。多工化串流輸出裝置，係進行多工化串流之標頭的輸出處理、或將含有結合視訊串流之多工化串流予以輸出之處理。
若依據本發明，則不必實際結合複數視訊串流，就可算出它們結合時所會獲得之結合畫格的資料大小，使用算出所得之結合畫格的資料大小之資訊，生成多工化串流的標頭。因此，相較於實際生成結合畫格然後生成多工化串流之標頭的先前方式，可較早期開始多工化串流的標頭之生成。
1‧‧‧記憶部
2‧‧‧控制部
3‧‧‧視訊串流解析部
4‧‧‧多工化串流用標頭用資訊算出部
5‧‧‧多工化串流用標頭生成部
6‧‧‧結合視訊串流生成部
7‧‧‧多工化串流輸出部
8‧‧‧視訊串流詮釋資料DB
10‧‧‧攝影機
11‧‧‧映像訊號編碼部
12‧‧‧麥克風
13‧‧‧聲音訊號編碼部
21‧‧‧視訊串流記憶部
22‧‧‧結合控制部
23‧‧‧視訊串流解析部
24‧‧‧視訊串流詮釋資料DB
25‧‧‧結合視訊串流生成部
31‧‧‧多工化設定資訊記憶部
32‧‧‧視訊串流詮釋資料存取資訊DB
33‧‧‧多工化控制部
34‧‧‧多工化串流用標頭用資訊算出部
35‧‧‧多工化串流用標頭生成部
40‧‧‧多工化串流輸出部
50‧‧‧資料處理系統
100‧‧‧資料處理裝置
100α‧‧‧資料處理裝置
200‧‧‧結合伺服器
200A‧‧‧結合伺服器
200B‧‧‧結合伺服器
300‧‧‧多工化控制伺服器
[圖1]本發明的第1實施形態所述之資料處理裝置之構成例的區塊圖。
[圖2]本發明的第1實施形態所述之結合視訊串流之構成例的說明圖。
[圖3]本發明的第1實施形態所述之結合對象之視訊串流之構成例，及結合視訊串流之構成例的說明圖。
[圖4]本發明的第1實施形態所述之視訊串流之構成 例的說明圖。
[圖5]本發明的第1實施形態所述之多工化串流之構成例的說明圖。
[圖6]本發明的第1實施形態所述之多工化串流的資料結構之例子的說明圖。
[圖7]本發明的第1實施形態所述之多工化串流的標頭內之stsz箱盒之構成例的說明圖。
[圖8]本發明的第1實施形態所述之多工化串流的標頭內之stco箱盒之構成例的說明圖。
[圖9]本發明的第1實施形態所述之資料處理裝置的處理之一例的流程圖。
[圖10]圖10A係為本發明的第1實施形態所述之多工化串流之生成處理的流程圖，圖10B係為本發明的第1實施形態所述之多工化串流用標頭之生成處理之一例的流程圖。
[圖11]本發明的第2實施形態所述之資料處理裝置之構成例的區塊圖。
[圖12]本發明的第2實施形態所述之資料處理裝置的處理之一例的流程圖。
[圖13]本發明的第2實施形態所述之資料處理裝置的處理之一例的流程圖。
[圖14]本發明的第3實施形態所述之資料處理系統之構成例的區塊圖。
[圖15]本發明的第3實施形態所述之資料處理系統的 處理之一例的流程圖。
[圖16]本發明的第3實施形態所述之資料處理系統的處理之一例的流程圖。
本發明係在從複數視訊串流(視訊訊號)作成結合視訊串流，將結合視訊串流連同標頭資訊一起進行多工化的情況下，在早於處理量最多之視訊串流的結合處理之前，預先作成標頭。藉此，可以實現串流(傳輸)開始時刻的低延遲化。又，在本發明中，不需要將已結合之視訊串流予以暫時保管在記憶體等中。因此，本發明係不需要訊號處理延遲之最為瓶頸的記憶體或碟片等之寫入處理。
此處，早於視訊串流之結合處理而先作成「標頭」，就原理上而言，若沒有多工化對象之「複數視訊串流所成之結合視訊串流」，是不可能的。這是因為，在標頭之中係含有「複數視訊串流所成之結合視訊串流」之中所含之每一結合圖像的編碼量資訊(例如MP4形式時的stsz箱盒)、或該結合圖像是位於最終的「多工化串流內」之何處的資訊(例如MP4形式時的stco箱盒)，這些必需要「先(結合前)」就得知。
若在先前技術中，則原本就沒有「複數視訊串流所成之結合視訊串流」此一概念(沒有被要求)。這是因為，「單一視訊串流」已經存在於配送伺服器內的手邊(本機)，上記的構成標頭之資訊係已經在手邊的緣故。 又，若原本就是以傳輸已多工化之視訊串流為目的而準備檔案的話，則一般會在事前就作成儲存有已多工化之視訊串流的MP4形式等之檔案(YouTube(註冊商標)等)。因此，並不需要動態地作成這種形式的串流。
可是，本發明中作為對象之「複數視訊串流所成之結合視訊串流」，係動態地會有來自使用者(視聽者)等的視聽要求，然後，要作為結合對象的視訊串流才會被決定。因此，事前並不存在多工化對象之「複數視訊串流所成之結合視訊串流」，其結果為，上記的構成標頭之資訊(素材資訊)係不存在於手邊。
因此，如何將不存在的構成標頭之「素材資訊」，在獲得「複數視訊串流所成之結合視訊串流」之前就加以取得，是最大的課題。對於此課題，在本發明中，係可將該標頭的大小等，依存於「結合演算法(編碼方式)」，事前加以預估(預測)算出。
在結合演算法中，已被壓縮之代碼的修正或追加、修正巨集區塊碼的***等各式各樣的處理，是在「壓縮空間」內或「非壓縮空間」中進行。若結合演算法是明確時，則可「事前」預估「複數視訊串流所成之結合視訊串流」的各結合圖像之編碼量。此處，所謂「事前」，係還是在要進行結合之對象的複數視訊串流已經決定之後。
此外，關於該「結合演算法」，係已經被公開在本發明人們所撰寫的日本專利第5089658號、日本特開2013-93656號公報、日本特開2013-98596號公報。適 用這些「結合演算法」或其他演算法，就可預估標頭的大小等。在本發明中，關於結合演算法或其他演算法之種類，並沒有規定。
藉此，結合視訊串流的各結合圖像的編碼量係會被判明，因此標頭內的第一個資訊亦即編碼量資訊(例如stsz箱盒)，係可「事前」作成。
另一方面，表示結合圖像位於最終之「多工化串流內」之何處的資訊(例如stco箱盒)是要如何被作成，也是課題。作為該「表示位於何處之資訊」，必須要描述從最終之多工化串流的開頭起算的偏置位置。可是，MP4形式等之由「標頭部分+媒體部分」所構成的多工化串流中，若標頭部分的大小(長度)未被判明，則之前的偏置位置不會最終決定，會有如此問題。
此處，表示結合圖像位於最終之「多工化串流內」之何處的資訊的大小，係想定如MP4形式般地由「全結合圖像畫格數×固定長位元組」所構成的情形。本發明的重點在於，首先，關於結合圖像之開頭位置，決定將標頭除外的從媒體部分開頭起算之「相對位置」，作成暫時的結合圖像之開頭位置之資訊。然後，將含有其之其他所有資訊(標頭群)予以包含，作成暫時的標頭部分全體。在此時點上，標頭部分而不能發送至收訊側。
暫時的標頭部分的最末尾為止之作成都已完成的階段下，判明標頭部分全體之大小(長度)。然後，根據標頭部分全體之大小資訊，針對標頭內的「表示結合圖 像位於最終之「多工化串流內」之何處的資訊」的「修正處理」，會被開始。具體而言，進行將之前的「相對位置」資訊修正成「絕對位置」資訊的處理。
在此處理結束的階段下，標頭部分也最終地「作成完成」。然後，其後，可將標頭部分發送至收訊側。此外，在此階段中，最終的「複數視訊串流所成之結合視訊串流」係還沒被作成。因此，至此為止的處理可以非常簡易地進行，且不必進行在先前方式中所必須之結合視訊串流之生成，因此不需要將結合視訊串流保管在記憶體等中，不必進行對記憶體或碟片等的寫入處理。
在本發明中，標頭部分的送訊完成後，才會開始「複數視訊串流所成之結合視訊串流」的作成處理。然後，複數視訊串流的對應之每一圖像的結合處理完成之後，才會被多工化成為媒體部分，而每一結合圖像地被發送。
然後，在最後的結合圖像被發送之階段下，完成多工化串流之送訊。
以下，將本發明的各種實施形態所述之資料處理裝置及資料處理方法之例子，參照圖式來說明。
[第1實施形態] <資料處理裝置之構成例>
首先，參照圖1，說明第1實施形態所述之資料處理裝置100之構成例。資料處理裝置100係具備：記憶部 1、控制部2、視訊串流解析部3、多工化串流用標頭用資訊算出部4、作為標頭生成部的多工化串流用標頭生成部5、結合視訊串流生成部6、多工化串流輸出部7。
記憶部1，係由HDD(Hard Disk Drive)等所構成，在該記憶部1中係記憶有視訊串流Vs、音訊串流As、多工化設定資訊Cf。所謂視訊串流Vs，係攝影機10所拍攝到的映像訊號，被映像訊號編碼部11所編碼而成的映像之位元串流。編碼方式係可為MPEG-1、MPEG-2、MPEG-4、H.264/AVC等，無論哪種方式皆可。
所謂音訊串流As，係麥克風12所生成之聲音訊號，被聲音訊號編碼部13所編碼而成的聲音之位元串流。
所謂多工化設定資訊Cf，係將複數視訊串流Vs彼此結合而生成結合視訊串流時的設定檔案，亦即，是記載著結合視訊串流之設計資訊等的設定檔案。多工化設定資訊Cf，係可由使用者手動生成，若是藉由使用者來選擇所望之視訊串流Vs作為結合之對象等情況下，也可被自動生成。結合視訊串流的細節將參照圖2及圖3而後述。又，多工化設定資訊Cf的細節也將於後述。
控制部2，係由CPU(Central Processing Unit)等所成，控制構成資料處理裝置100的各區塊。具體而言，進行將被選定成為結合對象之視訊串流Vs從記憶部1讀出之處理、各區塊間的資料交換之處理，及對各區塊指示各種處理之執行的處理等。
視訊串流解析部3，係基於來自控制部2的指令，而將作為結合對象而被抽出的各視訊串流Vs，予以解析。其後，視訊串流解析部3係將解析結果，輸出至控制部2。關於視訊串流解析部3之處理的細節，參照圖4而於後述。
多工化串流用標頭用資訊算出部4，係基於視訊串流解析部3的解析所得之資訊，算出多工化串流的標頭生成時所必須之資訊。所謂多工化串流，係指複數視訊串流Vs被結合而成的結合視訊串流、和音訊串流As，所被多工化而成的串流。此種含有結合視訊串流的多工化串流，係為複數視訊串流Vs已被多工化之狀態。在本實施形態中，結合視訊串流和音訊串流As的多工化，係例如是以符合MP4格式規格的方式而被進行。關於多工化串流用標頭用資訊算出部4之處理的細節，參照圖5而於後述。此外，至少含有結合視訊串流之串流，係被包含在廣義的多工化串流中。亦即，多工化串流，係亦可為僅含有結合視訊串流的串流。
多工化串流用標頭生成部5，係使用多工化串流用標頭用資訊算出部4所算出的多工化串流的標頭生成時所必須之資訊，來生成多工化串流的標頭。此外，關於多工化串流用標頭生成部5之處理的細節，係參照圖6~圖8而於後述。
結合視訊串流生成部6，係基於控制部2之控制，進行將作為結合對象而被抽出之各視訊串流Vs實際 進行結合，生成結合視訊串流之處理。
多工化串流輸出部7，係基於控制部2之控制，將多工化串流用標頭生成部5所生成之標頭予以輸出。又，多工化串流輸出部7，係將結合視訊串流生成部6所生成之結合視訊串流和音訊串流As予以多工化，成為多工化串流而輸出。此外，在本實施形態中，雖然舉出將視訊串流Vs及音訊串流As予以多工化的例子，但本發明係不限定於此。如上述，亦可構成為，將只有結合了視訊串流Vs之結合視訊串流當作多工化串流而予以輸出。
[關於結合視訊串流]
接著，參照圖2及圖3，說明結合視訊串流。如圖2的(2-1)所示，結合視訊串流Ms係由N個結合圖像(結合畫格)Pcm所成。在(2-1)中，將N個結合圖像，以結合圖像Pcm1~結合圖像PcmN來表示。於以下的說明中，若沒有必要特別區分結合圖像Pcm1~結合圖像PcmN，則記作結合圖像Pcm。結合圖像Pcm之每一者，係藉由將圖2的(2-2)所示之複數視訊串流Vs內的彼此對應之圖像Pc彼此結合而被生成。例如，(2-1)所示之結合視訊串流Ms內的結合圖像Pcmn，係(2-2)所示之視訊串流Vs1~視訊串流VsM內的各圖像Pcn彼此結合而被生成。藉由結合圖像Pcmn而被顯示的畫面，係對應於結合對象之複數視訊串流而被分割成複數小畫面的畫面。複數視訊串流Vs內的所被結合之圖像Pc的對應建立，係根據各視訊串流Vs 之開頭位置等而被自動地、或藉由使用者等而被選擇性地決定。
如圖2的(2-3)所示，視訊串流Vs係為例如各自不同之內容(內容)的視訊串流(旅遊、體育、烹飪等)。在圖2的(2-1)中，旅遊的視訊串流係被顯示在9分割之畫面的第1層左端的小畫面，同樣地體育的視訊串流係被顯示在第1層中央的小畫面，烹飪的視訊串流係被顯示在第3層左端的小畫面。如此，在本實施形態中，將複數動畫結合成一個動畫(映像)，因應需要而被適宜配送。因此，由於複數動畫是以一個動畫(映像)的方式而被配送，因此在接收該映像的收訊側上，可使用一般的PC搭載的視訊播放器或TV機上盒、智慧型手機、Web瀏覽器等而同時再生各動畫。
圖3係作為結合對象而被抽出之複數視訊串流Vs，及結合視訊串流Ms之構成的細節的圖示。圖3的(3-1)、(3-2)中係圖示，作為結合對象而被抽出之視訊串流Vs1與視訊串流Vs2之構成例。此外，圖3的(3-1)、(3-2)中，係在構成視訊串流Vs1與視訊串流Vs2的圖像Pc之中，僅圖示出圖像Pc1~圖像Pc9。
圖3的(3-3)係圖示，視訊串流Vs1(第1視訊串流)的圖像Pc3(第1畫格)、和視訊串流Vs2(第2視訊串流)的圖像Pc3(第2畫格)做結合時的結合處理之樣子。圖3的(3-3)的左圖係表示視訊串流Vs1的圖像Pc3_Vs1，中央圖係表示視訊串流Vs2的圖像Pc3_Vs2。
在本實施形態中，圖像Pc彼此的結合，是以巨集區塊(MB_0、MB_1、…)所排列成的巨集區塊線Ln之1線單位來進行。於(3-3)中，左圖的圖像Pc3_Vs1的第1線之巨集區塊線Ln1之右端，係被中央圖的視訊串流Vs2之圖像Pc3_Vs2的第1線之巨集區塊線Ln1之左端所連接。同樣地，中央圖的圖像Pc3_Vs2的第1線之巨集區塊線Ln1之右端，係被右圖的視訊串流Vs3之圖像Pc3_Vs3的第1線之巨集區塊線Ln1之左端所連接。
此外，圖像Pc彼此的結合單位係不限定於此，亦可以複數巨集區塊單位、或複數巨集區塊線Ln之單位、圖像Pc全體等其他的單位來進行。
如此，藉由將複數視訊串流Vs之圖像Pc3彼此結合，如圖3的(3-4)所示，結合視訊串流Ms的結合圖像Pcm3(結合畫格)就被生成。圖3的(3-4)中係圖示，結合圖像Pcm3是由9張圖像(圖像Pc3_Vs1~圖像Pc3_Vs9)所構成的例子。
其他的結合圖像Pcm也同樣被生成，藉此，最終會生成如圖3的(3-5)所示之，由複數結合圖像Pcm(圖3的(3-5)所示的例子中係為結合圖像Pcm1~結合圖像Pcm9)所成之結合視訊串流Ms。
此外，作為結合對象而被抽出之視訊串流Vs，是藉由採用H.264/AVC等之畫面內預測編碼的規格而被編碼的情況下，則畫面內預測編碼中所被參照之區塊也必需要包含在內而進行結合。所謂畫面內預測編碼，係 從已編碼之相鄰區塊的像素值而生成預測影像，將與該預測影像之差分進行編碼的方式。又，為了抑制以採用畫面內預測編碼之規格而被編碼的視訊串流Vs彼此結合時所產生的畫質劣化，而有時候會採用特別設計過的編碼方式，但此種情況下，為了實現畫質劣化抑制所必須之附加的編碼資訊，也一併要做結合。
又，圖3中係圖示，圖像Pc是由複數切片(巨集區塊線Ln)所構成，構成切片的各巨集區塊(MB_0、MB_1、…)是從左往右，從上往下之順序而被連續配置的例子。藉由將具有如此結構的圖像Pc彼此結合而生成結合圖像Pcm，在結合圖像Pcm之生成後，編碼的單位就會是結合圖像Pcm單位。可是，亦可將具有如此結構以外之結構的圖像Pc，當作結合的對象。例如，以H.265中的具有磁磚結構之圖像Pc、或H.264中的稱為“Flexible Macroblock ordering”之模式而被編碼的圖像Pc做彼此結合時，係結合前的各圖像Pc所具有之結構，在結合後仍會直接繼承。亦即，具有此種結構的圖像Pc做彼此結合時，係以圖像Pc全體為單位來進行結合即可。
參照圖2及圖3所說明之結合視訊串流Vs之生成處理，係藉由結合視訊串流生成部6，在多工化串流用標頭生成部5所致之多工化串流的標頭生成處理之完成後被進行。
[多工化設定資訊之細節]
多工化設定資訊Cf中係描述有，最終被生成之多工化串流之生成時所必須之資訊、或多工化串流的標頭之生成時所必須之資訊。更詳言之，多工化設定資訊Cf，係由例如以下之項目所構成。
(1)作為結合對象之視訊串流Vs而被抽出的各視訊串流Vs的畫格速率資訊
(2)各視訊串流Vs的畫面內圖像速率(例如視訊串流Vs若是以H.264/AVC之規格而被編碼，則相當於「IDR(Instantaneous Decoding Refresh)畫格速率」)
(3)各視訊串流Vs的解像度(橫方向之像素數、縱方向之像素數)
(4)在結合視訊串流Ms內的，各視訊串流Vs的座標位置(橫方向之座標位置、縱方向之座標位置)
(5)構成結合視訊串流Ms的各視訊串流Vs之路徑(保存地點)
(6)結合視訊串流Ms的橫方向上的視訊串流Vs之圖像Pc之數目
(7)結合視訊串流Ms的縱方向上的視訊串流Vs之圖像Pc之數目
(8)結合視訊串流Ms的總畫格數
(9)最終所被生成之多工化串流的輸出目標(前往保存地點的路徑或網路位址)
多工化設定資訊Cf中所含之項目之中，(1)係為被寫入至多工化串流的標頭中的資訊。該資訊係也是為 了用來規定，構成多工化串流之媒體資料(實資料部分)的各組塊，是以什麼單位來加以生成，而被使用。所謂組塊，係將複數圖像(或音訊資料)總結而成，係為資料的邏輯單位。例如，假設1個組塊的長度係被設定成0.5秒，(1)中所被描述之畫格速率係為30fps。此情況下，構成1個組塊的圖像之數目係為15。亦即，變成將15張份的圖像總結起來，生成1個組塊即可。
多工化設定資訊Cf中所含之項目之中，(2)係為被寫入至多工化串流的標頭中的資訊。(2)中所記載之各視訊串流Vs的畫面內圖像速率之資訊，係在接收多工化串流的收訊裝置側上，在隨機存取執行時，會被參照。
此外，上述(1)及(2)，係亦可不是以多工化設定資訊Cf而被描述，而是藉由視訊串流解析部3去解析結合對象之視訊串流Vs，而在需要的時候加以取得。
多工化設定資訊Cf中所含之項目之中，(3)~(8)係結合視訊串流生成部6生成結合視訊串流Ms之際所參照的資訊。(3)~(5)係為規定，哪個視訊串流Vs的哪個部分要從何處抽出，配置在結合視訊串流Ms的哪個位置的資訊。(6)~(8)係為規定，結合視訊串流Ms的橫方向、縱方向、及時間方向之大小的資訊。
多工化設定資訊Cf的(3)也是，亦可沒有事前當作多工化設定資訊Cf而描述，而是藉由視訊串流解析部3去解析結合對象之視訊串流Vs，而在需要的時候加以取得。其中，若將(3)的資訊事先描述在多工化設定資 訊Cf中，則當含有異常之視訊串流Vs被輸入之際，就可參照(3)的資訊就可測知異常。
多工化設定資訊Cf中所含之項目之中，(9)係為表示最終被生成之多工化串流的輸出目的地的資訊。若要將多工化串流保存在記憶裝置或記憶媒體，則會記載前往保存地點的路徑。又，若多工化串流是透過網路而被發送至所定的收訊裝置，則會記載收訊裝置的網路位址。
此外，多工化設定資訊Cf中所描述的資訊係不限定於(1)~(8)，亦可追加其他資訊。例如，亦可記載用來指定作為結合對象而抽出之視訊串流Vs之圖像Pc之範圍的資訊。例如，亦可藉由記載結合視訊串流Ms之生成用而抽出之圖像群中的抽出開始畫格號碼、及抽出圖像數，已將視訊串流Vs的任意位置之圖像Pc彼此予以抽出，生成結合視訊串流Ms。
[視訊串流解析部之處理之細節]
視訊串流解析部3，係將作為結合對象而被抽出之各視訊串流Vs予以解析，取得構成視訊串流Vs的各圖像之圖像類型(I圖像、P圖像、B圖像等之圖像之種別)。又，視訊串流解析部3係算出構成視訊串流Vs之各圖像(畫格)的編碼量(資料大小)。亦即，換言之，視訊串流解析部3係成為資料大小算出部而發揮機能。
圖4中係圖示，視訊串流Vs之構成例。視訊串流Vs，係由複數圖像Pc(圖像Pc1~圖像PcN)所成，各 圖像Pc係由圖像標頭Hp(圖像標頭Hp1~圖像標頭HpN)及圖像資料Dp(圖像資料Dp1~圖像資料DpN)所構成。
視訊串流解析部3，係以各視訊串流Vs為對象，從檔案之開頭起一面每次移動1位元組而一面探索圖像標頭Hp。藉由進行圖像標頭Hp之探索，例如，在偵測到視訊串流Vs1之圖像Pc2之圖像標頭Hp2的時點上，判明視訊串流Vs1之圖像Pc1的編碼量b(參照圖1及圖2)。
視訊串流解析部3，係藉由進行該標頭探索之處理從視訊串流Vs之開頭至末端為止，以取得構成視訊串流Vs的所有圖像Pc的編碼量b。
[多工化串流用標頭用資訊算出部之處理之細節]
多工化串流用標頭用資訊算出部4，係使用視訊串流解析部3的解析結果所得之資訊，算出多工化串流的標頭生成時所必須之資訊。所謂多工化串流的標頭生成時所必須之資訊，係想定不同視訊串流Vs之圖像Pc彼此結合時所獲得之結合圖像Pcm的編碼量B、和最終所被生成之多工化串流的媒體資料部分中的各組塊之位置的資訊。
圖5係圖示多工化串流S的構成例。多工化串流S，係由標頭H及媒體資料D所構成。媒體資料D係由複數組塊Ck(圖5的例子中係為組塊Ck1~組塊Ck3)所成。各組塊Ck，係由複數結合圖像Pcm所構成。此外，圖5中係為了簡化說明，而圖示不含音訊串流As、 僅含結合視訊串流Ms的結合圖像Pcm，來表示各組塊Ck的構成例子。
多工化串流用標頭用資訊算出部4，係藉由將視訊串流解析部3所算出之各圖像Pc的編碼量b予以合計，以算出構成各組塊Ck之各結合圖像Pcm的編碼量B(參照圖2)。亦即，多工化串流用標頭用資訊算出部4係也成為資料大小算出部而發揮機能。例如，圖2的(2-1)所示之結合視訊串流Ms內的結合圖像Pcmn，係圖2的(2-2)所示之視訊串流Vs1~視訊串流VsM內的各圖像Pcn被結合而被生成。因此，圖2的(2-2)所示之視訊串流Vs1~視訊串流VsM的各圖像Pcn的編碼量b所合計之值，亦即是圖2的(2-1)所示之結合圖像Pcmn的編碼量B。
此外，若圖像Pcn彼此結合之際是使用也會追加附加性編碼資訊的編碼方式，則對圖像Pcn的編碼量b所追加的附加性編碼資訊之編碼量而成的編碼量，係為編碼量B。亦即，編碼量B，係除了結合前的視訊串流之圖像Pcn的編碼量，還考慮編碼結合時的映像編碼修正或編碼追加處理所增加之編碼量，而被算出。例如H.264/AVC，係為了支援來自數百至1000以上之使用者的視聽要求，因此把藉由1核心之CPU而將已被即時超高速壓縮之映像編碼予以結合之處理，當作目標之一。在H.264/AVC中，藉由各式各樣的編碼模式控制或(並非位元單位的)位元組單位串流這類可變長度編碼控制等，作成特殊的映像編碼(相當於結合前的視訊串流)。然後，為 了達成上記目標，在H.264/AVC中，對於已生成之映像編碼，隨應於使用者要求，動態地，在已壓縮之狀態下進行編碼之修正或新編碼之追加，就可不必進行位元操作，而能作成符合H.264/AVC的結合映像編碼串流(相當於結合串流)。
若構成結合視訊串流Ms之各結合圖像Pcm的編碼量B被判明，則在結合視訊串流Ms的媒體資料D中的各結合圖像Pcm之開頭位置也會判明。又，如上述，藉由參照多工化設定資訊Cf中所記載之畫格速率資訊，就亦可求出構成多工化串流S的各組塊Ck，是必須要將多少張結合圖像Pcm予以總結而加以形成的資訊。亦即，藉由算出構成結合視訊串流Ms的各結合圖像Pcm的編碼量B，亦可算出不含標頭H之多工串流S的媒體資料D中的各組塊Ck之開頭位置。
在本實施形態中，媒體資料D中的各組塊Ck之開頭位置，係藉由表示與媒體資料D之開頭位置的差分(偏置量)的偏置位置(第1位置)來表示。圖5中作為一例，記載了組塊Ck2之開頭位置的，從媒體資料D之開頭位置起算的偏置位置Rp_Ck2。
亦即，若依據本實施形態，則不需實際將複數視訊串流Vs之圖像Pc彼此結合以生成結合視訊串流Ms，就可算出多工化串流S的標頭H之生成時所必須之資訊，亦即各結合圖像Pcm之編碼量B和各組塊Ck之開頭位置的相關之資訊。
[多工化串流用標頭生成部之處理之細節]
接下來，參照圖6~圖8，說明多工化串流用標頭生成部5之處理之細節。多工化串流用標頭生成部5，係使用多工化串流用標頭用資訊算出部4所算出的資訊，來生成多工化串流S的標頭H的構成資訊(結構體)。
圖6係多工化串流S之資料結構之例子的圖示。多工化串流S，係如上述，是以符合MP4檔案格式之檔案的方式而被生成。多工化串流S，係以有許多BOX(箱盒)資訊(構成要素)的集合體的方式，而被構成。各箱盒資訊，係按照各類別而被階層化。
最上面的ftyp箱盒Bx1中，係儲存表示檔案之相容性的資訊。其下的moov箱盒Bx2中，係儲存多工化串流S的標頭資訊。mdat箱盒Bx3中，係儲存媒體資料D，亦即結合視訊串流Ms及音訊串流As。
moov箱盒Bx2內的stsz箱盒Bx4中，係儲存媒體資料D內的構成各組塊的各圖像Pcm之大小資訊。圖7係圖示stsz箱盒Bx4的資料結構之例子。如圖7所示，stsz箱盒Bx4中，係有構成各組塊的各圖像Pcm之大小，是作為entry_size(條目大小)E2，而被描述了相當於作為sample_count(樣本計數)E1而被描述之圖像Pcm之數目的個數。
回到圖6繼續說明。moov箱盒Bx2內的stco箱盒Bx5中係儲存有，構成mdat箱盒Bx3中所儲存之 媒體資料D的各組塊之開頭位置資訊。圖8係圖示stco箱盒Bx5的資料結構之例子。如圖8所示，stco箱盒Bx5中係有，構成媒體資料D的各組塊之開頭位置資訊，是被當作chunk_offset(組塊偏置)E4，被描述了相當於entry_count(條目計數)E3之個數。
各組塊Ck之開頭位置，係藉由含有多工化串流S的標頭H的檔案全體之開頭位置起算之偏置位置，而被描述。可是，各組塊Ck之開頭位置，係如果標頭H的資料大小還沒判明，就無法算出。又，標頭H的資料大小，係如果構成標頭H之各構成要素沒有被描述，就不會判明。
因此，先前是將視訊串流Vs實際結合而生成，結合視訊串流Ms，藉由解析已被生成之結合視訊串流Ms，以取得標頭H之生成時所必須之資訊，然後生成標頭H。
相對於此，在本實施形態中，則是使用多工化串流用標頭用資訊算出部4所算出之、構成各組塊Ck的各結合圖像Pcm之編碼量B，由多工化串流用標頭生成部5，來生成多工化串流S的標頭H之構成資訊。此時，在上述的moov箱盒Bx2內的stco箱盒Bx5中，作為各組塊之開頭位置，是將從不含標頭H之媒體資料D之開頭位置起算之偏置位置(第1位置)先予以暫時代入。然後，藉由標頭H之構成資訊被生成，標頭H的資料大小被求出的時點上，多工化串流中的各組塊之真正的開頭位置 (絕對位置)，會被決定。亦即，將被暫時代入至stco箱盒Bx5的各組塊之開頭位置，亦即從不含標頭H之媒體資料D之開頭位置起算的偏置位置(第1位置)，改寫成從含標頭H之檔案全體之開頭位置起算的絕對位置(第2位置)。圖5中係將含標頭H之檔案全體之開頭位置起至組塊Ck2之開頭位置為止的絕對位置，以位置Ap_Ck2來表示。
<資料處理之例子>
接下來針對第1實施形態所述之資料處理之例子，參照圖9的流程圖來說明。首先，控制部2係從記憶部1取得多工化設定資訊Cf(步驟S1)。其後，同樣由控制部2，基於所取得之多工化設定資訊Cf中所記載之資訊，取得已被設成結合對象之複數視訊串流Vs(步驟S2)。接下來，控制部2係對視訊串流解析部3，發送視訊串流Vs的解析請求(步驟S3)。此時，控制部2係將結合對象視訊串流的解析請求，連同複數視訊串流Vs一起發送。此外，複數視訊串流Vs的送訊，係可發送資料本身，但亦可僅發送視訊串流Vs的保存地點之路徑的資訊。
視訊串流解析部3，係一旦將從控制部2所發送之結合對象視訊串流的解析請求予以接收，則進行作為結合對象而被抽出之各視訊串流Vs的解析(步驟S4)。視訊串流解析部3，係藉由將作為結合對象而被抽出之各視訊串流Vs予以解析，以取得構成各視訊串流Vs的各圖像Pc之圖像類型，並且算出構成各視訊串流Vs的各圖像Pc 之編碼量b。
構成各視訊串流Vs的各圖像Pc之圖像類型、及編碼量b取得後，視訊串流解析部3係將這些資訊，當作結合對象視訊串流的解析結果而發送至控制部2(步驟S5)。
接下來，從控制部2對多工化串流用標頭用資訊算出部4，發送多工化串流用標頭用資訊的算出請求(步驟S6)。多工化串流用標頭用資訊的算出請求中係含有，視訊串流解析部3的解析結果(構成各視訊串流Vs的各圖像Pc之編碼量b等)、及多工化設定資訊Cf的(1)、(2)、(6)、(7)、(8)。
多工化串流用標頭用資訊算出部4，係一旦接收從控制部2所發送之多工化串流用標頭用資訊的算出請求，就算出多工化串流用標頭用資訊(步驟S7)。多工化串流用標頭用資訊算出部4，係算出構成多工化串流S的各結合圖像Pcm之編碼量B、及多工化串流S的媒體資料D中的各組塊Ck之開頭位置之資訊，來作為多工化串流用標頭用資訊。其後，多工化串流用標頭用資訊算出部4，係將所生成之多工化串流用標頭用資訊，發送至控制部2(步驟S8)。
接下來，從控制部2對多工化串流用標頭生成部5，發送多工化串流用標頭的生成請求(步驟S9)。控制部2，係將多工化串流用標頭之生成請求，連同多工化串流用標頭用資訊算出部4所算出之多工化串流用標頭用 資訊，一起發送。
多工化串流用標頭生成部5，係一旦接收從控制部2所發送之多工化串流用標頭之生成請求，就進行多工化串流S用的標頭H之生成處理(步驟S10)。關於多工化串流用標頭之生成處理，係參照圖10B而於後述。
多工化串流用標頭生成部5，係一旦結束多工化串流用標頭之生成處理，就將所生成之多工化串流S用的標頭H，發送至控制部2(步驟S11)。
接下來，從控制部2對多工化串流輸出部7，發送多工化串流用標頭的輸出請求(步驟S12)。此時，控制部2，係將多工化串流用標頭的輸出請求，連同多工化串流用標頭生成部5所生成之多工化串流S用的標頭H，一起發送。
多工化串流輸出部7，係一旦接收從控制部2所發送之多工化串流用標頭之輸出請求，就將多工化串流S用的標頭H予以輸出(步驟S13)。從多工化串流輸出部7所輸出之多工化串流S用的標頭H，係被發送至收訊裝置等。多工化串流輸出部7，係一旦結束多工化串流S用的標頭H之輸出，則對控制部2，通知多工化串流用標頭的輸出結束(步驟S14)。
接下來，從控制部2對結合視訊串流生成部6，發送視訊串流Vs的結合請求(步驟S15)。視訊串流Vs的結合請求中係含有，視訊串流Vs、及多工化設定資訊Cf的(4)、(6)~(8)。
結合視訊串流生成部6，係一旦接收從控制部2所發送之視訊串流Vs的結合請求，則藉由將複數視訊串流Vs以圖像Pc之單位進行結合，以生成結合視訊串流Ms(步驟S16)。其後，結合視訊串流生成部6，係將所生成之結合視訊串流Ms，發送至控制部2(步驟S17)。此外，步驟S15的結合請求之送訊處理，及步驟S16的結合視訊串流Ms之生成處理，係被重複進行，直到結合對象的所有圖像Pc的結合都完成為止。
接下來，從控制部2對多工化串流輸出部7，發送多工化串流S的輸出請求(步驟S18)。多工化串流輸出部7，係一旦接收從控制部2所發送之多工化串流S之輸出請求，就進行結合視訊串流Ms及音訊串流As之多工化處理。然後，將進行過多工化處理的結合視訊串流Ms及音訊串流As，當作多工化串流S而輸出(步驟S19)。多工化串流輸出部7，係一旦多工化串流S之輸出結束，就對控制部2，通知多工化串流S的輸出結束(步驟S20)。
[多工化串流之生成處理]
此處，參照圖10A及圖10B，說明多工化串流之生成處理。圖10A係多工化串流的全體處理程序的流程圖。圖10B係為圖10A的多工化串流用標頭之生成處理(步驟S31)之一例的流程圖。
於圖10A中，首先多工化串流用標頭生成部5，係進 行多工化用串流用標頭之生成及***(多工化)處理(步驟S31)。接著，結合視訊串流生成部6，係基於多工化串流用標頭生成部5所生成之多工化串流用標頭，來進行將複數視訊串流予以結合之處理(步驟S32)。然後，多工化串流輸出部7，係進行結合視訊串流的***(多工化)處理(步驟S33)。亦即，在本實施形態中，多工化串流用標頭之生成處理(步驟S31)之後，進行複數視訊串流的結合處理(步驟S32)。
此外，所謂上述的***(多工化)處理，係指將已生成之標頭或結合視訊串流當作最終輸出的多工化串流、或多工化成多工化串流。多工化串流，係由標頭或媒體資料按照某種順序而被依序所構成，在該多工化串流之後，會有標頭或結合視訊串流被一個一個地追加下去。然後，在串流傳輸中，是一面進行如此追加，一面從先被追加至多工化串流的標頭或結合視訊串流起，依序朝網路發送。但是，由於標頭之生成初期中作為***(多工化)之對象的多工化串流並不存在，因此最初的標頭之開頭(第1位元組)之後，依序追加標頭或媒體資料(結合視訊串流)。
[多工化串流用標頭之生成處理之細節]
接著，參照圖10B，說明多工化串流用標頭生成部5所做的多工化串流用標頭之生成處理(圖10A之步驟S31)。
首先，多工化串流用標頭生成部5，係使用被當作多 工化串流用標頭用資訊而算出的、構成結合視訊串流Ms的各結合圖像Pcm之編碼量B，來生成多工化串流S的標頭H內的stsz箱盒Bx4(參照圖6)(步驟S311)。亦即，進行在圖7所示之stsz箱盒Bx4的條目大小E2中，寫入各結合圖像Pcm之編碼量B的處理。
接下來，多工化串流用標頭生成部5係使用被當作多工化串流用標頭用資訊而算出的、多工化串流S的媒體資料D之開頭位置起至各組塊Ck為止之偏置位置的資訊，來生成多工化串流S的標頭H內的stco箱盒Bx5(步驟S312)。亦即，進行在圖8所示之stco箱盒Bx5的組塊偏置E4中，寫入各組塊Ck之開頭位置上的、從多工化串流S的媒體資料D之開頭位置起算的偏置位置的處理。
接下來，多工化串流用標頭生成部5係藉由還進行構成標頭H的其他各箱盒之生成，以生成多工化串流S用的標頭H之構成資訊(步驟S313)。在此時點上，多工化串流S的標頭H之大小係被確定。
接下來，多工化串流用標頭生成部5，係使用多工化串流S用的標頭H之大小之資訊，進行將標頭構成資訊內的stco箱盒Bx5之組塊偏置E4(參照圖8)之值予以改寫的處理。更詳言之，進行將作為組塊偏置E4而被描述之、從各組塊Ck中的媒體資料D之開頭位置起算的偏置位置，改寫成含標頭H的從多工化串流S全體之開頭位置起算的絕對位置的處理(步驟S314)。
其後，多工化串流用標頭生成部5，係生成多工化串流S用的標頭H(步驟S315)。亦即，進行將標頭H予以二進位資料化的處理。
若依據上記第1實施形態，則不需要進行將視訊串流Vs彼此實際結合以生成結合視訊串流Ms之處理，就可生成及輸出多工化串流S的標頭H。亦即，即使構成多工串流S之媒體資料D之部分的結合視訊串流Ms沒有被生成，仍可僅將標頭H先發送至收訊裝置側。藉此，在收訊裝置側上，可提早準備解碼處理，於收訊裝置側，可在較早階段就開始映像的再生。
又，若依據上記第1實施形態，則不需要在每次作成多工化串流S的標頭H時，先生成結合視訊串流Ms。因此，不需要進行將標頭H之生成用而作成之結合視訊串流Ms，在標頭H被生成為止之期間，暫時記憶在記憶媒體或記憶裝置等的處理。
藉此，將結合視訊串流Ms寫入記憶媒體或記憶裝置等時對CPU造成的負擔本身就不會發生。又，因為不會發生將結合視訊串流Ms寫入記憶媒體或記憶裝置等的時間，因此可大幅縮短處理時間。再者，在不將多工化串流S記憶在記憶部1等就輸出至網路的實施形態中，由於不需要將多工化處理進行前的結合視訊串流Ms記憶在記憶部1，因此可大幅節省記憶部1的容量。因此，也可達成資料處理裝置100的低成本化。
[第2實施形態]
在上記第1實施形態中，雖然舉例視訊串流解析部3所做的視訊串流Vs的解析，是每次進行多工化處理就實施，但本發明係不限定於此。亦可將視訊串流解析部3所做的視訊串流Vs的解析結果，當作視訊串流Vs的詮釋資料，累積在文字檔案或資料庫等中。
圖11係第2實施形態所述之資料處理裝置100α之構成例的區塊圖。於圖11中，與圖1對應之地點係標示同一符號，並省略重複之說明。圖11所示之構成，係在圖1所示之構成中，追加了視訊串流詮釋資料DB(資料庫)8。視訊串流詮釋資料DB8，係將視訊串流解析部3所做的解析結果，當作視訊串流Vs的詮釋資料於予以積存的資料庫。
圖12係資料處理裝置100α所做的資料處理之例子的流程圖。首先，藉由圖11所示之映像訊號編碼部11等而發送出視訊串流Vs，並被輸入至記憶部1後(步驟S41)，從記憶部1對控制部2，進行視訊串流Vs的輸入通知(步驟S42)。亦即，記憶部1，係將今後有可能被當成結合視訊串流Ms而結合的新的視訊串流Vs被輸入之事實，通知給控制部2。此時，記憶部1，係將視訊串流Vs的輸入通知，連同新輸入的視訊串流Vs的位置資訊，一起發送。所謂視訊串流Vs的位置資訊，係指例如，前往視訊串流Vs的保存地點的路徑、視訊串流Vs的識別元等。
接下來，從控制部2對視訊串流解析部3，會發送視訊串流Vs的解析請求(步驟S43)。控制部2，作為視訊串流Vs的解析請求，是向視訊串流解析部3，請求算出構成視訊串流Vs的各圖像Pc之圖像類型、及各圖像Pc之編碼量b。此時，控制部2，係也將視訊串流Vs的識別元一起發送。
視訊串流解析部3，係一旦接收從控制部2所發送之視訊串流Vs的解析請求，則進行視訊串流Vs的解析(步驟S44)。視訊串流解析部3，係藉由解析視訊串流Vs，而取得構成視訊串流Vs的各圖像Pc之圖像類型、及各圖像Pc之編碼量。
接下來，視訊串流解析部3，係將視訊串流Vs的解析結果，當作視訊串流Vs的詮釋資料，登錄至視訊串流詮釋資料DB8(步驟S45)。視訊串流詮釋資料DB8，一旦對係視訊串流Vs的資料庫的登錄完成，則對視訊串流解析部3進行登錄完成之通知(步驟S46)。視訊串流解析部3，係一旦接收從視訊串流詮釋資料DB8所發送之登錄完成通知，則對控制部2，通知視訊串流Vs的解析之完成(步驟S47)。
目前為止所說明的步驟圖12的S41~步驟S47為止之處理，係在記憶部1中每次有新的視訊串流Vs被輸入，就會以新輸入之所有視訊串流Vs為對象而進行之。
圖13係資料處理裝置100α所做的多工化處 理之例子的流程圖。圖13所示之處理，係在使用者等進行多工化處理之實施請求的時間點上所進行之處理，與參照圖12所說明之詮釋資料的登錄處理係為非同步地進行。
首先，控制部2係從記憶部1取得多工化設定資訊Cf(步驟S51)。其後，同樣由控制部2，基於所取得之多工化設定資訊Cf中所記載之資訊，取得已被設成結合對象之複數視訊串流Vs(步驟S52)。控制部2，係還從視訊串流詮釋資料DB8，取得結合對象之視訊串流Vs的詮釋資料(步驟S53)。
接下來，控制部2係對多工化串流用標頭用資訊算出部4，發送多工化串流用標頭用資訊的算出請求(步驟S54)。此時，控制部2，係將多工化串流用標頭用資訊之算出請求，連同結合對象之視訊串流Vs的詮釋資料，一起發送。
多工化串流用標頭用資訊算出部4，係一旦接收從控制部2所發送之多工化串流用標頭用資訊的算出請求，就算出多工化串流用標頭用資訊(步驟S55)。多工化串流用標頭用資訊算出部4，係算出構成多工化串流S的各結合圖像Pcm之編碼量B、及多工化串流S的媒體資料D中的各組塊Ck之開頭位置之資訊，來作為多工化串流用標頭用資訊。其後，多工化串流用標頭用資訊算出部4，係將所生成之多工化串流用標頭用資訊，發送至控制部2(步驟S56)。
接下來，從控制部2對多工化串流用標頭生成部5，發送多工化串流用標頭的生成請求(步驟S57)。控制部2，係將多工化串流用標頭之生成請求，連同多工化串流用標頭用資訊算出部4所算出之多工化串流用標頭用資訊，一起發送。
多工化串流用標頭生成部5，係一旦接收從控制部2所發送之多工化串流用標頭之生成請求，就進行多工化串流S用標頭H之生成處理(步驟S58)。關於多工化串流用標頭之生成處理，係如參照圖10B所說明，因此這裡省略說明。
多工化串流用標頭生成部5，係一旦結束多工化串流用標頭之生成處理，就將所生成之多工化串流S用的標頭H，發送至控制部2(步驟S59)。接下來，從控制部2對多工化串流輸出部7，發送多工化串流用標頭的輸出請求(步驟S60)。此時，控制部2，係將多工化串流用標頭的輸出請求，連同多工化串流用標頭生成部5所生成之多工化串流S用的標頭H，一起發送。
多工化串流輸出部7，係一旦接收從控制部2所發送之多工化串流用標頭之輸出請求，就將多工化串流S用的標頭H予以輸出(步驟S61)。從多工化串流輸出部7所輸出之多工化串流S用的標頭H，係被發送至收訊裝置等。多工化串流輸出部7，係一旦結束多工化串流S用的標頭H之輸出，則對控制部2，通知多工化串流用標頭的輸出結束(步驟S62)。
接下來，從控制部2對結合視訊串流生成部6，發送視訊串流Vs的結合請求(步驟S63)。視訊串流Vs的結合請求中係還含有，視訊串流Vs、及視訊串流Vs的位置資訊、結合視訊串流Ms之構成資訊(各視訊串流Vs的結合預定位置等)。
結合視訊串流生成部6，係一旦接收從控制部2所發送之視訊串流Vs的結合請求，則藉由將複數視訊串流Vs的圖像Pc彼此結合，以生成結合視訊串流Ms(步驟S64)。其後，結合視訊串流生成部6，係將所生成之結合視訊串流Ms，發送至控制部2(步驟S65)。
接下來，從控制部2對多工化串流輸出部7，發送多工化串流S的輸出請求(步驟S66)。多工化串流輸出部7，係一旦接收從控制部2所發送之多工化串流S之輸出請求，就進行結合視訊串流Ms及音訊串流As之多工化處理。然後，將進行過多工化處理的結合視訊串流Ms及音訊串流As，當作多工化串流S而輸出(步驟S67)。多工化串流輸出部7，係一旦多工化串流S之輸出結束，就對控制部2，通知多工化串流S的輸出結束(步驟S68)。
若依據上記第2實施形態，則可獲得和前述第1實施形態所得效果同樣的效果。又，若依據上記第2實施形態，則不需要每次進行多工化處理，都要每次進行結合對象之視訊串流Vs的解析。因此，第2次以後，可削減進行視訊串流Vs之解析的時間。
[第3實施形態]
在上述各實施形態中，雖然舉例由一台資料處理裝置100(100α)進行結合視訊串流Ms之生成還有多工化處理的例子，但本發明係不限定於此。例如，亦可分散給複數伺服器來進行之。
圖14係具有進行結合視訊串流Ms之生成的結合伺服器200、和進行多工化處理之多工化控制伺服器300、和多工化串流輸出部40的資料處理系統50之構成例的區塊圖。結合伺服器200係具備：視訊串流記憶部21、結合控制部22、視訊串流解析部23、視訊串流詮釋資料DB24、結合視訊串流生成部25。此外，圖14所示之資料處理系統50，係為了簡化說明，而舉例僅將視訊串流Vs進行結合及多工化的構成例。
視訊串流記憶部21，係由HDD等所成，記憶從外部輸入之視訊串流Vs。結合控制部22，係由CPU等所成，進行構成結合伺服器200的各部之控制。視訊串流解析部23，係和上述各實施形態的視訊串流解析部3同樣地，進行視訊串流Vs的解析，取得構成視訊串流Vs的各圖像之圖像類型，並且算出各圖像之編碼量b。
視訊串流詮釋資料DB24，係和圖11所示之視訊串流詮釋資料DB8相同，視訊串流Vs的解析結果係被當成視訊串流Vs的詮釋資料而登錄。結合視訊串流生成部25，係和上述各實施形態中的結合視訊串流生成部6 相同，藉由將複數視訊串流Vs予以結合以生成結合視訊串流Ms。
多工化控制伺服器300係具備：多工化設定資訊記憶部31、視訊串流詮釋資料存取資訊DB32、多工化控制部33、多工化串流用標頭用資訊算出部34、多工化串流用標頭生成部35。
多工化設定資訊記憶部31，係由HDD等所成，記憶多工化設定資訊Cf。視訊串流詮釋資料存取資訊DB32，係為登錄有向視訊串流詮釋資料DB24進行存取所需之存取資訊的資料庫。作為存取資訊係登錄有例如：視訊串流詮釋資料DB24之位址、賦予給構成視訊串流詮釋資料DB24之各表格的表格識別元、視訊串流Vs的識別元等之資訊。
多工化控制部33，係由CPU等所成，進行構成多工化控制伺服器300的各部之控制。多工化串流用標頭用資訊算出部34，係和上述各實施形態中的多工化串流用標頭用資訊算出部4相同，算出多工化串流S用的標頭H之生成時所必須之資訊。多工化串流用標頭生成部35，係和上述各實施形態中的多工化串流用標頭生成部5相同，生成多工化串流S用的標頭H。
多工化串流輸出部40，係和上述各實施形態中的多工化串流輸出部7相同，輸出多工化串流S用的標頭H、或多工化串流S。
此外，在圖14所示的例子中，雖然舉例結合 伺服器200是只有1個，但本發明係不限定於此。亦可設置複數結合伺服器200，將已經從複數結合伺服器200輸出之各結合視訊串流Ms，以多工化串流輸出部40進行多工化而輸出之構成。
此外，在圖14所示的例子中，雖然舉例將多工化串流輸出部40設在結合伺服器200及多工化控制伺服器300之外的例子，但本發明係不限定於此。亦可將多工化串流輸出部40設在結合伺服器200之中、或多工化控制伺服器300之中。
又，在圖14所示的例子中，雖然舉例將視訊串流記憶部21及視訊串流詮釋資料DB24設在結合伺服器200之中，將視訊串流詮釋資料存取資訊DB32設在多工化控制伺服器300之中的例子，但本發明係不限定於此。這些各資料庫，係可設在任一伺服器內，也可和結合伺服器200或多工化控制伺服器300獨立開來設在其他伺服器內。
接著，針對第3實施形態所述之資料處理系統50之處理之例子，參照圖15及圖16之流程圖來說明。圖15係結合伺服器200所做的處理之例子的流程圖，圖16係多工化控制伺服器300之處理、及結合伺服器200所做的結合視訊串流Ms之生成處理之例子的流程圖。
首先，參照圖15，說明結合伺服器200所做的處理之例子。首先，由圖1或圖11所示之映像訊號編 碼部11等發送視訊串流Vs，被輸入至視訊串流記憶部21(步驟S71)，則從視訊串流記憶部21對結合控制部22，進行視訊串流Vs的輸入通知(步驟S72)。此時，視訊串流記憶部21，將視訊串流Vs的輸入通知，也連同新輸入的視訊串流Vs的位置資訊，一起發送。所謂視訊串流Vs的位置資訊，係指例如，前往視訊串流Vs的保存地點的路徑、視訊串流Vs的識別元等。
接下來，從結合控制部22對視訊串流解析部23，會發送視訊串流Vs的解析請求(步驟S73)。結合控制部22，作為視訊串流Vs的解析請求，是向視訊串流解析部23，請求算出構成視訊串流Vs的各圖像Pc之圖像類型、及各圖像Pc之編碼量b。此時，結合控制部22，係也將視訊串流Vs的識別元、及視訊串流Vs的位置資訊，一起發送。
視訊串流解析部23，係一旦接收從結合控制部22所發送之視訊串流Vs的解析請求，則進行視訊串流Vs的解析(步驟S74)。視訊串流解析部23，係藉由解析視訊串流Vs，而取得構成視訊串流Vs的各圖像之圖像類型、及各圖像之編碼量b。
接下來，視訊串流解析部23，係將視訊串流Vs的解析結果，當作視訊串流Vs的詮釋資料，登錄至視訊串流詮釋資料DB24(步驟S75)。視訊串流詮釋資料DB24，一旦對係視訊串流Vs的資料庫的登錄完成，則對視訊串流解析部23進行登錄完成之通知(步驟S76)。視訊 串流解析部23，係一旦接收從視訊串流詮釋資料DB24所發送之登錄完成通知，則對結合控制部22，通知視訊串流Vs的解析之完成(步驟S77)。
結合控制部22，係一旦接收從視訊串流解析部23所發送之視訊串流Vs的解析完成通知，則向多工化控制伺服器300內的視訊串流詮釋資料存取資訊DB32，登錄用來對視訊串流詮釋資料DB24進行存取所需之存取資訊(步驟S78)。
視訊串流詮釋資料存取資訊DB32，係一旦對存取資訊之資料庫的登錄完成，則對結合控制部22，通知視訊串流詮釋資料的存取資訊之登錄完成(步驟S79)。
以上說明的圖15之步驟S71~步驟S79為止之處理，係在記憶部1中每次有新的視訊串流Vs被輸入，就會以新輸入之所有視訊串流Vs為對象而進行之。
圖16係資料處理系統50所做的標頭生成處理及多工化處理之例子的流程圖。圖16所示之處理，係在使用者等進行多工化處理之實施請求的時間點上所進行之處理，與參照圖15所說明之視訊串流Vs的詮釋資料的登錄處理係為非同步地進行。
首先，多工化控制伺服器300的多工化控制部33，係從多工化設定資訊記憶部31取得多工化設定資訊Cf(步驟S91)。其後，同樣地，多工化控制部33，將多工化設定資訊Cf內被當成結合對象之複數視訊串流Vs的、對詮釋資料之存取資訊，由視訊串流詮釋資料存取資 訊DB32取得之(步驟S92)。多工化控制部33，係基於所取得之存取資訊，由視訊串流詮釋資料DB24取得結合對象之視訊串流Vs的詮釋資料(步驟S93)。
接下來，多工化控制部33係對多工化串流用標頭用資訊算出部34，發送多工化串流用標頭用資訊的算出請求(步驟S94)。多工化控制部33，係將多工化串流用標頭用資訊之算出請求，連同結合對象之視訊串流Vs的詮釋資料，一起發送。
多工化串流用標頭用資訊算出部34，係一旦接收從多工化控制部33所發送之多工化串流用標頭用資訊的算出請求，就算出多工化串流用標頭用資訊(步驟S95)。多工化串流用標頭用資訊算出部34，係算出構成多工化串流S的各結合圖像Pcm之編碼量B、及多工化串流S的媒體資料D中的各組塊Ck之開頭位置之資訊，來作為多工化串流用標頭用資訊。其後，多工化串流用標頭用資訊算出部34，係將所生成之多工化串流用標頭用資訊，發送至多工化控制部33(步驟S96)。
接下來，從多工化控制部33對多工化串流用標頭生成部35，發送多工化串流用標頭的生成請求(步驟S97)。多工化控制部33，係將多工化串流用標頭之生成請求，連同多工化串流用標頭用資訊算出部34所算出之多工化串流用標頭用資訊，一起發送。
多工化串流用標頭生成部35，係一旦接收從多工化控制部33所發送之多工化串流用標頭之生成請 求，就進行多工化串流S用標頭H之生成處理(步驟S98)。關於多工化串流用標頭之生成處理，係如參照圖10B所說明，因此這裡省略說明。
多工化串流用標頭生成部35，係一旦結束多工化串流用標頭之生成處理，就將所生成之多工化串流S用的標頭H，發送至多工化控制部33(步驟S59)。接下來，從多工化控制部33對多工化串流輸出部40，發送多工化串流用標頭的輸出請求(步驟S100)。此時，多工化控制部33，係將多工化串流用標頭的輸出請求，連同多工化串流用標頭生成部35所生成之多工化串流S用的標頭H，一起發送。
多工化串流輸出部40，係一旦接收從多工化控制部33所發送之多工化串流用標頭之輸出請求，就將多工化串流S用的標頭H予以輸出(步驟S101)。從多工化串流輸出部40所輸出之多工化串流S用的標頭H，係被發送至收訊裝置等。多工化串流輸出部40，係一旦結束多工化串流S用的標頭H之輸出，則對多工化控制部33，通知多工化串流用標頭的輸出結束(步驟S102)。
接下來，從多工化控制部33，對結合伺服器200內的結合控制部22，發送視訊串流Vs的結合及輸出請求(步驟S103)。視訊串流Vs的結合及輸出請求中係還含有，視訊串流Vs、及視訊串流Vs的位置資訊、結合視訊串流Ms之構成資訊(各視訊串流Vs的結合預定位置等)。
結合控制部22，係一旦接收從多工化控制部33所發送之視訊串流Vs的結合請求，則基於視訊串流Vs的位置資訊，由視訊串流記憶部21，取得結合對象的視訊串流Vs(步驟S104)。接下來，結合控制部22，係對結合視訊串流生成部25，發送視訊串流的結合請求(步驟S105)。此時，結合控制部22，係還對結合視訊串流生成部25，發送視訊串流Vs的位置資訊、及結合視訊串流Ms之構成資訊(各視訊串流Vs的結合預定位置等)。
結合視訊串流生成部25，係一旦接收從結合控制部22所發送之視訊串流的結合請求，則將複數視訊串流Vs，由視訊串流記憶部21加以取得(步驟S106)。接下來，結合視訊串流生成部25，係藉由將複數視訊串流Vs彼此以圖像Pc之單位進行結合，以生成結合視訊串流Ms(步驟S107)。其後，結合視訊串流生成部25，係將所生成之結合視訊串流Ms，發送至結合控制部22(步驟S108)。
接下來，從結合控制部22對多工化串流輸出部40，發送多工化串流S的輸出請求(步驟S109)。多工化串流輸出部40，係一旦接收從結合控制部22所發送之多工串流S之輸出請求，就進行結合視訊串流Ms之多工化處理。然後，將進行過多工化處理的結合視訊串流Ms，當作多工化串流S而輸出(步驟S110)。多工化串流輸出部40，係一旦多工化串流S之輸出結束，就對結合控制部22，通知多工化串流S的輸出結束(步驟S111)。
若依據上記第3實施形態，則可獲得和前述第1實施形態所得效果同樣的效果。又，若依據上記第3實施形態，則可以使處理分散至複數伺服器，因此可謀求處理時間之縮短。
此外，如前述，亦可在資料處理系統50內，設置複數台結合伺服器200。例如，假設結合視訊串流Ms是由縱方向2圖像×橫方向2圖像=4圖像所構成。又，構成結合視訊串流Ms的4個圖像Pcm之中，假設被配置在上半部之領域的結合視訊串流Ms是由結合伺服器200A所生成，被配置在下半部之領域的結合視訊串流Ms是由結合伺服器200B所生成。
此種情況下，於上記步驟S100中，從多工化控制部33對多工化串流輸出部40發送多工化串流用標頭的輸出請求之際，結合視訊串流Ms之構成資訊(各視訊串流Vs的結合預定位置等)也會發送。亦即會發送出，表示4個結合視訊串流Ms之中，被配置在上半部之領域的結合視訊串流Ms，係從結合伺服器200A所輸出，被配置在下半部之領域的結合視訊串流Ms，係從結合伺服器200B所輸出的資訊。
於步驟S103中，從結合控制部22對結合伺服器200A(結合伺服器200B)內的結合控制部22，發送視訊串流Vs的結合及輸出請求之際所發送的結合視訊串流Ms的構成資訊中，也描述有同樣的資訊。
藉由進行如此處理，結合伺服器200所複數 存在之形態下，也可進行視訊串流Vs的結合處理及多工化處理。又，藉由設置複數台結合伺服器200，就可使得結合視訊串流Ms之生成處理，在複數結合伺服器200間被平行進行。亦即，可縮短整體的處理時間。
又，亦可不只結合伺服器200，就連多工化串流輸出部40，也是複數設置。此情況下，只要在從結合控制部22對結合伺服器200A(結合伺服器200B)內的結合控制部22所發送之視訊串流Vs的結合及輸出請求之中，含有多工化串流輸出部40的識別元而發送之即可。
又，上記第3實施形態中的結合伺服器200及多工化控制伺服器300，係不限定於以伺服器裝置方式而被構成者。例如，亦可適用於，將具備攝像部的數位靜態相機或視訊攝影機、將透過網路而被發送之攝影影像P0予以加工顯影，或加工成相簿等的影像處理服務中所被使用的資料影像處理裝置等。
又，於上記第3實施形態中，雖然舉例結合伺服器200是具有結合控制部22、視訊串流解析部23及結合視訊串流生成部25，多工化控制伺服器300是具有多工化控制部33、多工化串流用標頭用資訊算出部34及多工化串流用標頭生成部35的構成之例子，但本發明係不限定於此。這些各部係亦可被設置在任一伺服器內，或可將這些各部以各自獨立的裝置(視訊串流解析裝置(資料大小算出裝置)、結合視訊串流生成裝置、多工化串流用標頭用資訊算出裝置、多工化串流用標頭生成裝置(標頭 生成裝置)、多工化串流輸出裝置)的方式而設置。
在上述各種實施形態中，是舉出將以MPEG-4等之標準的格式編碼成的視訊串流Vs，進行結合及多工化之例子，但本發明係不限定於此。亦可為了使多工化串流S用的標頭H之生成處理更為高速化，而進行將標準格式所編碼成的視訊串流Vs之構成，事前予以變更等之處理。例如，若將標頭H之生成時所必須之資訊(各圖像之編碼量b等)配置在檔案之開頭，則在標頭H之生成時係只要進行讀取該位置之資訊的處理即可。亦即，視訊串流解析部3沒有必要進行解析檔案全體之處理，因此可使標頭H之生成處理更為高速化。此外，標頭H之生成時所必須之資訊，係亦可不是描述在視訊串流Vs之中，而是描述在異於視訊串流Vs的其他檔案，或是以資料庫來做管理等等。
又，在上述各種實施形態中，如上述，至少具有將複數視訊串流Vs予以結合而成的結合視訊串流當作多工化串流於予以輸出之構成。因此，亦可例如僅將結合視訊串流與標頭資訊進行多工化，成為多工化串流而輸出。又，在圖2的(2-1)中，雖然表示將1畫面分割成9個小畫面的例子，但亦可為其他分割數。又，亦可不是將1畫面做均等分割，而是例如對應於某視訊串流之小畫面的大小，是比對應於其他視訊串流之小畫面之大小還要大或小。
又，上述實施形態例中的一連串之處理，係 亦可藉由軟體來執行。在將一連串之處理以軟體來執行的時候，構成該軟體的程式，是可藉由從記錄媒體來安裝至內嵌有專用硬體的電腦，或是，安裝用來執行各種機能之程式的電腦，而執行之。例如，可在一般通用的個人電腦等安裝構成所望軟體之程式來使其被執行之。又，亦可適用於，被連接在網路的伺服器上、或被置於雲端運算環境下的軟體。
又，亦可將記憶有實現上述實施形態例之機能的軟體之程式碼的記錄媒體，供給至系統或裝置。又，即使該系統或裝置之電腦(或CPU等之控制裝置)把記錄媒體中所儲存的程式碼加以讀出並執行，仍可實現機能，這是理所當然。
1‧‧‧記憶部
2‧‧‧控制部
3‧‧‧視訊串流解析部
4‧‧‧多工化串流用標頭用資訊算出部
5‧‧‧多工化串流用標頭生成部
6‧‧‧結合視訊串流生成部
7‧‧‧多工化串流輸出部
10‧‧‧攝影機
11‧‧‧映像訊號編碼部
12‧‧‧麥克風
13‧‧‧聲音訊號編碼部
100‧‧‧資料處理裝置
Cf‧‧‧多工化設定資訊
As‧‧‧音訊串流
Vs‧‧‧視訊串流

Claims (11)

  1. 一種資料處理裝置，係具備：資料大小算出部，係算出想定將第1映像訊號是以所定編碼方式而被編碼所成之第1視訊串流內的結合對象之畫格亦即第1畫格、和異於前記第1視訊串流之第2視訊串流內的結合對象之畫格亦即第2畫格予以結合時所被生成之結合畫格的資料大小；和標頭生成部，係使用前記結合畫格的資料大小之資訊，生成含有前記結合畫格所成之結合視訊串流的串流亦即多工化串流的標頭；和結合視訊串流生成部，係生成前記結合視訊串流；和多工化串流輸出部，係進行前記多工化串流之標頭的輸出處理、或將含有前記結合視訊串流之前記多工化串流予以輸出之處理。
  2. 如請求項1所記載之資料處理裝置，其中，前記多工化串流輸出部，係使用前記多工化串流之標頭會被配置在比前記多工化串流之媒體資料部分還要前面的檔案格式，來進行前記多工化。
  3. 如請求項2所記載之資料處理裝置，其中，前記標頭生成部，係使用前記結合畫格的資料大小之資訊而將前記多工化串流之標頭以結構體的方式予以生成，藉此以算出前記多工化串流之標頭的大小。
  4. 如請求項3所記載之資料處理裝置，其中，前記多工化串流輸出部，係將前記複數結合畫格予以 多工化成為1個資料單位而生成前記多工化串流；前記資料大小算出部，係將表示前記被多工化之各資料單位之開頭位置在前記多工化串流的前記媒體資料部分內之位置的第1位置，根據前記結合畫格的資料大小之資訊而予以算出；前記標頭生成部，係藉由將前記資料大小算出部所算出之前記第1位置之資訊，描述在以前記構造體而被生成的前記多工化串流之標頭內的所定之構成要素中，以使前記標頭之大小被確定，在前記標頭之大小確定後，將前記標頭內的所定之構成要素中所被描述的前記第1位置，改寫成表示前記被多工化之各資料單位之開頭位置在含前記標頭之前記多工化串流全體中之位置的第2位置。
  5. 如請求項4所記載之資料處理裝置，其中，前記多工化串流輸出部，係在前記多工化串流的輸出之前，先進行前記多工化串流之標頭的輸出處理。
  6. 如請求項4所記載之資料處理裝置，其中，所謂前記多工化串流輸出部進行前記多工化之際所使用的前記檔案格式，係為MP4檔案格式；所謂前記多工化串流之標頭內的所定之構成要素，係為stco箱盒。
  7. 如請求項4所記載之資料處理裝置，其中，還具備：視訊串流詮釋資料資料庫，係將前記資料大小算出部所算出之前記結合畫格的資料大小之資訊，當作前記第1視訊串流或前記第2視訊串流的詮釋資料而予以記憶； 前記結合視訊串流生成部及前記多工化串流輸出部，係使用前記視訊串流詮釋資料資料庫中所記憶之前記詮釋資料之資訊，來進行前記結合視訊串流的生成處理、或前記結合視訊串流的多工化處理。
  8. 一種資料處理方法，係含有：算出想定將第1映像訊號是以所定編碼方式而被編碼所成之第1視訊串流內的結合對象之畫格亦即第1畫格、和異於前記第1視訊串流之第2視訊串流內的結合對象之畫格亦即第2畫格予以結合時所被生成之結合畫格的資料大小之步驟；和使用前記結合畫格的資料大小之資訊，生成含有前記結合畫格所成之結合視訊串流的串流亦即多工化串流的標頭之步驟；和生成前記結合視訊串流之步驟；和進行前記多工化串流之標頭的輸出處理、或將含有前記結合視訊串流之前記多工化串流予以輸出之處理之步驟。
  9. 一種程式，係用來令電腦執行：算出想定將第1映像訊號是以所定編碼方式而被編碼所成之第1視訊串流內的結合對象之畫格亦即第1畫格、和異於前記第1視訊串流之第2視訊串流內的結合對象之畫格亦即第2畫格予以結合時所被生成之結合畫格的資料大小之步驟；和使用前記結合畫格的資料大小之資訊，生成含有前記 結合畫格所成之結合視訊串流的串流亦即多工化串流的標頭之步驟；和生成前記結合視訊串流之步驟；和進行前記多工化串流之標頭的輸出處理、或將含有前記結合視訊串流之前記多工化串流予以輸出之處理之步驟。
  10. 一種電腦可讀取之記錄媒體，係記錄一種程式，用來令電腦執行：算出想定將第1映像訊號是以所定編碼方式而被編碼所成之第1視訊串流內的結合對象之畫格亦即第1畫格、和異於前記第1視訊串流之第2視訊串流內的結合對象之畫格亦即第2畫格予以結合時所被生成之結合畫格的資料大小之步驟；和使用前記結合畫格的資料大小之資訊，生成含有前記結合畫格所成之結合視訊串流的串流亦即多工化串流的標頭之步驟；和生成前記結合視訊串流之步驟；和進行前記多工化串流之標頭的輸出處理、或將含有前記結合視訊串流之前記多工化串流予以輸出之處理之步驟。
  11. 一種資料處理系統，係具備：資料大小算出裝置，係算出想定將第1映像訊號是以所定編碼方式而被編碼所成之第1視訊串流內的結合對象之畫格亦即第1畫格、和異於前記第1視訊串流之第2視 訊串流內的結合對象之畫格亦即第2畫格予以結合時所被生成之結合畫格的資料大小；和標頭生成裝置，係使用前記結合畫格的資料大小之資訊，生成含有前記結合畫格所成之結合視訊串流的串流亦即多工化串流的標頭；和結合視訊串流生成裝置，係生成前記結合視訊串流；和多工化串流輸出裝置，係進行前記多工化串流之標頭的輸出處理、或將含有前記結合視訊串流之前記多工化串流予以輸出之處理。
TW103127113A 2013-08-08 2014-08-07 資料處理裝置、資料處理方法、程式、記錄媒體及資料處理系統 TW201519641A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013165066 2013-08-08

Publications (1)

Publication Number Publication Date
TW201519641A true TW201519641A (zh) 2015-05-16

Family

ID=52461400

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103127113A TW201519641A (zh) 2013-08-08 2014-08-07 資料處理裝置、資料處理方法、程式、記錄媒體及資料處理系統

Country Status (6)

Country Link
US (1) US10104142B2 (zh)
EP (1) EP3032835B1 (zh)
JP (1) JP6355634B2 (zh)
CN (1) CN105612756B (zh)
TW (1) TW201519641A (zh)
WO (1) WO2015020069A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481749B1 (en) * 2014-12-01 2019-11-19 Google Llc Identifying and rendering content relevant to a user's current mental state and context
WO2016135962A1 (ja) * 2015-02-27 2016-09-01 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体
CN109429073B (zh) * 2017-09-01 2021-07-02 杭州海康威视数字技术股份有限公司 发送多媒体数据、播放多媒体数据的方法、装置及***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003173625A (ja) * 2001-12-04 2003-06-20 Hitachi Ltd ファイル変換方法、ファイル変換装置、及びファイル生成装置
JP2008199387A (ja) * 2007-02-14 2008-08-28 Hitachi Software Eng Co Ltd 動画部分配信システム
US8400497B2 (en) * 2007-09-07 2013-03-19 Samsung Electronics Co., Ltd Method and apparatus for generating stereoscopic file
EP2150059A1 (en) * 2008-07-31 2010-02-03 Vodtec BVBA A method and associated device for generating video
KR20100078700A (ko) * 2008-12-30 2010-07-08 삼성전자주식회사 파일 전송 방법 및 그를 수행하는 단말기
JP5089658B2 (ja) 2009-07-16 2012-12-05 株式会社Ｇｎｚｏ 送信装置及び送信方法
JPWO2012153450A1 (ja) * 2011-05-11 2014-07-31 パナソニック株式会社 動画像送信装置および動画像送信方法
JP5685682B2 (ja) * 2011-10-24 2015-03-18 株式会社Gnzo 映像信号の符号化システム及び符号化方法
JP5685683B2 (ja) 2011-10-28 2015-03-18 株式会社Gnzo バイトアラインメント装置及びバイトアラインメント方法

Also Published As

Publication number Publication date
WO2015020069A1 (ja) 2015-02-12
EP3032835B1 (en) 2019-12-04
CN105612756B (zh) 2018-09-28
JP6355634B2 (ja) 2018-07-11
CN105612756A (zh) 2016-05-25
EP3032835A4 (en) 2017-04-05
JPWO2015020069A1 (ja) 2017-03-02
US20160308926A1 (en) 2016-10-20
EP3032835A1 (en) 2016-06-15
US10104142B2 (en) 2018-10-16

Similar Documents

Publication Publication Date Title
US11330311B2 (en) Transmission device, transmission method, receiving device, and receiving method for rendering a multi-image-arrangement distribution service
US8508579B2 (en) System and method for generating and reproducing 3D stereoscopic image file including 2D image
WO2016138844A1 (zh) 音视频文件直播方法和***、服务器
US20150222815A1 (en) Aligning videos representing different viewpoints
US20120016965A1 (en) Video switching for streaming video data
KR101528863B1 (ko) 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
KR101964126B1 (ko) 고화질 동영상의 스트리밍 전송 장치 및 방법
JP2009194920A (ja) 画像符号化装置、および画像送信装置
US20200314509A1 (en) Video Processing Method, Terminal and Server
JP6270555B2 (ja) 画像処理システム、撮像装置及びその制御方法
KR101905638B1 (ko) 동영상 재생 장치 및 방법
JP6355634B2 (ja) データ処理装置、データ処理方法、プログラム、記録媒体及びデータ処理システム
US9491447B2 (en) System for providing complex-dimensional content service using complex 2D-3D content file, method for providing said service, and complex-dimensional content file therefor
US20200213631A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
JP2010011287A (ja) 映像伝送方法および端末装置
CN102948154B (zh) 内容分发***、再现装置、分发服务器、再现方法及分发方法
KR101452269B1 (ko) 콘텐트 가상 세그멘테이션 방법과, 이를 이용한 스트리밍 서비스 제공 방법 및 시스템
lén Fernández et al. Browsing sport content through an interactive h. 264 streaming session
WO2012011525A1 (ja) 三次元ビデオストリームへの映像変換方法
KR101603976B1 (ko) 동영상 파일 결합 방법 및 그 장치
JP5940999B2 (ja) 映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラム
GB2561491A (en) Image data encapsulation with tile support
JP6224522B2 (ja) 映像配信装置、映像配信方法及び映像配信プログラム
JP4378988B2 (ja) コンテンツ生成システム
KR101827967B1 (ko) 비디오 컨텐츠 제공서버 및 제공방법