CN105612756B - 数据处理装置、数据处理方法和计算机可读取的记录介质 - Google Patents

数据处理装置、数据处理方法和计算机可读取的记录介质 Download PDF

Info

Publication number
CN105612756B
CN105612756B CN201480055441.XA CN201480055441A CN105612756B CN 105612756 B CN105612756 B CN 105612756B CN 201480055441 A CN201480055441 A CN 201480055441A CN 105612756 B CN105612756 B CN 105612756B
Authority
CN
China
Prior art keywords
video flowing
merging
head
multiplex stream
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480055441.XA
Other languages
English (en)
Other versions
CN105612756A (zh
Inventor
笠井裕之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electro Communications NUC
Original Assignee
University of Electro Communications NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electro Communications NUC filed Critical University of Electro Communications NUC
Publication of CN105612756A publication Critical patent/CN105612756A/zh
Application granted granted Critical
Publication of CN105612756B publication Critical patent/CN105612756B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

具备：数据大小计算部，其计算在假定将第一视频流内的第一帧与第二视频流内的第二帧合并的情况下生成的合并帧的数据大小；头部生成部，其使用合并帧的数据大小的信息来生成包括合并视频流的多路复用流的头部；合并视频流生成部，其生成合并视频流；以及多路复用流输出部，其进行多路复用流的头部的输出处理或者输出包括合并视频流的多路复用流的处理。

Description

数据处理装置、数据处理方法和计算机可读取的记录介质
技术领域
本发明涉及一种数据处理装置、数据处理方法、程序、记录介质以及数据处理***。
背景技术
近年来，随着以MPEG(Moving Picture Experts Group：动态图像专家组)-4为首的运动图像编码技术的革新、通信技术的发展，能够将高精细的影像传输至便携式终端等客户终端。例如，还进行如下处理：在将合并多个影像编码比特流(以下称为“视频流”)而成的单个流(以下称为“合并流”)与音频流、同步再现信息等控制信息、传输用头部信息等进行多路复用之后，从服务器发送至客户终端。
在服务器侧将多个视频流合并来生成合并流并将该合并流作为多路复用流来发送，由此，在接收装置侧，无需在接收多个视频流时与服务器侧取得同步。另外，在想要将多个图像同时显示在显示画面的各个分割区域的位置的情况下，也无需将解码处理和显示处理同时进行、或者无需在多个图像之间相互取得显示的同步。因而，不仅能够通过处理能力高的计算机，通过便携式终端、嵌入式设备等各种类型的接收装置也能够容易地进行视频流的解码及显示。
例如在专利文献1中记载了以下内容：将合并多个视频流而得到的单个流从服务器发送至客户终端。
专利文献1：日本特开2011-24018号公报
发明内容
发明要解决的问题
另外，一般来说，视频流是如上述那样作为多路复用流来传输的。作为多路复用流的文件格式，广泛使用用于广播、通信的MPEG-2 TS(Transport Stream：传输流)、用于存储的MPEG-2 PS(Program Stream：节目流)、MP4文件格式。在近年来盛行起来的经由因特网的动态图像传送服务中，一般采用MP4文件格式。
MP4文件格式本来是为了将视频流、音频流保存为文件而规定的文件格式，通常在文件的开头配置头部(header)。在头部内，包含构成视频流的各图片(picture)在文件内的位置信息、各图片的数据大小(代码量)的信息等。
因而，在如专利文献1所记载的技术那样合并多个视频流来生成单个流及其头部的情况下，需要在进行多路复用处理之前先通过将多个视频流合并来生成合并视频流。这是因为，若不实际尝试生成合并视频流，则不清楚构成视频流的各图片在文件内的位置的信息、各图片的代码量等应该包含于头部的信息。
在合并视频流的生成处理中，首先进行以下处理：从多个视频流中抽出作为合并对象的图片的图片数据部分。然而，若不尝试将视频流从其开头解析到末尾，则不知道图片数据存在于视频流中的什么位置。因而，首先进行视频流的解析，之后进行提取图片数据的处理。之后，将以下处理进行与所需的合并图片的张数相应的次数：将抽出的多个图片数据部分合并来生成一张合并图片。由于要经过这样的处理，因此合并视频流的生成处理需要非常长的时间。
在以往的方法中，必须在像这样需要长的处理时间的合并视频流的生成处理结束之后，才能生成多路复用流的头部。即，从要求生成多路复用流起至开始生成多路复用流的头部为止的时间非常长。在视频流本身的数据量或合并视频流的数据量多的情况下，该延迟变得更加明显。
本发明是鉴于所述问题而完成的，其目的在于能够更提前开始生成多路复用流的头部。
用于解决问题的方案
本发明的数据处理装置为具备数据大小计算部、头部生成部、合并视频流生成部以及多路复用流输出部的结构，各部的结构和功能如下。即，数据大小计算部假定将第一帧与第二帧合并，其中，该第一帧是以规定的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与第一视频流不同的第二视频流内的合并对象的帧。然后，计算在该情况下最终生成的合并帧的数据大小。头部生成部使用合并帧的数据大小的信息来生成多路复用流的头部，该多路复用流是包括由合并帧构成的合并视频流的流。合并视频流生成部生成合并视频流。多路复用流输出部进行多路复用流的头部的输出处理、或者进行输出包括合并视频流的多路复用流的处理。
另外，本发明的数据处理方法首先假定将第一帧与第二帧合并，其中，该第一帧是以规定的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与第一视频流不同的第二视频流内的合并对象的帧。然后，计算在该情况下生成的合并帧的数据大小。接着，使用合并帧的数据大小的信息来生成多路复用流的头部，该多路复用流是包括由合并帧构成的合并视频流的流。接着，生成合并视频流。接着，进行多路复用流的头部的输出处理、或者进行输出包括合并视频流的多路复用流的处理。
另外，本发明的程序是使计算机实现以下的处理过程(a)～(d)的程序。
(a)计算在假定将第一帧与第二帧合并的情况下生成的合并帧的数据大小的过程，其中，该第一帧是以规定的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与第一视频流不同的第二视频流内的合并对象的帧。
(b)使用合并帧的数据大小的信息来生成多路复用流的头部的过程，该多路复用流是包括由合并帧构成的合并视频流的流。
(c)生成合并视频流的过程。
(d)进行多路复用流的头部的输出处理、或者进行输出包括合并视频流的多路复用流的处理的过程。
另外，在本发明的记录介质中记录有用于使计算机实现(a)～(d)的处理过程的程序。
另外，本发明的数据处理***为具备数据大小计算装置、头部生成装置、合并视频流生成装置以及多路复用流输出装置的结构，各装置的结构和功能如下。数据大小计算装置假定将第一帧与第二帧合并，其中，该第一帧是以规定的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与第一视频流不同的第二视频流内的合并对象的帧。然后，计算在该情况下生成的合并帧的数据大小。头部生成装置使用合并帧的数据大小的信息来生成多路复用流的头部，该多路复用流是包括由合并帧构成的合并视频流的流。合并视频流生成装置生成合并视频流。多路复用流输出装置进行多路复用流的头部的输出处理、或者进行输出包括合并视频流的多路复用流的处理。
发明的效果
根据本发明，不是实际合并多个视频流，而是计算在将多个视频流合并的情况下得到的合并帧的数据大小，使用通过计算所得出的合并帧的数据大小的信息来生成多路复用流的头部。因而，与在实际生成合并帧之后生成多路复用流的头部的以往的方式相比，能够更提前开始生成多路复用流的头部。
附图说明
图1是表示本发明的第一实施方式所涉及的数据处理装置的结构例的框图。
图2是表示本发明的第一实施方式所涉及的合并视频流的结构例的说明图。
图3是表示本发明的第一实施方式所涉及的合并对象的视频流的结构例以及合并视频流的结构例的说明图。
图4是表示本发明的第一实施方式所涉及的视频流的结构例的说明图。
图5是表示本发明的第一实施方式所涉及的多路复用流的结构例的说明图。
图6是表示本发明的第一实施方式所涉及的多路复用流的数据结构的例子的说明图。
图7是表示本发明的第一实施方式所涉及的多路复用流的头部内的stsz箱(box)的结构例的说明图。
图8是表示本发明的第一实施方式所涉及的多路复用流的头部内的stco箱的结构例的说明图。
图9是表示本发明的第一实施方式所涉及的数据处理装置的处理的一例的流程图。
图10A是表示本发明的第一实施方式所涉及的多路复用流的生成处理的流程图，图10B是表示本发明的第一实施方式所涉及的多路复用流用头部的生成处理的一例的流程图。
图11是表示本发明的第二实施方式所涉及的数据处理装置的结构例的框图。
图12是表示本发明的第二实施方式所涉及的数据处理装置的处理的一例的流程图。
图13是表示本发明的第二实施方式所涉及的数据处理装置的处理的一例的流程图。
图14是表示本发明的第三实施方式所涉及的数据处理***的结构例的框图。
图15是表示本发明的第三实施方式所涉及的数据处理***的处理的一例的流程图。
图16是表示本发明的第三实施方式所涉及的数据处理***的处理的一例的流程图。
具体实施方式
本发明在利用多个视频流(视频信号)创建合并视频流、并将合并视频流与头部信息一起进行多路复用的情况下，在进行处理量最多的视频流的合并处理之前预先创建头部。由此，能够实现流式传输(传输)开始时刻的低延迟化。另外，在本发明中，无需将临时合并的视频流保管在存储器等。因此，本发明无需进行成为信号处理延迟的最大瓶颈的向存储器、盘等的写入处理。
在此，从原理上来说，若没有作为多路复用对象的“包括多个视频流的合并视频流”，则不可能在视频流的合并处理之前创建“头部”。这是因为，在头部中包含“包括多个视频流的合并视频流”中所包含的各合并图片的代码量信息(例如，MP4格式中的stsz箱)、关于该合并图片位于最终的“多路复用流内”的何处的信息(例如，MP4格式中的stco箱)，需要“先(合并前)”知道这些信息。
在以往，原本就没有“包括多个视频流的合并视频流”这样的概念(要求)。这是因为，“单个视频流”存在于传送服务器内(本地)，手头上有构成上述头部的信息。另外，如果原本就是以传输多路复用的视频流为目的来准备文件，则一般在事前创建保存有多路复用的视频流的MP4格式等的文件(YouTube(注册商标)等)。因此，无需动态地创建这种格式的流。
但是，关于在本发明中作为对象的“包括多个视频流的合并视频流”而言，动态地存在来自用户(视听者)等的视听要求，之后才决定作为合并对象的视频流。因此，事前不存在作为多路复用对象的“包括多个视频流的合并视频流”，其结果，手头上不存在构成上述头部的信息(素材信息)。
因此，如何在获得“包括多个视频流的合并视频流”之前获取构成不存在的头部的“素材信息”是最大的课题。针对该课题，在本发明中，使得能够依赖于“合并算法(编码方式)”来对该头部的大小等进行预先估计(预测)计算。
在合并算法中，被压缩的代码的修正、追加、修正宏块代码的***等各种处理是在“压缩空间”内或“非压缩空间”中进行的。在合并算法明确的情况下，能够“事前”估计出“包括多个视频流的合并视频流”的各合并图片的代码量。在此，“事前”归根结底是指作为合并对象的多个视频流被确定之后。
此外，关于该“合并算法”，在本发明人们提出的日本专利第5089658号、日本特开2013-93656号公报、日本特开2013-98596号公报中已经公开。能够应用这些“合并算法”或其它算法来估计头部的大小等。在本发明中，关于合并算法、其它算法的种类没有限定。
由此，明确合并视频流的各合并图片的代码量，因此能够“事前”创建作为头部内的第一个信息的代码量信息(例如stsz箱)。
另一方面，如何创建表示合并图片位于最终的“多路复用流内”的何处的信息(例如stco箱)也是课题。作为该“表示位于何处的信息”，需要描述从最终的多路复用流的开头起的偏移位置。但是，在MP4格式等由“头部部分+媒体部分(header part+media part)”构成的多路复用流中存在以下问题：若头部部分的大小(长度)不明确，则前述的偏移位置不被最终确定。
在此，假定以下情况：表示合并图片位于最终的“多路复用流内”的何处的信息的大小是如MP4格式那样以“全合并图片帧数×固定长度的字节”构成的。本发明的要点是，首先，关于合并图片的开头位置，决定从除了头部以外的媒体部分开头起的“相对位置”，来创建临时的合并图片的开头位置的信息。然后，将包括该开头位置的信息的其它全部信息(头部组)包括在内地创建临时的头部部分整体。在该时间点，尚无法向接收侧发送头部部分。
在临时的头部部分的直到最末尾为止的创建已完成的阶段，头部部分整体的大小(长度)明确。然后，基于头部部分整体的大小信息，开始进行针对头部内的“表示合并图片位于最终的“多路复用流内”的何处的信息”的“修正处理”。具体地说，进行将前述的“相对位置”信息修正为“绝对位置”信息的处理。
在该处理已结束的阶段，头部部分也最终“创建完成”。而且，在此后，能够向接收侧发送头部部分。此外，在该阶段，尚未创建最终的“包括多个视频流的合并视频流”。因此，到此为止的处理是能够非常简单地实施的，且未进行在以往方式中所需要的合并视频流的生成，因此无需将合并视频流保管在存储器等，无需进行向存储器、盘等的写入处理。
在本发明中，一旦头部部分的发送完成，就总算开始“包括多个视频流的合并视频流”的创建处理。然后，一旦多个视频流的每个对应的图片的合并处理完成，就作为媒体部分进行多路复用，并按每个合并图片来发送。
然后，在发送了最后的合并图片的阶段，多路复用流的发送完成。
下面，参照附图来说明本发明的各种实施方式所涉及的数据处理装置以及数据处理方法的例子。
〔第一实施方式〕
<数据处理装置的结构例>
首先，参照图1来对第一实施方式所涉及的数据处理装置100的结构例进行说明。数据处理装置100具备存储部1、控制部2、视频流解析部3、多路复用流用头部用信息计算部4、作为头部生成部的多路复用流用头部生成部5、合并视频流生成部6以及多路复用流输出部7。
存储部1由HDD(Hard Disk Drive：硬盘驱动器)等构成，在该存储部1中存储有视频流Vs、音频流As以及多路复用设定信息Cf。视频流Vs是通过影像信号编码部11来对用照相机10拍摄的影像信号进行编码而成的、影像的比特流。编码的方式可以是MPEG-1、MPEG-2、MPEG-4、H.264/AVC等任意方式。
音频流As是通过声音信号编码部13来对用麦克风12生成的声音信号进行编码而成的、声音的比特流。
多路复用设定信息Cf是在合并多个视频流Vs来生成合并视频流的情况下的设定文件、即记载有合并视频流的设计信息等的设定文件。多路复用设定信息Cf既可以由用户手动生成，也可以在由用户选择了期望的视频流Vs来作为合并的对象的情况等时自动地生成。关于合并视频流的详细内容，后面参照图2和图3来说明。另外，关于多路复用设定信息Cf的详细内容也在后面说明。
控制部2由CPU(Central Processing Unit：中央处理单元)等构成，对构成数据处理装置100的各块进行控制。具体地说，进行如下处理等：从存储部1读取被选择作为合并对象的视频流Vs的处理；各块之间的数据的交接处理；以及对各块指示各种处理的执行的处理。
视频流解析部3基于来自控制部2的指令来对被提取作为合并对象的各视频流Vs进行解析。之后，视频流解析部3将解析的结果输出至控制部2。关于视频流解析部3的处理的详细内容，后面参照图4来说明。
多路复用流用头部用信息计算部4基于通过由视频流解析部3进行解析所得到的信息来计算生成多路复用流的头部所需的信息。多路复用流是指将合并多个视频流Vs而成的合并视频流与音频流As进行多路复用而成的流。这种包含合并视频流的多路复用流是多个视频流Vs被多路复用的状态。在本实施方式中，合并视频流与音频流As的多路复用例如是以依据MP4格式标准的方式来进行的。关于多路复用流用头部用信息计算部4的处理的详细内容，后面参照图5来说明。此外，至少包含合并视频流的流包含于广义的多路复用流。即，多路复用流也可以是仅包含合并视频流的流。
多路复用流用头部生成部5使用由多路复用流用头部用信息计算部4计算出的、生成多路复用流的头部所需的信息来生成多路复用流的头部。此外，关于多路复用流用头部生成部5的处理的详细内容，后面参照图6～图8来说明。
合并视频流生成部6基于控制部2的控制来进行实际合并被提取作为合并对象的各视频流Vs来生成合并视频流的处理。
多路复用流输出部7基于控制部2的控制来输出由多路复用流用头部生成部5生成的头部。另外，多路复用流输出部7将由合并视频流生成部6生成的合并视频流与音频流As进行多路复用，并作为多路复用流输出。此外，在本实施方式中，列举了将视频流Vs与音频流As进行多路复用的例子，但是本发明不限定于此。如上述那样，也可以是将仅合并视频流Vs而成的合并视频流作为多路复用流来输出的结构。
[关于合并视频流]
接着，参照图2和图3来对合并视频流进行说明。如图2的(2-1)所示，合并视频流Ms包括N个合并图片(合并帧)Pcm。在(2-1)中，以合并图片Pcm1～合并图片PcmN来表示N个合并图片。在以后的说明中，在不特别区分合并图片Pcm1～合并图片PcmN的情况下，表述为合并图片Pcm。各个合并图片Pcm是通过将图2的(2-2)所示的多个视频流Vs内的相互对应的图片Pc彼此合并来生成的。例如，(2-1)所示的合并视频流Ms内的合并图片Pcmn是通过将(2-2)所示的视频流Vs1～视频流VsM内的各图片Pcn彼此合并来生成的。利用合并图片Pcmn来显示的画面是与合并对象的多个视频流相对应地分割为多个小画面的画面。多个视频流Vs内的被合并的图片Pc的对应关系是根据各视频流Vs的开头位置等来自动地决定的，或者是由用户等选择性地决定的。
如图2的(2-3)所示，视频流Vs例如是各自不同的内容(contents)的视频流(旅行、运动、烹饪等)。在图2的(2-1)中，旅行的视频流被显示在分割成9个小画面的画面的第一段左端的小画面，同样地，运动的视频流被显示在第一段中央的小画面，烹饪的视频流被显示在第三段左端的小画面。这样，在本实施方式中，将多个动态图像合并成一个动态图像(影像)，根据需要来适当地传送。因而，由于将多个动态图像作为一个动态图像(影像)来传送，因此在接收到该影像的接收侧，能够使用搭载一般的PC的视频播放器、TV机顶盒、智能手机、Web浏览器等来同时再现各动态图像。
图3是表示被提取作为合并对象的多个视频流Vs以及合并视频流Ms的结构的详细内容的图。在图3的(3-1)、(3-2)中，示出了被提取作为合并对象的视频流Vs1和视频流Vs2的结构例。此外，在图3的(3-1)、(3-2)中，仅图示了构成视频流Vs1和视频流Vs2的图片Pc中的图片Pc1～图片Pc9。
图3的(3-3)示出了使视频流Vs1(第一视频流)的图片Pc3(第一帧)与视频流Vs2(第二视频流)的图片Pc3(第二帧)合并的情况下的合并处理的示意图。在图3的(3-3)的左图中示出视频流Vs1的图片Pc3_Vs1，在中央图中示出视频流Vs2的图片Pc3_Vs2。
在本实施方式中，以排列有宏块(MB_0、MB_1、···)的宏块行(macro blockline)Ln的1行为单位来进行图片Pc彼此之间的合并。在(3-3)中，左图的图片Pc3_Vs1的第1行宏块行Ln1的右端与中央图的视频流Vs2的图片Pc3_Vs2的第1行宏块行Ln1的左端连接。同样地，中央图的图片Pc3_Vs2的第1行宏块行Ln1的右端与右图的视频流Vs3的图片Pc3_Vs3的第1行宏块行Ln1的左端连接。
此外，图片Pc彼此之间的合并的单位并不限定于该例子，也可以以其它单位来进行，例如以多个宏块为单位、以多个宏块行Ln为单位、以图片Pc整体为单位等。
通过这样，多个视频流Vs的图片Pc3被合并，如图3的(3-4)所示那样生成合并视频流Ms的合并图片Pcm3(合并帧)。在图3的(3-4)中，示出了合并图片Pcm3由9张图片(图片Pc3_Vs1～图片Pc3_Vs9)构成的例子。
也同样地生成其它合并图片Pcm，由此最终生成如图3的(3-5)所示的、包括多个合并图片Pcm(在图3的(3-5)示出的例子中为合并图片Pcm1～合并图片Pcm9)的合并视频流Ms。
此外，在被提取作为合并对象的视频流Vs是根据H.264/AVC等采用画面内预测编码的标准被编码而成的情况下，需要将画面内预测编码中所参照的块也包括在内地进行合并。画面内预测编码是指根据已编码的相邻块的像素值来生成预测图像并对与该预测图像的差进行编码的方式。另外，存在如下情况：以抑制在使根据采用画面内预测编码的标准被编码而成的视频流Vs彼此合并的情况下可能产生的图像质量劣化为目的而采用做了特别的设计的编码方式，在这种情况下，将为了实现抑制图像质量劣化而需要的附加性的编码信息也一起合并。
另外，在图3中，示出了图片Pc由多个片(宏块行Ln)构成且构成片(slice)的各宏块(MB_0、MB_1、···)按从左至右、从上至下的顺序连续地配置的例子。将具有这种结构的图片Pc彼此合并来生成合并图片Pcm，由此，在生成合并图片Pcm之后，编码的单位变为以合并图片Pcm为单位。但是，也可以将具有除这种结构以外的结构的图片Pc作为合并的对象。例如，在将具有H.265中的砖(tile)结构的图片Pc、或者以H.264中的称为“FlexibleMacroblock ordering(灵活宏块次序)”的模式被编码而成的图片Pc彼此合并的情况下，合并前的各图片Pc所具有的结构在合并之后也会按原样继承。即，在使具有这种结构的图片Pc彼此合并的情况下，只要以图片Pc整体为单位来进行合并即可。
参照图2和图3来说明的合并视频流Vs的生成处理是由合并视频流生成部6在由多路复用流用头部生成部5进行的多路复用流的头部生成处理完成之后进行的。
[多路复用设定信息的详细内容]
在多路复用设定信息Cf中描述有最终要生成的多路复用流的生成所需的信息、或者生成多路复用流的头部所需的信息。更详细地说，多路复用设定信息Cf例如包括如下项目。
(1)被提取作为合并对象的视频流Vs的各视频流Vs的帧频(frame rate)信息
(2)各视频流Vs的内部编码图片帧频(日语：イントラピクチャレート)(例如，如果视频流Vs是根据H.264/AVC的标准被编码而成的，则相当于“IDR(Instantaneous DecodingRefresh：即时解码刷新)帧频”)
(3)各视频流Vs的分辨率(横向的像素数、纵向的像素数)
(4)各视频流Vs在合并视频流Ms内的坐标位置(横向的坐标位置、纵向的坐标位置)
(5)构成合并视频流Ms的各视频流Vs的路径(保存位置)
(6)合并视频流Ms的横向上的视频流Vs的图片Pc的数量
(7)合并视频流Ms的纵向上的视频流Vs的图片Pc的数量
(8)合并视频流Ms的总帧数
(9)最终生成的多路复用流的输出目的地(向保存位置的路径或网络地址)
在多路复用设定信息Cf所包含的项目中，(1)是写入到多路复用流的头部的信息。该信息还用于规定以什么样的单位来生成构成多路复用流的媒体数据(实体数据部分)的各组块。组块(chunk)是将多个图片(或音频数据)汇总在一起的、数据的逻辑单位。例如，假设一个组块的长度被设定为0.5秒，(1)中描述的帧频为30fps。在该情况下，构成一个组块的图片的数量为15。即，只要将15张的图片汇总在一起来生成一个组块即可。
在多路复用设定信息Cf所包含的项目中，(2)是写入到多路复用流的头部的信息。(2)中记载的各视频流Vs的内部编码图片帧频的信息是在接收到多路复用流的接收装置侧执行随机存取(random access)时要参照的。
此外，上述的(1)和(2)也可以不作为多路复用设定信息Cf来描述，而是在每当视频流解析部3对合并对象的视频流Vs进行解析时获取。
在多路复用设定信息Cf所包含的项目中，(3)～(8)是合并视频流生成部6生成合并视频流Ms时参照的信息。(3)～(5)是规定将哪个视频流Vs的哪个部分从何处提取并配置于合并视频流Ms的哪个位置的信息。(6)～(8)是规定合并视频流Ms的横向、纵向以及时间方向的大小的信息。
多路复用设定信息Cf的(3)也是，也可以不预先作为多路复用设定信息Cf来描述，而是在每当视频流解析部3对合并对象的视频流Vs进行解析时获取。但是，如果预先在多路复用设定信息Cf中描述(3)的信息，则在输入了包含异常的视频流Vs时，能够参照(3)的信息来检测异常。
在多路复用设定信息Cf所包含的项目中，(9)是表示最终生成的多路复用流的输出目的地的位置的信息。在将多路复用流保存到存储装置、存储介质的情况下，记载向保存位置的路径。另外，在将多路复用流经由网络发送至规定的接收装置的情况下，记载接收装置的网络地址。
此外，在多路复用设定信息Cf中描述的信息不限定于(1)～(8)，也可以追加其它信息。例如，也可以记载对被提取作为合并对象的视频流Vs的图片Pc的范围进行指定的信息。例如，通过记载为了生成合并视频流Ms而提取的图片组中的提取开始帧号和提取图片数，还能够提取视频流Vs的任意位置的图片Pc来生成合并视频流Ms。
[视频流解析部的处理的详细内容]
视频流解析部3对被提取作为合并对象的各视频流Vs进行解析，来获取构成视频流Vs的各图片的图片类型(I图片、P图片、B图片等图片的种类)。另外，视频流解析部3计算构成视频流Vs的各图片(帧)的代码量(数据大小)。即，也就是说视频流解析部3作为数据大小计算部发挥功能。
在图4中示出了视频流Vs的结构例。视频流Vs包括多个图片Pc(图片Pc1～图片PcN)，各图片Pc包括图片头部Hp(图片头部Hp1～图片头部HpN)和图片数据Dp(图片数据Dp1～图片数据DpN)。
视频流解析部3将各视频流Vs作为对象，从文件的开头起一边1个字节1个字节地移动、一边搜索图片头部Hp。通过进行图片头部Hp的搜索，例如在检测出视频流Vs1的图片Pc2的图片头部Hp2的时间点，视频流Vs1的图片Pc1的代码量b(参照图1和图2)明确。
视频流解析部3通过从视频流Vs的开头至末尾为止进行该头部搜索的处理，来获取构成视频流Vs的全部图片Pc的代码量b。
[多路复用流用头部用信息计算部的处理的详细内容]
多路复用流用头部用信息计算部4使用由视频流解析部3进行解析的结果所得到的信息，来计算生成多路复用流的头部所需的信息。生成多路复用流的头部所需的信息是指在假定将不同的视频流Vs的图片Pc彼此合并的情况下得到的合并图片Pcm的代码量B、以及最终生成的多路复用流的媒体数据部分中的各组块的位置的信息。
在图5中示出了多路复用流S的结构例。多路复用流S包括头部H和媒体数据D。媒体数据D包括多个组块Ck(在图5的例子中为组块Ck1～组块Ck3)。各组块Ck包括多个合并图片Pcm。此外，在图5中，为了简化说明，示出了不包括音频流As而仅由合并视频流Ms的合并图片Pcm来构成各组块Ck的例子。
多路复用流用头部用信息计算部4通过对由视频流解析部3计算出的各图片Pc的代码量b进行合计，来计算构成各组块Ck的各合并图片Pcm的代码量B(参照图2)。即，多路复用流用头部用信息计算部4也作为数据大小计算部发挥功能。例如，图2的(2-1)所示出的合并视频流Ms中的合并图片Pcmn是通过将图2的(2-2)所示的视频流Vs1～视频流VsM的各图片Pcn合并而生成的。因而，对图2的(2-2)所示的视频流Vs1～视频流VsM的各图片Pcn的代码量b进行合计所得到的值即为图2的(2-1)所示的合并图片Pcmn的代码量B。
此外，在采用在使图片Pcn彼此合并时还追加附加性的编码信息的编码方式的情况下，对图片Pcn的代码量b追加附加性的编码信息的代码量所得到的代码量为代码量B。即，除了合并前的视频流的图片Pcn的代码量以外，还考虑由于代码合并时的影像代码修正、代码追加处理而增加的代码量来计算代码量B。例如，为了应对来自数百乃至1000以上的用户的视听要求，H.264/AVC的目标之一是利用1核的CPU来实时地超高速地进行合并已压缩的影像代码的处理。在H.264/AVC中，通过各种编码模式控制、(不是以比特为单位)以字节为单位的流那样的可变长度代码控制等，创建特殊的影像代码(相当于合并前的视频流)。然后，为了达到上述目标，在H.264/AVC中，针对所生成的影像代码，根据用户要求，动态地在已压缩的状态下修正代码或追加新的代码，由此不进行位操作而创建依据H.264/AVC的合并影像代码流(相当于合并流)。
如果构成合并视频流Ms的各合并图片Pcm的代码量B明确，则合并视频流Ms的媒体数据D中的各合并图片Pcm的开头位置也明确。另外，如上所述，通过参照记载于多路复用设定信息Cf的帧频信息，还求出关于应该将几张合并图片Pcm汇总在一起来形成构成多路复用流S的各组块Ck的信息。即，通过计算出构成合并视频流Ms的各合并图片Pcm的代码量B，还能够计算出不包括头部H的多路复用流S的媒体数据D中的各组块Ck的开头位置。
在本实施方式中，媒体数据D中的各组块Ck的开头位置是以表示与媒体数据D的开头位置的差(偏移量)的偏移位置(第一位置)来表示的。在图5中，作为一例，记载了组块Ck2的开头位置的、从媒体数据D的开头位置起的偏移位置Rp_Ck2。
也就是说，根据本实施方式，不用实际将多个视频流Vs的图片Pc彼此合并来生成合并视频流Ms，就能够计算出生成多路复用流S的头部H所需的信息、即与各合并图片Pcm的代码量B和各组块Ck的开头位置有关的信息。
[多路复用流用头部生成部的处理的详细内容]
接着，参照图6～图8来对多路复用流用头部生成部5的处理的详细内容进行说明。多路复用流用头部生成部5使用由多路复用流用头部用信息计算部4计算出的信息，来生成多路复用流S的头部H的结构信息(结构体)。
图6是表示多路复用流S的数据结构的例子的图。如上所述，多路复用流S是作为依据MP4文件格式的文件而生成的。多路复用流S构成为大量的箱(BOX)信息(结构要素)的集合体。各箱信息按类别被分层。
在位于最上层的ftyp箱Bx1中，保存有表示文件的兼容性的信息。在其下的moov箱Bx2中，保存有多路复用流S的头部信息。在mdat箱Bx3中，保存有媒体数据D、即合并视频流Ms和音频流As。
在moov箱Bx2内的stsz箱Bx4中，保存有构成媒体数据D内的各组块的各图片Pcm的大小信息。在图7中示出了stsz箱Bx4的数据结构的例子。如图7所示，在stsz箱Bx4中，将构成各组块的各图片Pcm的大小作为entry_size(条目大小)E2描述了与被描述为sample_count(样本计数)E1的图片Pcm的数量相应的个数。
返回至图6继续进行说明。在moov箱Bx2内的stco箱Bx5中，保存有构成保存于mdat箱Bx3的媒体数据D的各组块的开头位置信息。在图8中示出了stco箱Bx5的数据结构的例子。如图8所示，在stco箱Bx5中，将构成媒体数据D的各组块的开头位置信息作为chunk_offset(组块偏移)E4描述了与entry_count(条目计数)E3相应的个数。
各组块Ck的开头位置是以从多路复用流S的包括头部H的文件整体的开头位置起的偏移位置来描述的。但是，如果不先明确头部H的数据大小，则无法计算各组块Ck的开头位置。另外，如果不先描述构成头部H的各结构要素，则头部H的数据大小不明确。
因而，以往，将视频流Vs实际地合并来生成合并视频流Ms，对所生成的合并视频流Ms进行解析，由此获取生成头部H所需的信息，之后生成头部H。
与此相对，在本实施方式中，多路复用流用头部生成部5使用由多路复用流用头部用信息计算部4计算出的、构成各组块Ck的各合并图片Pcm的代码量B，来生成多路复用流S的头部H的结构信息。此时，对上述的moov箱Bx2内的stco箱Bx5临时代入从不包括头部H的媒体数据D的开头位置起的偏移位置(第一位置)来作为各组块的开头位置。然后，在通过生成头部H的结构信息而求出了头部H的数据大小的时间点，多路复用流中的各组块的真正的开头位置(绝对位置)被确定。即，进行以下处理：将临时代入到stco箱Bx5的各组块的开头位置、即从不包括头部H的媒体数据D的开头位置起的偏移位置(第一位置)重写为从包括头部H的文件整体的开头位置起的绝对位置(第二位置)。在图5中，将从包括头部H的文件整体的开头位置到组块Ck2的开头位置为止的绝对位置表示为位置Ap_Ck2。
<数据处理的例子>
接着，参照图9的流程图来说明基于第一实施方式的数据处理的例子。首先，控制部2从存储部1获取多路复用设定信息Cf(步骤S1)。之后，同样是控制部2基于获取到的多路复用设定信息Cf中记载的信息，来获取作为合并对象的多个视频流Vs(步骤S2)。接着，控制部2向视频流解析部3发送视频流Vs的解析请求(步骤S3)。此时，控制部2还将多个视频流Vs与合并对象视频流的解析请求一起发送。此外，关于多个视频流Vs的发送，可以发送数据本身，但是也可以仅发送视频流Vs的保存位置的路径的信息。
视频流解析部3当接收到从控制部2发送的合并对象视频流的解析请求时，进行被提取作为合并对象的各视频流Vs的解析(步骤S4)。视频流解析部3通过对被提取作为合并对象的各视频流Vs进行解析，来获取构成各视频流Vs的各图片Pc的图片类型，并且计算构成各视频流Vs的各图片Pc的代码量b。
在获取到构成各视频流Vs的各图片Pc的图片类型和代码量b之后，视频流解析部3将这些信息作为合并对象视频流的解析结果发送至控制部2(步骤S5)。
接着，从控制部2向多路复用流用头部用信息计算部4发送多路复用流用头部用信息的计算请求(步骤S6)。在多路复用流用头部用信息的计算请求中，包含视频流解析部3的解析结果(构成各视频流Vs的各图片Pc的代码量b等)以及多路复用设定信息Cf的(1)、(2)、(6)、(7)、(8)。
多路复用流用头部用信息计算部4当接收到从控制部2发送的多路复用流用头部用信息的计算请求时，计算多路复用流用头部用信息(步骤S7)。多路复用流用头部用信息计算部4计算构成多路复用流S的各合并图片Pcm的代码量B以及多路复用流S的媒体数据D中的各组块Ck的开头位置的信息来作为多路复用流用头部用信息。之后，多路复用流用头部用信息计算部4将所生成的多路复用流用头部用信息发送至控制部2(步骤S8)。
接着，从控制部2向多路复用流用头部生成部5发送多路复用流用头部的生成请求(步骤S9)。控制部2还将由多路复用流用头部用信息计算部4计算出的多路复用流用头部用信息与多路复用流用头部的生成请求一起发送。
多路复用流用头部生成部5当接收到从控制部2发送的多路复用流用头部的生成请求时，进行多路复用流S用的头部H的生成处理(步骤S10)。关于多路复用流用头部的生成处理，后面参照图10B来说明。
多路复用流用头部生成部5在结束了多路复用流用头部的生成处理时，将所生成的多路复用流S用的头部H发送至控制部2(步骤S11)。
接着，从控制部2向多路复用流输出部7发送多路复用流用头部的输出请求(步骤S12)。此时，控制部2还将由多路复用流用头部生成部5生成的多路复用流S用的头部H与多路复用流用头部的输出请求一起发送。
多路复用流输出部7当接收到从控制部2发送的多路复用流用头部的输出请求时，输出多路复用流S用的头部H(步骤S13)。从多路复用流输出部7输出的多路复用流S用的头部H被发送至接收装置等。多路复用流输出部7在结束了多路复用流S用的头部H的输出时，对控制部2通知多路复用流用头部的输出完成(步骤S14)。
接着，从控制部2向合并视频流生成部6发送视频流Vs的合并请求(步骤S15)。在视频流Vs的合并请求中，包含视频流Vs和多路复用设定信息Cf的(4)、(6)～(8)。
合并视频流生成部6当接收到从控制部2发送的视频流Vs的合并请求时，以图片Pc为单位来合并多个视频流Vs，由此生成合并视频流Ms(步骤S16)。之后，合并视频流生成部6将所生成的合并视频流Ms发送至控制部2(步骤S17)。此外，步骤S15的合并请求的发送处理以及步骤S16的合并视频流Ms的生成处理在直到作为合并对象的全部图片Pc的合并完成为止的期间内重复进行。
接着，从控制部2向多路复用流输出部7发送多路复用流S的输出请求(步骤S18)。多路复用流输出部7当接收到从控制部2发送的多路复用流S的输出请求时，进行合并视频流Ms和音频流As的多路复用处理。然后，将进行多路复用处理后的合并视频流Ms和音频流As作为多路复用流S输出(步骤S19)。多路复用流输出部7在多路复用流S的输出结束时，对控制部2通知多路复用流S的输出完成(步骤S20)。
[多路复用流的生成处理]
在此，参照图10A和图10B来对多路复用流的生成处理进行说明。图10A是表示多路复用流的整体的处理过程的流程图。图10B是表示图10A的多路复用流用头部的生成处理(步骤S31)的一例的流程图。
在图10A中，首先，多路复用流用头部生成部5进行多路复用流用头部的生成和***(多路复用)处理(步骤S31)。接着，合并视频流生成部6基于由多路复用流用头部生成部5生成的多路复用流用头部来进行合并多个视频流的处理(步骤S32)。然后，多路复用流输出部7进行合并视频流的***(多路复用)处理(步骤S33)。即，在本实施方式中，在多路复用流用头部的生成处理(步骤S31)之后，进行多个视频流的合并处理(步骤S32)。
此外，上述的***(多路复用)处理是指将所生成的头部或合并视频流作为最终输出的多路复用流、或者多路复用为多路复用流。多路复用流是头部、媒体数据按某种顺序依次构成的，在该多路复用流的后面接二连三地追加头部、合并视频流。而且，在流式传输(Streaming)中，一边进行这样的追加，一边从先追加至多路复用流的头部、合并视频流起依次向网络发送。但是，在头部的生成初期，不存在作为***(多路复用)对象的多路复用流，因此在最初的头部的开头(第一个字节)之后，依次追加头部、媒体数据(合并视频流)。
[多路复用流用头部的生成处理的详细内容]
接着，参照图10B来对由多路复用流用头部生成部5进行的多路复用流用头部的生成处理(图10A的步骤S31)进行说明。
首先，多路复用流用头部生成部5使用作为多路复用流用头部用信息而计算出的、构成合并视频流Ms的各合并图片Pcm的代码量B，来生成多路复用流S的头部H内的stsz箱Bx4(参照图6)(步骤S311)。也就是说，进行向图7示出的stsz箱Bx4的条目大小E2写入各合并图片Pcm的代码量B的处理。
接着，多路复用流用头部生成部5使用作为多路复用流用头部用信息而计算出的、从多路复用流S的媒体数据D的开头位置到各组块Ck为止的偏移位置的信息，来生成多路复用流S的头部H内的stco箱Bx5(步骤S312)。即，进行如下处理：向图8示出的stco箱Bx5的组块偏移E4写入各组块Ck的开头位置的从多路复用流S的媒体数据D的开头位置起的偏移位置。
接着，多路复用流用头部生成部5还进行构成头部H的其它各箱的生成，由此生成多路复用流S用的头部H的结构信息(步骤S313)。在该时间点，多路复用流S的头部H的大小被确定。
接着，多路复用流用头部生成部5使用多路复用流S用的头部H的大小的信息，来进行重写头部结构信息内的stco箱Bx5的组块偏移E4(参照图8)的值的处理。更详细地说，进行如下处理：将作为组块偏移E4而描述的、各组块Ck的从媒体数据D的开头位置起的偏移位置重写为从包括头部H的多路复用流S整体的开头位置起的绝对位置(步骤S314)。
之后，多路复用流用头部生成部5生成多路复用流S用的头部H(步骤S315)。即，进行使头部H变为二进制数据的处理。
根据上述第一实施方式，不用进行实际将视频流Vs彼此合并来生成合并视频流Ms的处理，就能够生成和输出多路复用流S的头部H。即，即使不生成构成多路复用流S的媒体数据D的部分的合并视频流Ms，也能够仅将头部H先发送至接收装置侧。由此，在接收装置侧，能够提前进行解码处理的准备，在接收装置侧，能够在早期阶段开始影像的再现。
另外，根据上述第一实施方式，在创建多路复用流S的头部H时，无需先生成合并视频流Ms。因而，也可以不进行如下处理：将为了生成头部H而创建的合并视频流Ms在直到生成头部H为止的期间内临时存储在存储介质或存储装置等。
由此，不会产生在将合并视频流Ms写入存储介质或存储装置等以及从存储介质或存储装置等读取合并视频流Ms的情况下对CPU造成的负担本身。另外，也不会产生将合并视频流Ms写入存储介质或存储装置等以及从存储介质或存储装置等读取合并视频流Ms的时间，因此能够大幅缩短处理的时间。并且，在将多路复用流S不存储于存储部1等而是输出至网络的实施方式中，无需将进行多路复用处理之前的合并视频流Ms存储在存储部1，因此能够大幅节省存储部1的容量。因而，还能够实现数据处理装置100的低成本化。
[第二实施方式]
在上述第一实施方式中，列举了在每次进行多路复用处理时都实施视频流解析部3对视频流Vs的解析的例子，但是本发明不限定于此。也可以将视频流解析部3对视频流Vs的解析结果作为视频流Vs的元数据(metadata)而存储在文本文件、数据库等。
图11是表示第二实施方式所涉及的数据处理装置100α的结构例的框图。在图11中，对与图1相对应的部位标注同一标记，并省略重复的说明。图11所示的结构是在图1示出的结构中追加视频流元数据DB(数据库)8而成的。视频流元数据DB 8是将视频流解析部3的解析结果存储为视频流Vs的元数据的数据库。
图12是表示由数据处理装置100α进行的数据处理的例子的流程图。首先，当视频流Vs被图11所示的影像信号编码部11等发送并被输入至存储部1时(步骤S41)，从存储部1对控制部2进行视频流Vs的输入通知(步骤S42)。也就是说，存储部1向控制部2通知被输入了今后可能被合并为合并视频流Ms的新的视频流Vs。此时，存储部1还将新输入的视频流Vs的位置信息与视频流Vs的输入通知一起一并发送。视频流Vs的位置信息例如是指向视频流Vs的保存位置的路径、视频流Vs的标识符等。
接着，从控制部2向视频流解析部3发送视频流Vs的解析请求(步骤S43)。控制部2向视频流解析部3请求构成视频流Vs的各图片Pc的图片类型和各图片Pc的代码量b的计算，来作为视频流Vs的解析请求。此时，控制部2还一起发送视频流Vs的标识符。
视频流解析部3当接收到从控制部2发送的视频流Vs的解析请求时，进行视频流Vs的解析(步骤S44)。视频流解析部3通过对视频流Vs进行解析，来获取构成视频流Vs的各图片Pc的图片类型和各图片Pc的代码量。
接着，视频流解析部3将视频流Vs的解析结果作为视频流Vs的元数据而登记至视频流元数据DB 8(步骤S45)。当视频流Vs向数据库的登记完成时，视频流元数据DB 8对视频流解析部3进行登记完成的通知(步骤S46)。视频流解析部3当接收到从视频流元数据DB 8发送的登记完成通知时，对控制部2通知视频流Vs的解析的完成(步骤S47)。
在每当新的视频流Vs被输入至存储部1时，都以新输入的全部视频流Vs为对象来进行上面说明的图12的步骤S41～步骤S47的处理。
图13是表示由数据处理装置100α进行的多路复用处理的例子的流程图。图13所示的处理是在由用户等进行了多路复用处理的实施请求的时机进行的处理，与参照图12说明的元数据的登记处理不同步地进行。
首先，控制部2从存储部1获取多路复用设定信息Cf(步骤S51)。之后，同样是控制部2基于获取到的多路复用设定信息Cf中记载的信息，来获取作为合并对象的多个视频流Vs(步骤S52)。控制部2还从视频流元数据DB 8获取合并对象的视频流Vs的元数据(步骤S53)。
接着，控制部2向多路复用流用头部用信息计算部4发送多路复用流用头部用信息的计算请求(步骤S54)。此时，控制部2还将合并对象的视频流Vs的元数据与多路复用流用头部用信息的计算请求一起发送。
多路复用流用头部用信息计算部4当接收到从控制部2发送的多路复用流用头部用信息的计算请求时，计算多路复用流用头部用信息(步骤S55)。多路复用流用头部用信息计算部4计算构成多路复用流S的各合并图片Pcm的代码量B以及多路复用流S的媒体数据D中的各组块Ck的开头位置的信息来作为多路复用流用头部用信息。之后，多路复用流用头部用信息计算部4将所生成的多路复用流用头部用信息发送至控制部2(步骤S56)。
接着，从控制部2向多路复用流用头部生成部5发送多路复用流用头部的生成请求(步骤S57)。控制部2还将由多路复用流用头部用信息计算部4计算出的多路复用流用头部用信息与多路复用流用头部的生成请求一起发送。
多路复用流用头部生成部5当接收到从控制部2发送的多路复用流用头部的生成请求时，进行多路复用流S用头部H的生成处理(步骤S58)。关于多路复用流用头部的生成处理，与参照图10B说明的相同，因此在此省略说明。
多路复用流用头部生成部5在结束了多路复用流用头部的生成处理时，将所生成的多路复用流S用的头部H发送至控制部2(步骤S59)。接着，从控制部2向多路复用流输出部7发送多路复用流用头部的输出请求(步骤S60)。此时，控制部2还将由多路复用流用头部生成部5生成的多路复用流S用的头部H与多路复用流用头部的输出请求一起发送。
多路复用流输出部7当接收到从控制部2发送的多路复用流用头部的输出请求时，输出多路复用流S用的头部H(步骤S61)。从多路复用流输出部7输出的多路复用流S用的头部H被发送至接收装置等。多路复用流输出部7在结束了多路复用流S用的头部H的输出时，对控制部2通知多路复用流用头部的输出完成(步骤S62)。
接着，从控制部2向合并视频流生成部6发送视频流Vs的合并请求(步骤S63)。在视频流Vs的合并请求中还包含视频流Vs以及视频流Vs的位置信息、合并视频流Ms的结构信息(各视频流Vs的合并预定位置等)。
合并视频流生成部6当接收到从控制部2发送的视频流Vs的合并请求时，通过将多个视频流Vs的图片Pc彼此合并来生成合并视频流Ms(步骤S64)。之后，合并视频流生成部6将所生成的合并视频流Ms发送至控制部2(步骤S65)。
接着，从控制部2向多路复用流输出部7发送多路复用流S的输出请求(步骤S66)。多路复用流输出部7当接收到从控制部2发送的多路复用流S的输出请求时，进行合并视频流Ms和音频流As的多路复用处理。然后，将进行多路复用处理后的合并视频流Ms和音频流As作为多路复用流S输出(步骤S67)。多路复用流输出部7在多路复用流S的输出结束时，对控制部2通知多路复用流S的输出完成(步骤S68)。
根据上述第二实施方式，能够得到与通过前述的第一实施方式得到的效果同样的效果。另外，根据上述第二实施方式，无需在每次进行多路复用处理时都进行作为合并对象的视频流Vs的解析。因而，能够削减第二次以后进行视频流Vs的解析的时间。
〔第三实施方式〕
在上述的各实施方式中，列举了一个数据处理装置100(100α)既进行合并视频流Ms的生成处理又进行多路复用处理的例子，但是本发明不限定于此。例如，也可以使处理分散在多个服务器来进行。
图14是表示数据处理***50的结构例的框图，该数据处理***50具有生成合并视频流Ms的合并服务器200、进行多路复用处理的多路复用控制服务器300以及多路复用流输出部40。合并服务器200具备视频流存储部21、合并控制部22、视频流解析部23、视频流元数据DB 24以及合并视频流生成部25。此外，关于图14所示的数据处理***50，为了简化说明，列举了仅对视频流Vs进行合并和多路复用的结构的例子。
视频流存储部21由HDD等构成，存储有从外部输入的视频流Vs。合并控制部22由CPU等构成，进行构成合并服务器200的各部的控制。视频流解析部23与上述的各实施方式中的视频流解析部3同样地，进行视频流Vs的解析，获取构成视频流Vs的各图片的图片类型，并且计算各图片的代码量b。
视频流元数据DB 24与图11所示的视频流元数据DB 8相同，将视频流Vs的解析结果登记为视频流Vs的元数据。合并视频流生成部25与上述的各实施方式中的合并视频流生成部6相同，通过合并多个视频流Vs来生成合并视频流Ms。
多路复用控制服务器300具备多路复用设定信息存储部31、视频流元数据访问信息DB 32、多路复用控制部33、多路复用流用头部用信息计算部34以及多路复用流用头部生成部35。
多路复用设定信息存储部31由HDD等构成，存储有多路复用设定信息Cf。视频流元数据访问信息DB 32是登记有用于访问视频流元数据DB 24的访问信息的数据库。作为访问信息，例如登记有视频流元数据DB 24的地址、对构成视频流元数据DB 24的各表赋予的表标识符、视频流Vs的标识符等信息。
多路复用控制部33由CPU等构成，进行构成多路复用控制服务器300的各部的控制。多路复用流用头部用信息计算部34与上述的各实施方式中的多路复用流用头部用信息计算部4相同，计算生成多路复用流S用的头部H所需的信息。多路复用流用头部生成部35与上述的各实施方式中的多路复用流用头部生成部5相同，生成多路复用流S用的头部H。
多路复用流输出部40与上述的各实施方式中的多路复用流输出部7相同，输出多路复用流S用的头部H或多路复用流S。
此外，在图14所示的例子中，列举了只有一个合并服务器200的例子，但是本发明不限定于此。也可以是以下结构：设置多个合并服务器200，通过多路复用流输出部40将从多个合并服务器200输出的各合并视频流Ms进行多路复用并输出。
另外，在图14所示的例子中，列举了将多路复用流输出部40设置于合并服务器200和多路复用控制服务器300的外部的例子，但是本发明不限定于此。也可以将多路复用流输出部40设置在合并服务器200中或多路复用控制服务器300中。
另外，在图14所示的例子中，列举了将视频流存储部21和视频流元数据DB 24设置在合并服务器200中、将视频流元数据访问信息DB 32设置在多路复用控制服务器300中的例子，但是本发明不限定于此。这些各数据库既可以设置于其中一个服务器内，也可以设置于与合并服务器200或多路复用控制服务器300相独立的其它服务器内。
接着，参照图15和图16的流程图来说明第三实施方式所涉及的数据处理***50的处理的例子。图15是表示由合并服务器200进行的处理的例子的流程图，图16是表示多路复用控制服务器300的处理以及由合并服务器200进行的合并视频流Ms的生成处理的例子的流程图。
首先，参照图15来说明由合并服务器200进行的处理的例子。首先，当视频流Vs被图1或图11所示的影像信号编码部11等发送并被输入至视频流存储部21时(步骤S71)，从视频流存储部21对合并控制部22进行视频流Vs的输入通知(步骤S72)。此时，视频流存储部21还将新输入的视频流Vs的位置信息与视频流Vs的输入通知一起一并发送。视频流Vs的位置信息例如是指向视频流Vs的保存位置的路径、视频流Vs的标识符等。
接着，从合并控制部22向视频流解析部23发送视频流Vs的解析请求(步骤S73)。合并控制部22向视频流解析部23请求构成视频流Vs的各图片Pc的图片类型和各图片Pc的代码量b的计算，来作为视频流Vs的解析请求。此时，合并控制部22还一起发送视频流Vs的标识符和视频流Vs的位置信息。
视频流解析部23当接收到从合并控制部22发送的视频流Vs的解析请求时，进行视频流Vs的解析(步骤S74)。视频流解析部23通过对视频流Vs进行解析，来获取构成视频流Vs的各图片的图片类型和各图片的代码量b。
接着，视频流解析部23将视频流Vs的解析结果作为视频流Vs的元数据而登记至视频流元数据DB 24(步骤S75)。当视频流Vs向数据库的登记完成时，视频流元数据DB 24对视频流解析部23进行登记完成的通知(步骤S76)。视频流解析部23当接收到从视频流元数据DB 24发送的登记完成通知时，对合并控制部22通知视频流Vs的解析的完成(步骤S77)。
合并控制部22当接收到从视频流解析部23发送的视频流Vs的解析完成通知时，将用于访问视频流元数据DB 24的访问信息登记至多路复用控制服务器300内的视频流元数据访问信息DB 32(步骤S78)。
当访问信息向数据库的登记完成时，视频流元数据访问信息DB 32对合并控制部22通知视频流元数据的访问信息的登记完成(步骤S79)。
每当新的视频流Vs被输入至视频流存储部21时，都以新输入的全部视频流Vs为对象来进行以上说明的图15的步骤S71～步骤S79的处理。
图16是表示由数据处理***50进行的头部生成处理和多路复用处理的例子的流程图。图16所示的处理是在由用户等进行了多路复用处理的实施请求的时机进行的处理，与参照图15说明的视频流Vs的元数据的登记处理不同步地进行。
首先，多路复用控制服务器300的多路复用控制部33从多路复用设定信息存储部31获取多路复用设定信息Cf(步骤S91)。之后，同样是多路复用控制部33从视频流元数据访问信息DB 32获取在多路复用设定信息Cf内被设为合并对象的多个视频流Vs的、向元数据的访问信息(步骤S92)。多路复用控制部33还基于获取到的访问信息，从视频流元数据DB24获取合并对象的视频流Vs的元数据(步骤S93)。
接着，多路复用控制部33向多路复用流用头部用信息计算部34发送多路复用流用头部用信息的计算请求(步骤S94)。多路复用控制部33还将合并对象的视频流Vs的元数据与多路复用流用头部用信息的计算请求一起发送。
多路复用流用头部用信息计算部34当接收到从多路复用控制部33发送的多路复用流用头部用信息的计算请求时，计算多路复用流用头部用信息(步骤S95)。多路复用流用头部用信息计算部34计算构成多路复用流S的各合并图片Pcm的代码量B以及多路复用流S的媒体数据D中的各组块Ck的开头位置的信息来作为多路复用流用头部用信息。之后，多路复用流用头部用信息计算部34将所生成的多路复用流用头部用信息发送至多路复用控制部33(步骤S96)。
接着，从多路复用控制部33向多路复用流用头部生成部35发送多路复用流用头部的生成请求(步骤S97)。多路复用控制部33还将由多路复用流用头部用信息计算部34计算出的多路复用流用头部用信息与多路复用流用头部的生成请求一起发送。
多路复用流用头部生成部35当接收到从多路复用控制部33发送的多路复用流用头部的生成请求时，进行多路复用流S用头部H的生成处理(步骤S98)。关于多路复用流用头部的生成处理，与参照图10B说明的相同，因此在此省略说明。
多路复用流用头部生成部35在结束了多路复用流用头部的生成处理时，将所生成的多路复用流S用的头部H发送至多路复用控制部33(步骤S99)。接着，从多路复用控制部33向多路复用流输出部40发送多路复用流用头部的输出请求(步骤S100)。此时，多路复用控制部33还将由多路复用流用头部生成部35生成的多路复用流S用的头部H与多路复用流用头部的输出请求一起发送。
多路复用流输出部40当接收到从多路复用控制部33发送的多路复用流用头部的输出请求时，输出多路复用流S用的头部H(步骤S101)。从多路复用流输出部40输出的多路复用流S用的头部H被发送至接收装置等。多路复用流输出部40在结束了多路复用流S用的头部H的输出时，对多路复用控制部33通知多路复用流用头部的输出完成(步骤S102)。
接着，从多路复用控制部33向合并服务器200内的合并控制部22发送视频流Vs的合并和输出请求(步骤S103)。在视频流Vs的合并和输出请求中，还包含视频流Vs以及视频流Vs的位置信息、合并视频流Ms的结构信息(各视频流Vs的合并预定位置等)。
合并控制部22当接收到从多路复用控制部33发送的视频流Vs的合并请求时，基于视频流Vs的位置信息，从视频流存储部21获取作为合并对象的视频流Vs(步骤S104)。接着，合并控制部22向合并视频流生成部25发送视频流的合并请求(步骤S105)。此时，合并控制部22向合并视频流生成部25还发送视频流Vs的位置信息和合并视频流Ms的结构信息(各视频流Vs的合并预定位置等)。
合并视频流生成部25当接收到从合并控制部22发送的视频流的合并请求时，从视频流存储部21获取多个视频流Vs(步骤S106)。接着，合并视频流生成部25以图片Pc为单位来将多个视频流Vs彼此合并，由此生成合并视频流Ms(步骤S107)。之后，合并视频流生成部25将所生成的合并视频流Ms发送至合并控制部22(步骤S108)。
接着，从合并控制部22向多路复用流输出部40发送多路复用流S的输出请求(步骤S109)。多路复用流输出部40当接收到从合并控制部22发送的多路复用流S的输出请求时，进行合并视频流Ms的多路复用处理。然后，将进行多路复用处理后的合并视频流Ms作为多路复用流S输出(步骤S110)。多路复用流输出部40在多路复用流S的输出结束时，对合并控制部22通知多路复用流S的输出完成(步骤S111)。
根据上述第三实施方式，能够得到与通过前述的第一实施方式得到的效果同样的效果。另外，根据上述第三实施方式，能够使处理分散在多个服务器，因此能够实现处理时间的缩短。
此外，如前所述，也可以在数据处理***50内设置多个合并服务器200。例如，假设合并视频流Ms由纵向2图片×横向2图片＝4图片构成。另外，假设在构成合并视频流Ms的4个图片Pcm中，合并服务器200A生成配置于上半部分的区域的合并视频流Ms，合并服务器200B生成配置于下半部分的区域的合并视频流Ms。
在这种情况下，在上述步骤S100中，在从多路复用控制部33向多路复用流输出部40发送多路复用流用头部的输出请求时，还发送合并视频流Ms的结构信息(各视频流Vs的合并预定位置等)。即，发送表示以下内容的信息：在4个合并视频流Ms中，配置于上半部分的区域的合并视频流Ms是从合并服务器200A输出的，配置于下半部分的区域的合并视频流Ms是从合并服务器200B输出的。
在步骤S103中从多路复用控制部33向合并服务器200A(合并服务器200B)内的合并控制部22发送视频流Vs的合并和输出请求时所发送的、合并视频流Ms的结构信息中，也事先描述同样的信息。
通过进行这种处理，在存在多个合并服务器200的方式中，也能够进行视频流Vs的合并处理和多路复用处理。另外，通过设置多个合并服务器200，在多个合并服务器200之间并行地进行合并视频流Ms的生成处理。即，能够缩短整体的处理时间。
另外，不仅可以将合并服务器200设置多个，也可以将多路复用流输出部40设置多个。在该情况下，只要在从多路复用控制部33向合并服务器200A(合并服务器200B)内的合并控制部22发送的视频流Vs的合并和输出请求中还包含多路复用流输出部40的标识符来发送即可。
另外，上述第三实施方式中的合并服务器200和多路复用控制服务器300不限定于构成为服务器装置。例如，也可以应用于：具备摄像部的数字静态照相机或摄像机；在对经由网络发送的拍摄图像Po进行加工来显影、或者加工成照片书(photo book)等的图像处理服务中使用的数据图像处理装置等。
另外，在上述第三实施方式中，列举了如下结构的例子：合并服务器200具有合并控制部22、视频流解析部23以及合并视频流生成部25，多路复用控制服务器300具有多路复用控制部33、多路复用流用头部用信息计算部34以及多路复用流用头部生成部35，但是本发明不限定于此。这些各部也可以设置于其中一个服务器内，另外，也可以将这些各部设置为分别独立的装置(视频流解析装置(数据大小计算装置)、合并视频流生成装置、多路复用流用头部用信息计算装置、多路复用流用头部生成装置(头部生成装置)、多路复用流输出装置)。
在上述的各种实施方式中，列举了将以MPEG-4等标准格式被编码而成的视频流Vs进行合并和多路复用的例子，但是本发明不限定于此。也可以以使多路复用流S用的头部H的生成处理更高速化为目的，进行预先将以标准格式被编码而成的视频流Vs的结构进行变更等处理。例如，如果将生成头部H所需的信息(各图片的代码量b等)配置于文件的开头，则在生成头部H时只进行读取其位置的信息的处理即可。即，无需进行视频流解析部3对文件整体进行解析的处理，因此能够使头部H的生成处理更加高速化。此外，生成头部H所需的信息也可以不在视频流Vs中描述，而是在与视频流Vs不同的其它文件中描述，或者用数据库进行管理。
另外，在上述的各种实施方式中，如上所述，具有至少将合并多个视频流Vs而成的合并视频流作为多路复用流来输出的结构。因而，例如也可以仅将合并视频流与头部信息进行多路复用来作为多路复用流输出。另外，在图2的(2-1)中，示出了将一个画面分割为9个小画面的例子，但是也可以是其它分割数。另外，也可以不是均等地分割一个画面，而是例如与某个视频流相对应的小画面的大小大于或小于与其它视频流相对应的小画面的大小。
另外，也能够通过软件来执行上述的实施方式例中的一系列处理。在通过软件来执行一系列处理的情况下，能够利用构成该软件的程序被嵌入到专用的硬件的计算机、或者安装了用于执行各种功能的程序的计算机来执行。例如，只要将构成期望的软件的程序安装到通用的个人计算机等来执行即可。另外，也可以应用于置于连接于网络的服务器上、云计算环境下的软件。
另外，也可以对***或装置提供存储有实现上述的实施方式例的功能的软件的程序代码的记录介质。另外，也能够通过由该***或装置的计算机(或CPU等控制装置)读取并执行记录介质中存储的程序代码来实现功能，这是不言而喻的。
附图标记说明
1：存储部；2：控制部；3：视频流解析部；4：多路复用流用头部用信息计算部；5：多路复用流用头部生成部；6：合并视频流生成部；7：多路复用流输出部；8：视频流元数据DB；21：视频流存储部；22：合并控制部；23：视频流解析部；24：视频流元数据DB；25：合并视频流生成部；31：多路复用设定信息存储部；32：视频流元数据访问信息DB；33：多路复用控制部；34：多路复用流用头部用信息计算部；35：多路复用流用头部生成部；40：多路复用流输出部；50：数据处理***；100：数据处理装置；200：合并服务器；300：多路复用控制服务器。

Claims (9)

1.一种数据处理装置，具备：
数据大小计算部，其在合并第一帧与第二帧以生成合并帧之前，计算在假定将所述第一帧与所述第二帧合并的情况下生成的合并帧的数据大小，其中，该第一帧是以规定的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与所述第一视频流不同的第二视频流内的合并对象的帧；
头部生成部，其使用所述合并帧的数据大小的信息来生成多路复用流的头部，该多路复用流是包括由所述合并帧构成的合并视频流的流；
合并视频流生成部，其生成所述合并视频流；以及
多路复用流输出部，其进行所述多路复用流的头部的输出处理、或者进行输出包括所述合并视频流的所述多路复用流的处理。
2.根据权利要求1所述的数据处理装置，其特征在于，
所述多路复用流输出部使用如下文件格式来进行多路复用：所述多路复用流的头部被配置在比所述多路复用流的媒体数据部分靠前的位置。
3.根据权利要求2所述的数据处理装置，其特征在于，
所述头部生成部使用所述合并帧的数据大小的信息来将所述多路复用流的头部生成为结构体，由此计算所述多路复用流的头部的大小。
4.根据权利要求3所述的数据处理装置，其特征在于，
所述多路复用流输出部将多个所述合并帧作为一个数据单位进行多路复用来生成所述多路复用流，
所述数据大小计算部根据所述合并帧的数据大小的信息来计算第一位置，该第一位置表示被进行所述多路复用的各数据单位的开头位置在所述多路复用流的所述媒体数据部分内的位置，
所述头部生成部将由所述数据大小计算部计算出的所述第一位置的信息描述在被生成为所述结构体的所述多路复用流的头部内的规定的结构要素中，由此使得确定所述头部的大小，在确定了所述头部的大小之后，将描述在所述头部内的规定的结构要素中的所述第一位置重写为第二位置，该第二位置表示被进行所述多路复用的各数据单位的开头位置在包括所述头部的所述多路复用流整体中的位置。
5.根据权利要求4所述的数据处理装置，其特征在于，
所述多路复用流输出部在输出所述多路复用流之前，进行所述多路复用流的头部的输出处理。
6.根据权利要求4所述的数据处理装置，其特征在于，
在所述多路复用流输出部进行所述多路复用时使用的所述文件格式是MP4文件格式，所述多路复用流的头部内的规定的结构要素是stco箱。
7.根据权利要求4所述的数据处理装置，其特征在于，
该数据处理装置还具备视频流元数据数据库，该视频流元数据数据库将由所述数据大小计算部计算出的所述合并帧的数据大小的信息作为所述第一视频流或所述第二视频流的元数据来存储，
所述合并视频流生成部和所述多路复用流输出部使用所述视频流元数据数据库中存储的所述元数据的信息，来进行所述合并视频流的生成处理或所述合并视频流的多路复用处理。
8.一种数据处理方法，包括以下步骤：
在合并第一帧与第二帧以生成合并帧之前，计算在假定将所述第一帧与所述第二帧合并的情况下生成的合并帧的数据大小，其中，该第一帧是以规定的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与所述第一视频流不同的第二视频流内的合并对象的帧；
使用所述合并帧的数据大小的信息来生成多路复用流的头部，该多路复用流是包括由所述合并帧构成的合并视频流的流；
生成所述合并视频流；以及
进行所述多路复用流的头部的输出处理、或者进行输出包括所述合并视频流的所述多路复用流的处理。
9.一种计算机可读取的记录介质，记录有用于使计算机执行以下步骤的程序：
在合并第一帧与第二帧以生成合并帧之前，计算在假定将所述第一帧与所述第二帧合并的情况下生成的合并帧的数据大小，其中，该第一帧是以规定的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与所述第一视频流不同的第二视频流内的合并对象的帧；
使用所述合并帧的数据大小的信息来生成多路复用流的头部，该多路复用流是包括由所述合并帧构成的合并视频流的流；
生成所述合并视频流；以及
进行所述多路复用流的头部的输出处理、或者进行输出包括所述合并视频流的所述多路复用流的处理。
CN201480055441.XA 2013-08-08 2014-08-05 数据处理装置、数据处理方法和计算机可读取的记录介质 Expired - Fee Related CN105612756B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-165066 2013-08-08
JP2013165066 2013-08-08
PCT/JP2014/070655 WO2015020069A1 (ja) 2013-08-08 2014-08-05 データ処理装置、データ処理方法、プログラム、記録媒体及びデータ処理システム

Publications (2)

Publication Number Publication Date
CN105612756A CN105612756A (zh) 2016-05-25
CN105612756B true CN105612756B (zh) 2018-09-28

Family

ID=52461400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480055441.XA Expired - Fee Related CN105612756B (zh) 2013-08-08 2014-08-05 数据处理装置、数据处理方法和计算机可读取的记录介质

Country Status (6)

Country Link
US (1) US10104142B2 (zh)
EP (1) EP3032835B1 (zh)
JP (1) JP6355634B2 (zh)
CN (1) CN105612756B (zh)
TW (1) TW201519641A (zh)
WO (1) WO2015020069A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481749B1 (en) * 2014-12-01 2019-11-19 Google Llc Identifying and rendering content relevant to a user's current mental state and context
WO2016135962A1 (ja) * 2015-02-27 2016-09-01 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体
CN109429073B (zh) * 2017-09-01 2021-07-02 杭州海康威视数字技术股份有限公司 发送多媒体数据、播放多媒体数据的方法、装置及***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003173625A (ja) * 2001-12-04 2003-06-20 Hitachi Ltd ファイル変換方法、ファイル変換装置、及びファイル生成装置
JP2008199387A (ja) * 2007-02-14 2008-08-28 Hitachi Software Eng Co Ltd 動画部分配信システム
US8400497B2 (en) * 2007-09-07 2013-03-19 Samsung Electronics Co., Ltd Method and apparatus for generating stereoscopic file
EP2150059A1 (en) * 2008-07-31 2010-02-03 Vodtec BVBA A method and associated device for generating video
KR20100078700A (ko) * 2008-12-30 2010-07-08 삼성전자주식회사 파일 전송 방법 및 그를 수행하는 단말기
JP5089658B2 (ja) 2009-07-16 2012-12-05 株式会社Ｇｎｚｏ 送信装置及び送信方法
CN102972024A (zh) * 2011-05-11 2013-03-13 松下电器产业株式会社 动态图像发送装置以及动态图像发送方法
JP5685682B2 (ja) * 2011-10-24 2015-03-18 株式会社Gnzo 映像信号の符号化システム及び符号化方法
JP5685683B2 (ja) 2011-10-28 2015-03-18 株式会社Gnzo バイトアラインメント装置及びバイトアラインメント方法

Also Published As

Publication number Publication date
JPWO2015020069A1 (ja) 2017-03-02
WO2015020069A1 (ja) 2015-02-12
US20160308926A1 (en) 2016-10-20
CN105612756A (zh) 2016-05-25
US10104142B2 (en) 2018-10-16
TW201519641A (zh) 2015-05-16
EP3032835A4 (en) 2017-04-05
EP3032835B1 (en) 2019-12-04
EP3032835A1 (en) 2016-06-15
JP6355634B2 (ja) 2018-07-11

Similar Documents

Publication Publication Date Title
US11178470B2 (en) Method, device, and computer program for encapsulating partitioned timed media data
TWI774744B (zh) 在使用mime類型參數之網路視頻串流中發信重要視頻資訊
US11477542B2 (en) Method, device, and computer program for generating timed media data
RU2492585C2 (ru) Способ и устройство для группирования треков и подмножеств треков
CN105612753B (zh) 媒体流传输期间在适配集合间的切换方法和装置
US8930562B2 (en) Arranging sub-track fragments for streaming video data
CN102598688B (zh) 流式传输经编码视频数据
US8508579B2 (en) System and method for generating and reproducing 3D stereoscopic image file including 2D image
US8050539B2 (en) Data recording/reproducing apparatus and method
CN110447234A (zh) 作为分隔符及可寻址资源标识符的区段类型
CN101802823A (zh) 用于流式多媒体数据的分段的元数据和位标
US20080252719A1 (en) Apparatus, method, and system for generating stereo-scopic image file based on media standards
CN103202021A (zh) 编码装置、解码装置、再现装置、编码方法及解码方法
US7558296B2 (en) Multiplexer and demultiplexer
KR20090088772A (ko) 슬라이드 쇼를 위한 영상파일을 생성 및 재생하기 위한시스템 및 방법
CN107835424A (zh) 一种基于数据感知的媒体同步传输播放方法
US10992961B2 (en) High-level signaling for fisheye video data
CN105612756B (zh) 数据处理装置、数据处理方法和计算机可读取的记录介质
KR20120019872A (ko) 보간 프레임 생성 시스템
KR101452269B1 (ko) 콘텐트 가상 세그멘테이션 방법과, 이를 이용한 스트리밍 서비스 제공 방법 및 시스템
CN104796765A (zh) 一种h264帧中提取sps和pps的方法及装置
JP4114868B2 (ja) 多重化装置および多重化方法
KR101144498B1 (ko) 스케일러블 비디오 제공 시스템 및 스케일러블 비디오 제공방법
Chan et al. Data hiding in MP4 video container based on subtitle track

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180928

Termination date: 20190805