CN102131119A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN102131119A
CN102131119A CN2011100060846A CN201110006084A CN102131119A CN 102131119 A CN102131119 A CN 102131119A CN 2011100060846 A CN2011100060846 A CN 2011100060846A CN 201110006084 A CN201110006084 A CN 201110006084A CN 102131119 A CN102131119 A CN 102131119A
Authority
CN
China
Prior art keywords
frame
multiplex
voice data
video
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100060846A
Other languages
English (en)
Inventor
藤堂晋
植田求
大贯淳
西川正树
仓重雅文
荻洼纯一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2010006136A external-priority patent/JP2011146928A/ja
Priority claimed from JP2010006135A external-priority patent/JP2011146927A/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102131119A publication Critical patent/CN102131119A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/083—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical and the horizontal blanking interval, e.g. MAC data signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及信息处理设备、信息处理方法和程序。信息处理设备包括以下元件。产生单元产生具有预定屏幕尺寸的多路复用视频帧。划分单元其按照将所输入的音频数据划分为音频数据项，每个所述音频数据项具有针对多路复用视频帧的一个帧时段的样本。多路复用单元将通过划分每个输入音频数据流得到的音频数据项和表示其样本数的样本数信息多路复用。处理单元对从输入视频端口输入的多路复用视频帧中被多路复用的音频数据项执行处理，并从其输出视频端口输出其中获得的音频数据项及其样本数信息进行多路复用得到的多路复用视频帧。提取单元根据样本数信息提取在从处理单元输出的多路复用视频帧中被多路复用的音频数据项。发送装置将所提取的音频数据项输出至外部。

Description

信息处理设备、信息处理方法和程序
技术领域
本发明涉及信息处理设备、信息处理方法和程序。更具体而言，本发明涉及信息处理设备、信息处理方法和程序，其允许利用视频端口有效地将音频数据输入至音频端口并有效地将音频数据从处理器输出。
背景技术
视频接口
对诸如时钟、水平同步信号和竖直同步信号之类的定时信号以及影像数据进行传输所用的单向传输协议被称为“视频接口”。电影及电视工程师学会(SMPTE)125M和SMPTE 274M是视频接口的典型示例。
视频接口的其他示例包括添加数据能力信号的协议(例如数字视频交互(DVI)/视频电子标准协会(VESA))，其中使视频数据串行化的协议(例如高解析度多媒体接口(HDMI))，以及其中将定时信息进一步多路复用到数据线中的协议(例如SMPTE 259M和SMPTE 292M)。
此后，如合适，将经由视频接口传输的信号的组称为“视频信号”，并将视频接口的输入针和输出针的组称为“视频端口”。
视频端口带宽
视频端口稳定地提供了较宽的带宽和有效的速度。例如，24比特HID(在30帧每秒(fps)的情况下1920×1080)视频端口确保了以1920×1080×30像素每秒＝186兆字节每秒(MB/s)的速率进行稳定的数据传输。
由于显示解析度的提高、广播质量从标准解析度(SD)(720×480)转变为高解析度(HD)(1920×1080)、显示器的显示性能的多样性(480i/480p/1080i/720p/1080p)、以及其他原因，近年来视频端口带宽迅速地增大。在当前情况下，HD(30fps下1920×1080)和极速扩展图形阵列(WUXGA)(60fps下1920×1200)带宽已经成为通常可获得。多信道视频和音频
近年来的音频视讯装置可以处理多路视频/音频信号。
例如，家用数字记录器可以处理输出***的数据，其包括：
不具有菜单或向导的视频的输出(视频输出)
具有菜单或向导的视频的输出(监视输出)
通过对来自天线的比特流进行解码获得的视频的输出(解码输出)。
此外，还存在对于在视频处理中使用的专业装置的需求，在许多情况下，该专业装置能够对输出***的数据进行处理并且输出，其包括：
标准视频的输出(节目输出、视频输出)
叠加视频的输出(监视输出)
数秒之前的画面的视频(先前输出)
要在外部显示器上显示的屏幕
装置显示器上的显示。
具体而言，在视频处理中使用的专业装置中处理的数据可以包含各种显示尺寸以及各种帧频率(刷新率)(例如SD/HD，4:2:2/4:4:4，RGB/YcbCr，隔行或逐行)的数据。
还存在对于能够同时将多路视频流输入至处理器(例如同时输入和同时记录不同格式的异步视频信号，在同时输入它们的情况下切换视频信号，或者在切换它们时处理或修改视频信号并合成得到的信号)的输入***的需求。配属于视频的音频的信道数量也显著增加，例如5.1ch，7.1ch，9.1ch，以及在多个信道之间的多种语言。
因此，要求音频视讯装置的处理器能够同时输入或输出多个视频流和多个音频流。
例如，日本未经审查的专利申请公开号2006-236056和2009-71701是现有技术的示例。
发明内容
通常处理器的视频和音频输入/输入端口
在数年之前，已经良好地建立的是，地址信号和控制信号的信号线以及双向数据线，或者控制信号的信号线以及地址/数据多路复用线被用作中央处理单元(CPU)、数字信号处理器(DSP)等的输入/输出线。设置视频接口输入/输出端口已经较不普遍。
设置有音频输入/输出端口的音频专用DSP已经可获取，并且设置有音频输入/输出端口的非音频专用DSP也变得日益更易于获取。随着近年来处理器的性能提高以及基于使用对片上***(SoC)的研发，包括视频输入/输出端口的处理器(例如媒体处理器、图形处理单元(GPU)以及视频应用专用DSP)已经变得越来越易于获取。
如上所述多个视频流经由传输的输入在从数百MHz至数GHz的范围内的波带中实现。但是，将这样宽波带的信号输入至通用处理器是不现实的。并行输入涉及每端口数十个信号线。
串行输入音频是可行的，但是涉及每端口三个信号线(通常，两个信道)。对于视频和音频两者，为处理器设置的针数与信道数量的增大成比例地增大。
因此，通常，即使在包括音频及视频输入/输出端口的处理器中，一个输入端口和一个输出端口可以被设置用于视频，并且多达一个或两个多信道输入/输出端口可以被设置用于音频。
为了使得处理器对如上所述多个视频流和多个音频流进行处理，这样小数量的输入/输出端口被用于有效地输入和输出数据。
因此，希望提供利用视频端口有效地将音频数据输入至处理器并有效地将音频数据从处理器输出。
此外，尤其在专业装置中，优选地，如上所述多个视频流和多个音频流的输入以减小的延迟来进行。延迟包括例如由数据被输入至装置时的时间与数据被输入之处理器时的时间之间的差异。
因此，希望减小例如通过将多个输入数据流多路复用以同时从视频端口输入至处理器所引起的数据延迟。
根据本发明的实施例，一种信息处理设备包括以下元件。产生装置，其产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧。划分装置，其按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对应的时段期间输入的样本。多路复用装置，其将多个音频数据项和表示包括在所述音频数据项中的样本数的样本数信息多路复用作为所述多路复用视频帧的数据，所述音频数据项是通过由作为多个数据流中的每个输入的音频数据进行划分获得的。处理装置，其对在多路复用之后获得的所述多路复用视频帧中被多路复用的、通过划分获得的所述音频数据项执行处理，并用于从所述处理装置的输出视频端口输出其中将已经对其执行了处理的、通过划分获得的所述音频数据项以及所述样本数信息进行多路复用得到的多路复用视频帧，其中在多路复用之后获得的所述多路复用视频帧从所述处理装置的输入视频端口输入所述处理装置。提取装置，其根据所述样本数信息提取在从所述处理装置输出的所述多路复用视频帧中被多路复用的、通过划分获得的音频数据项的各流。发送装置，其按照从所述音频数据项的起初样本开始的顺序将所提取的通过划分获得的音频数据项的所述流输出至外部。
可以以与要输入的音频数据的流的数量相等的数量设置所述划分装置，并且可以以与要输入的音频数据的流的数量相等的数量设置所述发送装置。每个所述划分装置和每个所述发送装置可以对音频数据的一个流执行处理。
所述多路复用装置可以被配置为将通过划分获得的多个音频数据项和与之相关的样本数信息多路复用作为针对各个流位于预定位置的数据。
所述提取装置可以被配置为通过提取样本来提取通过划分获得的音频数据项的各个流，所述样本的数量由作为在所述预定位置处的数据被多路复用的所述样本数信息表示。
所述多路复用视频帧可以被配置为其具有的屏幕尺寸大于或等于具有不同格式的多个视频数据项的帧图像的屏幕尺寸的总和，所述屏幕尺寸由所述多个视频数据项的格式界定，所述帧图像被配置为以彼此不重叠的方式贴附。
所述多路复用装置可以被配置为还通过在维持由所述格式界定的所述屏幕尺寸的情况下以彼此不重叠的方式将所述多个视频数据项的所述帧图像贴附于所述多路复用视频帧，来将所述多个视频数据项多路复用。
根据本发明的另一实施例，一种信息处理方法，包括以下步骤：产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对应的时段期间输入的样本；将多个音频数据项和表示包括在所述音频数据项中的样本数的样本数信息多路复用作为所述多路复用视频帧的数据，所述音频数据项是通过由作为多个数据流中的每个输入的音频数据进行划分获得的；对在多路复用之后获得的所述多路复用视频帧中被多路复用的、通过划分获得的所述音频数据项执行处理，并从所述处理装置的输出视频端口输出其中将已经对其执行了处理的、通过划分获得的所述音频数据项以及所述样本数信息进行多路复用得到的多路复用视频帧，其中在多路复用之后获得的所述多路复用视频帧从所述处理装置的输入视频端口输入所述处理装置；根据所述样本数信息提取在从所述处理装置输出的所述多路复用视频帧中被多路复用的、通过划分获得的音频数据项的各流；并且按照从所述音频数据项的起初样本开始的顺序将所提取的通过划分获得的音频数据项的所述流输出至外部。
根据本发明的另一实施例，程序使得计算机执行包括以下步骤的处理：产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对应的时段期间输入的样本；将多个音频数据项和表示包括在所述音频数据项中的样本数的样本数信息多路复用作为所述多路复用视频帧的数据，所述音频数据项是通过由作为多个数据流中的每个输入的音频数据进行划分获得的；对在多路复用之后获得的所述多路复用视频帧中被多路复用的、通过划分获得的所述音频数据项执行处理，并从所述处理装置的输出视频端口输出其中将已经对其执行了处理的、通过划分获得的所述音频数据项以及所述样本数信息进行多路复用得到的多路复用视频帧，其中在多路复用之后获得的所述多路复用视频帧从所述处理装置的输入视频端口输入所述处理装置；根据所述样本数信息提取在从所述处理装置输出的所述多路复用视频帧中被多路复用的、通过划分获得的音频数据项的各流；并且按照从所述音频数据项的起初样本开始的顺序将所提取的通过划分获得的音频数据项的所述流输出至外部。
在本发明的实施例中，产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对应的时段期间输入的样本。此外，将多个音频数据项和表示包括在所述音频数据项中的样本数的样本数信息多路复用作为所述多路复用视频帧的数据，所述音频数据项是通过由作为多个数据流中的每个输入的音频数据进行划分获得的。处理装置对在多路复用之后获得的所述多路复用视频帧中被多路复用的、通过划分获得的所述音频数据项执行处理，并从所述处理装置的输出视频端口输出其中将已经对其执行了处理的、通过划分获得的所述音频数据项以及所述样本数信息进行多路复用得到的多路复用视频帧。此外，根据所述样本数信息提取在从所述处理装置输出的所述多路复用视频帧中被多路复用的、通过划分获得的音频数据项的各流。按照从所述音频数据项的起初样本开始的顺序将所提取的通过划分获得的音频数据项的所述流输出至外部。
根据本发明的实施例，可以利用视频端口有效地将音频数据输入至处理器和将音频数据从处理器输出。
根据本发明的另一实施例，可以减小由将多个输入数据流多路复用以同时从视频端口输入至处理器所引起的数据延迟。
附图说明
图1是图示根据本发明的实施例的信息处理设备的示例构造的框图；
图2是图示被截取出的音频样本的示例的图；
图3是图示多路复用视频帧的示例的图；
图4是图示在多路复用之后获得的多路复用视频帧的示例的图；
图5是图示多路复用视频帧的视频信号的示例的图；
图6是图示视频接口的示意图；
图7是图示视频信号的波形的示例的图；
图8是详细图示由图7中的实线箭头所表示的范围内的波形的图；
图9是图示信息处理设备的处理的流程图；
图10是图示图9的步骤S1中执行的视频接收处理的流程图；
图11是图示在图9的步骤S2中执行的音频接收处理的流程图；
图12是图示在图9的步骤S4中执行的多路复用处理的流程图；
图13是图示在图9的步骤S6中执行的提取处理的流程图；
图14是图示在图9的步骤S7中执行的音频输出处理的流程图；
图15是在图9的步骤S8中执行的视频输出处理的流程图；
图16是图示多路复用视频帧的示例的图；
图17是图示多路复用视频帧的另一示例的图；
图18是图示用于输入的多路复用视频帧的区域构造的图；
图19是图示要被多路复用的视频帧的示例的图；
图20是图示视频流#0的帧的贴附的示例的图；
图21是图示视频流#1的帧的贴附的示例的图；
图22是图示视频流#2的帧的贴附的示例的图；
图23是图示视频流#3的帧的贴附的示例的图；
图24是图示音频数据的***的示例的图；
图25是图示从下向上布置的优点的示例的图；
图26是图示将音频数据***在视频数据上方的缺点的图；
图27是图示视频从上向下布置的缺点的图；
图28是图示用于输出的多路复用视频帧的区域构造的示例的图；
图29是图示在多路复用之后获得的多路复用视频帧的示例的图；
图30是图示从上向下布置的优点的图；
图31是图示音频数据***在视频数据下方的缺点的图；
图32是图示视频从下向上布置的缺点的图；
图33是图示信息处理设备的处理的流程图；
图34是图示图33的步骤S101中执行的视频接收处理的流程图；
图35是图示在图33的步骤S102中执行的音频接收处理的流程图；
图36是图示在图33的步骤S104中执行的多路复用处理的流程图；
图37是图示在图33的步骤S107中执行的提取处理的流程图；
图38是图示在图33的步骤S108中执行的音频输出处理的流程图；
图39是图示在图33的步骤S109中执行的视频输出处理的流程图；
图40是图示信息处理设备的另一示例构造的框图；
图41是图示信息处理设备的另一示例构造的框图；
图42是如图41所示的多路复用视频的放大视图；
图43是图示信息处理设备的另一示例构造的框图；
图44是图示信息处理设备的另一示例构造的框图；
图45是图示信息处理设备的另一示例构造的框图；
图46是图示信息处理设备的另一示例构造的框图；并且
图47是图示计算机的示例构造的框图。
具体实施方式
信息处理设备的总体构造
图1是图示根据本发明的实施例的信息处理设备1的示例构造的框图。
信息处理设备1可以是被配置为使用具有单输入单输出视频端口的处理器43来对视频数据流和音频数据流这两个流进行处理并将视频数据流和音频数据流这两个流输出的装置。
从外部供应的视频流#1的视频信号与同步信号一起被输入至视频接收电路21-1，并且视频流#2的视频信号与同步信号一起被输入至视频接收电路21-2。
视频流#1和#2可以具有相同的格式或不同的格式，例如解析度、帧率、扫描协议、传输协议、以及压缩协议。视频流#1和#2的帧的输入定时可以不一定彼此同步。
从外部供应的音频流#1的音频信号被输入至音频接收电路31-1，并且音频流#2的音频信号被输入至音频接收电路31-2。音频信号可以例如三线音频(其具有时钟信号、数据信号、以及表示采样频率的信号)的模式被输入至音频接收电路31-1和31-2。
音频流#1和#2也可以具有相同的格式或不同的格式，例如采用频率、比特数、以及信道数。此外，音频流#1和#2的输入定时可以不一定彼此同步。音频可以配属于视频，或者可以与视频相独立。
视频接收电路21-1包括线缆均衡器、并行器、各种解码器、4:2:2/4:4:4解码器、模拟/数字(A/D)转换器、以及任意其他合适装置。视频接收电路21-1对输入视频信号执行诸如A/D转换之类的各种处理，并产生视频流#1的视频信号的帧数据。视频接受电路21-1将所产生的帧数据输出至帧同步器22-1。
帧同步器22-1使得多个视频流之间的帧的定时同步，并使从视频接收电路21-1供应的一个帧的数据存储在帧存储器23-1中。根据来自多路复用电路42-1的请求，帧同步器22-1从帧存储器23-1读取帧数据，并输出该帧数据。
关于实施，如果具有不同频率的时钟被用作视频接收电路21-1、帧同步器22-1和多路复用电路42-1的工作时钟，则在视频接收电路21-1与帧同步器22-1之间以及在帧同步器22-1与多路复用电路42-1之间设置诸如双端口随机存取存储器(RAM)之类的先入先出机制(FIFO)。通过FIFO的数据被可靠地发送和接收。此外，可以减少存储器存取期间数据率偏差。
FIFO也可以被适当地设置在视频接收电路21-2与帧同步器22-2之间以及影像传感器22与多路复用电路42-2之间。同样在用于处理音频数据的构造中，FIFO可以被适当地设置在音频接收电路31-1与存储器控制电路32-1之间，存储器控制电路32-1与多路复用电路42-3之间，音频接收电路31-2与存储器控制电路32-2之间，以及存储器控制电路32-2与多路复用电路42-4之间。
这里，不保证视频流#1的输入视频信号的帧频率和如下所述多路复用视频信号的帧频率一致。帧同步器22-1通过将存储在帧存储器23-1中的视频数据冗余地供应至多路复用电路42-1(连续供应相同帧的数据)或通过跳过数据的读取，来吸收帧频率之间的差异。视频流#1的视频信号的帧频率和多路复用视频信号的帧频率之间的一致化在日本未经审查的专利申请公开号2009-71701中描述。
与视频接收电路21-1相似，视频接收电路21-2对输入视频信号执行各种处理，并产生视频流#2的帧数据。视频接收电路21-2将所产生的帧数据输出至帧同步器22-2。
与帧同步器22-1相似，帧同步器22-2使各个视频信号流之间的帧定时同步，并使得从视频接收电路21-2供应的帧数据存储在帧存储器23-2中。根据来自多路复用电路42-2的请求，帧同步器22-2从帧存储器23-2读取帧数据，并输出该帧数据。帧同步器22-2还根据需要冗余地读取存储在帧存储器23-2中的帧数据或跳过读取。
音频接收电路31-1对输入音频信号执行各种处理，例如A/D转换、采样率转换、以及串行/并行(S/P)转换，并产生音频流#1的音频数据。所产生的音频数据由音频样本的时间序列构成。
音频接收电路31-1将音频流#1的音频数据划分(截取)为音频数据项，每个所述音频数据项具有在与多路复用视频帧的一个帧时段对应的时段期间输入的样本。音频接收电路31-1还将得到的各个音频数据项与样本数信息(其是表示其音频样本的数量的信息)一起输出至存储器控制电路32-1。表示多路复用视频帧的一个帧时段的同步信号从多路复用视频信号产生电路41供应至音频接收电路31-1。多路复用视频帧将在下文描述。
图2是图示被截取的音频样本的示例。
在图2中，横轴表示时间，时间轴上的实线表示音频样本。在图2的示例中，从多路复用视频信号产生电路41供应的同步信号(竖直同步信号)界定了时段T1(其是从时刻t1到时刻t2的时间段)和时段T2(其是从时刻t2到时刻t3的时间段)中的每个均是多路复用视频帧的一个帧时段。
音频接收电路31-1对时段T1期间输入的音频样本的数量进行计数，并在时刻t2的定时截取在时段T1期间输入的音频样本。音频接收电路31-1将截取的音频样本的数据作为要在时段T1期间被多路复用到从多路复用视频信号产生电路41输出的多路复用视频帧中的数据，与样本数信息一起输出至存储器控制电路32-1。
相似地，音频接收电路31-1截取时段T2期间输入的音频样本，并将截取的音频样本的数据作为要在时段T2期间被多路复用到从多路复用视频信号产生电路41输出的多路复用视频帧中的数据，与样本数信息一起输出。
对音频数据的处理与对视频数据的处理的不同之处在于不使用帧同步器功能。在原理方面，不不允许音频数据的冗余或丢弃。因此，在音频接收电路31-1中，基于多路复用视频帧的同步信号，在一个帧时段期间输入的音频样本被原样截取作为要被多路复用到一个多路复用视频帧中的音频数据。
如果音频数据的采样频率不是多路复用视频帧的帧频率的整数倍，则会在一个帧时段期间输入至音频接收电路31-1的音频样本的数量方面产生变化。样本数信息也被多路复用至多路复用视频帧中，从而使得已经接收了多路复用视频帧的处理器43等能够判断已经被多路复用在多路复用视频帧中的音频样本的数量。
再参照图1，存储器控制电路32-1使得从音频接收电路31-1供应的音频数据、样本数信息存储在存储器33-1中。根据来自多路复用电路42-3的请求，存储器控制电路32-1从存储器33-1读取音频数据和样本数信息，并输出音频数据和样本数信息。
与音频接收电路31-1相似，音频接收电路31-2执行对输入音频信号的各种处理，并产生音频流#2的音频数据。音频接收电路31-2将音频流#2的音频数据划分为音频数据项(每个所述音频数据项具有在与多路复用视频帧的一个帧时段期间输入的样本)，并且将各个得到的音频数据项与样本数信息一起输出至存储器控制电路32-2。
存储器控制电路32-2使得从音频接收电路31-2供应的音频数据和样本数信息存储在存储器33-2中。根据来自多路复用电路42-4的请求，音频接收电路32-2从存储器33-2读取音频数据和样本数信息，并输出音频数据和样本数信息。
多路复用视频信号产生电路41可以是具有振荡器和锁相环路的频率倍增器(PLL)。多路复用视频信号产生电路41产生要被输入至处理器43或从处理器43输出的视频帧，其中视频数据和音频数据的各个流被多路复用。通过多路复用视频信号产生电路41产生的视频帧可以是具有在其中例如用于传输的带宽不超过处理器43的视频端口的带宽的范围内允许的最大尺寸(像素数量)的帧。
此后，将用于多路复用视频数据、音频数据等的视频帧成为“多路复用视频帧”。此外，将多路复用视频帧的信号称为“多路复用视频信号”。
图3是图示多路复用视频帧的示例的图。
如图3所示，由多路复用视频信号产生电路41产生的多路复用视频帧可以是其中没有视频数据或音频数据被多路复用的空白影像。
多路复用视频帧的尺寸大于各个流的视频的帧尺寸与在多路复用视频帧的一个帧时段期间输入的各个流的音频的音频数据的尺寸的总和。可以将各个流的视频帧贴附于多路复用视频帧以彼此不重叠。还可以将在多路复用视频帧的一个帧时段期间输入的各个流的音频的音频样本的数据***。
多路复用视频信号产生电路41将多路复用视频帧的数据和同步信号输出至多路复用电路42-1。多路复用视频帧的同步信号与多路复用视频帧的数据一起被供应至设置于多路复用电路42-1之后的各电路。从多路复用视频信号产生电路41输出的同步信号也被供应至音频接收电路31-1和31-2。
多路复用电路42-1将其数据已经根据请求从帧同步器22-1供应的视频流#1的帧贴付(***)至从多路复用视频信号产生电路41供应的多路复用视频帧。多路复用电路42-1将其中已经贴附了视频流#1的帧的多路复用视频帧的数据输出至多路复用电路42-2。
多路复用电路42-2将其数据已经根据请求从帧同步器22-2供应的视频流#2的帧贴付(***)至从多路复用电路42-1供应的多路复用视频帧。视频流#2的一个帧被贴附在不与视频流#1的帧重叠的位置。多路复用电路42-2将其中已经贴附了视频流#2的帧的多路复用视频帧的数据输出至多路复用电路42-3。
从多路复用电路42-2输出的多路复用视频帧的数据是其中视频流#1的一个帧的数据和视频流#2的一个帧的数据已经被多路复用的数据。
多路复用电路42-3将已经根据请求从存储器控制电路32-1供应的音频流#1的音频数据和样本数信息***到从多路复用电路42-2供应的多路复用视频帧。多路复用电路42-3将其中已经***了音频流#1的音频数据和样本数信息的多路复用视频帧的数据输出至多路复用电路42-4。
多路复用电路42-4将已经根据请求从音频接收电路32-2供应的音频流#2的音频数据和样本数信息***到从多路复用电路42-3供应的多路复用视频帧。多路复用电路42-4将其中已经***了音频流#2的音频数据和样本数信息的多路复用视频帧的数据输出至处理器43。被输入至处理器43的是一个视频数据流。
图4是图示在多路复用之后获得的多路复用视频帧的示例的图。
被输入至处理器43的多路复用视频帧是其中视频流#1的一个帧和视频流#2的一个帧已经被贴附并且其中在多路复用视频帧的一个帧时段期间输入的音频流#1和#2的音频数据被***的影像。在以下说明中，根据需要，布置在水平线中的像素由线表示。
在图4的示例中，视频流#1的帧被贴附使得帧的左上角与多路复用视频帧的有效影像帧的左上端对准。视频流#1的帧的第一线与多路复用视频帧的第一线一致。
此外，视频流#2的帧被贴附为不与视频流#1的帧重叠，使得视频流#2的帧的第一线与多路复用视频帧的第m线对准。
此外，音频流#1的音频数据被***到第(n-2)线与下一线(即，第(n-1)线)之间，并且音频流#2的音频数据被***到多路复用视频帧的底部线(即，第n线)中。
例如，如图4所示，表示被***在多路复用视频帧中的音频流#1的音频样本的数量的样本数信息S1被***在作为被分配给音频流#1的线的开始的第(n-2)线的开始处。
此外，例如，表示被***在多路复用视频帧中的音频流#2的音频样本的数量的样本数信息S2被***在作为被分配给音频流#2的线的开始的第n线的开始处。
与各个数据线的多路复用位置相关的信息被预先设定在多路复用电路42-1至42-4、处理器43以及提取电路45-1至45-4中。与多路复用位置相关的信息包括表示什么数据在什么位置被贴附至多路复用视频帧相关的信息，例如，水平位置、竖直位置、横向尺寸、纵向尺寸、以及线间隔。
图5是图示其中各个数据项以如图4所示的方式贴附的多路复用视频帧的视频信号的示例的图。
如图5所示，当绘制在时间轴上时，多路复用视频信号其中由多路复用视频帧的第一线至第n线的范围内的线的数据被传输的各个时段的信号构成。
在图5的示例中，时段T1(作为从时刻t1至时刻t2的时段)是多路复用视频帧的第一线的数据被传输的时段，时段T2(作为从时刻t2至时刻t3的时段)是多路复用视频帧的第二线的数据被传输的时段。
此外，时段Tm(作为从时刻tm至时刻tm+1的时段)是多路复用视频帧的第m线的数据被传输的时段，时段Tn-2(作为从时刻tn-2至时刻tn-1的时段)是多路复用视频帧的第(n-2)线的数据被传输的时段。时段Tn-1(作为从时刻tn-1至时刻tn的时段)是多路复用视频帧的第(n-1)线的数据被传输的时段，并且时段Tn(作为从时刻tn至时刻tn+1的时段)是多路复用视频帧的第n线的数据被传输的时段。
如果各个数据项以如图4所示的方式贴附，则视频流#1的帧的第一线的信号被***在多路复用视频信号的时段T1中。此外，视频流#1的帧的第二线的信号被***在多路复用视频信号的时段T2中。
此外，视频流#1的帧的第m线的信号和视频流#2的帧的第一线的信号在两者之间具有预定间隔的情况下被分别***在多路复用视频帧的时段Tm的前一半和后一半中。
样本数信息S1被***在多路复用视频帧的时段Tn-2的开始处。在时段Tn-2和Tn-1中，在样本数信息S1之后，***其数量已经由样本数信息S1表示的音频流#1的音频样本的信息。
样本数信息S2被***在多路复用视频帧的时段Tn的开始处，并且，在样本数信息S2之后，***其数量已经由样本数信息S2表示的音频流#2的音频样本的信息。
以此方式，通过将输入数据的信号***到构成多路复用视频信号的全部时段当中的、与多路复用视频帧中贴附位置对应的时段中，来完成要被输入至处理器43的数据的多路复用。
再参照图1，处理器43提取在被输入至视频端口(视频输入)的多路复用视频帧的数据中被多路复用的各视频数据流和各音频数据流，并对所提取的数据执行预定处理。处理器43可以是诸如CPU、GPU、DSP、或SoC装置之类的运算单元。
例如，以与下述由提取电路45-3和45-4执行的提取相似的方式来执行视频数据的提取，并且以与提取电路45-1和45-2执行的提取相似的方式来执行音频数据的提取。
处理器43还将已经对其执行了处理的各个流的视频帧和音频样本贴附于多路复用视频帧，并将这些数据项多路复用。
从处理器43输出的多路复用视频帧中各个视频数据项和音频数据项的多路复用位置可以与被输入至处理器43的多路复用视频帧中的多路复用位置不同。此外，可以对整个多路复用视频帧而不是对各个视频数据流和各个音频数据流进行处理。
处理器43从视频端口(视频输出)输出其中处理之后获得的数据项已经被多路复用的多路复用视频帧。来自处理器43的输出也是一个视频数据流。从处理器43输出的多路复用视频帧的数据与同步信号一起被供应至提取电路45-1。从处理器43输出的同步信号也被供应至定时产生电路44。
定时产生电路44根据从处理器43供应的同步信号或者各个流的视频和音频格式产生定时信号，基于所述定时信号确定各个流的视频帧和音频样本的输出定时。例如，视频流#1的一个帧的数据和视频流#2的一个帧的数据被同步并同时输出。
在定时产生电路44中，与各个流的视频格式(例如帧频率)相关的信息以及与各个流的音频格式(例如采样频率)相关的信息被预先设定。
具体而言，定时产生电路44将用于视频流#1的同步信号输出至视频发送电路53-1，并将用于视频流#2的同步信号输出至视频发送电路53-2。定时产生电路44还将用于音频流#1的同步信号输出至音频发送电路63-1，并将用于音频流#2的同步信号输出至音频发送电路63-2。
提取电路45-1由从处理器43供应的多路复用视频帧的数据提取音频流#2的音频数据。
如参照图4所述，要由提取电路45-1提取的音频流#2的音频数据的多路复用位置例如被预先设定为多路复用视频帧的第n线。此外，被***在第n线中的音频流#2的音频样本的数量由被***在第n线的开始处的样本数信息S2表示。
当被供应多路复用视频帧时，提取电路45-1提取被***在第n线的开始处的预定比特数的数据作为样本数信息S2，并识别被***在第n线中的音频流#2的音频样本的数量。提取电路45-1还提取在样本数信息S2之后被***在第n线中、并且其量对应于所识别的样本数的数据作为音频流#2的音频样本。
提取电路45-1将所提取的音频流#2的音频样本输出至存储器控制电路61-2，并将从处理器43供应的多路复用视频帧的数据输出至提取电路45-2。
提取电路45-2以与提取电路45-1相似的方式由从提取电路45-1供应的多路复用视频帧提取音频流#1的音频数据。
具体而言，提取电路45-2提取被***在第(n-2)线的开始处的预定比特数的数据作为样本数信息S1，并识别被***在第(n-2)线和第(n-1)线中的音频流#1的音频样本数。提取电路45-2还提取在样本数信息S2之后被***在第(n-2)线和第(n-1)线中的、并且其量对应于所识别的样本数的数据作为音频流#1的音频样本。
提取电路45-2将所提取的视频流#1的音频样本输出至存储器控制电路61-1，并将从提取电路45-1供应的多路复用视频帧的数据输出至提取电路45-3。
提取电路45-3由从提取电路45-2供应的多路复用视频帧的数据提取视频流#2的帧数据。
如参照图4所述，要由提取电路45-3提取的视频流#2的帧数据的多路复用位置被预先设定。提取电路45-3从多路复用视频帧提取被预先设定为视频流#2的帧的多路复用位置的位置处的数据，作为视频流#2的帧数据。
提取电路45-3将所提取的视频流#2的帧数据输出至帧同步器51-2，并将从提取电路45-2供应的多路复用视频帧的数据输出至提取电路45-4。
提取电路45-4以与提取电路45-3相似的方式由从提取电路45-3供应的多路复用视频帧的数据提取视频流#1的帧数据。提取电路45-4将所提取的视频流#1的帧数据输出至帧同步器51-1。
帧同步器51-1使得从提取电路45-4供应的视频流#1的帧数据被存储在帧存储器52-1中。根据来自视频发送电路53-1的请求，帧同步器51-1从帧存储器52-1读取帧数据，并输出帧数据。
视频发送电路53-1包括线缆驱动器、串行化器、各种编码器、4:2:2/4:4:4转换器、数字/模拟(D/A)转换器、以及任意其他合适的装置。视频发送电路53-1根据从定时产生电路44供应的输出定时信号，将根据请求从帧同步器51-1供应的视频流#1的帧数据与同步信号一起输出至信息处理设备1的外部。在将从帧同步器51-1供应的帧数据输出至信息处理设备1的外部之前，视频发送电路53-1适当地执行对从帧同步器51-1供应的帧数据的预定处理，例如D/A转换。
就实施而言，如果将具有不同频率的时钟用作提取电路45-4、帧同步器51-1和视频发送电路53-1的工作时钟，则将诸如双端口RAM之类的FIFO设置在提取电路45-4与帧同步器51-1之间以及帧同步器51-1与视频发送电路53-1之间。通过FIFO的数据可以被可靠地发送和接收。此外，也可以减小存储器存取期间的数据率偏差。
FIFO也适当地设置在提取电路45-3与帧同步器51-2之间以及帧同步器51-2与视频发送电路53-2之间。同样在用于处理音频数据的构造中，将FIFO适当地设置在提取电路45-2与存储器控制电路61-1之间，存储器控制电路61-1与音频发送电路63-1之间，提取电路45-1与存储器控制电路61-2之间，以及存储器控制电路61-2与音频发送电路63-2之间。
这里，不保证视频流#1的输出视频信号的帧频率和多路复用视频信号的帧频率一致。帧同步器51-1通过将帧存储器52-1中存储的视频数据冗余地供应(将相同帧的视频数据连续地供应)至视频发送电路53-1或者通过跳过数据的读取，来吸收帧频率之间的差。
帧同步器51-2使得从提取电路45-3供应的视频流#2的帧数据被存储在帧存储器52-2中。根据来自视频发送电路53-2的请求，帧同步器51-2从帧存储器52-2读取帧数据，并输出帧数据。
与视频发送电路53-1相似，视频发送电路53-2根据从定时产生电路44供应的输出定时信号，将响应于请求从帧同步器51-2供应的视频流#2的帧数据与同步信号一起输出至外部。在将从帧同步器51-2供应的帧数据输出至信息处理设备1的外部之前，视频发送电路53-2根据需要对从帧同步器51-2供应的帧数据执行预定处理，例如D/A转换。
存储器控制电路61-1使得从提取电路45-2供应的音频流#1的数据临时地存储在存储器62-1中。存储器62-1以多路复用视频帧的一个帧时段期间输入的音频样本为单位存储音频流#1的音频数据。根据来自音频发送电路63-1的请求，存储器控制电路61-1从存储器62-1读取音频数据，并输出音频数据。
音频发送电路63-1根据从定时产生电路44供应的输出定时信号，以一个样本的数据为单位将从存储器控制电路61-1供应的音频流#1的音频数据输出至信息处理设备1的外部。在将从帧同步器51-1供应的音频数据输出至信息处理设备1的外部之前，音频发送电路63-1根据需要执行对从帧同步器51-1供应的音频数据的预定处理，例如采样频率转换和D/A转换。
存储器控制电路61-2使得从提取电路45-1供应的音频流#2的音频数据暂时地存储在存储器62-2中。根据来自音频发送电路63-2的请求，存储器控制电路61-2从存储器62-2读取音频数据，并输出音频数据。
音频发送电路63-2根据从定时产生电路44供应的同步信号，以一个样本的数据为单位将从存储器控制电路61-2供应的音频流#2的音频数据输出至信息处理设备1的外部。在将从存储器控制电路61-2供应的音频数据输出至信息处理设备1的外部之前，音频发送电路63-2根据需要对从存储器控制电路61-2供应的音频数据执行预定处理，例如D/A转换。
视频接口
图6是图示视频接口的示意图。
在视频接口中，水平同步信号(H-Sync)、竖直同步信号(V-Sync)、场标记信号(Field Flag)、包括影像和声音的数据信号(Data)、表示时钟的激活信号(EN)等从发送器侧传输至接收器侧。场标记信号表示第一场或第二场。
使用如图6所示的视频接口传输的视频信号的波形的示例如图7所示。在图7的上部中的信号组#11中，图示了隔行视频信号的波形的示例，并且在图7的下部中的信号组#12中，图示了逐行视频信号的波形的示例。
在如图7中的信号组#11所示的波形当中在由实线箭头表示的范围内的波形的细节在图8中示出。图8图示了高解析度(HD)影像的视频信号的波形的示例。
如图8所示，在竖直同步信号(V)的一个周期期间传输用于一个场(540线)的数据(Data)(有效视频)。此外，在水平同步信号(H)的一个周期期间传输用于一个线的数据(Data)(1920个像素)。
信息处理设备的操作
这里，将参照图9的流程图描述如图1所示的信息处理设备1的处理。
在步骤S1，视频接收电路21-1和21-2执行视频接收处理。由视频接收电路21-1接收的视频流#1的帧数据被存储在帧存储器23-1中。此外，由视频接收电路21-2接收的视频流#2的帧数据被存储在帧存储器23-2中。
在步骤S2，音频接收电路31-1和31-2执行音频接收处理。由音频接收电路31-1截取出的、在多路复用视频帧的一个帧时段期间输入的音频流#1的音频样本以及样本数信息被存储在存储器33-1中。此外，由音频接收电路31-2截取出的、在多路复用视频帧的一个帧时段期间输入的音频流#2的音频样本以及样本数信息被存储在存储器33-2中。
在步骤S3，多路复用视频信号产生电路41产生多路复用视频帧，并输出多路复用视频帧的数据和同步信号。
在步骤S4，执行多路复用处理。具体而言，由多路复用电路42-1将视频流#1的一个帧贴附于多路复用视频帧，并由多路复用电路42-2将视频流#2的一个帧贴附于多路复用视频帧。此外，由多路复用电路42-3将音频流#1的音频数据和样本数信息***到多路复用视频帧中，并由多路复用电路42-4将音频流#2的音频数据和样本数信息***到多路复用视频帧中。
在步骤S5，提取电路45对被输入至视频端口的多路复用视频帧的数据中所多路复用的视频数据和音频数据执行预定处理。此外，处理器43将其中处理之后获得的数据已经被多路复用的多路复用视频帧从视频端口输出。
在步骤S6，执行提取处理。具体而言，由提取电路45-1从多路复用视频帧的数据提取音频流#2的音频数据，并由提取电路45-2从多路复用视频帧的数据提取音频流#1的音频数据。此外，由提取电路45-3从多路复用视频帧的数据提取视频流#2的视频数据，并由提取电路45-4从多路复用视频帧的数据提取视频流#1的视频数据。
在步骤S7，执行音频输出处理。从多路复用视频帧提取的音频流#1的数据被临时存储在存储器62-1中，并接着逐个样本地输出至外部。此外，从多路复用视频帧提取的音频流#2的数据被临时存储在存储器62-2中，并接着逐个样本地输出至外部。
在步骤S8，执行视频输出处理。从多路复用视频帧提取的视频流#1的帧数据被临时存储在帧存储器52-1中，并接着被输出至外部。此外，从多路复用视频帧提取的视频流#2的帧数据被临时存储在帧存储器52-2中，并接着被输出至外部。在音频输出处理已经完成之后，处理结束。
接着，将参照图10的流程图描述在图9的步骤S1中执行的视频接收处理。
在步骤S11，视频接收电路21-1接收输入视频信号，并执行诸如A/D转换之类的各种处理以产生视频流#1的帧数据。视频接收电路21-2也执行相似处理以产生视频流#2的帧数据。
在步骤S12，帧同步器22-1使得由视频接收电路21-1产生的视频流#1的帧数据存储在帧存储器23-1中。帧同步器22-2也使得视频流#2的帧数据存储在帧存储器23-2中。
在视频流#1的帧数据和视频流#2的帧数据被分别存储在帧存储器23-1和23-2中之后，处理返回图9的步骤S1，并执行后续步骤。
接着，将参照图11的流程图描述图9的步骤S2中执行的音频接收处理。
在步骤S21，音频接收电路31-1接收输入音频信号，并执行诸如A/D转换之类的处理以产生由音频样本的时间序列构成的音频流#1的音频数据。音频接收电路31-2也执行相似处理以产生音频流#2的音频数据。
在步骤S22，音频接收电路31-1在对样本数进行计数的同时截取在多路复用视频帧的一个帧时段内输入的音频流#1的音频样本。音频接收电路31-2也执行相似处理，并截取在多路复用视频帧的一个帧时段内输入的音频流#2的音频样本。
在步骤S23，存储器控制电路32-1使得所截取的音频流#1的音频样本以及样本数信息存储在存储器33-1中。存储器控制电路32-2也使得所截取的音频流#2的音频样本以及样本数信息以及音频格式信息存储在存储器33-2中。
在音频流#1的音频样本和音频流#2的音频样本被存储在存储器33-1和33-2中之后，处理返回至图9的步骤S2，并执行后续步骤。
接着，将参照图12的流程图描述在图9的步骤S4中执行的多路复用处理。在图9的步骤S3中产生的多路复用视频帧的数据被供应至多路复用电路42-1。
在步骤S31，多路复用电路42-1请求帧同步器22-1从帧存储器23-1读取视频流#1的帧数据。
在步骤S32，多路复用电路42-1将从帧存储器23-1读取的视频流#1的帧***到从多路复用视频信号产生电路41供应的多路复用视频帧的预定位置。
还由多路复用电路42-2执行与步骤S31和S32相似的处理，并将其数据已经从帧存储器23-2读取的视频流#2的帧贴附于从多路复用电路42-1供应的多路复用视频帧。
在步骤S33，多路复用电路42-3请求存储器控制电路32-1从存储器33-1读取音频流#1的音频数据并从存储器33-1读取样本数信息。
在步骤S34，多路复用电路42-3将音频流#1的音频数据以及从存储器33-1读取的样本数信息***到从多路复用电路42-2供应的多路复用视频帧中。
还由多路复用电路42-4执行与步骤S33和S34相似的处理，并将从存储器33-2读取的音频流#2的音频数据与样本数信息一起***到从多路复用电路42-3供应的多路复用视频帧中。
在全部视频数据和音频数据的流已经被多路复用到多路复用视频帧的数据中之后，处理返回至图9的步骤S4，并执行后续步骤。处理器43对被多路复用为多路复用视频帧的数据的视频数据和音频数据执行处理，并将其中处理之后的数据已经被多路复用的多路复用视频帧的数据供应至提取电路45-1。
接着，将参照图13的流程图描述在图9的步骤S6中执行的提取处理。
在步骤S51，提取电路45-1接收从处理器43输出的多路复用视频帧的数据。
在步骤S52，如上所述，提取电路45-1参照样本数信息，并从多路复用视频的数据提取音频流#2的音频数据。
在步骤S53，存储器控制电路61-2使得由提取电路45-1提取的音频流#2的音频数据存储在存储器62-2中。
还由提取电路45-2和存储器控制电路61-1执行与步骤S52和S53相似的处理，并将从多路复用视频帧的数据提取的音频流#1的音频数据存储在存储器62-1中。
在步骤S54，提取电路45-3从多路复用视频帧的数据提取视频流#2的帧数据。
在步骤S55，帧同步器51-2使得由提取电路45-3提取的视频流#2的帧数据存储在帧存储器52-2中。
还由提取电路45-4和帧同步器51-1执行与步骤S54和S55相似的处理，并将从多路复用视频帧的数据提取的视频流#1的帧数据存储在帧存储器52-1中。
在已经从多路复用视频帧提取全部视频数据和音频数据的流之后，处理返回至图9的步骤S6，并执行后续处理。
接着，将参照图14的流程图描述在图9的步骤S7中执行的音频输出处理。
在步骤S61，音频发送电路63-2请求存储器控制电路61-2从存储器62-2读取音频流#2的音频数据。
在步骤S62，音频发送电路63-2以一个样本的数据为单位将音频流#2的音频数据输出至外部。
还由音频发送电路63-1执行与步骤S61和S62相似的处理，并将从存储器62-1读取的音频流#1的音频数据输出至外部。
在已经输出全部音频数据的流之后，处理返回至图9的步骤S7，并执行后续步骤。
接着，将参照图15的流程图描述在图9的步骤S8中执行的视频输出处理。
在步骤S71，视频发送电路53-2请求帧同步器51-2从帧存储器52-2读取视频流#2的帧数据。
在步骤S72，视频发送电路53-2将从帧存储器52-2读取的视频流#2的帧数据输出至外部。
还由视频发送电路53-1执行与步骤S71和S72相似的处理，并将从帧存储器52-1读取的视频流#1的帧数据输出至外部。
在全部视频流的帧数据已经输出之后，处理返回至图9的步骤S8，并执行后续处理。
上述步骤的处理可以不一定按照图中所示的顺序执行，并可以根据需要与其他步骤的处理并行地执行，或者在其他步骤的处理之前或之后执行。
利用上述这些系列的处理，可以将视频数据和音频数据的多个流输入至包括一个输入视频端口的处理器43。此外，可以将视频数据和音频数据的多个流从包括一个输出视频端口的处理器43输出。换言之，能够利用一个视频端口高效地进行将数据输入至处理器43和从处理器43输出数据。
多路复用的示例
在前述说明中，两个视频信号流和两个音频信号流被输入至信息处理设备1。但是，要被输入的信号的数量可以根据需要改变。例如，可以输入四个视频信号流和四个音频信号流。
图16是图示在输入四个视频信号流和四个音频信号流的情况下多路复用视频帧的示例的图。
在图16的示例中，视频流#0至#3的帧被贴附在多路复用视频帧的有效影像帧中，以在维持其帧尺寸的情况下彼此不重叠。在如图16所示的多路复用视频帧中，设置空白区域以沿着水平和竖直方向延伸，并且在有效影像帧内从第一线到预定线的区域被设定为视频区域A1作为用于视频的区域。
作为用于音频的区域的音频区域A2还界定在区域A1下方。音频流#0至#3的音频数据按照被输入到信息处理设备1中的顺序从音频区域A2的各个线的左端开始被紧密地***到各个线中。
在各个线的开始处，表示音频样本的数量的样本数信息被***在线中。样本数信息可以不一定被***在被各个音频数据流的线的开始处，并可以被***在另一位置，例如多路复用帧的空白时段。
在图16中，被***在各个线中的音频数据部分的不同水平长度表示被***的音频数据的量取决于流而不同。如上所述，被多路复用到同一多路复用视频帧中的音频数据在多路复用视频帧的帧时段期间输入。因此，如果各音频数据具有不同的采用频率或不同的量化精度，则会在被多路复用到同一多路复用中的音频数据的量方面产生不同。
图17是图示在四个视频信号流和四个音频信号流被输入的情况下多路复用视频帧的另一示例的图。
在如图17所示的多路复用视频帧的视频区域A1中，具有沿着水平方向布置的像素(其数量等于有效影像帧在水平方向上的像素数量)和沿着竖直方向布置的像素(其数量对应于线的预定数量)的区域被设定为各视频流的帧数据要被***的区域。在图17的示例中，视频流#0至#3的帧数据要被***的区域按照从上部开始的顺序设定。
以此方式，代替在输入尺寸得到维持的情况下贴附于多路复用视频帧，各个视频流的帧可以以与其被输入时不同的形状被贴附。取决于各个视频流的帧要被贴附的区域的设定，可以实现数据的有效多路复用。利用用于输入的多路复用视频帧进行的多路复用操作
这里，将描述利用多路复用视频帧来将视频数据和音频数据进行多路复用的方法。
首先，将描述由多路复用电路42(在图1的示例中，多路复用电路42-1至42-4)执行的使用用于输入至处理器43的多路复用视频帧进行的多路复用。
图18是用于输入的多路复用视频帧的区域构造的示例的图。
如图18所示，设置空白区域以沿着用于输入的多路复用视频帧的水平方向和竖直方向延伸。在图18的示例中，在有效影像帧内从第一线到第m1线的区域被设定为作为用于视频的区域的视频区域A1。此外，在有效影像帧内从第(m1+1)线到第n线的区域被界定为作为用于音频的区域的音频区域A2。
以此方式，视频区域A1被界定在用于输入的多路复用视频帧的上部，并且音频区域A2被界定在视频区域A1下方。当在时间轴上绘制用于输入的多路复用视频帧时，按照从用于输入的多路复用视频帧的上部到下部的顺序执行处理。
图19是图示要被贴附于如图18所示的用于输入的多路复用视频帧的视频帧的示例的图。
将就四个视频数据流(即，视频流#0至#3)的多路复用的内容给出以下说明。
在图19的示例中，视频流#0具有720×486i(SD)的帧尺寸，并且视频流#1具有1280×720p(720p)的帧尺寸。此外，视频流#2具有1280×720p(720p)的帧尺寸，其与视频流#1的帧尺寸相同，并且视频流#3具有1920×1080i(HD)的帧尺寸。
要被贴附于用于输入的多路复用视频帧的帧被划分为例如线，并且每个线被贴附于用于输入的多路复用视频帧上的不同线。
此外，要被贴附的帧数据被贴附为彼此不重叠，并且交错。交错是用于将同一帧的线以沿着竖直方向不连续的方式布置在用于输入的多路复用视频帧上的方法。
将描述视频流#0和#3的帧按此顺序被贴附于多路复用帧的情况。视频流#0至#3的帧是隔行帧。实际上，在视频流#0和#3中，形成一个场的线被贴附至一个用于输入的多路复用视频帧。但是，在以下说明中，假定帧被贴附。
图20是图示其中视频流#0的帧已经被贴附的用于输入的多路复用视频帧的示例的图。
在图20的示例中，视频流#0的帧的线在720像素的范围内沿着水平方向从有效影像帧的左端向右***，并在243×2线的范围内沿着竖直方向从作为视频区域A1的最后线的第m1线向上***。在一个场中的线的数量，即243个线被隔行地***，不过在图20中，四个线被图示为视频流#0的帧的线。
与视频流#0的帧的线的***位置(多路复用位置)相关的信息被预先设定在接收用于输入的多路复用视频帧并对视频流#0的帧进行贴附的多路复用电路42中。
图21是图示其中视频流#1的帧已经在视频流#0的帧之后被贴附的用于输入的多路复用视频帧的示例的图。
在图21的示例中，视频流#1的帧的线在1280像素的范围内沿着水平方向从有效影像帧的左端向右***，并在720×2线的范围内沿着竖直方向从作为视频区域A1的最后线的第m1线向上***。一个帧的线的数量，即720线被隔行地***以不与视频流#0的帧的线重叠，不过在图21中，十个线被示出为视频流#1的帧的线。
在作为视频区域A1的最后线的第m1线向上243×2线的范围内，视频流#0的帧的线以及视频流#1的帧的线被交替地***。
与视频流#1的帧的线的***位置相关的信息被预先设定在接收用于输入的多路复用视频帧并对视频流#1的帧进行贴附的多路复用电路42中。
图22是图示其中视频流#2的帧已经在视频流#0和#1的帧之后被贴附的用于输入的多路复用视频帧的示例的图。
在图22的示例中，视频流#2的帧的线在1280像素的范围内沿着水平方向从第1281像素(在有效像素的左端被用作第一像素的情况下)起向右***。此外，视频流#2的帧的线在720×2线的范围内沿着竖直方向从作为视频区域A1的最后线的第m1线向上***。虽然一个帧的线的数量，即720线被隔行地***，不过在图22中，十个线被示出为视频流#2的帧的线。
与视频流#2的帧的线的***位置相关的信息被预先设定在接收用于输入的多路复用视频帧并对视频流#2的帧进行贴附的多路复用电路42中。
图23是图示其中视频流#3的帧已经在视频流#0、#1和#2的帧之后被贴附的用于输入的多路复用视频帧的示例的图。
在图23的示例中，视频流#3的帧的线在1920像素的范围内沿着水平方向从第1281像素(在有效像素的左端被用作第一像素的情况下)起向右***。此外，视频流#3的帧的线在540×2线的范围内沿着竖直方向从作为视频区域A1的最后线的第m1线向上***。在一个场中的线的数量，即540线被隔行地***，由此不会与视频流#2的帧的线重叠，不过在图23中，七个线被示出为视频流#3的帧的线。
与视频流#3的帧的线的***位置相关的信息被预先设定在接收用于输入的多路复用视频帧并对视频流#3的帧进行贴附的多路复用电路42中。
在所示示例中，用于输入的多路复用视频帧的有效影像帧的每水平行的像素数量被设定为3200像素(1280+1920像素)。
图24是图示其中音频数据已经被***的用于输入的多路复用视频帧的示例的图。
将就四个音频数据流(即，音频流#0至#3)的多路复用给出以下说明。
如图24所示，音频流#0至#3的音频数据按照被输入至信息处理设备1的顺序从每个线的左端起被紧密地***到用于输入的多路复用视频帧的音频区域A2中。
在图24的示例中，作为音频区域A2的开始位置的第(m1+1)线以及第(m1+2)线被分配给音频流#0的音频数据。
在第(m1+1)线以及第(m1+2)线当中第(m1+1)线的开始(左端)处，***表示如图24所示被多路复用在用于输入的多路复用视频帧中的音频流#0的音频样本的数量的样本数信息。此外，在样本数信息之后，将音频流#0的音频数据***在第(m1+1)线整体直至第(m1+2)线的中部。
此外，在图24的示例中，第(m1+3)线和第(m1+4)线被分配给音频流#1的音频数据。
在第(m1+3)线以及第(m1+4)线当中第(m1+3)线的开始处，***表示如图24所示被多路复用在用于输入的多路复用视频帧中的音频流#1的音频样本的数量的样本数信息。此外，在样本数信息之后，将音频流#1的音频数据***在第(m1+3)线整体直至第(m1+4)线的中部。
第(m1+5)线和第(m1+6)线被分配给音频流#2的音频数据。
在第(m1+5)线以及第(m1+6)线当中第(m1+5)线的开始处，***表示如图24所示被多路复用在用于输入的多路复用视频帧中的音频流#2的音频样本的数量的样本数信息。此外，在样本数信息之后，将音频流#2的音频数据***在第(m1+3)线整体直至第(m1+4)线的中部。
第(m1+7)线和第(m1+8)线被分配给音频流#3的音频数据。
在第(m1+7)线以及第(m1+8)线当中第(m1+7)线的开始处，***表示如图24所示被多路复用在用于输入的多路复用视频帧中的音频流#1的音频样本的数量的样本数信息。此外，在样本数信息之后，将音频流#3的音频数据***在第(m1+7)线整体直至第(m1+8)线的中部。
与各个视频数据的***位置相关的信息被预先设定在接收用于输入的多路复用视频帧并***音频数据的多路复用电路42中。
利用要由各个多路复用电路42处理的音频数据的数据率、用于输入的多路复用视频帧的帧频率(一个帧时段)等来确定要被***到用于输入的多路复用视频帧中的音频数据的尺寸。
因此，可以在设计时确定被分配的线的数量，作为其中各音频数据流要被***的线的数量。在图24的示例中，将两个线分配给每个音频数据流。
例如，音频区域A2的线的数量可以被设定为与被分配给各个音频数据流的线的总和相同。此外，在图24的示例中，因此设定音频区域A2的线的数量。
如上所述，要被贴附的帧经由帧的逐线地交错而不会彼此重叠，并在用于输入的多路复用视频帧的视频区域A11中从下向上贴附。此外，利用例如音频区域A12的整体线将要被***的各个信息***在被界定在视频区域A11下方的音频区域A12中。多路复用视频帧帧布置信息被***到界定在音频区域A12下方的区域A13中。
如在整个用于输入的多路复用视频帧中观察，各个数据流从下向上布置。
因此，即使当利用用于输入的多路复用视频帧将多个数据流进行多路复用并输入至处理器43时，仍可以减小输入延迟。输入延迟由要由处理器43处理的数据被输入至信息处理设备1时的时刻与数据被输入至处理器43时的时刻之间的差表示。
图25是图示从下向上布置的优点的图。在图25中，横轴表示时间。
在图25的示例中，视频流#0至#3的视频数据(输入视频信号)在不同的定时输入。
例如，视频流#0的一个特定帧的数据在时刻t3至时刻t7的定时被输入至信息处理设备1。此外，视频流#1的一个特定帧的数据在时刻t1至时刻t5的定时被输入至信息处理设备1。
视频流#2的一个特定帧的数据在时刻t4至时刻t8的定时被输入至信息处理设备1。视频流#3的一个特定帧的数据在时刻t2至时刻t6的定时被输入至信息处理设备1。
例如，在用于输入的多路复用视频帧的一个帧的时段内输入最后线的数据的视频帧被贴附于在同一时段期间产生的用于输入的多路复用视频帧。
因此，在此情况下，由图25中各个线中的阴影线所表示的视频流#0至#3的帧被多路复用到多路复用视频帧F1中，多路复用视频帧F1是在从时刻t4至时刻t8的时段T期间产生的用于输入的多路复用视频帧(多路复用视频信号)。
由各个线中的阴影线所表示的视频流#0的帧的最后线的数据在时段T内即将在时刻t7之前的时刻被输入。相似地，由各个线中的阴影线所表示的视频流#1至#3的帧的最后线的数据在时段T内的一时刻被输入。
对于音频，如上所述，在用于输入的多路复用视频帧的一个帧期间输入的音频样本与样本数信息一起被***到在同一时段期间产生的用于输入的多路复用视频帧中。
因此，在图25的示例中，在音频流#0的音频样本当中被包括在时段T中的由粗线表示的音频样本被***到多路复用视频帧F1中。虽然在图25中仅图示了音频流#0，但是其他音频数据流也以相似方式被***到多路复用视频帧F1中。
用于输入的多路复用视频帧的一个帧的时段由多路复用视频信号产生电路41产生的同步信号所界定。在图25中，同步信号sync-1表示由多路复用视频信号产生电路41产生的同步信号。
在图25的示例中，同步信号sync-1与用于视频流#2的同步信号同步。如下所述，从外部输入的视频同步信号也可以用作界定用于输入的多路复用视频帧的一个帧时段所用的同步信号。
同步信号sync-2表示界定用于输入的多路复用视频帧的一个帧时段所用的同步信号，其在将用于输入的多路复用视频帧输出至处理器43的最后阶段从多路复用电路42输出。根据同步信号sync-2，其中各个数据流已经被多路复用的用于输入的多路复用视频帧在最后阶段从多路复用电路42输出至处理器43。在图1的示例中，多路复用电路42-4用作最后阶段中的多路复用电路。
各个多路复用电路42在等待要被多路复用的数据输入之后执行多路复用。根据要被多路复用的数据的最后数据项被输入的时刻，在先前阶段用于输入的多路复用视频帧从多路复用视频信号产生电路41或从多路复用电路42输入时的时刻与在通过将数据多路复用为用于输入的多路复用视频帧之后获得的用于输入的多路复用视频帧从某个多路复用电路42输出时的时刻之间存在差异。这里，假定视频接收电路21或音频接收电路31接收数据所涉及的时间、或者帧存储器23或存储器33临时存储数据所涉及的时间可忽略。
彼此接近的同步信号sync-1和sync-2的定时(1的值的时刻)意味着用于输入的多路复用视频帧从多路复用视频信号产生电路41输出时的时刻与在多路复用之后获得的用于输入的多路复用视频帧被输入至处理器43时的时刻之间较小的差异。换言之，彼此接近的同步信号sync-1和sync-2的定时意味着输入延迟减小。
基于该假定，现在将描述将数据从下向上***到用于输入的多路复用视频帧中。
如图25所示的多路复用视频帧F1表示在其中已经将各个数据项以如上参照图20至24所述的方式从下向上***的多路复用之后获得的用于输入的多路复用视频帧。
如图25所示，当绘制在从左向右经过的时间轴上时，视频区域A1被表示在多路复用视频帧F1中的左部，而音频区域A2在右部。在图25中，多路复用视频帧F1的右部中的粗线表示被***在音频区域A2中的音频流#0的音频数据。
要被贴附于多路复用视频帧F1的视频流#0的帧的最后线的数据可以在即将在数据被输入时的时刻t7之前的时刻之后***。如果视频流#0的帧的最后线的数据要被***在多路复用视频帧F1的视频区域A1的上部(时间上较早)中，则与***位置相对应的多路复用视频帧F1的线的时间可以晚于时刻t7。作为影像，整个多路复用视频帧F1处于相对于如图25所示的位置靠右的位置。
因此，为了减小输入延迟，优选地，视频流#0的帧的最后线的数据被***在多路复用视频帧F1的与比即将在时刻t7之前的时刻晚的时刻相对应的位置。在数据实际***时的时刻之前输入的数据被存储在存储器中，直到***时刻。
此外，要被多路复用到多路复用视频帧F1中的视频流#2的帧的最后线的数据可以在即将在数据被输入时的时刻t8之前的时刻之后(包括即将在时刻t8之前的时刻)***。如果视频流#2的帧的最后线的数据被***到多路复用视频帧F1的视频区域A1的上部中，则与***位置相对应的多路复用视频帧F1的线的时刻可以晚于即将在时刻t8之前的时刻。作为影像，整个多路复用视频帧F1处于相对于如图25所示的位置靠右的位置。
因此，为了减小输入延迟，优选地，视频流#2的帧的最后线的数据被***与即将在时刻t8之前的时刻晚的时刻相对应的多路复用视频帧F1的位置。
相同情况应用于视频流#1至#3的帧的最后线的数据。
由同步信号sync-1确定要被***到多路复用视频帧F1中的音频流#0的音频样本的数据以及样本数信息。在作为时段T的结束时刻的时刻t8之后(包括时刻t8)，可以***音频流#0的音频数据。
如果视频流#0的音频数据被***在界定在多路复用视频帧F1的上部中的区域中，则与***位置相对应的多路复用视频帧F1的线的时刻可以晚于时刻t8。作为影像，多路复用视频帧F1处于相对于如图25所示的位置靠右的位置。
因此，为了减小输入延迟，优选地，音频流#0的音频数据被***在多路复用视频帧F1的与比时刻t8晚的时刻相对应的位置。
因此，各个视频流的视频数据的帧被逐线地交错，并从下向上被***在视频区域A1中，并且各个音频流的音频数据被***在界定于视频区域A1下方的音频区域A2中，由此整个用于输入的多路复用视频帧的数据可以从下向上布置，从而允许输入延迟的减小。
在图25的示例中，输入延迟被减小为与数个线相对应的时间，这是时刻t4与多路复用视频帧F1开始被输入至处理器43的时刻t11之间的差。
如图25所示，如果视频流#0至#3的帧数据在不同的定时输入，则最后线的数据被较早输入的流的视频数据在较早阶段被多路复用电路42处理。最后线的数据被更晚输入的流的视频数据在较晚阶段被多路复用电路42处理。因此，如上所述，视频帧的线可以从下向上***。
此外，在比多路复用电路42对视频数据进行处理更晚的阶段由多路复用电路42对音频数据进行处理。因此，如上所述，音频数据可以被***到界定于用于输入的多路复用视频帧的下部中的音频区域A2中。
如图1所示的多路复用电路42-1至42-4可以被集成为单个电路。得到的单个电路可以在无需考虑以哪个数据流以及如图1所示的方式串联连接的多个多路复用电路42当中的哪个多路复用电路42对该数据流进行处理的情况下将全部数据项进行多路复用。
图26是图示将音频数据***在视频数据上方的缺点的图。
在图26中，各个数据项的输入定时和同步信号sync-1的定时与如图25所示的定时相同。即，要被***到由多路复用视频信号产生电路41在时段T期间产生的用于输入的多路复用视频帧中的数据与参照图25所述的数据相同。将合适地省略冗余描述。
在图26的示例中，用于音频的区域被界定在用于输入的多路复用视频帧的上部，并且用于视频的区域被界定在用于音频的区域的下方。
在此情况下，如上所述，在时刻t8之后，可以***音频流#0的音频数据。因此，被界定在多路复用视频帧F1的上部中的音频流#0的音频数据的***位置是与时刻t8之后的时刻对应的位置。
因此，如图26所示，多路复用视频帧F1开始被输入至处理器43时的时刻t21晚于如图25所示的时刻t11。输入延迟基本等于与多路复用视频帧F1的一个帧时段相对应的时间，其等于时刻t4与时刻t21之间的差。
图27是图示视频帧的从上向下贴附的缺点的图。
在图27中，各个数据项的输入定时和同步信号sync-1的定时与如图25所示的相同。将合适地省略冗余描述。
在图27的示例中，与图25的情况相似，视频区域A1被界定在用于输入的多路复用视频帧的上部，并且音频区域A2被界定在视频区域A1的下方。
假定视频流#0的帧的线从上向下***在用于输入的多路复用视频帧的视频区域A1中。在此情况下，在多路复用视频帧F1中视频流#0的最后线的数据的***位置是与即将在最后线的数据被输入时的时刻t7之前的时刻(包括即将在时刻t7之前的时刻)对应的位置。
因此，如图27所示，多路复用视频帧F1开始被输入至处理器43时的时刻t31晚于如图25所示的时刻t11。输入延迟是由时刻t4与时刻t31之间的差表示的时间。
利用用于输出的多路复用视频帧进行的多路复用操作
接着，将描述利用用于输出的多路复用视频帧进行的多路复用操作。
在用于输出的多路复用视频帧中，已经从用于输入的多路复用视频帧提取并已经经过各种处理的各个数据流被多路复用。即，利用用于输出的多路复用视频帧进行的数据(在处理之后获得的数据)的多路复用由处理器43执行。
在处理器43中，与利用用于输入的多路复用视频帧进行多路复用操作不同，各个数据流从上向下***。
图28是图示用于输出的多路复用视频帧的区域构造的图。
如图28所示，用于输出的多路复用视频帧设置有沿着其水平方向和竖直方向延伸的空白区域。在图28的示例中，在有效影像帧内从第一线到第m2线的区域被设定为作为用于音频的区域的音频区域A11。此外，在有效影像帧内从第(m2+1)线到作为最后线的第n线的区域被设定为作为用于视频的区域的视频区域A12。
以此方式，音频区域A11被界定在用于输出的多路复用视频帧的上部，并且视频区域A12被界定在音频区域A11下方。
图29是图示在由处理器43进行多路复用之后获得的用于输出的多路复用视频帧的示例的图。
当用于输入的多路复用视频帧被输入时，处理器43提取视频流#0至#3的帧数据以及音频流#0至#3的音频数据，并根据需要执行处理。已经根据需要经过处理的视频流#0至#3的帧数据和音频流#0至#3的音频数据被***到用于输出的多路复用视频帧中。
如图29所示，音频流#0至#3的音频数据从各个线的左端开始被紧密地***到用于输出的多路复用视频帧的音频区域A11中。
在图29的示例中，作为音频区域A11的开始位置的第一线、以及第二线被分配给音频流#0的音频数据。
在第一线和第二线当中第一线的开始(左端)处，***表示如图29所示被多路复用在用于输出的多路复用视频帧中的音频流#0的音频样本的数量的样本数信息。此外，在样本数信息之后，音频流#0的音频数据被***被第一线的整体以及直到第二线的中部。
此外，在图29的示例中，第三线和第四线被分配给音频流#1的音频数据。
在第三线和第四线当中第三线的开始处，***表示如图29所示被多路复用在用于输出的多路复用视频帧中的音频流#1的音频样本的数量的样本数信息。此外，在样本数信息之后，音频流#1的音频数据被***被第三线的整体以及直到第四线的中部。
第五线和第六线被分配给音频流#2的音频数据。
在第五线和第六线当中第五线的开始处，***表示如图29所示被多路复用在用于输出的多路复用视频帧中的音频流#2的音频样本的数量的样本数信息。此外，在样本数信息之后，音频流#2的音频数据被***被第五线的整体以及直到第六线的中部。
第七线和第八线(第m2线)被分配给音频流#3的音频数据。
在第七线和第八线当中第七线的开始处，***表示如图29所示被多路复用在用于输出的多路复用视频帧中的音频流#3的音频样本的数量的样本数信息。此外，在样本数信息之后，音频流#3的音频数据被***被第七线的整体以及直到第八线的中部。
与各个音频数据流的***位置相关的信息被预先设定在处理器43中。
利用音频数据的数据率、用于输入的多路复用视频帧的帧频率、以及由处理器43执行的处理内容等确定要被***到用于输出的多路复用视频帧中的音频数据的尺寸。
因此，可以在设计时确定被分配的线的数量，作为其中各音频数据流要被***的线的数量。在图29的示例中，将两个线分配给每个音频数据流。
例如，音频区域A11的线的数量可以被设定为与被分配给各个音频数据流的线的总和相同。此外，在图29的示例中，因此设定音频区域A2的线的数量。
此外，要被贴附的帧经由帧的逐线地交错而不会彼此重叠，并在用于输出的多路复用视频帧的视频区域A12中从上向下贴附。
在图29的示例中，视频流#0的帧的线在720像素的范围内沿着水平方向从有效影像帧的左端向右***。此外，视频流#0的帧的线在243×2线的范围内沿着竖直方向从作为视频区域A12的最上线的第(m2+1)线向下***。在一个场中的线的数量，即243个线被隔行地***，不过在图29中，四个线被图示为视频流#0的帧的线。
此外，视频流#1的帧的线在1280像素的范围内沿着水平方向从有效影像帧的左端向右***，并在720×2线的范围内沿着竖直方向从作为视频区域A12的最上线的第(m2+1)线向下***。一个帧的线的数量，即720线被隔行地***以不与视频流#0的帧的线重叠，不过在图29中，十个线被示出为视频流#1的帧的线。
视频流#2的帧的线在1280像素的范围内沿着水平方向从第1281像素(在有效像素的左端被用作第一像素的情况下)起向右***。此外，视频流#2的帧的线在720×2线的范围内沿着竖直方向从作为视频区域A12的最上线的第(m2+1)线向下***。虽然一个帧的线的数量，即720线被隔行地***，不过在图29中，十个线被示出为视频流#2的帧的线。
视频流#3的帧的线在1920像素的范围内沿着水平方向从第1281像素(在有效像素的左端被用作第一像素的情况下)起向右***。此外，视频流#3的帧的线在540×2线的范围内沿着竖直方向从作为视频区域A12的最上线的第(m2+1)线向下***。在一个场中的线的数量，即540线被隔行地***，由此不会与视频流#2的帧的线重叠，不过在图29中，七个线被示出为视频流#3的帧的线。
在所示示例中，用于输出的多路复用视频帧的有效影像帧的每水平行的像素数量被设定为3200个。用于输入的多路复用视频帧的尺寸可以与用于输出的多路复用视频帧的尺寸不同。
与各个帧的线的***位置相关的信息被预先设定在处理器43中。
以此方式，如在整个用于输出的多路复用视频帧中观察，各个数据流从上向下***。
因此，即使当利用用于输出的多路复用视频帧将多个数据流进行多路复用并从处理器43输出时，仍可以减小输出延迟。输出延迟由在处理之后获得的数据从处理器43输出时的时刻与处理之后获得的数据被输出至信息处理设备1的外部时的时刻之间的差表示。
图30是图示从上向下布置的优点的图。在图30中，横轴表示时间。
如图30所示的多路复用视频帧F2表示从处理器43输出的用于输出的多路复用视频帧。同步信号sync-3是从处理器43输出的同步信号，并界定了多路复用视频帧F2的一个帧时段。在从时刻t1至时刻t2的时段期间从处理器43输出多路复用视频帧F2。
由各个线中的阴影线表示的视频流#0至#3的帧数据表示已经从多路复用视频帧F2提取并已经从视频发送电路53输出至信息处理设备1外部的数据(输出视频信号)。此外，由粗线表示的视频流#0的音频样本的数据表示已经从多路复用视频帧F2提取并已经从音频发送电路63输出至信息处理设备1外部的数据(输出音频信号)。
例如，在根据从定时产生电路44输出的同步信号的同一定时，被多路复用在同一用于输出的多路复用视频帧中的数据被输出至信息处理设备1的外部。
如图30所示的同步信号sync-4是由定时产生电路44产生并被供应至视频发送电路53和音频发送电路63的同步信号。在从时刻t11至时刻t12的时段期间，从多路复用视频帧F2提取的各个数据流被输出至信息处理设备1的外部。
在各个视频发送电路53中，在从用于输出的多路复用视频帧提取要输出的帧数据之后，可以输出该数据。
此外，在各个音频发送电路63中，在从用于输出的多路复用视频帧提取要输出的音频样本的数据之后，可以输出该数据。
如果为了使得视频发送电路53和音频发送电路63输出该数据使被多路复用在同一用于输出的多路复用视频帧中的数据在同一时刻输出，则全部视频发送电路53和音频发送电路63接收已经从同一用于输出的多路复用视频帧提取的、要输出的数据。
根据要输出的数据当中的起始数据项被输入至各个帧存储器52和各个音频发送电路63时的时刻，在从处理器43输出用于输出的多路复用视频帧时的时刻与将数据输出至外部时的时刻之间存在差异。这里，假定提取电路45提取数据所涉及的时间或者帧存储器52或存储器62临时存储数据所涉及的时间可忽略。
同步信号sync-3和sync-4的定时(1的值的时刻)意味着用于输出的多路复用视频帧从处理器43输出时的时刻与各个数据流被输出至外部时的时刻之间较小的差异。换言之，彼此接近的同步信号sync-3和sync-4的定时意味着输出延迟减小。
基于该假定，现在将描述将数据从上向下***到用于输出的多路复用视频帧中。
如果音频流#0的音频数据要被***在界定于多路复用视频帧F2下部中的区域中，则音频流#0的音频数据开始输出的时刻可以晚于与***位置相对应的时刻。
作为影像，音频流#0的输出时刻可以相对于如图30所示的位置靠右的位置。因为从同一用于输出的多路复用视频帧提取的数据在同一时刻输出，所以视频流#0至#3的输出时刻也处于相对于如图30所示的位置靠右的位置。
因此，为了减小输出延迟，优选地，音频流#0的音频数据被***在用于输出的多路复用视频帧中较早的位置处。因此，基于样本数信息来指明被多路复用在用于输出的多路复用视频帧中的音频样本的数量，并在已经指明音频样本的数量之后提取音频样本。因此，优选地，样本数信息可以被***在对应线的开始处。
此外，假定各个视频流的帧是逐线交错的，并从下向上***在用于输出的多路复用视频帧中。在此情况下，视频流#0的帧的起始线的数据的输出时刻会晚于与***位置相对应的时刻。具体而言，视频流#0的帧的线的总数越小，则输出时间越晚。
作为影像，视频流#0的输出定时处于相对于如图30所示的位置靠右的位置。因为从同一用于输出的多路复用视频帧提取的数据在同一定时输出，所以视频流#1至#3的输出定时以及音频流#0的输出定时也处于相对于如图30所示的位置靠右的位置。
因此，为了减小输出延迟，优选地，视频流#0的帧的起始线的数据被***在多路复用视频帧F2的视频区域A12的上部。同一情况应用于视频流#1至#3。
如以上可见，各个音频流的音频数据被***到界定于用于输出的多路复用视频帧的上部中的音频区域A11中，并且对于各个视频流的视频数据，帧被逐线交错并从上向下***在界定于音频区域A11下方的视频区域A12中，由此作为整个用于输出的多路复用视频帧，数据可以从上向下布置。因此，可以减小输出延迟。
在图30的示例中，将输出延迟减小为与数个线相对应的时间，这是多路复用视频帧F2开始从处理器43输出时的时刻t1与数据开始输出至外部时的时刻t11之间的差异。
图31是图示将音频数据***在视频数据下方的缺点的图。
在图31中，同步信号sync-3的定时与如图30所示的定时相同。将合适地省略冗余描述。
在图31的示例中，用于音频的区域被界定在用于输出的多路复用视频帧的下部，并且用于视频的区域被界定在用于音频的区域的下方。
在此情况下，如图31所示，音频流#0的起初音频样本的数据的输出时刻晚于与数据在多路复用视频帧F2中的***位置相对应的时刻。
此外，因为从同一用于输处的多路复用视频帧提取的数据在同一时刻输出，所以从多路复用视频帧F2提取的各个数据流开始输出的时刻t21晚于如图30所示的时刻t11。输出延迟基本等于与多路复用视频帧F2的一个帧时段相对应的时间，其等于时刻t1与时刻t21之间的差。
图32是图示视频帧的从下向上贴附的缺点的图。
在图32中，同步信号sync-3的定时与如图30所示的相同。将合适地省略冗余描述。
在图32的示例中，与图30的情况相似，音频区域A11被界定在用于输出的多路复用视频帧的上部，并且视频区域A12被界定在音频区域A11的下方。
假定具有较小线数的视频流#0的帧数据被输出。在此情况下，视频流#0的帧的起初线的数据被***在多路复用视频帧F2中比被从上向下***时的位置下方的位置处。因此，如虚线所示，视频流#0的帧的起初线的数据在与***位置相对应的时刻输出。
此外，因为从同一用于输处的多路复用视频帧提取的数据在同一时刻输出，所以从多路复用视频帧F2提取的各个数据流开始输出时的时刻t31晚于如图30所示的时刻t11。输出延迟基本等于由时刻t1与时刻t31之间的差表示的时间。
信息处理设备的操作
这里，将参照图33的流程图描述信息处理设备1的处理。
在如图1所示的信息处理设备1中，两个视频数据流和两个音频数据流利用用于输入的多路复用视频帧进行多路复用，并被输入至处理器43。此外，由处理器43从其中在处理之后获得的数据被多路复用的用于输出的多路复用视频帧提取的两个视频数据流和两个音频数据流被输出至外部。
在步骤S101，视频接收电路21-1和21-2执行视频接收处理。由视频接收电路21-1接收的视频流#1的帧数据被存储在帧存储器23-1中。此外，由视频接收电路21-2接收的视频流#2的帧数据被存储在帧存储器23-2中。
在步骤S102，音频接收电路31-1和31-2执行音频接收处理。由音频接收电路31-1截取出的在多路复用视频帧的一个帧时段输入的音频流#1的音频样本以及样本数信息被存储在存储器33-1中。此外，由音频接收电路31-2截取出的在多路复用视频帧的一个帧时段输入的音频流#2的音频样本以及样本数信息被存储在存储器33-2中。
在步骤S103，多路复用视频信号产生电路41产生多路复用视频帧，并输出多路复用视频帧的数据和同步信号。
在步骤S104，执行多路复用处理。具体而言，由多路复用电路42-1将视频流#1的一个帧贴附于多路复用视频帧，并由多路复用电路42-2将视频流#2的一个帧贴附于多路复用视频帧。此外，由多路复用电路42-3将音频流#1的音频样本的数据和样本数信息***到多路复用视频帧中，并由多路复用电路42-4将音频流#2的音频样本的数据和样本数信息***到多路复用视频帧中。
在多路复用处理中，如上所述，各个数据项从下向上***在用于输入的多路复用视频帧中。
在步骤S105，处理器43对被输入至视频端口的多路复用视频帧的数据中所多路复用的视频数据和音频数据执行预定处理。
在步骤S106，处理器43将处理之后获得的数据从上向下***到多路复用视频帧中。处理器43将其中处理之后获得的数据已经被多路复用的用于输出的多路复用视频帧的数据从视频端口输出
在步骤S107，执行提取处理。具体而言，由提取电路45-1从多路复用视频帧的数据提取音频流#1的音频数据，并由提取电路45-2从多路复用视频帧的数据提取音频流#2的音频数据。此外，由提取电路45-3从多路复用视频帧的数据提取视频流#2的视频数据，并由提取电路45-4从多路复用视频帧的数据提取视频流#1的视频数据。
在步骤S108，执行音频输出处理。从多路复用视频帧的数据提取的音频流#1的数据被临时存储在存储器62-1中，并接着被逐个样本地输出至外部。此外，音频流#2的数据被临时存储在存储器62-2中，并被逐个样本地输出至外部。
在步骤S109，执行视频输出处理。从多路复用视频帧提取的视频流#1的帧数据被临时存储在帧存储器52-1中，并接着被输出至外部。此外，视频流#2的帧数据被临时存储在帧存储器52-2中，并接着被输出至外部。在已经完成视频输出处理之后，处理结束。
接着，将参照图34的流程图描述在图33的步骤S101中执行的视频接收处理。
在步骤S111，视频接收电路21-1接收输入视频信号，并执行诸如A/D转换之类的各种处理以产生视频流#1的帧数据。视频接收电路21-2也执行相似处理以产生视频流#2的帧数据。
在步骤S112，帧同步器22-1使得由视频接收电路21-1产生的视频流#1的帧数据存储在帧存储器23-1中。帧同步器22-2也使视频流#2的帧数据存储在帧存储器23-2中。
在视频流#1和#2的帧数据被存储在帧存储器23中之后，处理返回至图33的步骤S101，并执行后续处理。
接着，将参照图35的流程图描述在图33的步骤S102中执行的音频接收处理。
在步骤S121，音频接收电路31-1接收输入音频信号，并执行诸如A/D转换之类的处理以产生由音频样本的时间序列构成的音频流#1的音频数据。
在步骤S122，音频接收电路31-1在对样本数进行计数的同时截取在多路复用视频帧的一个帧时段内输入的音频流#1的音频样本。音频接收电路31-2也执行相似处理，并截取在多路复用视频帧的一个帧时段内输入的音频流#2的音频样本。
在步骤S123，存储器控制电路32-1使得所截取的音频流#1的音频样本以及样本数信息存储在存储器33-1中。存储器控制电路32-2也使得所截取的音频流#2的音频样本以及样本数信息存储在存储器33-2中。
在音频流#1和#2的音频样本被存储在存储器33中之后，处理返回至图33的步骤S102，并执行后续处理。
接着，将参照图36的流程图描述图33的步骤S104中执行的多路复用处理。在图33的步骤S103中产生的多路复用视频帧的数据被供应至多路复用电路42-1。
在步骤S131，多路复用电路42-1请求帧同步器22-1从帧存储器23-1读取视频流#1的数据。
在步骤S132，多路复用电路42-1将从其数据已经从帧存储器23-1读取的视频流#1的帧数据逐线地交错，并将该帧从下向上地***到用于输入的多路复用视频帧的视频区域A1中。
还由多路复用电路42-2执行与步骤S131和S132相似的处理，并将其数据已经从帧存储器23-2读取的视频流#2的帧从下向上***在从多路复用电路42-1供应的用于输入的多路复用视频帧的视频区域A1中。
在步骤S133，多路复用电路42-3请求存储器控制电路32-1从存储器33-1读取音频流#1的音频数据和样本数信息。
在步骤S134，多路复用电路42-3将从存储器33-1读取的音频流#1的音频数据和样本数信息***到从多路复用电路42-2供应的用于输入的多路复用视频帧的音频区域A2中。
还由多路复用电路42-4执行与S133和S134相似的处理。将从存储器33-2读取的音频流#2的音频样本的数据与样本数信息一起***到从多路复用电路42-3供应的用于输入的多路复用视频帧的音频区域A2中。
在全部视频数据和音频数据的流已经被***到用于输入的多路复用视频帧中之后，处理返回至图33的步骤S104，并执行后续步骤。处理器43对利用用于输入的多路复用视频帧进行多路复用的视频数据和音频数据执行处理，并且其中处理之后的数据被多路复用的用于输出的多路复用视频帧的数据被供应至提取电路45-1。
接着，将参照图37的流程图描述在图33的步骤S107中执行的提取处理。
在步骤S151，提取电路45-1接收从处理器43输出的多路复用视频帧的数据。
在步骤S152，提取电路45-1参照样本数信息，并从多路复用视频帧的数据提取被从上向下***的音频流#2的音频样本的数据。
在步骤S153，存储器控制电路61-2使得由提取电路45-1提取的音频流#2的音频样本的数据存储在存储器62-2中。
还由提取电路45-2和存储器控制电路61-1执行与步骤S152和S153相似的处理，并将从用于输出的多路复用视频帧提取的音频流#1的音频样本存储在存储器62-1中。
在步骤S154，提取电路45-3从用于输出的多路复用视频帧提取与被从上向下***的视频流#2的帧数据。
在步骤S155，帧同步器51-2使得由提取电路45-3提取的视频流#2的帧数据存储在帧存储器52-2中。
还由提取电路45-4和帧同步器51-1执行与步骤S154和S155相似的处理，并将从用于输出的多路复用视频帧提取的视频流#1的帧数据存储在帧存储器52-1中。
在已经从多路复用视频帧提取全部视频数据和音频数据的流之后，处理返回至图33的步骤S107，并执行后续处理。
接着，将参照图38的流程图描述在图33的步骤S108中执行的音频输出处理。
在步骤S161，音频发送电路63-2请求存储器控制电路61-2从存储器62-2读取音频流#2的音频样本的数据。
在步骤S162，音频发送电路63-2以一个样本的数据为单位将从存储器62-2读取的音频流#2的音频数据输出至外部。
还由音频发送电路63-1执行与步骤S162相似的处理，并将从存储器62-1读取的音频流#2的音频数据输出至外部。
在已经输出全部音频数据的流之后，处理返回至图33的步骤S108，并执行后续步骤。
接着，将参照图39的流程图描述在图33的步骤S109中执行的视频输出处理。
在步骤S171，视频发送电路53-2请求帧同步器51-2从帧存储器52-2读取视频流#2的帧数据。
在步骤S172，视频发送电路53-2将从帧存储器52-2读取的视频流#2的帧数据输出至外部。
还由视频发送电路53-1执行与步骤S171和S172相似的处理，并将从帧存储器52-1读取的视频流#1的帧数据输出至外部。
在全部视频流的帧数据已经输出之后，处理返回至图33的步骤S109，并执行后续处理。
上述步骤的处理可以不一定按照图中所示的顺序执行，并可以根据需要与其他步骤的处理并行地执行，或者在其他步骤的处理之前或之后执行。
利用上述这些系列的处理，可以将视频数据和音频数据的多个流输入至包括一个输入视频端口的处理器43。此外，可以将视频数据和音频数据的多个流从包括一个输出视频端口的处理器43输出。换言之，能够利用一个视频端口高效地进行将数据输入至处理器43和从处理器43输出数据。
此外，数据可以在减小输入延迟的情况下被输入至处理器43。此外，数据可以在减小输出延迟的情况下从处理器43输出。
第一示例性修改
图40是图示信息处理设备1的另一示例构造的框图。
在如图40所示的构造中，与图1所示相同或相似的元件由相同的附图标记表示。如合适，将省略冗余的描述。
如图40所示的构造与如图1所示的信息处理设备1的不同之处在于，在多路复用视频信号产生电路41之前设置切换电路111。
视频流#1的同步信号、视频流#2的同步信号、以及作为与以上两个同步信号相独立地从外部输入的同步信号的外同步信号被输入至切换电路111。外同步信号也被供应至定时产生电路44。
切换电路111在视频流#1的同步信号、视频流#2的同步信号以及外同步信号当中选择需要的同步信号，并将所选择的同步信号输出至多路复用视频信号产生电路41。
多路复用视频信号产生电路41以由从切换电路111供应的同步信号所界定的周期来产生多路复用视频帧，并将所产生的多路复用视频帧的数据与从切换电路111供应的同步信号一起输出至多路复用电路42-1。
定时产生电路44根据外同步信号或各个视频和音频流的格式来产生同步信号，并输出该同步信号。
以此方式，也可以通过切换将从外部输入的同步信号用作界定了产生多路复用视频帧的周期的同步信号。
第二示例性修改
图41是图示信息处理设备1的另一示例构造的框图。
在图41中，四个音频数据流被输入至信息处理设备1。即，如图41所示的信息处理设备1可以是音频数据专用装置。要被输入的音频数据项的数量也可以被设定为除4以外的值。如合适，将省略冗余的描述。
在图41中，音频接收电路31-1和31-2分别与如图1所示的音频接收电路31-1和31-2相似。在音频接收电路31-1中，截取音频流#1的音频数据，并将其与样本数信息一起存储在存储器33-1中。在音频接收电路31-2中，截取音频流#2的音频数据，并将其与样本数信息一起存储在存储器33-2中。
音频接收电路31-3对输入音频信号执行各种处理，并产生音频流#3的音频数据。音频接收电路31-3将音频流#3的音频数据划分为音频数据项(每个所述音频数据项具有在与多路复用视频帧的一个帧时段期间输入的样本)，并将得到各个音频数据项与样本数信息一起输出至存储器控制电路32-3。
存储器控制电路32-3使得从音频接收电路31-3供应的音频数据和样本数信息存储在存储器33-3中。根据来自多路复用电路42-3的请求，存储器控制电路32-3从存储器33-3读取音频数据和样本数信息，并输出音频数据和样本数信息。
音频接收电路31-4也对输入音频信号执行各种处理，并产生音频流#4的音频数据。音频接收电路31-4将音频流#4的音频数据划分为音频数据项(每个所述音频数据项具有在与多路复用视频帧的一个帧时段期间输入的样本)，并将得到各个音频数据项与样本数信息一起输出至存储器控制电路32-4。
存储器控制电路32-4使得从音频接收电路31-4供应的音频数据和样本数信息存储在存储器33-4中。根据来自多路复用电路42-4的请求，存储器控制电路32-4从存储器33-4读取音频数据和样本数信息，并输出音频数据和样本数信息。
多路复用电路42-1将从存储器控制电路32-1供应的音频流#1的音频数据和样本数信息***到从多路复用视频信号产生电路41供应的多路复用视频帧的数据中。多路复用电路42-1将其中已经***了音频流#1的音频数据和样本数信息的多路复用视频帧的数据输出至多路复用电路42-2。
多路复用电路42-2将从存储器控制电路32-2供应的音频流#2的音频数据和样本数信息***到从多路复用电路42-1供应的多路复用视频帧的数据中。多路复用电路42-2将其中已经***了音频流#2的音频数据和样本数信息的多路复用视频帧的数据输出至多路复用电路42-3。
多路复用电路42-3将从存储器控制电路32-3供应的音频流#3的音频数据和样本数信息***到从多路复用电路42-2供应的多路复用视频帧的数据中。多路复用电路42-3将其中已经***了音频流#3的音频数据和样本数信息的多路复用视频帧的数据输出至多路复用电路42-4。
多路复用电路42-4将从存储器控制电路32-4供应的音频流#4的音频数据和样本数信息***到从多路复用电路42-3供应的多路复用视频帧的数据中。多路复用电路42-4将其中已经***了音频流#4的音频数据和样本数信息的多路复用视频帧的数据输出至处理器43。
提取电路45-1由从处理器43供应的多路复用视频帧的数据提取音频流#4的音频数据，并将所提取的音频数据输出至存储器控制电路61-4。提取电路45-1还将从处理器43供应的多路复用视频帧的数据输出至提取电路45-2。
提取电路45-2由从提取电路45-1供应的多路复用视频帧的数据提取音频流#3的音频数据，并将所提取的音频数据输出至存储器控制电路61-3。提取电路45-2还将从提取电路45-1供应的多路复用视频帧的数据输出至提取电路45-3。
提取电路45-3由从提取电路45-2供应的多路复用视频帧的数据提取音频流#2的音频数据，并将所提取的音频数据输出至存储器控制电路61-2。提取电路45-3还将从提取电路45-2供应的多路复用视频帧的数据输出至提取电路45-4。
提取电路45-4由从提取电路45-3供应的多路复用视频帧的数据提取音频流#1的音频数据，并将所提取的音频数据输出至存储器控制电路61-1。
存储器控制电路61-1使得从提取电路45-4供应的音频流#1的音频数据临时存储在存储器62-1中。
音频发送电路63-1根据从定时产生电路44供应的同步信号，以一个样本的数据为单位将从存储器控制电路61-1供应的音频流#1的音频数据输出至外部。
存储器控制电路61-2使得从提取电路45-3供应的音频流#2的音频数据临时存储在存储器62-2中。
音频发送电路63-2根据从定时产生电路44供应的同步信号，以一个样本的数据为单位将从存储器控制电路61-2供应的音频流#2的音频数据输出至外部。
存储器控制电路61-3使得从提取电路45-2供应的音频流#3的音频数据临时存储在存储器62-3中。
音频发送电路63-3根据从定时产生电路44供应的同步信号，以一个样本的数据为单位将从存储器控制电路61-3供应的音频流#1的音频数据输出至外部。
存储器控制电路61-4使得从提取电路45-1供应的音频流#4的音频数据临时存储在存储器62-4中。
音频发送电路63-4根据从定时产生电路44供应的同步信号，以一个样本的数据为单位将从存储器控制电路61-4供应的音频流#1的音频数据输出至外部。
以此方式，其中仅音频数据被多路复用的多路复用视频帧可以被输入至处理器43或可以从处理器43输出。
替代将一个音频数据流***到多路复用视频帧的一个线的整体中，也可以通过将多个音频数据流***到一个线中，来执行将音频数据***到多路复用视频帧中的操作。
图42是如图41所示要被输入至处理器43的多路复用视频帧的放大视图。
在图42的示例中，音频流#1至#2的音频数据被***到多路复用视频帧的从第一线至第三线范围内的各个线中。表示音频流#1的音频样本的数量的样本数信息s1被***在第一线中音频流#1的数据的开始处，并且表示音频流#2的音频样本的数量的样本数信息s2被***音频流#2的数据的开始处。
音频流#2的音频数据被***在第四线和第五线中每个的一部分中。
音频流#3的音频数据被***在第六线和第七线每个的整体中。音频流#4的音频数据被***在作为最后线的第n线的整体中。
第三示例性修改
图43是图示信息处理设备1的另一示例构造的框图。
在图43所示的构造中，与图1或41所示相同或相似的元件由相同的附图标记表示。如合适，将省略冗余的描述。
在图43中，一个视频信号流和三个音频信号流被输入至信息处理设备1。视频流#1的视频信号被输入至视频接收电路21-1，并且音频流#1至#3的音频信号被输入至音频接收电路31-1至31-3。视频流#1的同步信号也被输入至多路复用视频信号产生电路41和定时产生电路44。
多路复用视频信号产生电路41在由视频流#1的同步信号界定的时段处产生多路复用视频帧，并将所产生的多路复用视频帧与同步信号一起输出至多路复用电路42-1。在图1的构造中，在信息处理设备1内自身产生的信号被用作多路复用视频帧的同步信号。相反，在图43的构造中，使用输入视频信号的同步信号。
定时产生电路44根据视频流#1的同步信号以及各个流的视频和音频的格式产生同步信号，基于该同步信号确定各个流的视频帧数据和音频样本数据的输出定时。
第四示例性修改
图44是图示信息处理设备1的另一示例构造的框图。
在图44所示的构造中，与图43所示相同或相似的元件由相同的附图标记表示。如合适，将省略冗余的描述。
在图44中，作为从外部输入的同步信号的外同步信号被输入至多路复用视频信号产生电路41和定时产生电路44。
多路复用视频信号产生电路41在由外同步信号所界定的时段处产生多路复用视频帧，并将所产生的多路复用视频帧与同步信号一起输出至多路复用电路42-1。在如图44所示的构造中，外同步信号被用作多路复用视频帧的同步信号。
定时产生电路44根据外同步信号或者各个流的视频和音频的格式产生同步信号(基于该同步信号确定各个流的视频帧数据和音频样本数据的输出定时)，并输出该同步信号。
第五示例性修改
图45和46是图示信息处理设备1的另一示例构造的框图。
图45图示了其上对被输入至处理器43的多路复用视频帧进行处理的输入侧的构造，并且图46图示了其上对从处理器43输出的多路复用视频帧进行处理的输出侧的构造。在如图45和46所示的构造中，与图43所示相同或相似的元件由相同的附图标记表示。如合适，将省略冗余的描述。
在图45的示例中，模组121至123串联连接在多路复用电路42-1之后。模组121包括音频接收电路31-1、存储器控制电路32-1、存储器33-1和多路复用电路42-2。模组122包括音频接收电路31-2、存储器控制电路32-2、存储器33-2和多路复用电路42-3。板123包括音频接收电路31-3、存储器33-3和多路复用电路42-4。
在图46的示例中，模组131至133串联连接在处理器43之后。模组131包括提取电路45-1、存储器控制电路61-3、存储器62-3和音频发送电路63-3，并且模组132包括提取电路45-2、存储器控制电路61-2、存储器62-2和音频发送电路63-2。模组133包括提取电路45-3、存储器控制电路61-1、存储器62-1和音频发送电路63-1。
在信息处理设备1中，在各个视频数据和音频数据项的输入/输出条件或者各个视频数据和因数据项的处理内不存在互相依赖性，并且对多路复用方法或多路复用顺序不存在限制。因此，其中各个视频数据和音频数据项被输入和多路复用的电路可以与其中各个视频数据和音频数据项被提取和输出的电路完全独立。
即，可以通过将每个均被配置为将一个视频数据流进行多路复用的简单输入电路和每个均被配置为将一个音频数据流进行多路复用的简单输入电路串联连接(并且简单输入电路的数量等于流的总数)来实现所期望的输入电路。
共同电路形成为模组，从而简化信息处理设备1的构造。
其他示例性修改
在前述说明中，处理器43具有单输入单输出视频端口。但是，可以设置多输入和多输出。使用各个视频端口输入/输出多路复用视频帧，从而能够将更大量的数据流输入至处理器43并能够将处理之后获得的数据从处理器43输出。
在以上描述中，主要逐帧地处理了输入视频数据及多路复用视频帧。但是，也可以逐场地执行处理。在以上描述中，术语“帧”可以由术语“场”替代。
计算机的示例构造
可通过硬件或软件来执行上述一系列处理。如果通过软件来执行上述一系列处理，则可从程序记录介质向结合在专用硬件中的计算机或通用个人计算机等装载构成软件的程序。
图47是图示根据程序执行上述那些系列的处理的计算机的硬件构造的示例的框图。
中央处理单元(CPU)201、只读存储器(ROM)202、以及随机存取存储器(RAM)203经由总线204彼此连接。
输入/输出接口205也连接至总线204。输入/输出接口205连接至输入单元206和输出单元207，输入单元206包括键盘和鼠标，输出单元207包括显示器和扬声器。输入/输出接口205还连接至存储单元208、通信单元209、以及驱动器210，存储单元208包括硬盘和非易失性存储器，通信单元209包括网络接口，驱动器210对可移除介质211进行驱动。
在具有以上构造的计算机中，CPU 201将存储在例如存储单元208中的程序经由输入/输出接口205和总线204加载到RAM 203中，并执行该程序，由此执行上述的那些系列的处理。
由CPU 201执行的程序可以设置为例如记录在可移除介质211上的形式或者经由诸如局域网、互联网或者数字广播之类的有线或无线传输介质的形式，并可以被安装到存储单元208中。
由计算机执行的程序可以是据此来按照本文所述的顺序以时间序列方式执行处理的程序，或者可以是据此并行地或者在诸如被调用时的需要时机执行处理的程序。
本发明的实施例不限于上述实施例，并可以在不偏离本发明的范围的情况下进行多种修改。
本发明包含了与2010年1月14日向日本专利局递交的日本在先专利申请JP2010-006135以及2010年1月14日向日本专利局递交的日本在先专利申请JP2010-006136中公开的主题相关的主题，这里通过引用引入其全部内容。
本领域技术人员应理解，只要在所附权利要求或与其相当的范围内，可以按照设计要求等其它因素进行各种改变、组合、子组合和替换。

Claims (16)

1.一种信息处理设备，包括：
产生装置，其用于产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；
划分装置，其用于按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对应的时段期间输入的样本；
多路复用装置，其用于将多个音频数据项和表示包括在所述音频数据项中的样本数的样本数信息多路复用作为所述多路复用视频帧的数据，所述音频数据项是通过由作为多个数据流中的每个输入的音频数据进行划分获得的；
处理装置，其用于对在多路复用之后获得的所述多路复用视频帧中被多路复用的、通过划分获得的所述音频数据项执行处理，并用于从所述处理装置的输出视频端口输出其中将已经对其执行了处理的、通过划分获得的所述音频数据项以及所述样本数信息进行多路复用得到的多路复用视频帧，其中在多路复用之后获得的所述多路复用视频帧从所述处理装置的输入视频端口输入所述处理装置；
提取装置，其用于根据所述样本数信息提取在从所述处理装置输出的所述多路复用视频帧中被多路复用的、通过划分获得的音频数据项的各流；以及
发送装置，其用于按照从所述音频数据项的起初样本开始的顺序将所提取的通过划分获得的音频数据项的所述流输出至外部。
2.根据权利要求1所述的信息处理设备，其中，以与要输入的音频数据的流的数量相等的数量设置所述划分装置，并且以与要输入的音频数据的流的数量相等的数量设置所述发送装置，并且
其中，每个所述划分装置和每个所述发送装置对音频数据的一个流执行处理。
3.根据权利要求1所述的信息处理设备，其中，所述多路复用装置将通过划分获得的多个音频数据项和与之相关的样本数信息多路复用作为针对各个流位于预定位置的数据。
4.根据权利要求3所述的信息处理设备，其中，所述提取装置通过提取样本来提取通过划分获得的音频数据项的各个流，所述样本的数量由作为在所述预定位置处的数据被多路复用的所述样本数信息表示。
5.根据权利要求1所述的信息处理设备，其中，所述多路复用视频帧具有的屏幕尺寸大于或等于具有不同格式的多个视频数据项的帧图像的屏幕尺寸的总和，所述屏幕尺寸由所述多个视频数据项的格式界定，所述帧图像被配置为以彼此不重叠的方式贴附。
6.根据权利要求5所述的信息处理设备，其中，所述多路复用装置还通过在维持由所述格式界定的所述屏幕尺寸的情况下以彼此不重叠的方式将所述多个视频数据项的所述帧图像贴附于所述多路复用视频帧，来将所述多个视频数据项多路复用。
7.一种信息处理方法，包括以下步骤：
产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；
按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对应的时段期间输入的样本；
将多个音频数据项和表示包括在所述音频数据项中的样本数的样本数信息多路复用作为所述多路复用视频帧的数据，所述音频数据项是通过由作为多个数据流中的每个输入的音频数据进行划分获得的；
对在多路复用之后获得的所述多路复用视频帧中被多路复用的、通过划分获得的所述音频数据项执行处理，并从所述处理装置的输出视频端口输出其中将已经对其执行了处理的、通过划分获得的所述音频数据项以及所述样本数信息进行多路复用得到的多路复用视频帧，其中在多路复用之后获得的所述多路复用视频帧从所述处理装置的输入视频端口输入所述处理装置；
根据所述样本数信息提取在从所述处理装置输出的所述多路复用视频帧中被多路复用的、通过划分获得的音频数据项的各流；并且
按照从所述音频数据项的起初样本开始的顺序将所提取的通过划分获得的音频数据项的所述流输出至外部。
8.一种信息处理设备，包括：
产生装置，其用于产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；
第一多路复用装置，其用于将输入视频数据的多个格式中的每个的一个帧划分为各个线，用于将所述帧布置在所述多路复用视频帧中使得所述帧的各个线从下到上布置在被设置于所述多路视频帧中的第一视频区域中，使得同一帧的各个所述线不连续，并用于根据所述帧的布置位置将所述多个格式中的每个的一个帧的数据多路复用以作为所述多路复用视频帧的数据进行传输；
划分装置，其用于按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对应的时段期间输入的样本；
第二多路复用装置，其用于将通过所述划分装置进行的划分获得的各个所述音频数据项以及表示包括在所述音频数据项中的样本数的样本数信息进行多路复用以作为在设置于所述多路复用视频帧的所述第一视频区域下方的第一音频区域中的数据进行传输；以及
处理装置，其用于对在由所述第一多路复用装置和所述第二多路复用装置进行多路复用之后获得的多路复用视频帧中被多路复用的数据进行处理，在所述多路复用之后获得的所述多路复用视频帧从所述处理装置的输入视频端口输入所述处理装置。
9.根据权利要求8所述的信息处理设备，其中，所述处理装置将在处理之后获得的、所述多个格式中的每个的一个帧划分为各个线，将所述帧布置在所述多路复用视频帧中，使得所述帧的各个线从上到下布置在被设置于所述多路复用视频帧中的第二视频区域中，使得同一所述帧的各个所述线不连续，并且与所述帧的布置位置相对应地将所述帧多路复用以作为所述多路复用视频帧的数据进行传输，
其中，所述处理装置将多路复用之后获得的、通过划分获得的所述音频数据项、以及所述样本数信息多路复用，以作为被界定在所述多路复用视频帧的所述第二视频区域下方的第二音频区域的数据进行传输；并且
其中，所述处理装置从其输出视频端口输出其中对多路复用之后获得的数据进行传输的多路复用视频帧。
10.根据权利要求9所述的信息处理设备，还包括：
第一提取装置，其用于由从所述处理装置输出的所述多路复用视频帧提取所述多个格式中的每个的一个帧的数据；以及
第一发送装置，其用于将所提取的所述多个格式中的每个的一个帧的所述数据输出至外部。
11.根据权利要求10所述的信息处理设备，还包括：
第二提取装置，其用于根据所述样本数信息由从所述处理装置输出的所述多路复用视频帧提取通过划分获得的所述音频数据项；以及
第二发送装置，其用于按照从所述音频数据项的起初样本开始的顺序将所提取的通过划分获得的所述音频数据项输出至外部。
12.根据权利要求11所述的信息处理设备，其中，以与要输入的音频数据的流的数量相等的数量设置所述划分装置，并且以与要输入的音频数据的流的数量相等的数量设置所述第二发送装置，并且
其中，每个所述划分装置和每个所述发送装置对音频数据的一个流执行处理。
13.根据权利要求8所述的信息处理设备，其中，所述多路复用视频帧具有的屏幕尺寸大于或等于各帧的屏幕尺寸的总和，所述屏幕尺寸由所述多个格式界定，所述多个格式中的每个的一个帧被配置为以彼此不重叠的方式贴附。
14.一种信息处理方法，包括以下步骤：
产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；
将输入视频数据的多个格式中的每个的一个帧划分为各个线；
将所述帧布置在所述多路复用视频帧中使得所述帧的各个线从下到上布置在被设置于所述多路视频帧中的第一视频区域中，使得同一帧的各个所述线不连续；
根据所述帧的布置位置将所述多个格式中的每个的一个帧的数据多路复用以作为所述多路复用视频帧的数据进行传输；
按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对应的时段期间输入的样本；
将通过划分获得的各个所述音频数据项以及表示包括在所述音频数据项中的样本数的样本数信息进行多路复用以作为在设置于所述多路复用视频帧的所述第一视频区域下方的第一音频区域中的数据进行传输；并且
对在多路复用之后获得的多路复用视频帧中被多路复用的数据进行处理，在所述多路复用之后获得的所述多路复用视频帧从输入视频端口输入。
15.一种信息处理设备，包括：
产生单元，其被配置为产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；
划分单元，其被配置为按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对应的时段期间输入的样本；
多路复用单元，其被配置为将多个音频数据项和表示包括在所述音频数据项中的样本数的样本数信息多路复用作为所述多路复用视频帧的数据，所述音频数据项是通过由作为多个数据流中的每个输入的音频数据进行划分获得的；
处理单元，其被配置为对在多路复用之后获得的多路复用视频帧中被多路复用的、通过划分获得的所述音频数据项执行处理，并从所述处理单元的输出视频端口输出其中将已经对其执行了处理的、通过划分获得的所述音频数据项以及所述样本数信息进行多路复用得到的多路复用视频帧，其中在多路复用之后获得的所述多路复用视频帧从所述处理单元的输入视频端口输入所述处理单元；
提取单元，其被配置为根据所述样本数信息提取在从所述处理单元输出的所述多路复用视频帧中被多路复用的、通过划分获得的音频数据项的各流；以及
发送单元，其被配置为按照从所述音频数据项的起初样本开始的顺序将所提取的通过划分获得的音频数据项的所述流输出至外部。
16.一种信息处理设备，包括：
产生单元，其被配置为产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；
第一多路复用装置，其被配置为将输入视频数据的多个格式中的每个的一个帧划分为各个线，以将所述帧布置在所述多路复用视频帧中使得所述帧的各个线从下到上布置在被设置于所述多路视频帧中的第一视频区域中，使得同一帧的各个所述线不连续，并用于根据所述帧的布置位置将所述多个格式中的每个的一个帧的数据多路复用以作为所述多路复用视频帧的数据进行传输；
划分装置，其被配置为按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对应的时段期间输入的样本；
第二多路复用装置，其被配置为将通过所述划分装置进行的划分获得的各个所述音频数据项以及表示包括在所述音频数据项中的样本数的样本数信息进行多路复用以作为在设置于所述多路复用视频帧的所述第一视频区域下方的第一音频区域中的数据进行传输；以及
处理装置，其被配置为对在由所述第一多路复用单元和所述第二多路复用单元进行多路复用之后获得的多路复用视频帧中被多路复用的数据进行处理，在所述多路复用之后获得的所述多路复用视频帧从所述处理单元的输入视频端口输入所述处理单元。
CN2011100060846A 2010-01-14 2011-01-07 信息处理设备、信息处理方法和程序 Pending CN102131119A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-006136 2010-01-14
JP2010-006135 2010-01-14
JP2010006136A JP2011146928A (ja) 2010-01-14 2010-01-14 情報処理装置、情報処理方法、およびプログラム
JP2010006135A JP2011146927A (ja) 2010-01-14 2010-01-14 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN102131119A true CN102131119A (zh) 2011-07-20

Family

ID=44258275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100060846A Pending CN102131119A (zh) 2010-01-14 2011-01-07 信息处理设备、信息处理方法和程序

Country Status (2)

Country Link
US (1) US8755410B2 (zh)
CN (1) CN102131119A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105915780A (zh) * 2015-02-23 2016-08-31 三星电子株式会社 图像信号处理器和包括图像信号处理器的装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5973766B2 (ja) * 2012-03-30 2016-08-23 キヤノン株式会社 画像処理装置
JP6365537B2 (ja) * 2013-05-30 2018-08-01 ソニー株式会社 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム
CN114640866B (zh) * 2022-05-18 2022-08-16 电子科技大学成都学院 一种基于随机动态的多通道加密方法、装置及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003790B1 (en) * 1998-01-31 2006-02-21 Sony Corporation Broadcast-program selection history information acquisition apparatus and its method
CN101340590A (zh) * 2008-08-14 2009-01-07 北京创毅视讯科技有限公司 复用装置和复用方法
CN101388992A (zh) * 2007-09-14 2009-03-18 索尼株式会社 信息处理装置和信息处理方法
CN101589611A (zh) * 2007-11-22 2009-11-25 索尼株式会社 信号发送设备和信号发送方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56144682A (en) * 1980-04-11 1981-11-11 Sony Corp Recording and reproducing device for digital video signal and audio signal
US5253275A (en) * 1991-01-07 1993-10-12 H. Lee Browne Audio and video transmission and receiving system
US5610659A (en) * 1995-05-08 1997-03-11 Futuretel, Inc. MPEG encoder that concurrently determines video data encoding format and rate control
JP3648685B2 (ja) * 2001-01-30 2005-05-18 松下電器産業株式会社 データ伝送方法及びデータ送信装置
CN101065963B (zh) * 2003-08-29 2010-09-15 Rgb网络有限公司 提供低延迟类vcr效果和节目改变的视频多路复用器***
EP1775947A1 (en) * 2004-08-02 2007-04-18 Matsushita Electric Industrial Co., Ltd. Recording device and recording method
JP4419868B2 (ja) * 2005-02-25 2010-02-24 ソニー株式会社 情報処理装置および方法、メモリ制御装置および方法、記録媒体、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003790B1 (en) * 1998-01-31 2006-02-21 Sony Corporation Broadcast-program selection history information acquisition apparatus and its method
CN101388992A (zh) * 2007-09-14 2009-03-18 索尼株式会社 信息处理装置和信息处理方法
CN101589611A (zh) * 2007-11-22 2009-11-25 索尼株式会社 信号发送设备和信号发送方法
CN101340590A (zh) * 2008-08-14 2009-01-07 北京创毅视讯科技有限公司 复用装置和复用方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105915780A (zh) * 2015-02-23 2016-08-31 三星电子株式会社 图像信号处理器和包括图像信号处理器的装置

Also Published As

Publication number Publication date
US20110170003A1 (en) 2011-07-14
US8755410B2 (en) 2014-06-17

Similar Documents

Publication Publication Date Title
CN102131105A (zh) 信息处理设备、信息处理方法和程序
CN101388992B (zh) 信息处理装置和信息处理方法
CN101601291B (zh) 传输装置、图像数据传输方法、接收装置和接收装置的图像显示方法
CN102771136B (zh) 视频帧同步
EP2274739B1 (en) Video multiviewer system with serial digital interface and related methods
US8913196B2 (en) Video processing device and video processing method including deserializer
US9172900B2 (en) Video multiviewer system with switcher and distributed scaling and related methods
CN103814577B (zh) 发送装置、发送方法、接收装置、接收方法和发送/接收***
US9288418B2 (en) Video signal transmitter apparatus and receiver apparatus using uncompressed transmission system of video signal
CN102131119A (zh) 信息处理设备、信息处理方法和程序
EP2016763A2 (en) Shared memory multi video channel display apparatus and methods
WO2009126686A1 (en) Video multiviewer with scaling
US20080211821A1 (en) Apparatus and method for reducing output rate of video data
US6573946B1 (en) Synchronizing video streams with different pixel clock rates
US20050104876A1 (en) Video signal transmitting/receiving system
EP1119203A2 (en) Image decoding apparatus, semiconductor device, and image decoding method
EP1519586A2 (en) System and method for data packet substitution
JP2011146929A (ja) 情報処理装置、情報処理方法、およびプログラム
CN108965764B (zh) 图像处理方法及电子设备
CN204697147U (zh) 用于显示视频的装置
JP2011146930A (ja) 情報処理装置、情報処理方法、およびプログラム
CN101202868B (zh) 用于多媒体接口的影音数据同步方法及其相关装置
JP2011146928A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2011146927A (ja) 情報処理装置、情報処理方法、およびプログラム
CN104704848A (zh) 电子装置、合成流发送方法、以及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110720