CN102932669B - 一种基于usb传输的音视频数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种基于USB传输的音视频数据处理方法及装置，所述方法包括以下步骤：S100，采集音视频数据；S200，对采集的音视频数据进行解析；S300，将解析后的音视频数据进行组合；S400，将组合后的音视频数据通过USB协议进行传输。所述装置包括数据采集单元，用以将模拟信号转换为数字信号；中央处理单元，用以将接收到的音视频数据进行解析并重新组合；USB控制单元，用以将组合后的音视频数据通过USB传输方式与上位机进行交互；电源单元，用以提供工作电源。本发明通过对音视频数据进行解析、组合，并利用USB2.0协议实现了实时音视频数据的无损同步传输，不仅占用的硬件资源少，而且实现了多路音视频数据的同步传输。

Description

一种基于USB传输的音视频数据处理方法及装置

技术领域

本发明涉及音视频数据处理技术领域，具体地说是一种基于USB传输的音视频数据处理方法及装置。

背景技术

随着数字技术和网络技术的发展，音视频数据的采集在各个行业有着广泛地使用以及重要的意义。传统的采集方案是使用PCI或者PCI-E来进行数据传输。PCI/PCI-E接口虽然在带宽以及传输速度上有着明显的优势，但是由于需要接口的支持，此类采集卡不能使用在便携式计算机上。随着便携式计算机的大量普及，使用PCI/PCI-E进行音视频采集的方式已经不能满足人们的需求。

USB以其即插即用、便于携带以及标准统一的优势已经成为个人计算机的标准接口，几乎100%的个人计算机均支持USB。USB2.0协议最高传输速度能够达到480Mbps，这就使得使用USB进行音视频数据采集成为了可能。

在这样的背景下，本发明提出了一种基于USB传输的音视频数据处理方法。

发明内容

为克服以上技术的不足，本发明提供了一种基于USB传输的音视频数据处理方法及装置，其充分地利用USB2.0接口带宽，能够实现最大可传输8路实时音视频的同步数据。

为了解决上述技术问题，本发明提供了一种基于USB传输的音视频数据处理方法，其特征是，包括以下步骤：

S100，采集音视频数据；

S200，对采集的音视频数据进行解析；

S300，将解析后的音视频数据进行组合；

S400，将组合后的音视频数据通过USB协议进行同步传输。

进一步地，所述采集音视频数据的步骤为：采集至少一路音视频数据，并将采集的模拟信号音视频数据转换为数字信号音视频数据。

进一步地，所述对采集的音视频数据进行解析的步骤包括以下步骤：

S210，对音频数据进行处理:

S211，将数字信号音频数据存储到FIFO中；

S212，等待音频数据传输命令；

S220，对视频数据进行解析:

S221，将数字信号视频数据进行拆分；

S222，对拆分的视频数据进行解析，并判断是否为有效视频数据。

进一步地，所述对视频数据的解析是通过视频数据的EAV和SAV，对数据的行、场信息进行检测，解析出有效数据。

进一步地，所述将解析后的音视频数据进行组合的步骤包括以下步骤：

S301，获取4个字节数据；

S302，判断数据是否为视频数据帧头数据；

S303，如果是视频帧头，则添加视频帧标识，然后再添加一行视频数据；

S304，如果不是帧头，则判断是否是视频数据行头，如果是则添加视频数据行标识，然后再添加一行视频数据；

S305，如果以上两个判断均不成立，则添加音频数据标识；

S306，添加32字节的音频数据，形成一个同步的音视频数据包；

S307，重复上述S301至S306步骤，继续形成同步的音视频数据包。

本发明还提供了一种基于USB传输的音视频数据处理装置，其特征是，包括

数据采集单元，所述数据采集单元包括音频采集设备、视频采集设备和A/D转换模块，所述A/D转换模块的输入端分别与音频采集设备和视频采集设备连接，输出端与中央处理单元连接，用以将模拟信号转换为数字信号，实现音视频数据的采集；

中央处理单元，所述中央处理单元采用FPGA芯片，用以将接收到的音视频数据进行解析并重新组合；

USB控制单元，所述USB控制单元包括USB控制器和USB接口，所述USB控制器分别与中央处理单元和USB接口连接，用以接收中央处理单元发来的组合后的音视频数据，并通过USB传输方式与上位机进行交互；

电源单元，用以提供工作电源。

本发明的有益效果：本发明通过对音视频数据进行解析、组合，并利用USB2.0协议实现了实时音视频数据的无损同步传输，不仅占用的硬件资源少，而且实现了多路音视频数据的同步传输。

附图说明

下面结合附图对本发明作进一步说明：

图1是本发明的方法流程图；

图2是本发明对解析后的音视频数据进行组合的方法流程图；

图3是本发明所述音视频数据处理装置的原理框图；

图4是本发明所述对音视频数据进行组合后的数据包格式的示意图；

图5是本发明所述ITU-RBT.656视频行格式的示意图；

图6是本发明所述对视频数据解析后的有效数据区示意图。

具体实施方式

如图1所示，本发明的一种基于USB传输的音视频数据处理方法，它包括以下步骤：

S100，采集音视频数据，所述采集音视频数据的步骤为：采集四路音视频数据，并将采集的模拟信号音视频数据转换为数字信号音视频数据。

S200，对采集的音视频数据进行解析，所述对采集的音视频数据进行解析的步骤包括以下步骤：

S210，对音频数据进行处理:

S211，将数字信号音频数据存储到FIFO中；

S212，等待音频数据传输命令；

S220，对视频数据进行解析:

S221，将数字信号视频数据进行拆分；

S222，对拆分的视频数据进行解析，并判断是否为有效视频数据。

S300，将解析后的音视频数据进行组合。

S400，将组合后的音视频数据通过USB协议进行同步传输。

图2是本发明对解析后的音视频数据进行组合的方法流程图。如图2所示，所述将解析后的音视频数据进行组合的步骤包括以下步骤：

S301，获取4个字节数据；

S302，判断数据是否为视频数据帧头数据；

S303，如果是视频帧头，则添加视频帧标识，然后再添加一行视频数据；

S304，如果不是帧头，则判断是否是视频数据行头，如果是则添加视频数据行标识，然后再添加一行视频数据；

S305，如果以上两个判断均不成立，则添加音频数据标识；

S306，添加32字节的音频数据，形成一个同步的音视频数据包，所述的音视频数据包格式如图4所示；

S307，重复上述S301至S306步骤，继续形成同步的音视频数据包。

如图3所示，本发明还提供了一种基于USB传输的音视频数据处理装置，它包括数据采集单元、中央处理单元、USB控制单元和电源单元，所述中央处理单元分别与数据采集单元和USB控制单元连接，所述电源单元为数据采集单元、中央处理单元和USB控制单元提供电源。其中，所述数据采集单元包括音频采集设备、视频采集设备和A/D转换模块，所述A/D转换模块采用CX26824芯片，CX26824芯片的输入端分别与音频采集设备和视频采集设备连接，输出端与中央处理单元连接，用以将模拟信号转换为数字信号，实现音视频数据的采集；所述中央处理单元采用型号为XC3S50A的FPGA芯片，用以将接收到的音视频数据进行解析并重新组合；所述USB控制单元包括USB控制器和USB接口，所述USB控制器分别与中央处理单元和USB接口连接，所述USB控制器采用USB控制器CY7C68013A，用以接收中央处理单元发来的组合后的音视频数据，并通过USB接口与上位机进行交互；所述电源单元用以为所述的音视频数据处理装置提供工作电源。

从以下几个方面对本发明做进一步说明：

一、视频数据解析

A/D转换模块从音频采集设备和视频采集设备接收到的视频数据是按照ITU-RBT.656视频标准来传输的，该标准PAL制式（720*576）每场由四部分组成。

1）有效视频数据：分为奇场和偶场，均由288行组成。每行有1440个字节，其中720个字节为Y分量，360个字节为Cb分量，360个字节为Cr分量。Y分量的取值为16~235；Cb和Cr分量的取值为16~240。

2）水平消隐，有280个字节。

3）垂直消隐。

4）控制字。

对于有效数据行，ITU-RBT.656视频行格式如图5所示。EAV和SAV为嵌入式控制字，分别表示有效视频的终点和起点。EAV和SAV均为4个字节构成，前3个字节FF、00、00为固定头，“XY”为控制字。“XY”的8个bit含义如下：

Bit7（Const），常数，总为1。

Bit6（F），场同步信号，表示该行数据处于奇场还是偶场。

Bit5（V），垂直同步信号，表示处于场消隐区间还是正程区间（有效数据行）。

Bit4（H），水平同步信号，表示是“SAV”还是“EAV”。

Bit3-0（P3P2P1P0），纠错位。P3=V(XOR)H；P2=F(XOR)H；P1=F(XOR)V；P0=F(XOR)V(XOR)H。

本发明对EAV与SAV的详细定义如表1所示：

表1：

Bit7	Bit6	Bit5	Bit4	Bit3-0(P3P2P1P0)	Hex	Description
							1	0	0	0	0000	0x80	Even,Active,SAV
1	0	0	1	1101	0x9d	Even,Active,EAV
							1	0	1	0	1011	0xab	Even,Blank,SAV
1	0	1	1	0110	0xb6	Even,Blank,EAV
							1	1	0	0	0111	0xc7	Odd,Active,SAV
1	1	0	1	1010	0xda	Odd,Active,EAV
							1	1	1	0	1100	0xec	Odd,Blank,SAV
1	1	1	1	0001	0xf1	Odd,Blank,EAV

对于图5中的Validdata（有效数据）区，其数据排列顺序如图6所示。即Y:Cb:Cr=4:2:2。从图像的像素点上来理解，就是每个像素点有一个单独的Y值，而相邻的两个像素点的Cb和Cr数据是一样的。

本发明所述对视频数据解析的方法是通过EAV和SAV对行、场信息进行检测，分离出有效数据。为了能够有效利用USB带宽，需要只传输解析后的有效数据。为了使上位机软件能够正确识别一帧的开始，将每一帧图像的首行数据加上有效的标志。本文方法是通过将每帧的第一个有效行的SAV的第三个字节标记为0XFF来实现的。

二、音频数据解析

音频数据是按照I2S协议来进行采集的。音频数据是在声道同步信号有效后第二个数据周期开始采集的。音频数据有不同于视频的特点，它没有同步的概念并且数据是持续不断的。由于视频和音频是共用USB带宽进行传输，为了不丢失数据，在传输视频数据的时候需要保存视频传输期间采集到的音频数据。

三、音视频数据组合

基于上述对音视频数据的分析和解析，结合USB2.0协议数据传输的特点，提出以下音视频数据组合方法。

视频数据经过格式解析后是以行为单位的数据块，并且行与行之间有一定的时间间隙。因此，音频数据可以在视频行与行之间的间隙进行传输。

为了能够分辨音频和视频数据，在音频数据上也加一个类似于视频行同步的标识头，并且根据视频格式特点，选择合适大小的FIFO作为音频存储空间。在传输视频的时候存储音频，在视频一行传输完成后去询问FIFO是否准备好了32字节的音频数据，如果准备好则传输32字节的音频数据，否则传输下一行视频数据。此处的32字节是根据音频传输特点以及AD芯片视频输出格式综合确定的。通过上述方法对音视频数据进行组合后的数据包格式如图4所示。

本发明采用Xilinx公司型号为XC3S50A的低端FPGA，在同时采集4路音视频时，不仅FPGA资源利用占用率很低，只用了芯片不到1/3的资源，而且采集的音视频数据无损，图像清晰细腻流畅，实现了在使用很少的硬件资源的情况下，完成多路音视频数据的无损同步传输。

Claims (2)

1.一种基于USB传输的音视频数据处理方法，其特征是，包括以下步骤：

S100，采集音视频数据；所述采集音视频数据的步骤为：采集四路音视频数据，并将采集的模拟信号音视频数据转换为数字信号音视频数据；

S200，对采集的音视频数据进行解析；所述对采集的音视频数据进行解析的步骤包括以下步骤：S210，对音频数据进行处理;S211，将数字信号音频数据存储到FIFO中；S212，等待音频数据传输命令；S220，对视频数据进行解析；S221，将数字信号视频数据进行拆分；S222，对拆分的视频数据进行解析，并判断是否为有效视频数据；

S300，将解析后的音视频数据进行组合；所述将解析后的音视频数据进行组合的步骤包括以下步骤：S301，获取1个字节数据；S302，判断数据是否为视频数据帧头数据；S303，如果是视频数据帧头，则添加视频帧标识，然后再添加一行视频数据；S304，如果不是视频数据帧头，则判断是否是视频数据行头，如果是则添加视频数据行标识，然后再添加一行视频数据；S305，如果以上两个判断均不成立，则添加音频数据标识，再添加32字节的音频数据，形成一个同步的音视频数据包；S306，重复上述S301至S305步骤，继续形成同步的音视频数据包；

S400，将组合后的音视频数据通过USB协议进行同步传输。

2.根据权利要求1所述的一种基于USB传输的音视频数据处理方法，其特征是，所述对视频数据的解析是通过视频数据的EAV和SAV，对数据的行、场信息进行检测，解析出有效数据。