CN103795980A - 级联视频设备及其数据处理方法 - Google Patents
级联视频设备及其数据处理方法 Download PDFInfo
- Publication number
- CN103795980A CN103795980A CN201410035673.0A CN201410035673A CN103795980A CN 103795980 A CN103795980 A CN 103795980A CN 201410035673 A CN201410035673 A CN 201410035673A CN 103795980 A CN103795980 A CN 103795980A
- Authority
- CN
- China
- Prior art keywords
- cascade
- video
- unit
- master
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种级联视频设备及其数据处理方法,涉及视频监控领域。级联视频设备包括级联视频主单元(110)、级联视频从单元(120)、网络接口(101)、PCI总线(102)和BT1120总线(103);网络接口(101)、级联主CPU(113)、PCI总线(102)、级联从CPU(123)、BT1120总线(103)和级联主CPU(113)依次连接。本发明具有下列优点和积极效果:①使级联视频设备在无人值守的情况下具有高可靠性和免维护性;②使级联视频设备及时地处理***故障,降低了设备故障恢复时间;③能提高级联视频设备解码画面的及时性和流畅性。
Description
技术领域
本发明涉及视频监控领域,尤其涉及一种级联视频设备及其数据处理方法。
背景技术
随着网络带宽的迅速提高以及前端监控设备向着数字化、高清化方向发展,对后端网络视频监控设备的视频处理能力提出了更高的要求。受单颗视频处理芯片能力的限制,传统的嵌入式网络视频处理设备处理能力偏低,不能适应市场对大路数高清视频处理的要求。为此,多芯片的级联视频设备成为解决这个问题的一个热门研究方向。
多芯片的级联视频设备,即多个嵌入式处理芯片通过PCI、BT1120等技术手段级联在一起,使得单台嵌入式视频处理设备的数据处理能力成倍增加,例如,单片嵌入式芯片的视频数据的处理能力是能同时编码或解码6路1920x1080分辨率的视频流,而N(N >= 2)片这样的嵌入式芯片级联以后就能达到同时处理6N路1920x1080分辨率视频流的能力。目前,嵌入式视频处理设备的级联技术包括PCI级联和VI/VO级联,PCI级联即在PCI总线上挂载多个带有PCI接口的芯片,芯片之间通过PCI总线进行数据传输。VI/VO级联即多个处理芯片通过BT1120接口首尾相连,后一个芯片的视频输出作为前一个芯片的视频输入。但是,级联后的视频处理设备普遍存在***不稳定、视频数据传输抖动、解码视频画面花屏和卡顿等问题。
发明内容
本发明提供一种级联视频设备及其数据处理方法,旨在平抑多处理器级联设备中由视频传输所造成的抖动,解决视频解码过程中存在的画面花屏和卡顿问题,保证级联视频设备在无人值守的情况下解码视频画面能长时间流畅稳定地显示输出。
本发明的目的是这样实现的:
综合使用心跳技术和软硬件看门狗技术,保障级联设备的主从单元运行的可靠性。统一管理级联设备主从单元的资源,在级联主从单元间负载均衡地分配解码任务,监控这些任务,提高级联设备的异常处理能力。自动调整级联视频单元数据发送的缓冲大小和发送频率,保证数据在PCI总线上传输的连贯性和及时性。在级联视频从单元中,实时计算每路视频流的帧率,根据视频帧率动态地调整解码时间戳,并根据时间戳和包序号排序重组每个完整的视频帧,然后再将其进行解码显示。
一、级联视频设备
本设备包括级联视频主单元、级联视频从单元、网络接口、PCI总线和BT1120总线;
级联视频主单元包括级联主DDR存储器、级联主NandFlash存储器和级联主CPU,级联DDR存储器和级联主NandFlash存储器分别与级联主CPU连接;
级联视频从单元包括级联从DDR存储器、级联从NandFlash存储器和级联从CPU,级联从DDR存储器和级联从NandFlash存储器分别与级联从CPU连接;
网络接口、级联主CPU、PCI总线、级联从CPU、BT1120总线和级联主CPU依次连接。
二、数据处理方法
①启动级联视频主单元,加载级联视频从单元的***程序,同时开启级联主CPU的主监控单元;
②级联视频主从单元完成握手协商过程,级联视频主单元初始化级联视频从单元的运行环境;
③级联视频主单元接收网络视频流,采用基于视频传输通道分组的负载均衡方法自适应地将视频数据平滑地传输到级联视频从单元;
④级联视频从单元接收PCI视频流,解析出媒体流的负载类型,根据协议的特性实现视频流格式转换,然后针对不同厂家、不同标准类型的视频数据进行排序和组帧;
⑤级联视频从单元动态计算每路视频流的帧率,根据视频帧率动态调整解码时间戳,然后送入从H264解码单元;
⑥从H264解码单元完成视频画面的分割和拼接,然后通过BT1120总线回传到级联视频主单元;
⑦级联视频主单元通过BT1120总线接收级联视频从单元的YUV422的视频数据,重新进行画面拼接后显示输出;
⑧重复步骤③~⑦,可以显示流畅的视频画面。
本发明具有下列优点和积极效果:
①使级联视频设备在无人值守的情况下具有高可靠性和免维护性;
②使级联视频设备及时地处理***故障,降低了设备故障恢复时间;
③能提高级联视频设备解码画面的及时性和流畅性。
附图说明
图1是级联视频设备的结构方框图;
图2是本方法的工作流程图;
图3是本方法步骤①的工作流程图;
图4是本方法步骤③的工作流程图;
图5是本方法步骤⑤的工作流程图。
图中:
100—级联视频设备,
110—级联视频主单元, 120—级联视频从单元,
111—级联主DDR存储器, 121—级联从DDR存储器,
112—级联主NandFlash存储器, 122—级联从NandFlash存储器,
113—级联主CPU, 123—级联从CPU,
113A—主***监控单元, 123A—从***监控单元,
113C—主数据发送单元, 123C—从数据接收单元,
113B—主H264编码单元, 123B—从H264编码单元,
113D—主视频显示单元, 123D—从视频显示单元;
101—网络接口,
102—PCI总线,
103—BT1120总线。
具体实施方式
下面结合附图和实施例详细说明:
一、视频级联设备
1、总体
如图1,本设备包括级联视频主单元110、级联视频从单元120、网络接口101、PCI总线102和BT1120总线103;
级联视频主单元110包括级联主DDR存储器111、级联主NandFlash存储器112和级联主CPU113,级联DDR存储器111和级联主NandFlash存储器112分别与级联主CPU113连接;
级联视频从单元120包括级联从DDR存储器121、级联从NandFlash存储器122和级联从CPU123,级联从DDR存储器121和级联从NandFlash存储器122分别与级联从CPU123连接;
网络接口101、级联主CPU113、PCI总线102、级联从CPU123、BT1120总线103和级联主CPU113依次连接。
2、功能部件
* 级联主CPU113和级联从CPU123都是使用海思半导体有限责任公司的HI3531多媒体视频处理芯片,该芯片采用ARM9双核架构,最高工作频率是930MHz,具有同时解码6路1920x1080分辨率的H264码流,且具有多芯片级联的功能。
本发明的数据处理方法工作在2片多媒体视频处理芯片中。
级联主CPU113包括主监控单元113A、主数据发送单元113B、主H264解码单元113C和主视频显示单元113D;
级联从CPU123包括从监控单元123A、从数据接收单元123B、从H264解码单元123C、和从视频显示单元123D。
* 其它功能部件均为通用件。
3、工作机理
级联视频主单元110通过网络接口101接收网路视频数据,将部分数据在级联视频主单元110中解码输出,同时将其它的视频数据通过PCI总线102传输到级联视频从单元120;级联视频从单元120接收到视频数据以后,除了本地显示输出外,还通过BT1120总线103将解码视频数据回传到级联视频主单元110;级联视频主单元110进行画面切割和拼接以后显示输出。
二、基于级联视频设备的数据处理方法(简称方法)
如图1、2,本方法包括下列步骤:
①启动级联视频主单元110,加载级联视频从单元120的***程序,同时开启级联主CP113的主监控单元113A;
②级联视频主单元110和级联视频从单元120完成握手协商过程,级联视频主单元110初始化级联视频从单元120的运行环境;
③级联视频主单元110接收网络视频流,采用基于视频传输通道分组的负载均衡方法自适应地将视频数据平滑地传输到视频级联从单元120;
④级联视频从单元120接收PCI视频流,解析出媒体流的负载类型,根据协议的特性实现视频流格式转换,然后针对不同厂家和不同标准类型的视频数据进行排序和组帧;
⑤级联视频从单元120动态计算每路视频流的帧率,根据视频帧率动态调整解码时间戳,然后送入从H264解码单元123D;
⑥从H264解码单元123D完成视频画面的分割和拼接,然后通过BT1120总线103回传到级联视频主单元110;
⑦级联视频主单元110通过BT1120总线103接收级联视频从单元120的YUV422的视频数据,重新进行画面拼接后显示输出;
⑧重复步骤③~⑦,可以显示流畅的视频画面。
1、如图3,所述的步骤①包括含下列子步骤:
A、启动级联视频主单元-301;
B、判断是否收到级联视频主从单元的监控消息-302,是则进入步骤C,否则继续执行步骤B;
C、分下列三种情况:
C1、处理软硬件看门狗消息-303,重启级联视频设备-304;
C2、处理级联视频从单元的心跳消息-305,复位级联视频从单元-306;
C3、处理级联视频设备的异常消息-307,释放异常单元所占资源,重新启动相关功能单元-308。
2、如图4,所述的步骤③包括下列子步骤:
A、级联视频主单元开始-400;
B、在级联视频主单元上获取和量化N个级联视频从单元的资源-401;
C、分下列三种情况:
C1、管理级联视频从单元的资源-402,从资源数使用最少的级联视频从单元中获取资源-404,或者释放资源给相应的级联视频从单元-407;
C2、申请级联视频从单元的资源-403,判断是否获取级联视频从单元的资源-405,是则在级联视频从单元进行视频数据处理-406,否则继续获取级联视频从单元的资源-405;
C3、获取级联视频从单元的状态-408,判断是否有级联视频主从单元异常-409,是则消除级联视频从单元的总可用资源数410后再申请级联视频从单元的资源-403;否则继续获取级联视频从单元的状态-408。
3、如图5,所述的步骤⑤包括下列子步骤:
A、启动级联视频从单元-501;
B、判断当前缓冲区的长度加上视频包长度是否大于等于接收缓冲区的长度,或者接收缓冲区中数据存放的时间大于等于某一最大时间-502,是则进入步骤C,否则继续执行步骤B;
C、对接收到的小包进行排序和归并-503;
D、判断是否接收到完整帧-504,是则进入步骤E,否则跳转到步骤B;
E、判断是否为国标数据帧-505,是则进入步骤F,否则跳转到步骤G;
F、分离包中的音频和视频数据-506;
G、弹出完整的音视频帧,送入视频数据处理模块-507;
H、计算动态解码时间戳-508;
I、视频解码输出-509。
Claims (6)
1.一种级联视频设备,其特征在于:
包括级联视频主单元(110)、级联视频从单元(120)、网络接口(101)、PCI总线(102)和BT1120总线(103);
级联视频主单元(110)包括级联主DDR存储器(111)、级联主NandFlash存储器(112)和级联主CPU(113),级联DDR存储器(111)和级联主NandFlash存储器(112)分别与级联主CPU(113)连接;
级联视频从单元(120)包括级联从DDR存储器(121)、级联从NandFlash存储器(122)和级联从CPU(123),级联从DDR存储器(121)和级联从NandFlash存储器(122)分别与级联从CPU(123)连接;
网络接口(101)、级联主CPU(113)、PCI总线(102)、级联从CPU(123)、BT1120总线(103)和级联主CPU(113)依次连接。
2.按权利要求1所述的一种级联视频设备,其特征在于:
所述的级联主CPU(113)和级联从CPU(123)都是多媒体视频处理芯片;
级联主CPU(113)包括主监控单元(113A)、主数据发送单元(113B)、主H264解码单元(113C)和主视频显示单元(113D);
级联从CPU123包括从监控单元(123A)、从数据接收单元(123B)、从H264解码单元(123C)和从视频显示单元(123D)。
3.一种基于权利要求1所述级联视频设备的数据处理方法,其特征在于包括下列步骤:
①启动级联视频主单元(110),加载级联视频从单元(120)的***程序,同时开启级联主CP113的主监控单元(113A);
②级联视频主单元(110)和级联视频从单元(120)完成握手协商过程,级联视频主单元(110)初始化级联视频从单元(120)的运行环境;
③级联视频主单元(110)接收网络视频流,采用基于视频传输通道分组的负载均衡方法自适应地将视频数据平滑地传输到视频级联从单元(120);
④级联视频从单元(120)接收PCI视频流,解析出媒体流的负载类型,根据协议的特性实现视频流格式转换,然后针对不同厂家和不同标准类型的视频数据进行排序和组帧;
⑤级联视频从单元(120)动态计算每路视频流的帧率,根据视频帧率动态调整解码时间戳,然后送入从H264解码单元(123D);
⑥从H264解码单元(123D)完成视频画面的分割和拼接,然后通过BT1120总线(103)回传到级联视频主单元(110);
⑦级联视频主单元(110)通过BT1120总线(103)接收级联视频从单元(120)的YUV422的视频数据,重新进行画面拼接后显示输出;
⑧重复步骤③~⑦,可以显示流畅的视频画面。
4.按权利要求3所述的数据处理方法,其特征在于所述的步骤①包括含下列子步骤:
a、启动级联视频主单元(301);
b、判断是否收到级联视频主从单元的监控消息(302),是则进入步骤c,否则继续执行步骤B;
c、分下列三种情况:
c1、处理软硬件看门狗消息(303),重启级联视频设备(304);
c2、处理级联视频从单元的心跳消息(305),复位级联视频从单元(306);
c3、处理级联视频设备的异常消息(307),释放异常单元所占资源,重新启动相关功能单元(308)。
5.按权利要求3所述的数据处理方法,其特征在于步骤③包括下列子步骤:
Ⅰ、级联视频主单元开始(400);
Ⅱ、在级联视频主单元上获取和量化N个级联视频从单元的资源(401);
Ⅲ、分下列三种情况:
Ⅲ1、管理级联视频从单元的资源(402),从资源数使用最少的级联视频从单元中获取资源(404),或者释放资源给相应的级联视频从单元(407);
Ⅲ2、申请级联视频从单元的资源(403),判断是否获取级联视频从单元的资源(405),是则在级联视频从单元进行视频数据处理(406),否则继续获取级联视频从单元的资源-405;
Ⅲ3、获取级联视频从单元的状态(408),判断是否有级联视频主从单元异常(409),是则消除级联视频从单元的总可用资源数(410)后再申请级联视频从单元的资源(403);否则继续获取级联视频从单元的状态(408)。
6.按权利要求3所述的数据处理方法,其特征在于所述的步骤⑤包括下列子步骤:
A、启动级联视频从单元(501);
B、判断当前缓冲区的长度加上视频包长度是否大于等于接收缓冲区的长度,或者接收缓冲区中数据存放的时间大于等于某一最大时间(502),是则进入步骤C,否则继续执行步骤B;
C、对接收到的小包进行排序和归并(503);
D、判断是否接收到完整帧(504),是则进入步骤E,否则跳转到步骤B;
E、判断是否为国标数据帧(505),是则进入步骤F,否则跳转到步骤G;
F、分离包中的音频和视频数据(506);
G、弹出完整的音视频帧,送入视频数据处理模块(507);
H、计算动态解码时间戳(508);
I、视频解码输出(509)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410035673.0A CN103795980A (zh) | 2014-01-25 | 2014-01-25 | 级联视频设备及其数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410035673.0A CN103795980A (zh) | 2014-01-25 | 2014-01-25 | 级联视频设备及其数据处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103795980A true CN103795980A (zh) | 2014-05-14 |
Family
ID=50671208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410035673.0A Pending CN103795980A (zh) | 2014-01-25 | 2014-01-25 | 级联视频设备及其数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103795980A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105049676A (zh) * | 2015-06-30 | 2015-11-11 | 广东实联医疗器械有限公司 | 一种用于医用内窥镜的图像处理增强及视频录制电路 |
CN105592290A (zh) * | 2014-10-20 | 2016-05-18 | 广东中星电子有限公司 | 高分辨率视频源压缩方法及高分辨率压缩视频显示方法 |
CN105657292A (zh) * | 2016-01-29 | 2016-06-08 | 北京小鸟科技发展有限责任公司 | 多台视频拼接处理器级联的方法和级联*** |
CN105701038A (zh) * | 2016-01-11 | 2016-06-22 | 华为技术有限公司 | 一种级联芯片启动方法及相关装置 |
CN106791482A (zh) * | 2016-12-13 | 2017-05-31 | 广东威创视讯科技股份有限公司 | 一种基于海思平台的视频拼接方法 |
CN107770597A (zh) * | 2017-09-28 | 2018-03-06 | 北京小鸟科技股份有限公司 | 音视频同步方法及装置 |
CN110192106A (zh) * | 2017-01-16 | 2019-08-30 | 株式会社岛津制作所 | 数据解析装置以及数据解析用程序 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010051992A1 (en) * | 2000-02-24 | 2001-12-13 | Brian Yang | Unified algorithm for frame scheduling and buffer management in differentiated services networks |
CN1862499A (zh) * | 2005-09-15 | 2006-11-15 | 上海华为技术有限公司 | 多处理器设备单元主备保护方法 |
CN103268263A (zh) * | 2013-05-14 | 2013-08-28 | 重庆讯美电子有限公司 | 一种动态调整多图形处理器负载的方法及*** |
CN103313020A (zh) * | 2013-06-27 | 2013-09-18 | 武汉烽火众智数字技术有限责任公司 | 大路数高清网络视频录像机视频级联装置及其方法 |
-
2014
- 2014-01-25 CN CN201410035673.0A patent/CN103795980A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010051992A1 (en) * | 2000-02-24 | 2001-12-13 | Brian Yang | Unified algorithm for frame scheduling and buffer management in differentiated services networks |
CN1862499A (zh) * | 2005-09-15 | 2006-11-15 | 上海华为技术有限公司 | 多处理器设备单元主备保护方法 |
CN103268263A (zh) * | 2013-05-14 | 2013-08-28 | 重庆讯美电子有限公司 | 一种动态调整多图形处理器负载的方法及*** |
CN103313020A (zh) * | 2013-06-27 | 2013-09-18 | 武汉烽火众智数字技术有限责任公司 | 大路数高清网络视频录像机视频级联装置及其方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105592290A (zh) * | 2014-10-20 | 2016-05-18 | 广东中星电子有限公司 | 高分辨率视频源压缩方法及高分辨率压缩视频显示方法 |
CN105049676A (zh) * | 2015-06-30 | 2015-11-11 | 广东实联医疗器械有限公司 | 一种用于医用内窥镜的图像处理增强及视频录制电路 |
CN105049676B (zh) * | 2015-06-30 | 2016-08-17 | 广东实联医疗器械有限公司 | 一种用于医用内窥镜的图像处理增强及视频录制电路 |
CN105701038A (zh) * | 2016-01-11 | 2016-06-22 | 华为技术有限公司 | 一种级联芯片启动方法及相关装置 |
CN105701038B (zh) * | 2016-01-11 | 2019-02-05 | 华为技术有限公司 | 一种级联芯片启动方法及相关装置 |
CN105657292A (zh) * | 2016-01-29 | 2016-06-08 | 北京小鸟科技发展有限责任公司 | 多台视频拼接处理器级联的方法和级联*** |
CN106791482A (zh) * | 2016-12-13 | 2017-05-31 | 广东威创视讯科技股份有限公司 | 一种基于海思平台的视频拼接方法 |
CN110192106A (zh) * | 2017-01-16 | 2019-08-30 | 株式会社岛津制作所 | 数据解析装置以及数据解析用程序 |
CN107770597A (zh) * | 2017-09-28 | 2018-03-06 | 北京小鸟科技股份有限公司 | 音视频同步方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103795980A (zh) | 级联视频设备及其数据处理方法 | |
JP7122455B2 (ja) | トラフィック伝送方法、装置及びコンピュータ記憶媒体 | |
US6359656B1 (en) | In-band synchronization of data streams with audio/video streams | |
JP6663437B2 (ja) | Mmtpストリームをmpeg−2 tsに変換する方法及び装置 | |
JP6744458B2 (ja) | メディアデータに関する情報を送信する方法 | |
EP3127287B1 (en) | Signaling and operation of an mmtp de-capsulation buffer | |
CN105577819A (zh) | 一种虚拟化桌面的分享***、分享方法以及分享装置 | |
CN103096183A (zh) | 一种高效流媒体传输方法 | |
CN109600619A (zh) | 一种解码硬件的分时复用方法 | |
CN103503444A (zh) | 在视频编码中用信号通知活动层的数量 | |
US11620250B2 (en) | Systems and methods for data transfer over a shared interface | |
RU2491759C2 (ru) | Мультиплексор и способ мультиплексирования | |
CN103957445A (zh) | 一种基于应用虚拟化技术的视频重定向***及方法 | |
RU2660837C2 (ru) | Устройство обработки данных и способ обработки данных | |
CN104205852A (zh) | 信息处理装置和方法以及程序 | |
CN104205851A (zh) | 信息处理装置和方法以及程序 | |
TWI534753B (zh) | 用於分段處理輸入資料之資料處理裝置、使用該裝置之系統及用於資料傳輸之方法 | |
CN113141520A (zh) | 视频流传输方法、装置、电子设备及存储介质 | |
CN103179449A (zh) | 媒体文件的播放方法、电子设备和虚拟机架构 | |
CN103024460A (zh) | 多码流自适应的方法及*** | |
US20100076944A1 (en) | Multiprocessor systems for processing multimedia data and methods thereof | |
CN115988577A (zh) | 数据发送方法、装置、存储介质及电子设备 | |
KR101671311B1 (ko) | 클라우드 스트리밍 서비스 시스템, 이를 위한 장치 및 클라우드 스트리밍 서비스 방법 | |
EP3065412A1 (en) | Packet transmission method, content play method, packet transmission system, and terminal | |
CN201352834Y (zh) | 基于数字电视hdtv平台的高清会议*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140514 |
|
WD01 | Invention patent application deemed withdrawn after publication |