CN104767973B - 一种多路视频实时无线传输与显示***及构建方法 - Google Patents
一种多路视频实时无线传输与显示***及构建方法 Download PDFInfo
- Publication number
- CN104767973B CN104767973B CN201510163184.8A CN201510163184A CN104767973B CN 104767973 B CN104767973 B CN 104767973B CN 201510163184 A CN201510163184 A CN 201510163184A CN 104767973 B CN104767973 B CN 104767973B
- Authority
- CN
- China
- Prior art keywords
- video
- road
- chip
- chips
- host computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种多路视频实时无线传输与显示***,它包括下位机硬件电路板和上位机软件；上位计算机安装的是WIN7_64***并具备无线上网功能,上位机软件实现接受下位机硬件传来的数据包并解包,解压缩,拼接显示视频,并能够向下位机传递控制指令；下位机硬件包含:海思3521视频压缩芯片、NVP1918视频编码芯片、DC‑DC电源芯片、RT3070WIFI模块；5路PAL制模拟视频信号经过NVP1918芯片转换为数字形式并送入海思3521芯片做视频压缩及封包处理,处理结果通过RT3070WIFI模块上传到上位机。本发明的构建方法有六大步骤。本发明最终能够实现五路PAL制视频实时无线传输到上位机并拼接显示的功能。
Description
技术领域
本发明涉及一种多路视频实时无线传输与显示***及构建方法,它最终能够实现五路PAL制视频实时无线传输到上位机并拼接显示的功能。属于无线通信、图像处理及视频监控等技术领域。
背景技术
视频监控是安全防范***的重要组成部分，英文Cameras and Surveillance。传统的监控***包括前端摄像机、传输线缆、视频监控平台。摄像机可分为网络数字摄像机和模拟摄像机，可作为前端视频图像信号的采集。它是一种防范能力较强的综合***。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展。
全景地图也称为360度全景地图、全景环视地图。全景地图是指把三维图片模拟成真实物体的三维效果的地图，浏览者可以拖拽地图从不同的角度浏览真实物体的效果。现在技术的发展已经能够通过数字的方式运用数码相机对现有场景进行多角度环视拍摄之后，再利用计算机进行后期缝合。因此结合视频监控及图像拼接的技术，设计并实现多路视频实时无线传输与显示***，得到远距离大场景的实时图像信息已经成为了可能。
发明内容
1、目的:本发明的目的在于提供一种多路视频实时无线传输与显示***及构建方法,它能实现五路PAL制视频实时无线传输到上位机拼接显示的功能。
2、技术方案:本发明的目的通过以下技术方案来实现。
(1)本发明是一种多路视频实时无线传输与显示***,它包括下位机硬件电路板和上位机软件两大部分，如图1。其中:上位计算机安装的是WIN7_64***并具备无线上网功能,上位机软件实现接受下位机硬件传来的数据包并解包,解压缩,拼接显示视频,除此之外能够向下位机传递控制指令；下位机硬件部分包含:海思3521视频压缩芯片、NVP1918视频编码芯片、DC-DC电源芯片、RT3070WIFI模块。5路PAL制模拟视频信号经过NVP1918芯片转换为数字形式并送入海思3521芯片做视频压缩及封包处理,处理结果通过RT3070WIFI模块上传到上位机。
摄像头视频源共包含5路,其中一路为700线主摄像头,另外四路为480线辅助摄像头。五路对外接口均为标准AV端子,五路视频同时进行信号采样。
该ADC采用采用1片NVP1918,负责将5路PAL制模拟视频信号采样转换为数字信号,并编码成为RGB格式,通过SPI协议直接传送给视频压缩芯片。
该***核心芯片选择海思公司生产的HI3521视频压缩芯片,它内置高性能ARMCortex A9处理器。主要实现视频信号的压缩、封包、上传等处理；它通过RT3070接收到上位机传来的控制指令后,根据控制指令完成上传4路辅助摄像头视频或是上传1路主摄像头视频。
该视频压缩芯片最小******电路,包括时钟源,SRAM,程序加载FLASH。时钟源为一个有源晶振,提供***稳定工作的时钟参考；SRAM作为***的“内存”,作为程序加载及运算结果存储的“临时场所”,断电后存储的信息会丢失；FLASH作为bootloader,***内核,***文件***的固化场所。
每次***上电后,先启动FLASH中的BOOTLOADER,将烧写在FLASH中的内核程序加载入SRAM中,运行内核,检测******设备并加载对应的设备驱动,实现***外设的初始化；随后将烧写在FLASH中的文件***载入SRAM中,实现***的启动,然后运行应用程序。
WIFI模块采用核心芯片是RT3070的集成USB转WIFI模块,通过USB2.0接口与视频压缩核心芯片相连。
该电源芯片提供整个***工作所需的电压。外界给***输入+12V的电压,通过电源芯片将+12V的电压转换成***所需要的+3.3V、+1.8V、+1.0V,来分别提供给HI3521核心芯片(+3.3V、+1.0V)、程序加载FLASH(+3.3V、+1.0V)、时钟提供源(+3.3V)、ADC采样芯片(+1.8V)、WIFI模块(+5V)。
(2)本发明是一种多路视频实时无线传输与显示***,其实现的过程概述如下:ADC采样芯片同时采集5路PAL制视频信号送入视频压缩芯片中；视频压缩芯片对每路信号分别进行H.264压缩编码；将压缩编码后的5路视频流增加时间戳信息封成一定大小的数据包；将封好的数据包通过无线模块发送；接收端接收数据包并解包恢复视频流；通过软件方法实现对5路视频流的解压缩；使用软件算法对其中的4路视频显示的信息进行拼接融合；在上位机监视器对视频流进行恢复显示。
综上所述,本发明一种多路视频实时无线传输与显示***的构建方法，其具体步骤如下:
步骤一:5路PAL制视频信号经过ADC采样芯片采样送入视频压缩芯片中
如图2所示：5路PAL制信号由摄像头视频源提供,其中一路为700线主摄像头,另外四路为480线辅摄像头。5路对外视频输出接口均为标准复合视频接口,输出给ADC采样芯片。
ADC采样芯片采用Nextchip公司生产的NVP1918视频编码芯片,该芯片在多通道视频编码领域具有优越的性能。单片芯片支持八路相机,电视或者DVD的复合视频信号输入；具有8路960H分辨率视频同时编码能力；能输出8位CCIR656亮度色度比例为4:2:2的视频流并且支持36MHZ,72MHz和144MHz三种速度。
本方案使用该芯片的5路。模拟输入端传接50欧姆电阻限制电流,并对地并联防雷放电二极管以保护ADC芯片。后级通过IIC总线对ADC芯片的寄存器进行配置使其工作在正确的工作模式，将串行数字视频流输送给后级视频压缩芯片。
步骤二:视频压缩芯片对每路信号分别进行压缩编码
如图3所示：视频压缩芯片使用选择海思公司生产的HI3521视频压缩芯片,它内置高性能ARM Cortex A9处理器。其内含视频输入，视频预处理，视频压缩等功能模块，并对用户封装了一些方便用来调用的接口函数(API)。
芯片内部DEV模块对输入的串行数字视频流解复用，产生5路视频流并输入5个VI通道(Chn0～Chn4)，VI通道对视频流不做处理直接输入视频压缩模块(VENC模块)进行压缩编码。
编码方式选用片内视频压缩模块所支持的h.264编码，需通过相关的接口函数进行配置使其正常运行
步骤三:将压缩编码后的5路视频流增加标志信息封成一定大小的数据包。
如图4所示：编码完成的一帧帧的视频流会存入***的缓冲池中,对应于内存地址中的一段数据。五路视频流将交替存入缓冲区中。由于视频压缩后的每一帧数据的数据量并不完全相同，为便于无线发送需对数据进行切分和拼接使得每一包数据量一致。对于每一帧的数据需加上标志信息便于上位机接收端解包。此外数据包传输过程中由于网络条件等原因可能产生丢包或者包顺序错乱，因此在每一帧数据中还应加上时间戳信息，便于接收端恢复。
步骤四:下位机将封好的数据包通过无线模块发送给上位机
下位机作为服务器(AP端)，需要在HI3521中移植WIFI模块AP工作的模式的驱动。其中WIFI模块采用RT3070WIFI模块，驱动采用其公司提供的Linux驱动进行交叉编译。移植成功之后，下位机就相当于一个无线路由器。
上位机具备无线上网功能，只需要连接AP。
上位机和下位机连接成功之后能够相互通过PING指令ping通。下位机发送的数据包通过UDP协议发送给上位机的IP地址及指定端口。
步骤五:上位机接收数据包并解包恢复视频流，通过软件方法实现对5路视频流的解码
如图5所示，上位机监听指定端口，当接收到下位机传来的数据包时，依次存入内存中开辟的缓冲区。与此同时，根据每个数据包的标志及时间戳，进行解包并还原成五路视频流。然后调用软件解码器对五路视频流分别调用软件解码器进行解码，解码后生成一帧帧的图像。其中软件解码器采用开源项目FFMPEG函数库进行实现。
步骤六:对其中的4路视频显示的信息进行拼接融合，在上位机监视器对视频流进行恢复显示。
由于四路摄像头事先进行过标定和位置矫正，所以视频信息存在一部分的重叠。采用均值法对这四路视频边沿重叠部分进行平均处理，将四张图像拼合成一张大图。调用OPENCV库函数对这些大图一帧帧进行显示，进而恢复成大场景实时信息。
3、优点及功效:本发明的优点及功效在于:该多路视频实时无线传输与显示***以海思3521视频压缩芯片作为核心处理器件,***电路除了视频压缩核心芯片工作所需的最小***电路外，所有的控制逻辑和调度采用嵌入式的软件方法实现,这种设计可以大大减少电路的复杂度,增加硬件***的集成化程度；上位机软件只需要在一个通用能上无线网的计算机平台上运行,不需要额外的硬件设备,相比其他的实现方法,极大的减少了***的复杂程度。此外,在实现图像拼接时,由传统在下位机的“硬拼接”转为在上位机端的“软拼接”,减少下位机的负荷并充分利用了上位机的优秀性能,提升了整个***的延迟并增加了拼接的灵活性。
附图说明
图1***结构框图。
图2ADC采样信号流图。
图3编码过程信号流图。
图4封包过程信号流图。
图5上位机工作信号流图。
具体实施方式
下面根据发明内容，结合说明书附图，对本发明一种多路视频实时无线传输与显示***及构建方法，进行具体说明：
目的:本发明的目的在于提供一种多路视频实时无线传输与显示***及构建方法,包含一整套下位机硬件及上位机软件。实现五路PAL制视频实时无线传输到上位机拼接显示的功能。
(1)本发明是一种多路视频实时无线传输与显示***,包括下位机硬件电路板和上位机软件两大部分。其中:上位计算机安装的是WIN7_64***并具备无线上网功能,上位机软件实现接受下位机硬件传来的数据包并解包,解压缩,拼接显示视频,除此之外能够向下位机传递控制指令；下位机硬件部分包含:海思3521视频压缩芯片、NVP1918视频编码芯片、DC-DC电源芯片、RT3070WIFI模块。它们之间的位置连接关系及信号走向如图1所示,5路PAL制模拟视频信号经过NVP1918芯片转换为数字形式并送入海思3521芯片做视频压缩及封包处理,处理结果通过RT3070WIFI模块上传到上位机。
摄像头视频源共包含5路,其中一路为700线主摄像头,另外四路为480线辅助摄像头。五路对外接口均为标准AV端子,五路视频同时进行信号采样。
该ADC采用采用1片NVP1918,负责将5路PAL制模拟视频信号采样转换为数字信号,并编码成为RGB格式,通过SPI协议直接传送给视频压缩芯片。
该***核心芯片选择海思公司生产的HI3521视频压缩芯片,它内置高性能ARMCortex A9处理器。主要实现视频信号的压缩、封包、上传等处理；它通过RT3070接收到上位机传来的控制指令后,根据控制指令完成上传4路辅助摄像头视频或是上传1路主摄像头视频。
该视频压缩芯片最小******电路,包括时钟源,SRAM,程序加载FLASH。时钟源为一个有源晶振,提供***稳定工作的时钟参考；SRAM作为***的“内存”,作为程序加载及运算结果存储的“临时场所”,断电后存储的信息会丢失；FLASH作为bootloader,***内核,***文件***的固化场所。
每次***上电后,先启动FLASH中的BOOTLOADER,将烧写在FLASH中的内核程序加载入SRAM中,运行内核,检测******设备并加载对应的设备驱动,实现***外设的初始化；随后将烧写在FLASH中的文件***载入SRAM中,实现***的启动,然后运行应用程序。
WIFI模块采用核心芯片是RT3070的集成USB转WIFI模块,通过USB2.0接口与视频压缩核心芯片相连。
该电源芯片提供整个***工作所需的电压。外界给***输入+12V的电压,通过电源芯片将+12V的电压转换成***所需要的+3.3V、+1.8V、+1.0V,来分别提供给HI3521核心芯片(+3.3V、+1.0V)、程序加载FLASH(+3.3V、+1.0V)、时钟提供源(+3.3V)、ADC采样芯片(+1.8V)、WIFI模块(+5V)。
(2)本发明是一种多路视频实时无线传输与显示***,其实现的过程概述如下:ADC采样芯片同时采集5路PAL制视频信号送入视频压缩芯片中；视频压缩芯片对每路信号分别进行H.264压缩编码；将压缩编码后的5路视频流增加时间戳信息封成一定大小的数据包；将封好的数据包通过无线模块发送；接收端接收数据包并解包恢复视频流；通过软件方法实现对5路视频流的解压缩；使用某些软件算法对其中的4路视频显示的信息进行拼接融合；在上位机监视器对视频流进行恢复显示。
综上所述,本发明一种多路视频实时无线传输与显示***的构建方法，其具体步骤如下:
步骤一:5路PAL制视频信号经过ADC采样芯片采样送入视频压缩芯片中
如图2所示：5路PAL制信号由摄像头视频源提供,其中一路为700线主摄像头,另外四路为480线辅摄像头。5路对外视频输出接口均为标准复合视频接口,输出给ADC采样芯片。
ADC采样芯片采用Nextchip公司生产的NVP1918视频编码芯片,该芯片在多通道视频编码领域具有优越的性能。单片芯片支持八路相机,电视或者DVD的复合视频信号输入；具有8路960H分辨率视频同时编码能力；能输出8位CCIR656亮度色度比例为4:2:2的视频流并且支持36MHZ,72MHz和144MHz三种速度。
本方案使用该芯片的5路。模拟输入端传接50欧姆电阻限制电流,并对地并联防雷放电二极管以保护ADC芯片。后级通过IIC总线对ADC芯片的寄存器进行配置使其工作在正确的工作模式，将串行数字视频流输送给后级视频压缩芯片。
步骤二:视频压缩芯片对每路信号分别进行压缩编码
如图3所示：视频压缩芯片使用选择海思公司生产的HI3521视频压缩芯片,它内置高性能ARM Cortex A9处理器。其内含视频输入，视频预处理，视频压缩等功能模块，并对用户封装了一些方便用来调用的接口函数(API)。
芯片内部DEV模块对输入的串行数字视频流解复用，产生5路视频流并输入5个VI通道(Chn0～Chn4)，VI通道对视频流不做处理直接输入视频压缩模块(VENC模块)进行压缩编码。
编码方式选用片内视频压缩模块所支持的h.264编码，需通过相关的接口函数进行配置使其正常运行
步骤三:将压缩编码后的5路视频流增加标志信息封成一定大小的数据包。
如图4所示：编码完成的一帧帧的视频流会存入***的缓冲池中,对应于内存地址中的一段数据。五路视频流将交替存入缓冲区中。由于视频压缩后的每一帧数据的数据量并不完全相同，为便于无线发送需对数据进行切分和拼接使得每一包数据量一致。对于每一帧的数据需加上标志信息便于上位机接收端解包。此外数据包传输过程中由于网络条件等原因可能产生丢包或者包顺序错乱，因此在每一帧数据中还应加上时间戳信息，便于接收端恢复。
步骤四:下位机将封好的数据包通过无线模块发送给上位机
下位机作为服务器(AP端)，需要在HI3521中移植WIFI模块AP工作的模式的驱动。其中WIFI模块采用RT3070WIFI模块，驱动采用其公司提供的Linux驱动进行交叉编译。移植成功之后，下位机就相当于一个无线路由器。
上位机具备无线上网功能，只需要连接AP。
上位机和下位机连接成功之后能够相互通过PING指令ping通。下位机发送的数据包通过UDP协议发送给上位机的IP地址及指定端口。
步骤五:上位机接收数据包并解包恢复视频流，通过软件方法实现对5路视频流的解码
如图5所示，上位机监听指定端口，当接收到下位机传来的数据包时，依次存入内存中开辟的缓冲区。与此同时，根据每个数据包的标志及时间戳，进行解包并还原成五路视频流。然后调用软件解码器对五路视频流分别调用软件解码器进行解码，解码后生成一帧帧的图像。其中软件解码器采用开源项目FFMPEG函数库进行实现。
步骤六:对其中的4路视频显示的信息进行拼接融合，在上位机监视器对视频流进行恢复显示。
由于四路摄像头事先进行过标定和位置矫正，所以视频信息存在一部分的重叠。采用均值法对这四路视频边沿重叠部分进行平均处理，将四张图像拼合成一张大图。调用OPENCV库函数对这些大图一帧帧进行显示，进而恢复成大场景实时信息。
多路视频实时无线传输与显示***的主要器件为：
视频压缩编码核心芯片
选用海思半导体公司的HI3521
Hi3521是针对多路D1和多路高清DVR、NVR产品应用开发的一款专业高端SOC芯片。Hi3521内置高性能A9处理器、高达8路D1实时多协议编解码能力的引擎和专用TOE网络加速模块，应对越来越高的高清应用和网络需求；集成优异的视频引擎和编解码算法并结合多路高清显示输出能力，充分满足客户产品的高质量图像体验。Hi3521高度集成和丰富的***接口，在满足客户差异化产品功能、性能、图像质量要求的同时，大大降低ebom成本。
程序加载FLASH芯片的选择：
MXIC公司的MX25L12845EMI-10G，SPI
程序加载DDR芯片的选择：
南亚公司的NT5CB128M16BP-CG
无线模块选择：长虹电视机无线网卡
1、标准SMA天线可拆御接口最高可配置24dbi调增益天线
2、高速A型USB接口
3、最高传输速度达到：150Mbps
4、采用的是最新的11N 150M标准
5、支持一键AP发射模式
ADC采样芯片的选择：
NEXTCHIP公司的NVP1918
电源芯片的选择：
12V转5V选用LM2596，5V转3.3V采用7805，5V转1V采用PTV05010
本发明多路视频实时无线传输与显示***的设计与实现，在实际的实验过程中测试通过，实现了多路视频的无线传输与实时拼接，并且有以下特点：
硬件电路简单，体积较小，为未来***集成提供了探索和依据。
将拼接算法置于上位机端实现，减少了硬件的功耗和压力
主要功能通过编程简单，易于修改，使***具有很大的通用性和灵活性。
完整实现预期的功能，实现简单。
可见，多路视频实时无线传输与显示***具有很高的应用价值，在实际应用中具有很大的通用性和灵活性，有很好的应用前景。
Claims (2)
1.一种多路视频实时无线传输与显示***,其特征在于：它包括下位机硬件电路板和上位机软件两大部分，其中:上位计算机安装的是WIN7_64***并具备无线上网功能,上位机软件实现接收下位机硬件传来的数据包并解包,解压缩,拼接显示视频,并能够向下位机传递控制指令；下位机硬件部分包含:HI3521视频压缩芯片、NVP1918视频编码芯片、DC-DC电源芯片、RT3070WIFI模块；5路PAL制模拟视频信号经过NVP1918芯片转换为数字形式并送入HI3521芯片做视频压缩及封包处理,处理结果通过RT3070WIFI模块上传到上位机；
摄像头视频源共包含5路,其中一路为700线主摄像头,另外四路为480线辅助摄像头；五路对外接口均为标准AV端子,五路视频同时进行信号采样；
ADC采用1片NVP1918,负责将5路PAL制模拟视频信号采样转换为数字信号,并编码成为RGB格式,通过SPI协议直接传送给视频压缩芯片；
***核心芯片选择HI3521视频压缩芯片,内置高性能ARM Cortex A9处理器，实现视频信号的压缩、封包、上传处理；通过RT3070接收到上位机传来的控制指令后,根据控制指令完成上传4路辅助摄像头视频或是上传1路主摄像头视频；
该视频压缩芯片最小******电路,包括时钟源,SRAM,程序加载FLASH，时钟源为一个有源晶振,提供***稳定工作的时钟参考；SRAM芯片型号为NT5CB128M16BP-CG，是***的内存,作为程序加载及运算结果存储的临时场所,断电后存储的信息会丢失；FLASH芯片型号为MX25L12845EMI-10G，作为BOOTLOADER、***内核和***文件***的固化场所；
每次***上电后,先启动FLASH中的BOOTLOADER,将烧写在FLASH中的内核程序加载入SRAM中,运行内核,检测******设备并加载对应的设备驱动,实现***外设的初始化，随后将烧写在FLASH中的文件***载入SRAM中,实现***的启动,然后运行应用程序；
WIFI模块的核心芯片是RT3070，该WIFI模块为集成USB转WIFI模块,通过USB2.0接口与视频压缩核心芯片相连；
该电源芯片提供整个***工作所需的电压，外界给***输入+12V的电压,通过电源芯片将+12V的电压转换成***所需要的+3.3V、+1.8V、+1.0V,来分别提供给HI3521核心芯片+3.3V、+1.0V，程序加载FLASH+3.3V、+1.0V，时钟提供源+3.3V，ADC采样芯片+1.8V，WIFI模块+5V，其中+12V转+5V选用LM2596，+5V转+3.3V采用7805，+5V转+1.0V采用PTV05010；
ADC采样芯片同时采集5路PAL制视频信号送入视频压缩芯片中，视频压缩芯片对每路信号分别进行H.264压缩编码，将压缩编码后的5路视频流增加时间戳信息封成一定大小的数据包，将封好的数据包通过无线模块发送，接收端接收数据包并解包恢复视频流，通过软件方法实现对5路视频流的解压缩，使用软件算法对其中的4路视频显示的信息进行拼接融合，在上位机监视器对视频流进行恢复显示。
2.一种多路视频实时无线传输与显示***的构建方法，其特征在于：该方法具体步骤如下:
步骤一:5路PAL制视频信号经过ADC采样芯片采样送入视频压缩芯片中；
5路PAL制信号由摄像头视频源提供,其中一路为700线主摄像头,另外四路为480线辅摄像头，5路对外视频输出接口均为标准复合视频接口,输出给ADC采样芯片，ADC采样芯片采用NVP1918视频编码芯片,该芯片在多通道视频编码领域具有优越的性能，单片芯片支持八路相机,电视或者DVD的复合视频信号输入，具有8路960H分辨率视频同时编码能力，能输出8位CCIR656亮度色度比例为4:2:2的视频流并且支持36MHZ,72MHz和144MHz三种速度；模拟输入端串接50欧姆电阻限制电流,并对地并联防雷放电二极管以保护ADC芯片；后级通过IIC总线对ADC芯片的寄存器进行配置使其工作在正确的工作模式，将串行数字视频流输送给后级视频压缩芯片；
步骤二:视频压缩芯片对每路信号分别进行压缩编码；
视频压缩芯片使用HI3521视频压缩芯片,它内置高性能ARM Cortex A9处理器，其内含视频输入，视频预处理，视频压缩功能模块，并对用户封装了一些方便用来调用的接口函数API，芯片内部DEV模块对输入的串行数字视频流解复用，产生5路视频流并输入5个VI通道Chn0～Chn4，VI通道对视频流不做处理直接输入视频压缩模块进行压缩编码，编码方式选用片内视频压缩模块所支持的H.264编码，通过相关的接口函数进行配置使其正常运行；
步骤三:将压缩编码后的5路视频流增加标志信息封成一定大小的数据包；
编码完成的每一帧的视频流会存入***的缓冲池中,对应于内存地址中的一段数据；五路视频流将交替存入缓冲区中，由于视频压缩后的每一帧数据的数据量并不完全相同，为便于无线发送需对数据进行切分和拼接使得每一包数据量一致；对于每一帧的数据需加上标志信息便于上位机接收端解包；此外数据包传输过程中由于网络条件原因可能产生丢包或者包顺序错乱，因此在每一帧数据中还应加上时间戳信息，便于接收端恢复；
步骤四:下位机将封好的数据包通过无线模块发送给上位机；
下位机作为服务器AP端，需要在HI3521中移植WIFI模块AP工作的模式的驱动；其中WIFI模块采用RT3070WIFI模块，驱动采用提供的Linux驱动进行交叉编译，移植成功之后，下位机就相当于一个无线路由器；上位机具备无线上网功能，只需要连接AP；
上位机和下位机连接成功之后能够相互通过PING指令ping通，下位机发送的数据包通过UDP协议发送给上位机的IP地址及指定端口；
步骤五:上位机接收数据包并解包恢复视频流，通过软件方法实现对5路视频流的解码；
上位机监听指定端口，当接收到下位机传来的数据包时，依次存入内存中开辟的缓冲区，与此同时，根据每个数据包的标志及时间戳，进行解包并还原成五路视频流，然后调用软件解码器对五路视频流分别调用软件解码器进行解码，解码后生成一帧帧的图像，其中软件解码器采用开源项目FFMPEG函数库进行实现；
步骤六:对其中的4路视频显示的信息进行拼接融合，在上位机监视器对视频流进行恢复显示；由于四路摄像头事先进行过标定和位置矫正，所以视频信息存在一部分的重叠，采用均值法对这四路视频边沿重叠部分进行平均处理，将四张图像拼合成一张大图，调用OPENCV库函数对这些大图的每一帧进行显示，进而恢复成大场景实时信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510163184.8A CN104767973B (zh) | 2015-04-08 | 2015-04-08 | 一种多路视频实时无线传输与显示***及构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510163184.8A CN104767973B (zh) | 2015-04-08 | 2015-04-08 | 一种多路视频实时无线传输与显示***及构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104767973A CN104767973A (zh) | 2015-07-08 |
| CN104767973B true CN104767973B (zh) | 2018-01-23 |
Family
ID=53649544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510163184.8A Expired - Fee Related CN104767973B (zh) | 2015-04-08 | 2015-04-08 | 一种多路视频实时无线传输与显示***及构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104767973B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105301349A (zh) * | 2015-09-22 | 2016-02-03 | 深圳市科陆电子科技股份有限公司 | 电能表停电显示的处理方法 |
| CN105915850A (zh) * | 2016-05-06 | 2016-08-31 | 安徽伟合电子科技有限公司 | 一种基于图像拼接的视频播放*** |
| CN105847927B (zh) * | 2016-05-09 | 2018-08-24 | 华东师范大学 | 多信源多模式下高速视频无线同步显示装置 |
| CN108124159B (zh) * | 2016-11-30 | 2019-06-28 | 视联动力信息技术股份有限公司 | 一种四核终端和四核终端的数据处理方法 |
| CN106604097B (zh) * | 2016-12-07 | 2020-08-11 | 广东威创视讯科技股份有限公司 | 多路视频信号的传输方法和*** |
| CN106791482A (zh) * | 2016-12-13 | 2017-05-31 | 广东威创视讯科技股份有限公司 | 一种基于海思平台的视频拼接方法 |
| CN107659784B (zh) * | 2017-08-31 | 2019-05-28 | 北京航宇创通技术股份有限公司 | CameraLink图像处理装置和光电转塔 |
| CN111050107B (zh) * | 2019-11-11 | 2022-09-27 | 湖南君瀚信息技术有限公司 | 一种无线高清低延迟视频传输装置、***及方法 |
| CN112379856B (zh) * | 2020-10-13 | 2021-07-06 | 北京匠数科技有限公司 | 一种显示画面重构装置及方法 |
| CN112261460B (zh) * | 2020-10-19 | 2022-09-27 | 天津津航计算技术研究所 | 一种基于pcie的多路视频解码方案设计方法 |
| CN113709525A (zh) * | 2021-08-26 | 2021-11-26 | 程艳华 | 一种多元通信方法及通信*** |
| CN114245129A (zh) * | 2022-02-22 | 2022-03-25 | 湖北芯擎科技有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN116055738B (zh) * | 2022-05-30 | 2023-10-20 | 荣耀终端有限公司 | 视频压缩方法及电子设备 |
| CN115243072A (zh) * | 2022-07-19 | 2022-10-25 | 上海晨驭信息科技有限公司 | 一种无交换机分布式视频拼接*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1812590A (zh) * | 2004-12-27 | 2006-08-02 | 株式会社东芝 | 信号处理设备和流处理方法 |
| CN101022547A (zh) * | 2006-02-15 | 2007-08-22 | 日本电气视象技术株式会社 | 传输速率调整设备和方法 |
| CN101312526A (zh) * | 2008-06-26 | 2008-11-26 | 天津市亚安科技电子有限公司 | 全景联动视频监控装置及其全景图像的拼接方法 |
| CN101472090A (zh) * | 2007-12-27 | 2009-07-01 | 新奥特（北京）视频技术有限公司 | 用于视频服务器的硬件自适应多通道多模式视频预监方法 |
| CN102256111A (zh) * | 2011-07-17 | 2011-11-23 | 西安电子科技大学 | 多通道全景视频实时监控***及方法 |
| CN103577456A (zh) * | 2012-07-31 | 2014-02-12 | 国际商业机器公司 | 用于处理时序数据的方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001186530A (ja) * | 1999-12-27 | 2001-07-06 | Toshiba Corp | 複数チャンネル画像圧縮装置及びその方法 |
-
2015
- 2015-04-08 CN CN201510163184.8A patent/CN104767973B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1812590A (zh) * | 2004-12-27 | 2006-08-02 | 株式会社东芝 | 信号处理设备和流处理方法 |
| CN101022547A (zh) * | 2006-02-15 | 2007-08-22 | 日本电气视象技术株式会社 | 传输速率调整设备和方法 |
| CN101472090A (zh) * | 2007-12-27 | 2009-07-01 | 新奥特（北京）视频技术有限公司 | 用于视频服务器的硬件自适应多通道多模式视频预监方法 |
| CN101312526A (zh) * | 2008-06-26 | 2008-11-26 | 天津市亚安科技电子有限公司 | 全景联动视频监控装置及其全景图像的拼接方法 |
| CN102256111A (zh) * | 2011-07-17 | 2011-11-23 | 西安电子科技大学 | 多通道全景视频实时监控***及方法 |
| CN103577456A (zh) * | 2012-07-31 | 2014-02-12 | 国际商业机器公司 | 用于处理时序数据的方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 《一种多摄像机全景视频图像快速拼接算法》;张洋，李庆忠，臧风妮;《光电子·激光》;20120930;第23卷(第9期);全文 * |
| 《基于四拼图的嵌入式全景视频实时生成***》;陈立栋，徐玮，张茂军等;《信号处理》;20091231;第25卷(第12期);第3-4部分 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104767973A (zh) | 2015-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104767973B (zh) | 一种多路视频实时无线传输与显示***及构建方法 | |
| CN109640056B (zh) | 一种基于Android平台的USB摄像头监控***及其方法 | |
| US10148875B1 (en) | Method and system for interfacing multiple channels of panoramic videos with a high-definition port of a processor | |
| CN102263935B (zh) | 一种基于td-scdma网络的视频监控传输装置 | |
| CN108848354B (zh) | 一种vr内容摄像***及其工作方法 | |
| CN113890977B (zh) | 机载视频处理装置及具有其的无人机 | |
| CN102724392A (zh) | 一种模拟高清摄像的实现方法及装置 | |
| CN107079101A (zh) | 一种飞行图像数据的处理方法、***及地面端设备 | |
| CN106713804A (zh) | 一种三通道图像传输接口转换装置及方法 | |
| CN111447409A (zh) | 一种无人机机载多传感器单处理器视频压缩处理方法和装置 | |
| CN203851239U (zh) | 一种双摄像头视频图像跟踪装置 | |
| CN105450980B (zh) | 一种高清航拍控制与视频回传方法及*** | |
| CN107360380B (zh) | 一种双码率压缩摄像装置及其上位机解码装置 | |
| CN103517081A (zh) | 一种适用于探空火箭的箭载图像采集与压缩*** | |
| CN106412518A (zh) | 基于td‑lte应急通信的无线视频传输*** | |
| CN204408536U (zh) | 无人机飞行器用的大流量图像传输设备 | |
| CN101325712A (zh) | 一种基于arm的便携式图像实时采集和显示终端 | |
| CN104244085A (zh) | 基于现场可编程门阵列的多媒体数据传输方法及装置 | |
| CN206117889U (zh) | 一种双目720度全景采集*** | |
| CN109309788A (zh) | 多镜头图像拼接装置及方法 | |
| CN104159015A (zh) | 基于无人机的摄像*** | |
| CN202111782U (zh) | 一种500万像素视频处理*** | |
| CN207166600U (zh) | 一种全景相机 | |
| CN106534774A (zh) | 一种图像传输*** | |
| CN204267096U (zh) | 一种基于北斗定位的矿山指挥救援监控*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180123 Termination date: 20200408 |