CN106791318A - 一种便携式高光谱视频实时采集和处理装置及其方法 - Google Patents
一种便携式高光谱视频实时采集和处理装置及其方法 Download PDFInfo
- Publication number
- CN106791318A CN106791318A CN201611259278.6A CN201611259278A CN106791318A CN 106791318 A CN106791318 A CN 106791318A CN 201611259278 A CN201611259278 A CN 201611259278A CN 106791318 A CN106791318 A CN 106791318A
- Authority
- CN
- China
- Prior art keywords
- module
- video
- data
- compression
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000006835 compression Effects 0.000 claims abstract description 64
- 238000007906 compression Methods 0.000 claims abstract description 64
- 238000001228 spectrum Methods 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 238000012546 transfer Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 239000000155 melt Substances 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000003595 spectral effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种便携式高光谱视频实时采集和处理装置及其方法。装置包括数据采集模块、压缩模块、传输模块、控制计算模块和显示模块，数据采集模块采集RGB视频和光谱视频并将数据传输到压缩模块；压缩模块并行压缩多路视频信息并将压缩后的数据提供给传输模块；传输模块将数据传输到控制计算模块，并用于控制计算模块向数据采集模块和压缩模块发送指令；控制计算模块用发送指令控制采集模块采集视频和压缩模块，并将接收到的视频数据解码，再实时融合和分析处理数据；显示模块将融合后的视频实时显示。本发明能实现RGB和光谱视频的采集、压缩、传输和处理分析，具有采集装置小型化和数据处理实时性的特点，便于室外数据的采集。
Description
技术领域
本发明涉及计算摄像学领域，尤其涉及一种便携式高光谱视频实时采集和处理装置及方法。
背景技术
近年来，计算摄像学已经成为计算机视觉、数字信号处理、图形学等领域的前沿研究热点，对真实场景的高光谱视频实时采集和处理引起广泛的关注。高光谱图像的相关研究工作对于军事、农业、医学等领域有着重要的意义。
传统RGB相机仅仅捕捉红绿蓝(RGB)三个通道信息，失去了光谱维度上的大量细节，而场景中许多物质的很多特质可由光谱中丰富的细节信息来揭示。同时，传统的高光谱视频采集***质量较大，并需要配备体积庞大的个人电脑，因此对室外光谱视频的采集造成不便，同时也很难实时处理和分析数据，因此需要设计一种便携式高光谱视频实时采集和处理装置。
发明内容
针对以上现有技术中存在的缺陷，本发明的目的在于提出一种便携式高光谱视频实时采集和处理装置及其方法，能够实现高光谱视频的实时采集、处理和显示，并通过网络实现光谱相机模块与PC端控制计算模块的通信，从而实现光谱相机与外部计算机的分离，能够做到相机的小型化和整个***的实时性。
为达上述目的，本发明的装置采用如下技术方案：
一种便携式高光谱视频实时采集和处理装置，包括数据采集模块、压缩模块、传输模块、控制计算模块和显示模块，其中：所述数据采集模块用于采集多路视频数据，视频数据包括光谱视频数据和RGB视频数据；所述压缩模块用于并行压缩所述多路视频数据，并将压缩好的视频数据提供给传输模块；所述传输模块用于将数据传输到控制计算模块，并用于将控制计算模块发出的指令发送到所述数据采集模块和压缩模块；所述控制计算模块用于发送指令控制所述数据采集模块采集视频，并将接收到的视频数据解码，进一步通过降低光谱视频的通道数来实时融合和分析处理数据，然后将该视频提供给显示模块；所述显示模块用于实时显示所述控制计算模块融合后的视频。
进一步地，本发明的装置还包括输入模块，所述输入模块分别与数据采集模块和压缩模块相连，用于将数据采集模块采集的视频传输给压缩模块。
优选地，所述输入模块包括多路USB接口；所述传输模块包括千兆网卡；所述控制计算模块包括CPU和GPU；所述显示模块包括HDMI接口和显示器。
进一步地，所述控制计算模块还用于发送指令控制压缩模块以不同压缩率来压缩RGB图像，并控制压缩模块获取不同的光谱通道图像再进行无损压缩。
本发明利用上述便携式高光谱视频实时采集和处理装置的方法，包括以下步骤：所述控制计算模块发送指令控制数据采集模块采集；所述数据采集模块采集多路视频数据，并将采集的视频数据提供给压缩模块；所述压缩模块对多路视频数据进行并行压缩，其中对于光谱视频的每帧进行切片处理成几十个通道，再将这些通道拼成视频进行压缩；所述传输模块将压缩后的数据通过网络发送到上位机的所述控制计算模块；所述控制计算模块将接收到的压缩后的多路视频数据进行解压，并对多路视频数据进行融合和分析处理，并将融合后的视频提供给显示模块；所述显示模块将计算控制模块融合后的视频实时显示。
进一步地，所述压缩模块使用Intel Quick Sync Video硬件加速视频的编码，以提高视频的压缩速度从而提高整个装置的实时性。
所述传输模块采用无线网传输或者有线网传输，其使用的网络传输协议为TCP、UDP、UDT或WiFidirect。
所述数据采集模块和压缩模块都在片上***上实现。
所述控制计算模块发送指令控制压缩模块以不同压缩率来压缩RGB图像，并控制压缩模块获取不同的光谱通道图像再进行无损压缩。
所述控制计算模块中的数据处理先进行数据的融合获得高光谱视频信息，再利用光谱分割算法对视频中的物体进行准确的分割。
本发明通过融合RGB图像和光谱图像可以获取高空间分辨率和高光谱分辨率的光谱视频。本发明的装置实现了RGB和光谱视频的实时采集、压缩、传输和处理分析。其中采用Intel Quick Sync Video硬件加速视频的编码，能实现更快速的编码并减少传输的数据量从而提高***的实时性；并能对视频中的物体进行实时分割处理，提高整个***的应用价值。本发明具有采集装置小型化和数据处理实时性的特点，便于室外数据的采集。
附图说明
图1为本发明便携式高光谱视频实时采集和处理装置的结构示意图；
图2为本发明便携式高光谱视频实时采集和处理方法的流程图。
具体实施方式
下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图1所示，本发明一个实施例的便携式高光谱视频实时采集和处理装置包括：数据采集模块10、压缩模块30、传输模块40、控制计算模块50、显示模块60。
具体地，数据采集模块10用于采集多路视频数据，所述视频数据至少包括光谱视频和RGB视频。压缩模块30用于并行压缩多路视频数据，并将压缩好的视频数据提供给传输模块40。传输模块40用于将数据传输到上位机的控制计算模块50，并用于控制计算模块50向数据采集模块10发送指令，压缩模块30和传输模块40使用两个线程同时处理。控制计算模块50用于发送指令控制数据采集模块10采集视频，并将解码接收到的视频文数据，并通过降低光谱视频的通道数来实时融合和分析处理数据，并将该视频提供给显示模块60。显示模块60用于实时显示计算控制模块50融合后的视频。
需要说明的是，本发明的实施例中，控制计算模块50还用于发送指令控制压缩模块30以不同压缩率来压缩RGB图像，并控制压缩模块30获取不同的光谱通道图像再进行无损压缩。
具体地，在本发明的实施例中，该装置还包括：输入模块20，输入模块20分别与数据采集模块10和压缩模块30相连，具体而言，输入模块20用于将数据采集模块10采集的视频传输给压缩模块30。
需要说明的是，本发明的实施例中，输入模块20包括多路USB接口；数据采集模块10至少包括采集RGB视频和采集光谱相机两路相机；传输模块30包括千兆网卡；计算控制模块50包括CPU和GPU；显示模块60包括HDMI接口和显示器。
根据本发明一个实施例的便携式高光谱视频实时采集和处理方法，如图2所示，该方法包括：
201，控制计算模块50发送指令控制数据采集模块10进行视频采集，并将视频数据提供给压缩模块30；
202，压缩模块30利用H264压缩算法并行压缩多路视频数据，并将压缩好的视频数据提供给传输模块40；同时，压缩模块30利用Intel Quick Sync Video硬件加速视频的编码，以提高视频的压缩速度从而提高整个***的实时性。
203，传输模块40将压缩后的数据通过网络发送到上位机的控制计算模块50；
204，控制计算模块50接收到的压缩后的多路视频数据进行解压，并对多路视频数据进行实时融合和分析处理，并将融合后的视频提供给显示模块60；所述多路视频数据至少包括RGB视频和光谱视频。
206，控制计算模块50将多路视频数据进行融合获得高光谱视频信息，再利用光谱分割算法对视频中的物体进行准确的分割。
205，显示模块60将融合处理后的视频实时显示。
具体地，在本发明的实施例中，控制计算模块50的数据处理可以使用双边滤波的光谱传算法。
本发明的实施例中，数据采集模块10还包括以下步骤：场景光线通过分光镜后被分为相同的两束：一束直接通过RGB相机采集到RGB视频；另一束先通过掩膜板进行下采样，再经过棱镜色散使光波展开，最后由灰度相机采集，获取到高光谱分辨率的灰度视频。
Claims (10)
1.一种便携式高光谱视频实时采集和处理装置，其特征在于，该装置包括数据采集模块、压缩模块、传输模块、控制计算模块和显示模块，其中：
所述数据采集模块用于采集多路视频数据，视频数据包括光谱视频数据和RGB视频数据；
所述压缩模块用于并行压缩所述多路视频数据，并将压缩好的视频数据提供给传输模块；
所述传输模块用于将数据传输到控制计算模块，并用于将控制计算模块发出的指令发送到所述数据采集模块和压缩模块；
所述控制计算模块用于发送指令控制所述数据采集模块采集视频，并将接收到的视频数据解码，进一步通过降低光谱视频的通道数来实时融合和分析处理数据，然后将该视频提供给显示模块；
所述显示模块用于实时显示所述控制计算模块融合后的视频。
2.根据权利要求1所述的一种便携式高光谱视频实时采集和处理装置，其特征在于，该装置还包括输入模块，所述输入模块分别与数据采集模块和压缩模块相连，用于将数据采集模块采集的视频传输给压缩模块。
3.根据权利要求2所述的一种便携式高光谱视频实时采集和处理装置，其特征在于，所述输入模块包括多路USB接口；所述传输模块包括千兆网卡；所述控制计算模块包括CPU和GPU；所述显示模块包括HDMI接口和显示器。
4.根据权利要求1、2或3所述的一种便携式高光谱视频实时采集和处理装置，其特征在于，所述控制计算模块还用于发送指令控制压缩模块以不同压缩率来压缩RGB图像，并控制压缩模块获取不同的光谱通道图像再进行无损压缩。
5.利用如权利要求1所述一种便携式高光谱视频实时采集和处理装置的方法，其特征在于，包括以下步骤：所述控制计算模块发送指令控制数据采集模块采集；所述数据采集模块采集多路视频数据，并将采集的视频数据提供给压缩模块；所述压缩模块对多路视频数据进行并行压缩，其中对于光谱视频的每帧进行切片处理成几十个通道，再将这些通道拼成视频进行压缩；所述传输模块将压缩后的数据通过网络发送到上位机的所述控制计算模块；所述控制计算模块将接收到的压缩后的多路视频数据进行解压，并对多路视频数据进行融合和分析处理，并将融合后的视频提供给显示模块；所述显示模块将计算控制模块融合后的视频实时显示。
6.根据权利要求5所述的方法，其特征在于，所述压缩模块使用Intel Quick SyncVideo硬件加速视频的编码，以提高视频的压缩速度从而提高整个装置的实时性。
7.根据权利要求5所述的方法，其特征在于，所述传输模块采用无线网传输或者有线网传输，其使用的网络传输协议为TCP、UDP、UDT或WiFidirect。
8.根据权利要求5所述的方法，其特征在于，所述数据采集模块和压缩模块都在片上***上实现。
9.根据权利要求5所述的方法，其特征在于，所述控制计算模块发送指令控制压缩模块以不同压缩率来压缩RGB图像，并控制压缩模块获取不同的光谱通道图像再进行无损压缩。
10.根据权利要求5所述的方法，其特征在于，所述控制计算模块中的数据处理先进行数据的融合获得高光谱视频信息，再利用光谱分割算法对视频中的物体进行准确的分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611259278.6A CN106791318B (zh) | 2016-12-30 | 2016-12-30 | 一种便携式高光谱视频实时采集和处理装置及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611259278.6A CN106791318B (zh) | 2016-12-30 | 2016-12-30 | 一种便携式高光谱视频实时采集和处理装置及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106791318A true CN106791318A (zh) | 2017-05-31 |
| CN106791318B CN106791318B (zh) | 2019-06-25 |
Family
ID=58954610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611259278.6A Active CN106791318B (zh) | 2016-12-30 | 2016-12-30 | 一种便携式高光谱视频实时采集和处理装置及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106791318B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107621310A (zh) * | 2017-09-18 | 2018-01-23 | 深圳大学 | 一种微型光谱仪传输适配器及光谱检测***和方法 |
| CN109239914A (zh) * | 2018-09-12 | 2019-01-18 | 南京大学 | 一种实现高空间带宽积的成像方法 |
| CN110749555A (zh) * | 2019-10-30 | 2020-02-04 | 宜宾五粮液股份有限公司 | 基于高光谱技术白酒曲块内部发酵状态检测装置及方法 |
| CN111174912A (zh) * | 2020-01-03 | 2020-05-19 | 南京大学 | 一种快照型解色散模糊的高光谱成像方法 |
| CN111609931A (zh) * | 2020-05-17 | 2020-09-01 | 北京安洲科技有限公司 | 一种参数可编程的实时高光谱采集***和方法 |
| CN112565627A (zh) * | 2020-11-30 | 2021-03-26 | 天津津航计算技术研究所 | 一种基于位图叠加的多路视频集中显示设计方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105282506A (zh) * | 2015-10-16 | 2016-01-27 | 浙江工业大学 | 基于物联网的全色-多光谱图像融合视频监控方法及其监控装置 |
| CN105338326A (zh) * | 2015-11-26 | 2016-02-17 | 南京大学 | 一种嵌入式高空间高光谱分辨率视频采集*** |
| US20160093034A1 (en) * | 2014-04-07 | 2016-03-31 | Steven D. BECK | Contrast Based Image Fusion |
| CN105812631A (zh) * | 2016-03-22 | 2016-07-27 | 清华大学 | 小型化高光谱的视频采集装置及方法 |
-
2016
- 2016-12-30 CN CN201611259278.6A patent/CN106791318B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160093034A1 (en) * | 2014-04-07 | 2016-03-31 | Steven D. BECK | Contrast Based Image Fusion |
| CN105282506A (zh) * | 2015-10-16 | 2016-01-27 | 浙江工业大学 | 基于物联网的全色-多光谱图像融合视频监控方法及其监控装置 |
| CN105338326A (zh) * | 2015-11-26 | 2016-02-17 | 南京大学 | 一种嵌入式高空间高光谱分辨率视频采集*** |
| CN105812631A (zh) * | 2016-03-22 | 2016-07-27 | 清华大学 | 小型化高光谱的视频采集装置及方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107621310A (zh) * | 2017-09-18 | 2018-01-23 | 深圳大学 | 一种微型光谱仪传输适配器及光谱检测***和方法 |
| CN109239914A (zh) * | 2018-09-12 | 2019-01-18 | 南京大学 | 一种实现高空间带宽积的成像方法 |
| CN110749555A (zh) * | 2019-10-30 | 2020-02-04 | 宜宾五粮液股份有限公司 | 基于高光谱技术白酒曲块内部发酵状态检测装置及方法 |
| CN110749555B (zh) * | 2019-10-30 | 2022-05-31 | 宜宾五粮液股份有限公司 | 基于高光谱技术白酒曲块内部发酵状态检测装置及方法 |
| CN111174912A (zh) * | 2020-01-03 | 2020-05-19 | 南京大学 | 一种快照型解色散模糊的高光谱成像方法 |
| CN111609931A (zh) * | 2020-05-17 | 2020-09-01 | 北京安洲科技有限公司 | 一种参数可编程的实时高光谱采集***和方法 |
| CN112565627A (zh) * | 2020-11-30 | 2021-03-26 | 天津津航计算技术研究所 | 一种基于位图叠加的多路视频集中显示设计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106791318B (zh) | 2019-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106791318A (zh) | 一种便携式高光谱视频实时采集和处理装置及其方法 | |
| TWI415462B (zh) | 選定的影像擷取、傳輸及重製之系統及方法 | |
| CN109996055B (zh) | 位置零时延 | |
| US10666941B1 (en) | Low bitrate encoding of panoramic video to support live streaming over a wireless peer-to-peer connection | |
| US10645360B2 (en) | Methods and systems for transmitting data in a virtual reality system | |
| AU2018280337B2 (en) | Digital content stream compression | |
| CN109643456A (zh) | 图像压缩方法与设备 | |
| US11310560B2 (en) | Bitstream merger and extractor | |
| WO2021057689A1 (zh) | 视频解码方法及装置、视频编码方法及装置、存储介质和电子装置 | |
| EP3434021B1 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
| WO2022022348A1 (zh) | 视频压缩方法、解压方法、装置、电子设备及存储介质 | |
| CA2886174A1 (en) | Video compression method | |
| CN105825530B (zh) | 基于感兴趣区域的海岸带高光谱图像分布式有损编码和解码方法 | |
| CN116847087A (zh) | 视频处理方法、装置、存储介质及电子设备 | |
| CN204231562U (zh) | 一种高清视频监控传输*** | |
| CN113228095A (zh) | 图像处理方法、显示处理装置和计算机可读存储介质 | |
| CN109005443B (zh) | Vr-ar一体机终端真人远程交互方法以及基于其的*** | |
| CN110753229A (zh) | 基于h.265编码的视频采集装置及方法 | |
| US20230100728A1 (en) | A system, an arrangement, a computer software module arrangement, a circuitry arrangement and a method for improved image processing utilzing two entities | |
| US11748915B2 (en) | VR image compression transmission method and system | |
| US11233999B2 (en) | Transmission of a reverse video feed | |
| ZHANG et al. | Recent Advances in Video Coding for Machines Standard and Technologies | |
| CN117319685A (zh) | 基于云边协同的多屏幕图像实时优化上传方法 | |
| WO2019100247A1 (zh) | 应用于虚拟现实的图像显示方法、装置、设备及*** | |
| Lin | Edge Polynomial Fractal Compression Algorithm for High Quality Video Transmission. Final report |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210129 Address after: Room 1056, Heying building, No. 99, Tuanjie Road, Jiangbei new district, Nanjing, Jiangsu Province, 210008 Patentee after: Nanjing Zhipu Technology Co.,Ltd. Address before: 210093 No. 22, Hankou Road, Gulou District, Jiangsu, Nanjing Patentee before: NANJING University |