CN109168008B - 一种基于云分布式海量交通视频信息处理方法 - Google Patents
一种基于云分布式海量交通视频信息处理方法 Download PDFInfo
- Publication number
- CN109168008B CN109168008B CN201811200140.8A CN201811200140A CN109168008B CN 109168008 B CN109168008 B CN 109168008B CN 201811200140 A CN201811200140 A CN 201811200140A CN 109168008 B CN109168008 B CN 109168008B
- Authority
- CN
- China
- Prior art keywords
- video
- video file
- file
- files
- video files
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 6
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000012163 sequencing technique Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 description 5
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2181—Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于云分布式海量交通视频信息处理方法,将原视频文件解压为固定大小的视频帧图像;将解压后的单帧图像按照固定帧数来压缩成小的视频文件;对重新压缩得到的所有视频文件按照数据量大小进行排序,两两进行合并,待合并的两个视频文件分别取自最大的视频文件和最小的视频文件;使用Xuggler来对分布式文件***上的交通视频文件进行编解码操作。本发明的有益效果是能提高处理海量交通视频信息的效率。
Description
技术领域
本发明属于数据处理技术领域,涉及一种基于云分布式海量交通视频信息处理方法。
背景技术
目前海量交通视频文件的分布式存储鉴于视频文件的结构特性以及Hadoop分布式文件***(HDFS)的分块存储策略,但是如何存储海量交通视频文件有三个问题:
1)块利用率不高:由于交通视频文件大小不固定,很难保证每个视频文件大小都是HDFS数据块的整数倍,从而在最后一块的时候仅仅剩下几十MB甚至几MB,浪费HDFS的存储资源。
2)视频的帧间关系可能被打破:由于交通视频文件由若干GOP组成,而且每个GOP由一个I帧,若干个B帧和若干个P帧组成,当HDFS对交通视频文件进行分块存储的时候会把某一个GOP切断,使得无法正常读取交通视频文件。
3)视频头信息的存储:对于分块存储的交通视频文件,只有第一块含有头文件,后续的数据块都因为没有头信息而无法正常读取。
目前基于海量交通视频文件的分布式存储设计基于Hadoop读取接口InputFormat的海量交通视频信息的分布式并行处理,分布式并行处理主要涉及分布式文件***中的交通视频文件解码、Key/Value对的解析以及数据传递三个主要部分。FFmpeg虽然能很好的对本地视频文件进行编解码操作,但是它对外提供的API对Hadoop框架不友好。
发明内容
本发明的目的在于提供一种基于云分布式海量交通视频信息处理方法,本发明的有益效果是能提高处理海量交通视频信息的效率。
本发明所采用的技术方案是按照以下步骤进行:
1)将原视频文件解压为固定大小的视频帧图像;
2)将解压后的单帧图像按照固定帧数来压缩成小的视频文件;
3)对重新压缩得到的所有视频文件按照数据量大小进行排序,两两进行合并,待合并的两个视频文件分别取自最大的视频文件和最小的视频文件;
4)使用Xuggler来对分布式文件***上的交通视频文件进行编解码操作。
进一步,步骤1)利用OpenCV库读取原始视频文件来获取视频文件包含的所有单帧图像。
进一步,步骤2)设置HDFS数据块大小为2T MB,以f帧为固定帧数来压缩单帧图像得到新的待合并视频文件,对于重新压缩后数据量大于T MB的视频文件,以起始固定帧数的一半即帧为固定帧数重复步骤1)、2)得到更小的视频文件。
进一步,步骤3)中待合并的两个视频文件分别取自最大的视频文件和最小的视频文件,选取依据是数据量之和尽量接近HDFS数据块2TMB。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明采用拆分与合并的方法对海量交通视频文件进行分布式存储,方法包括以下步骤:
1)将原视频文件解压为固定大小的视频帧图像。该步骤利用OpenCV库读取原始视频文件来获取视频文件包含的所有单帧图像。
2)将解压后的单帧图像按照固定帧数来压缩成小的视频文件。在统计了现有视频文件的数据量和视频帧数之后,总结出视频帧数和数据量的关系来估算拆分后的视频文件包含的视频帧数f。公式如下:
f=m*(60*t*r)/M
上式中,f为视频帧数,t为视频时长,单位为分钟,r为帧率,每秒内有多少帧,M为原始视频文件大小,单位为MB,m为拆分后的视频文件大小。
本发明实施阶段使用的HDFS文件***的默认数据块大小为128MB。大多数视频文件的帧数为3000帧时数据量不超过64MB。经过计算和统计分析,以3000帧为固定帧数来压缩单帧图像得到新的待合并视频文件。对于重新压缩后数据量大于64MB的视频文件,以起始固定帧数的一半即1500帧为固定帧数重复步骤1)、2)得到更小的视频文件。
3)对重新压缩后的视频文件进行排序,对排序之后的视频文件进行合并,该合并过程以HDFS数据块2T MB为上限。对于第二步重新压缩得到的所有视频文件按照数据量大小进行排序,两两进行合并。待合并的两个视频文件分别取自最大的视频文件和最小的视频文件,选取依据为数据量之和尽量接近HDFS数据块2T MB。
4)使用Xuggler来对分布式文件***上的交通视频文件进行编解码操作。Xuggler是适用于Java的解压缩,修改和重新压缩任何媒体文件(或流)的一种简单方法。Xuggler能够用于本地视频文件或者网络视频文件的读取。相对于本地文件***而言,HDFS相当于网络上的资源,其中的视频可以当作网络视频处理,可以直接由Xuggler读取,并且结合Java的Buffered Image类,完成对视频的解码操作,获得视频帧数据作为待处理的图像。
以上所述仅是对本发明的较佳实施方式而已,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施方式所做的任何简单修改,等同变化与修饰,均属于本发明技术方案的范围内。
Claims (1)
1.一种基于云分布式海量交通视频信息处理方法,其特征在于按照以下步骤进行:
1)将原视频文件解压为固定大小的视频帧图像,利用OpenCV库读取原始视频文件来获取视频文件包含的所有单帧图像;
2)将解压后的单帧图像按照固定帧数来压缩成小的视频文件;以3000帧为固定帧数来压缩单帧图像得到新的待合并视频文件,对于重新压缩后数据量大于64MB的视频文件,以起始固定帧数的一半即1500帧为固定帧数重复步骤1)、2)得到更小的视频文件;
3)对重新压缩得到的所有视频文件按照数据量大小进行排序,两两进行合并,待合并的两个视频文件分别取自最大的视频文件和最小的视频文件;待合并的两个视频文件分别取自最大的视频文件和最小的视频文件,选取依据是数据量之和尽量接近128M;
4)使用Xuggler来对分布式文件***上的交通视频文件进行编解码操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811200140.8A CN109168008B (zh) | 2018-10-16 | 2018-10-16 | 一种基于云分布式海量交通视频信息处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811200140.8A CN109168008B (zh) | 2018-10-16 | 2018-10-16 | 一种基于云分布式海量交通视频信息处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109168008A CN109168008A (zh) | 2019-01-08 |
CN109168008B true CN109168008B (zh) | 2021-06-08 |
Family
ID=64878131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811200140.8A Active CN109168008B (zh) | 2018-10-16 | 2018-10-16 | 一种基于云分布式海量交通视频信息处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109168008B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5442390A (en) * | 1993-07-07 | 1995-08-15 | Digital Equipment Corporation | Video on demand with memory accessing and or like functions |
CN102333219A (zh) * | 2011-10-19 | 2012-01-25 | 清华大学 | 一种云环境中基于独立视频帧的视频转码方法 |
CN103297807A (zh) * | 2013-06-21 | 2013-09-11 | 哈尔滨工业大学深圳研究生院 | 一种基于hadoop平台的提高视频转码效率的方法 |
CN104539978A (zh) * | 2014-12-19 | 2015-04-22 | 南京工业大学 | 一种云环境下的视频转码***方法 |
CN105338424A (zh) * | 2015-10-29 | 2016-02-17 | 努比亚技术有限公司 | 一种视频处理方法及*** |
-
2018
- 2018-10-16 CN CN201811200140.8A patent/CN109168008B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5442390A (en) * | 1993-07-07 | 1995-08-15 | Digital Equipment Corporation | Video on demand with memory accessing and or like functions |
CN102333219A (zh) * | 2011-10-19 | 2012-01-25 | 清华大学 | 一种云环境中基于独立视频帧的视频转码方法 |
CN103297807A (zh) * | 2013-06-21 | 2013-09-11 | 哈尔滨工业大学深圳研究生院 | 一种基于hadoop平台的提高视频转码效率的方法 |
CN104539978A (zh) * | 2014-12-19 | 2015-04-22 | 南京工业大学 | 一种云环境下的视频转码***方法 |
CN105338424A (zh) * | 2015-10-29 | 2016-02-17 | 努比亚技术有限公司 | 一种视频处理方法及*** |
Non-Patent Citations (1)
Title |
---|
基于云环境的网络监控视频解码的研究与应用;蒋春艳,王佳斌,郑力新;《微型机与应用》;20161031;36-39 * |
Also Published As
Publication number | Publication date |
---|---|
CN109168008A (zh) | 2019-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107886560B (zh) | 动画资源的处理方法及装置 | |
CN104754361B (zh) | 图像编码、解码方法及装置 | |
CN105120293B (zh) | 基于cpu和gpu的图像协同解码方法及装置 | |
US11049283B2 (en) | Lossless compression of fragmented image data | |
JP6360969B2 (ja) | 画像符号化、復号化方法、及び装置 | |
CN110728725B (zh) | 一种硬件友好的面向实时***无损纹理压缩方法 | |
CN112584155B (zh) | 一种视频数据处理方法和装置 | |
US20240105193A1 (en) | Feature Data Encoding and Decoding Method and Apparatus | |
KR102238091B1 (ko) | 3d 모델 압축 및 압축해제 시스템 및 방법 | |
CN113271467B (zh) | 一种支持高效编辑的超高清视频分层编解码方法 | |
CN106817584A (zh) | 一种基于fpga的mjpeg压缩实现方法和fpga | |
CN112290953B (zh) | 多道数据流的阵列编码装置和方法、阵列解码装置和方法 | |
CN109168008B (zh) | 一种基于云分布式海量交通视频信息处理方法 | |
CN112437325A (zh) | 一种8ksdi信号发生器实现方法 | |
CN114501029B (zh) | 图像编码、图像解码方法、装置、计算机设备和存储介质 | |
JP2017192080A (ja) | 画像圧縮装置、画像復号装置、画像圧縮方法及び画像圧縮プログラム | |
CN104506390A (zh) | 一种路测***日志存储方法及装置 | |
WO2022127565A1 (zh) | 一种视频处理方法、装置以及设备 | |
CN102129702B (zh) | 一种图像缩略图的制作方法及其*** | |
CN111263159A (zh) | 一种基于h.264压缩标准的逐帧剪辑优化方法 | |
CN112218082A (zh) | 一种基于可重构的多视频编码加速设计的方法及*** | |
CN105991951B (zh) | 一种视频参考帧数据存储的方法和设备 | |
Jasmine | META-HEURISTIC OPTIMISATION FOR OPTIMAL VIDEO QUALITY ENHANCEMENT. | |
CN113365065B (zh) | 用于rpa机器人屏幕录制的无损视频编码方法和解码方法 | |
CN112804562B (zh) | 基于片重组的视频编码方法、装置、终端及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |