CN109842797B - 大数据编码方法及计算机可读存储介质 - Google Patents
大数据编码方法及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109842797B CN109842797B CN201811625236.9A CN201811625236A CN109842797B CN 109842797 B CN109842797 B CN 109842797B CN 201811625236 A CN201811625236 A CN 201811625236A CN 109842797 B CN109842797 B CN 109842797B
- Authority
- CN
- China
- Prior art keywords
- avc
- entropy coding
- configurable
- interface
- arithmetic coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种大数据编码方法，所述方法包括使用可配置熵编码平台以在大数据服务器视频帧供应的情况下实现可配置熵编码，所述可配置熵编码平台包括大数据服务器等部件。本发明还涉及一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序在被执行时实现本发明所述方法的各个步骤。通过本发明，能够引入大数据服务器用于实现快速读出操作。
Description
技术领域
本发明涉及大数据领域，尤其涉及大数据编码方法及计算机可读存储介质。
背景技术
从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。
大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。他的特色在于对海量数据的挖掘，但他必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
发明内容
为了解决目前AVC熵编码存储模式落后的技术问题，本发明提供了一种大数据编码方法及计算机可读存储介质。
本发明具备以下几处重要的发明点：
（1）能够建立基于本端数据测量和附近数据测量的压力分析机制，在所述压力分析机制中引入了距离配置策略，提高了相关压力数值的估算精度；
（2）根据关联设备的输出接口的端子使用情况，自适应调整宏块行存储器的工作模式和读出控制设备的运算复杂度，以进一步优化***内部性能；
（3）引入大数据服务器用于存储待编码的各个视频帧，通过网络与AVC熵编码结构连接，用于便于所述AVC熵编码结构的读出控制设备控制各个视频帧的读出操作。
根据本发明的一方面，提供一种AVC可配置熵编码方法，所述方法包括使用AVC可配置熵编码平台以在大数据服务器视频帧供应的情况下实现AVC的可配置熵编码，所述AVC可配置熵编码平台包括：
大数据服务器，用于存储待编码的各个视频帧，通过网络与AVC熵编码结构连接，用于便于所述AVC熵编码结构的读出控制设备控制各个视频帧的读出操作；
AVC熵编码结构，包括读出控制设备、宏块行存储器、上下文计算设备和算术编码设备，所述上下文计算设备和所述算术编码设备连接。
更具体地，在所述AVC可配置熵编码平台中：
所述读出控制设备、所述宏块行存储器、所述上下文计算设备和所述算术编码设备分别采用不同型号的可编程逻辑器件来实现。
更具体地，在所述AVC可配置熵编码平台中，所述平台还包括：
参数配置设备，用于基于所述上下文计算设备的实时数据处理速率设定单位时间内提供给所述算术编码设备进行处理的数据量；
在所述参数配置设备中，所述上下文计算设备的实时数据处理速率越小，设定的单位时间内提供给所述算术编码设备进行处理的数据量越少；
第一端子分析设备，与上下文计算设备的输出接口连接，用于检测上下文计算设备的输出接口当前使用端子的数量，以作为第一接口端子总数输出；
第二端子分析设备，与算术编码设备的输出接口连接，用于检测算术编码设备的输出接口当前使用端子的数量，以作为第二接口端子总数输出；
SOC控制芯片，分别与所述第一端子分析设备和所述第二端子分析设备连接，设置在上下文计算设备和算术编码设备的中间位置，用于接收所述第一接口端子总数和所述第二接口端子总数，并将第一接口端子总数和第一系数相乘以获得第一乘积，将第二接口端子总数和第二系数相乘以获得第二乘积，将所述第一乘积和所述第二乘积相加所获得的参考端子数量输出；
省电处理设备，分别与SOC控制芯片和宏块行存储器连接，用于在接收到的参考端子数量超限时，控制所述宏块行存储器从省电模式计入非省电模式，还用于在接收到的参考端子数量未超限时，控制所述宏块行存储器从非省电模式计入省电模式；
复杂度调整设备，分别与SOC控制芯片和读出控制设备连接，用于在接收到的参考端子数量超限时，控制所述读出控制设备以提高其运算复杂度以获得精度更高的结果数据；
其中，在所述SOC控制芯片中，所述第一系数和所述第二系数的大小不同，所述第一系数和所述第二系数之和为1。
更具体地，在所述AVC可配置熵编码平台中，所述平台还包括：GPRS通信接口，与所述数据设置设备连接，用于通过GPRS通信网络向配置服务器请求配置策略以获得加密后的配置策略。
更具体地，在所述AVC可配置熵编码平台中：所述GPRS通信接口还用于对所述加密后的配置策略进行解密操作。
更具体地，在所述AVC可配置熵编码平台中：所述复杂度调整设备还用于在接收到的参考端子数量未超限时，控制所述读出控制设备以维持其当前运算复杂度。
更具体地，在所述AVC可配置熵编码平台中：在所述GPRS通信接口中，所述配置策略用于基于所述设备间距确定所述外壳检测设备的外壳压力数值的影响因子以及所述侧面检测设备的侧面压力数值的影响因子。
根据本发明的又一方面，还提供了一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序在被执行时实现如上述的AVC可配置熵编码方法的各个步骤。
具体实施方式
下面将对本发明的实施方案进行详细说明。
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
在维克托•迈尔-舍恩伯格及肯尼斯•库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。
现有技术中，由于AVC视频帧数据具有数据复杂、数据量大的特点，因此在设计AVC视频帧输入输出接口时读出模式的设定难以选择，而大数据的数据处理模式有利于克服这一缺陷；同时，在视频读出***中各个设备由于都是芯片结构，缺乏高精度的压力估算机制，导致后续的设备监控缺乏必要且准确的参考数据。
为了克服上述不足，本发明搭建了一种AVC可配置熵编码方法，所述方法包括使用AVC可配置熵编码平台以在大数据服务器视频帧供应的情况下实现AVC的可配置熵编码。所述AVC可配置熵编码平台能够有效解决相应的技术问题。
根据本发明实施方案示出的AVC可配置熵编码平台包括：
大数据服务器，用于存储待编码的各个视频帧，通过网络与AVC熵编码结构连接，用于便于所述AVC熵编码结构的读出控制设备控制各个视频帧的读出操作；
AVC熵编码结构，包括读出控制设备、宏块行存储器、上下文计算设备和算术编码设备，所述上下文计算设备和所述算术编码设备连接。
接着，继续对本发明的AVC可配置熵编码平台的具体结构进行进一步的说明。
所述AVC可配置熵编码平台中：
所述读出控制设备、所述宏块行存储器、所述上下文计算设备和所述算术编码设备分别采用不同型号的可编程逻辑器件来实现。
所述AVC可配置熵编码平台中还可以包括：
参数配置设备，用于基于所述上下文计算设备的实时数据处理速率设定单位时间内提供给所述算术编码设备进行处理的数据量；
在所述参数配置设备中，所述上下文计算设备的实时数据处理速率越小，设定的单位时间内提供给所述算术编码设备进行处理的数据量越少；
第一端子分析设备，与上下文计算设备的输出接口连接，用于检测上下文计算设备的输出接口当前使用端子的数量，以作为第一接口端子总数输出；
第二端子分析设备，与算术编码设备的输出接口连接，用于检测算术编码设备的输出接口当前使用端子的数量，以作为第二接口端子总数输出；
SOC控制芯片，分别与所述第一端子分析设备和所述第二端子分析设备连接，设置在上下文计算设备和算术编码设备的中间位置，用于接收所述第一接口端子总数和所述第二接口端子总数，并将第一接口端子总数和第一系数相乘以获得第一乘积，将第二接口端子总数和第二系数相乘以获得第二乘积，将所述第一乘积和所述第二乘积相加所获得的参考端子数量输出；
省电处理设备，分别与SOC控制芯片和宏块行存储器连接，用于在接收到的参考端子数量超限时，控制所述宏块行存储器从省电模式计入非省电模式，还用于在接收到的参考端子数量未超限时，控制所述宏块行存储器从非省电模式计入省电模式；
复杂度调整设备，分别与SOC控制芯片和读出控制设备连接，用于在接收到的参考端子数量超限时，控制所述读出控制设备以提高其运算复杂度以获得精度更高的结果数据；
其中，在所述SOC控制芯片中，所述第一系数和所述第二系数的大小不同，所述第一系数和所述第二系数之和为1。
所述AVC可配置熵编码平台中还可以包括：
GPRS通信接口，与所述数据设置设备连接，用于通过GPRS通信网络向配置服务器请求配置策略以获得加密后的配置策略。
所述AVC可配置熵编码平台中：
所述GPRS通信接口还用于对所述加密后的配置策略进行解密操作。
所述AVC可配置熵编码平台中：
所述复杂度调整设备还用于在接收到的参考端子数量未超限时，控制所述读出控制设备以维持其当前运算复杂度。
所述AVC可配置熵编码平台中：
在所述GPRS通信接口中，所述配置策略用于基于所述设备间距确定所述外壳检测设备的外壳压力数值的影响因子以及所述侧面检测设备的侧面压力数值的影响因子。
同时，为了克服上述不足，本发明还搭建了一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序在被执行时实现如上述的AVC可配置熵编码方法的各个步骤。
另外，System on Chip，简称SOC，也即片上***。从狭义角度讲，他是信息***核心的芯片集成，是将***关键部件集成在一块芯片上；从广义角度讲，SOC是一个微小型***，如果说中央处理器（CPU）是大脑，那么SOC就是包括大脑、心脏、眼睛和手的***。国内外学术界一般倾向将SOC定义为将微处理器、模拟IP核、数字IP核和存储器（或片外存储控制接口）集成在单一芯片上，他通常是客户定制的，或是面向特定用途的标准产品。
SOC定义的基本内容主要在两方面：其一是他的构成，其二是他形成过程。***级芯片的构成可以是***级芯片控制逻辑模块、微处理器/微控制器CPU 内核模块、数字信号处理器DSP模块、嵌入的存储器模块、和外部进行通讯的接口模块、含有ADC /DAC 的模拟前端模块、电源提供和功耗管理模块，对于一个无线SOC还有射频前端模块、用户定义逻辑（他可以由FPGA 或ASIC实现）以及微电子机械模块，更重要的是一个SOC 芯片内嵌有基本软件（RDOS或COS以及其他应用软件）模块或可载入的用户软件等。
采用本发明的AVC可配置熵编码平台、方法及存储介质，针对现有技术中AVC熵编码存储模式落后的技术问题，通过建立基于本端数据测量和附近数据测量的压力分析机制，在所述压力分析机制中引入了距离配置策略，提高了相关压力数值的估算精度；还根据关联设备的输出接口的端子使用情况，自适应调整宏块行存储器的工作模式和读出控制设备的运算复杂度，以进一步优化***内部性能；以及引入大数据服务器用于存储待编码的各个视频帧，通过网络与AVC熵编码结构连接，用于便于所述AVC熵编码结构的读出控制设备控制各个视频帧的读出操作。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：只读内存（英文：Read-Only Memory，简称：ROM）、随机存取存储器（英文：Random Access Memory，简称：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (3)
1.一种AVC可配置熵编码方法，所述方法包括使用AVC可配置熵编码平台以在大数据服务器视频帧供应的情况下实现AVC的可配置熵编码，其特征在于，所述AVC可配置熵编码平台包括：
大数据服务器，用于存储待编码的各个视频帧，通过网络与AVC熵编码结构连接，用于便于所述AVC熵编码结构的读出控制设备控制各个视频帧的读出操作；
AVC熵编码结构，包括读出控制设备、宏块行存储器、上下文计算设备和算术编码设备，所述上下文计算设备和所述算术编码设备连接；
所述读出控制设备、所述宏块行存储器、所述上下文计算设备和所述算术编码设备分别采用不同型号的可编程逻辑器件来实现；
参数配置设备，用于基于所述上下文计算设备的实时数据处理速率设定单位时间内提供给所述算术编码设备进行处理的数据量；
在所述参数配置设备中，所述上下文计算设备的实时数据处理速率越小，设定的单位时间内提供给所述算术编码设备进行处理的数据量越少；
第一端子分析设备，与上下文计算设备的输出接口连接，用于检测上下文计算设备的输出接口当前使用端子的数量，以作为第一接口端子总数输出；
第二端子分析设备，与算术编码设备的输出接口连接，用于检测算术编码设备的输出接口当前使用端子的数量，以作为第二接口端子总数输出；
SOC控制芯片，分别与所述第一端子分析设备和所述第二端子分析设备连接，设置在上下文计算设备和算术编码设备的中间位置，用于接收所述第一接口端子总数和所述第二接口端子总数，并将第一接口端子总数和第一系数相乘以获得第一乘积，将第二接口端子总数和第二系数相乘以获得第二乘积，将所述第一乘积和所述第二乘积相加所获得的参考端子数量输出；
省电处理设备，分别与SOC控制芯片和宏块行存储器连接，用于在接收到的参考端子数量超限时，控制所述宏块行存储器从省电模式计入非省电模式，还用于在接收到的参考端子数量未超限时，控制所述宏块行存储器从非省电模式计入省电模式；
复杂度调整设备，分别与SOC控制芯片和读出控制设备连接，用于在接收到的参考端子数量超限时，控制所述读出控制设备以提高其运算复杂度以获得精度更高的结果数据；
其中，在所述SOC控制芯片中，所述第一系数和所述第二系数的大小不同，所述第一系数和所述第二系数之和为1。
2.如权利要求1所述的方法，其特征在于：
所述复杂度调整设备还用于在接收到的参考端子数量未超限时，控制所述读出控制设备以维持其当前运算复杂度。
3.一种计算机可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序在被执行时实现如权利要求1所述方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811625236.9A CN109842797B (zh) | 2018-12-28 | 2018-12-28 | 大数据编码方法及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811625236.9A CN109842797B (zh) | 2018-12-28 | 2018-12-28 | 大数据编码方法及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109842797A CN109842797A (zh) | 2019-06-04 |
| CN109842797B true CN109842797B (zh) | 2020-04-24 |
Family
ID=66883506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811625236.9A Active CN109842797B (zh) | 2018-12-28 | 2018-12-28 | 大数据编码方法及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109842797B (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2879387B1 (fr) * | 2004-12-15 | 2007-04-27 | Tdf Sa | Procede de transmission a debit binaire variable a travers un canal de transmission. |
| WO2008072592A1 (ja) * | 2006-12-14 | 2008-06-19 | Nec Corporation | 映像符号化方法、映像符号化装置および映像符号化プログラム |
| CN107770528B (zh) * | 2016-08-19 | 2023-08-25 | 中兴通讯股份有限公司 | 视频播放方法及装置 |
-
2018
- 2018-12-28 CN CN201811625236.9A patent/CN109842797B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109842797A (zh) | 2019-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220294821A1 (en) | Risk control method, computer device, and readable storage medium | |
| CN111144511B (zh) | 基于神经网络的图像处理方法、***、介质及电子终端 | |
| CN104025669A (zh) | 在设备之间共享的机会主义资源 | |
| US11727419B2 (en) | Realtime busyness for places | |
| CN103716187B (zh) | 网络拓扑结构确定方法和*** | |
| Kim et al. | Signal strength-aware adaptive offloading with local image preprocessing for energy efficient mobile devices | |
| CN114070791B (zh) | 数据流量的限速处理方法及装置 | |
| CN106371546A (zh) | 一种整机柜功耗限制方法及装置 | |
| CN109164776B (zh) | 一种面向工业设备的分布式数据采集方法 | |
| CN109842797B (zh) | 大数据编码方法及计算机可读存储介质 | |
| CN111652486A (zh) | 一种业务指标的计算方法及装置 | |
| CN109870172A (zh) | 计步检测方法、装置、设备及存储介质 | |
| CN107729860B (zh) | 人脸识别计算方法及相关产品 | |
| CN103412867A (zh) | 一种基于3σ法则滤波装置及滤波算法 | |
| CN110111545A (zh) | 基于信号检测的消毒室警告***及方法 | |
| CN117081996A (zh) | 基于服务端实时反馈和软值的流量控制方法及相关设备 | |
| KR102209992B1 (ko) | 비콘 수신시간 제어 방법 및 이를 이용한 스테이션 | |
| CN108400888A (zh) | 一种日志处理方法、存储介质及终端设备 | |
| CN113449008B (zh) | 一种建模方法及装置 | |
| CN109618158A (zh) | 大数据编码平台 | |
| CN115175174A (zh) | 一种基于物联网平台实现探针设备管控***的方法 | |
| CN103996273A (zh) | Rfid电度表电能信息采集***及采集方法 | |
| WO2020020358A1 (zh) | 一种确定驻留时长的方法、装置、设备及存储介质 | |
| CN110337106A (zh) | 一种抗ssdf攻击的协作频谱感知方法、装置及*** | |
| CN109615728A (zh) | 基于大数据分析的行车记录平台及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200402 Address after: Hangzhou City, Zhejiang province 310052 Binjiang District River Street South Road No. 588 building, 17 storey main building, Hengxin 18 Applicant after: CCI (CHINA) Co.,Ltd. Address before: 211162 No. 70 Yinian Road, Binjiang Development Zone, Jiangning District, Nanjing City, Jiangsu Province Applicant before: Jin Aicong |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |