CN108595639A - 一种基于NoSQL的生产实时海量数据处理*** - Google Patents
一种基于NoSQL的生产实时海量数据处理*** Download PDFInfo
- Publication number
- CN108595639A CN108595639A CN201810380322.1A CN201810380322A CN108595639A CN 108595639 A CN108595639 A CN 108595639A CN 201810380322 A CN201810380322 A CN 201810380322A CN 108595639 A CN108595639 A CN 108595639A
- Authority
- CN
- China
- Prior art keywords
- data
- production
- nosql
- creation
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于NoSQL的生产实时海量数据处理***，包括生产数据导入模块、生产数据共享模块、公告政策管理模块和***管理模块；所述生产数据导入模块为***提供数据来源；所述生产数据共享模块用于针对普通用户完成整个数据共享的流程和各项生产信息的查看，所述生产包括生产特性数据、图片数据、视频数据和生产厂家数据；所述公告政策管理模块用于针对超级管理员和普通管理员，完成生产共享数据的管理功能；所述***管理模块用于针对超级管理员完成对***用户添加或权限修改的管理功能；本处理***将NoSQL数据库MongoDB代替传统关系型数据在数据共享平台中的应用，利用MongoDB无“关系”的特点，提高数据共享平台数据录入以及查询的效率。
Description
技术领域
本发明涉及生产数据处理领域，特别涉及一种基于NoSQL的生产实时海量数据处理***。
背景技术
地球上的信息正在以惊人的速度增长，据统计，平均每一秒都有200万用户在使用搜索引擎，Facebook用户每天共享的东西超过40亿，微博每天处理的信息数量超过3.4亿。2011年全球共有1.8ZB的数据产生，能够填满的CD数据足以从地球连到月球，然而，这仅仅是信息“***”的开始，科技的进步和应用的普通使得信息可以产生于各种源头，社交网络、移动设备、传感器、各行各业不断产生的信息，使得数据正在以每年50％的量增长着。
不论是通过数据优化现存的业务和管理，还是发掘新兴的业务模式，大数据及新的数据技术史无前例的为企业打开了机会之门。可以为管理者提供更加精准的管理决策支撑数据，我们正处在21世纪，每一个业务都在产生着大量的数据，每一处都可以看到数据为我们带来的巨大价值。
在大数据时代，出现很多新的数据处理技术，如分布式缓存技术、NOSQL技术、云计算等等，这些技术的出现主要是针对实时、海量的数据处理，解决数据在“高可靠性、高可用性及一致性”的要求。基于生产实时的海量数据处理模型正是在当前大数据时代的背景下，在传统的基于实时数据库及关系数据库的基础上的数据处理进行创新，并根据生产管理企业对数据的集中、共享和服务的要求，为企业开发的一套海量生产实时数据的处理***。该***结合了当下最先进的海量数据处理技术，将企业对数据的管理过程(采集、处理、存储、分析)进行了整合，为企业的数据利用提供了一体化的解决方案。
目前许许多多的互联网企业，如淘宝、腾讯、微软等大型企业已广泛采用了分布式数据处理、分布式数据缓存、云计算及NOSQL技术来应对当前信息时代下的海量数据处理和分析，为用户提供更快、更精准的信息服务。原有技术存在以下缺点：1.支持的采集目标数据源单一，只能从固定数据源采集，并且针对每一种采集目标源，都需要部署不同的应用，不便于管理和维护。2.采集模块不能确保数据的准确性，并且不能提供有效的手段帮助用户发现错误或异常数据。3.对基础网络要求较高，在网络不稳定的情况下，数据传输不能确保数据的时序性，同时不支持实现离线数据缓存。4.只实现单纯的数据采集和传输过程，对于数据的预处理、计算、存储和共享需要额外的信息***支撑，且需要部署多个不同的应用。5.采用传统的关系型数据库或实时数据进行数据存储，数据的访问效率取决于数据库产品的及硬件的处理性能，数据量越大，数据的访问效率就越低。6.缺乏在数据分析和应用方面的技术支撑，不能帮助用户很好地从海量数据中发现并找到有价值的信息。
发明内容
有鉴于此，本发明的目的是将NoSQL数据库MongoDB代替传统关系型数据在数据共享平台中的应用，利用MongoDB无“关系”的特点，提高数据共享平台数据录入以及查询的效率。
本发明的基于NoSQL的生产实时海量数据处理***，包括生产数据导入模块、生产数据共享模块、公告政策管理模块和***管理模块；所述生产数据导入模块为***提供数据来源，通过管理员将相关生产数据录入到数据库中，并通过超级管理员对添加的数据进行审核，审核未通过时，需要普通管理员重新录入新的数据，审核通过之后，该数据就可以被检索到；所述生产数据共享模块用于针对普通用户完成整个数据共享的流程和各项生产信息的查看。所述生产包括生产特性数据、图片数据、视频数据和生产厂家数据；所述公告政策管理模块用于针对超级管理员和普通管理员，完成生产共享数据的管理功能；所述***管理模块用于针对超级管理员完成对***用户添加或权限修改的管理功能；
进一步，该***的构架层次包括表示层、业务逻辑层、数据层和数据资源层；所述表示层为用于界面，其采用ExJS和JQuery类库信息开发，通过Ajax与服务器端交互；所述业务逻辑层包括web服务器、以及数据共享管理所需的数据查询共享构件和用户权限构件；所述数据层用于向业务逻辑层提供底层数据库统一范围的接口；所述数据资源层集成异构数据源用于向上层提供数据；
进一步，所述生产数据共享模块针对普通用户提供以下四种检索方式：机械种类检索机械设备、根据功能检索机械设备、根据生产厂家检索机械设备和高级检索；
进一步，本***的数据通过上传Excel文件来维护机械数据，后台语言采用python，数据库采用MongoDB。
本发明的有益效果：本发明的基于NoSQL的生产实时海量数据处理***，将NoSQL数据库MongoDB代替传统关系型数据在数据共享平台中的应用，利用MongoDB无“关系”的特点，提高数据共享平台数据录入以及查询的效率，同时在研究了机械设备数据的特点的基础上，应用Python语言的web.py框架和非关系型数据库MongoDB，解决了生产数据格式复杂的问题，实现机械设备的发布和交互式使用，并可以有效整合相关生产数据。
附图说明
下面结合附图和实施例对本发明作进一步描述。
图1为本发明的功能模块结构图；
图2为本发明的平台体系结构图；
具体实施方式
图1为本发明的功能模块结构图，如图所示：本实施例的基于NoSQL的生产实时海量数据处理***，其包括四大功能模块，生产数据导入模块、生产数据共享模块、公告政策管理模块、***管理模块，图1为详细的功能模块划分。生产数据导入模块为***提供数据来源。普通管理员主要完成生产数据的添加、修改和删除功能。普通管理员首先需要将相关生产数据录入到数据库中，可以采用手动录入和文件导入的方式；手动录入就是普通管理员点击添加数据按钮之后，逐项添加需要录入的信息，适合数据量较少的情况；文件导入方式是普通管理员点击导入excel文件按钮之后，通过上传excel文件，一次添加大量数据，该方法适合数据量比较大，手动录入方式已经不再适用的情况。超级管理员主要任务是对添加的数据进行审核，审核未通过时，需要普通管理员重新录入新的数据，审核通过之后，该数据就可以被检索到。同时超级管理员还有创建用户和修改权限的权利。生产数据共享模块主要针对普通用户完成整个数据共享的流程和各项信息的查看。普通用户第一步是确定数据检索的策略，一共有四种检索策略，根据机械种类检索机械设备、根据功能检索机械设备、根据生产厂家检索机械设备和高级检索，在选择完检索策略之后，输入相关检索条件之后，提交。普通用户会得到该检索条件的结果列表，列表展示该类一般生产信息，点击一条生产数据的查看详细之后，会得到该条生产数据的详细信息，包括机械特性数据、图片数据、视频数据、生产厂家数据等。
公告政策管理模块主要针对超级管理员和普通管理员，主要完成生产共享数据平台门户新闻等内容的管理功能。超级管理员或普通管理员登录管理平台，在文章管理栏目中选择需要更新的文章类型，如行业资讯、政策法规等，点击添加按钮之后，出现添加文章信息的页面，在该页面上填写文章标题、添加日期以及文章的具体内容和图片信息，最后点击提交，添加到数据库之中。同时超级管理员或普通管理员还可以对文章进行删除和修改操作，具体步骤类似于添加操作。
***管理模块主要针对超级管理员，主要完成对***用户添加或权限修改的管理功能。超级管理员可以利用该模块，通过登录管理平台，选择***管理栏，在相应的页面中选择创建用户或者更改权限。
本***的平台采用的是python语言的web.py框架进行开发，采用与现在流行的MVC架构相对的MTC架构，MTC即是Model层、Template层以及Controller层；Model层主要是有关数据CRUD操作；Controller层主要是关于***的业务流程；Template层主要是用来进行展示用，web.py框架通过模板技术，简化表现层的开发，同时还可以支持多种模板替换引擎。
***结构的设计结合了B/S模式、Ajax、python、MongoDB以及各种开源框架，层次结构如图2，分别为：表示层、业务逻辑层、数据层和数据资源层。
1)表示层是用户界面层，WebUI采用ExtJS和JQuery类库进行开发，通过Ajax与服务器端交互，具有很强的交互性和用户友好性。用户通过Web浏览器来与服务器进行交互，获得自己所需的信息及实现饲草料机械数据管理、公告政策管理等功能。
2)业务逻辑层是***的核心层次，完成***的所有业务功能，主要包括Web服务器，同时还包括数据共享管理所需要的专业化的服务和构件，包括：数据查询共享构件、用户权限构件以及其他管理构件。
3)数据层是对底层数据库的抽象，是一个专注于数据操作的逻辑层面，向业务逻辑层提供对底层数据库访问的统一的接口。
4)数据资源层集成各种异构数据源向上层提供数据，是数据承载的实体。包括信息数据库、其他信息数据库以及各类文件。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种基于NoSQL的生产实时海量数据处理***，其特征在于：包括生产数据导入模块、生产数据共享模块、公告政策管理模块和***管理模块；
所述生产数据导入模块为***提供数据来源，通过管理员将相关生产数据录入到数据库中，并通过超级管理员对添加的数据进行审核，审核未通过时，需要普通管理员重新录入新的数据，审核通过之后，该数据就可以被检索到；
所述生产数据共享模块用于针对普通用户完成整个数据共享的流程和各项生产信息的查看，所述生产包括生产特性数据、图片数据、视频数据和生产厂家数据；
所述公告政策管理模块用于针对超级管理员和普通管理员，完成生产共享数据的管理功能；
所述***管理模块用于针对超级管理员完成对***用户添加或权限修改的管理功能。
2.根据权利要求1所述的基于NoSQL的生产实时海量数据处理***，其特征在于：该***的构架层次包括表示层、业务逻辑层、数据层和数据资源层；
所述表示层为用于界面，其采用ExJS和JQuery类库信息开发，通过Ajax与服务器端交互；
所述业务逻辑层包括web服务器、以及数据共享管理所需的数据查询共享构件和用户权限构件；
所述数据层用于向业务逻辑层提供底层数据库统一范围的接口；
所述数据资源层集成异构数据源用于向上层提供数据。
3.根据权利要求2所述的基于NoSQL的生产实时海量数据处理***，其特征在于：所述生产数据共享模块针对普通用户提供以下四种检索方式：机械种类检索机械设备、根据功能检索机械设备、根据生产厂家检索机械设备和高级检索。
4.根据权利要求3所述的基于NoSQL的生产实时海量数据处理***，其特征在于：本***的数据通过上传Excel文件来维护机械数据，后台语言采用python，数据库采用MongoDB。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810380322.1A CN108595639A (zh) | 2018-04-25 | 2018-04-25 | 一种基于NoSQL的生产实时海量数据处理*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810380322.1A CN108595639A (zh) | 2018-04-25 | 2018-04-25 | 一种基于NoSQL的生产实时海量数据处理*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108595639A true CN108595639A (zh) | 2018-09-28 |
Family
ID=63609826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810380322.1A Pending CN108595639A (zh) | 2018-04-25 | 2018-04-25 | 一种基于NoSQL的生产实时海量数据处理*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108595639A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114518907A (zh) * | 2022-01-27 | 2022-05-20 | 佰聆数据股份有限公司 | 一种可扩展的自助数据分析方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202795370U (zh) * | 2012-08-27 | 2013-03-13 | 湖南大唐先一科技有限公司 | 基于生产实时的海量数据处理*** |
| CN103763344A (zh) * | 2013-12-31 | 2014-04-30 | 湖南大唐先一科技有限公司 | 基于服务总线及消息驱动模式的通用数据共享平台 |
| CN104361424A (zh) * | 2014-10-11 | 2015-02-18 | 中国电子科技集团公司第十研究所 | 基于企业服务总线的主数据***集成方法 |
| CN104657918A (zh) * | 2015-01-21 | 2015-05-27 | 胡宝清 | 一种区域资源环境数据共享和综合服务平台 |
| CN104700227A (zh) * | 2015-03-23 | 2015-06-10 | 云南电网有限责任公司信息中心 | 一种县级供电企业供电所所务管理***平台 |
-
2018
- 2018-04-25 CN CN201810380322.1A patent/CN108595639A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202795370U (zh) * | 2012-08-27 | 2013-03-13 | 湖南大唐先一科技有限公司 | 基于生产实时的海量数据处理*** |
| CN103763344A (zh) * | 2013-12-31 | 2014-04-30 | 湖南大唐先一科技有限公司 | 基于服务总线及消息驱动模式的通用数据共享平台 |
| CN104361424A (zh) * | 2014-10-11 | 2015-02-18 | 中国电子科技集团公司第十研究所 | 基于企业服务总线的主数据***集成方法 |
| CN104657918A (zh) * | 2015-01-21 | 2015-05-27 | 胡宝清 | 一种区域资源环境数据共享和综合服务平台 |
| CN104700227A (zh) * | 2015-03-23 | 2015-06-10 | 云南电网有限责任公司信息中心 | 一种县级供电企业供电所所务管理***平台 |
Non-Patent Citations (1)
| Title |
|---|
| 苏坡等: "基于NoSQL数据库的饲草料生产机械设备数据共享平台的设计与实现", 《软件工程与应用》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114518907A (zh) * | 2022-01-27 | 2022-05-20 | 佰聆数据股份有限公司 | 一种可扩展的自助数据分析方法及*** |
| CN114518907B (zh) * | 2022-01-27 | 2023-11-03 | 佰聆数据股份有限公司 | 一种可扩展的自助数据分析方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11080279B2 (en) | Dynamic data management | |
| US10592474B2 (en) | Processing log files using a database system | |
| US10776336B2 (en) | Dynamic creation and maintenance of multi-column custom indexes for efficient data management in an on-demand services environment | |
| US10579691B2 (en) | Application programming interface representation of multi-tenant non-relational platform objects | |
| Gousios | The GHTorent dataset and tool suite | |
| US10339126B2 (en) | Processing log files using a database system | |
| US9647922B2 (en) | Computer implemented methods and apparatus for trials onboarding | |
| US8880522B2 (en) | Generating reports in an online services system | |
| US20180025113A1 (en) | Event detail processing at run-time | |
| US10652246B2 (en) | Security descriptors for record access queries | |
| US20180096024A1 (en) | Release management in a content management system | |
| US10579692B2 (en) | Composite keys for multi-tenant non-relational platform objects | |
| US11714811B2 (en) | Run-time querying of multi-tenant non-relational platform objects | |
| US10469438B2 (en) | Facilitating integration of collaborative communication platform and document collaboration tool | |
| US10599654B2 (en) | Method and system for determining unique events from a stream of events | |
| US11275806B2 (en) | Dynamic materialization of feeds for enabling access of the feed in an online social network | |
| US10642862B2 (en) | System and method for referencing master data in a multi-tenant application-platform-as-a-service architecture | |
| US20200136938A1 (en) | Generating events from host based logging for consumption by a network logging host | |
| US11003662B2 (en) | Trigger-free asynchronous maintenance of custom indexes and skinny performance meta-structures | |
| US20240104630A1 (en) | Generation of recommendations from dynamically-mapped data | |
| Faridoon et al. | Big Data Storage Tools Using NoSQL Databases and Their Applications in Various Domains: A Systematic Review. | |
| Alvord et al. | Big data fabric architecture: How big data and data management frameworks converge to bring a new generation of competitive advantage for enterprises | |
| CN108595639A (zh) | 一种基于NoSQL的生产实时海量数据处理*** | |
| US10545962B2 (en) | Relational database instruction validation | |
| Cuiyuan | A method of public opinion analysis in big data environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180928 |
|
| RJ01 | Rejection of invention patent application after publication |