CN103034650A - 一种数据处理***和方法 - Google Patents
一种数据处理***和方法 Download PDFInfo
- Publication number
- CN103034650A CN103034650A CN2011103007259A CN201110300725A CN103034650A CN 103034650 A CN103034650 A CN 103034650A CN 2011103007259 A CN2011103007259 A CN 2011103007259A CN 201110300725 A CN201110300725 A CN 201110300725A CN 103034650 A CN103034650 A CN 103034650A
- Authority
- CN
- China
- Prior art keywords
- data
- user behavior
- result
- behavior
- inquiry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理***和方法。所述***包括：数据获取模块，用于将获取的数据发送给解析***；解析***从接收数据中解析出用户行为数据和非用户行为数据；用户行为数据库将用户行为数据以树形结构进行存储，得到用户行为数据树；网络数据库将非用户行为数据按其结构属性进行存储；键值缓存模块保存上述数据库中所保存数据的查询键值；数据缓存模块保存已查询过的查询键值以及对应的数据；查询模块解析在键值缓存模块中查找查询键值，不存在则返回非法查询提示，存在则在数据缓存模块中查询并返回给外部应用，或在所述的数据库中进行查询。本技术方案，提高了数据处理***的计算能力，且该***易于扩展，自动化程度高，更利于查询。
Description
技术领域
本发明涉及互联网技术领域，特别是涉及一种数据处理***和方法。
背景技术
在当今信息***的时代，通常需要对海量数据进行分析处理。例如互联网中的大型网站的数据分析，以及科学研究中的数据计算等。
一般的数据分析处理，使用高配置的关系型数据库进行数据的存储，依靠数据库本身的计算能力完成数据的清洗。当这种方式由于依靠关系型数据库，存在如下缺点：***负荷大，容易造成***的瓶颈，不易于升级以及扩展；对于TB级以上的数据计算能力差；原始数据的存储成本高，不利于利用和迁移；智能化操作少，人工参与度高；并且在关系数据表中，各条记录之间关联性较差，即同一用户的多个行为需要作为多条记录进行存储，使得用户与行为之间的关系比较松散，不利于分析统计多重行为的情况，不利于查询单个用户行为。
发明内容
本发明提供了一种数据处理***，该数据处理***的计算能力强、易于扩展、自动化程度高、利于查询。
本发明还提供了一种数据处理方法，提高了数据处理***的计算能力，且使得该***易于扩展，自动化程度高，更利于查询。
为达到上述目的，本发明的技术方案是这样实现的：
本发明公开了一种数据处理***，该***包括：数据获取模块、解析***、用户行为数据库、网络数据库、数据缓存模块、键值缓存模块和查询模块；
数据获取模块，用于接收第一类******实时推送的数据，以及对第二类******进行监控，当第二类******空闲时，从第二类******主动获取数据；将数据发送给解析***；
解析***，用于从所接收的数据中解析出用户行为数据和非用户行为数据；从所述用户行为数据中解析得到用户、行为和结果数据；并建立用户、行为和结果三者间的对应关系；其中结果为具体的行为内容；并将所述非用户行为数据根据所述网络数据库的结构属性进行解析；
用户行为数据库，用于将所述用户、行为和结果三者间的对应关系以树形结构进行存储，得到用户行为数据树；其中，“用户”为根节点，“行为”为根节点下的分支节点，“结果”为“行为”节点下的分支节点；
网络数据库，用于将所述非用户行为数据按所述结构属性进行存储；
键值缓存模块，用于保存用户行为数据库和网络数据库中所保存数据的查询键值；
数据缓存模块，用于保存已查询过的查询键值以及对应的数据；
查询模块，用于接收外部应用的查询请求，解析查询请求中的查询键值，在键值缓存模块中查询是否存在该查询键值，如果不存在则向外部应用返回非法查询的提示，如果存在则进一步在数据缓存模块中查询是否存在该查询键值以及对应的数据，是则将数据缓存中的对应数据返回给外部应用，否则在用户行为数据库和网络数据库中进行查询，将查询到的数据返回给外部应用。
本发明还公开了一种数据处理方法，该方法包括：
接收第一类******实时推送的数据，以及对第二类******进行监控，当第二类******空闲时，从第二类******主动获取数据；
从数据中解析出用户行为数据和非用户行为数据；从所述用户行为数据中解析得到用户、行为和结果数据；并建立用户、行为和结果三者间的对应关系；其中结果为具体的行为内容；并将所述非用户行为数据根据所述网络数据库的结构属性进行解析；
将所述用户、行为和结果三者间的对应关系以树形结构进行存储，得到用户行为数据树，并保存到用户行为数据库中；其中，“用户”为根节点，“行为”为根节点下的分支节点，“结果”为“行为”节点下的分支节点；
将所述非用户行为数据按所述结构属性存储到网络数据库中；
在键值缓存中缓存用户行为数据库和网络数据库中所保存数据的查询键值，以及在数据缓存中缓存已查询过的查询键值以及对应的数据；
当接收到外部应用的查询请求时，解析查询请求中的查询键值，在键值缓存中查询是否存在该查询键值，如果不存在则向外部应用返回非法查询的提示，如果存在则进一步在数据缓存中查询是否存在该查询键值以及对应的数据，是则将数据缓存中的对应数据返回给外部应用，否则在用户行为数据库和网络数据库中进行查询，将查询到的数据返回给外部应用。
由上述可见，本发明的数据处理***包括：数据获取模块，用于将获取的数据发送给解析***；解析***从接收数据中解析出用户行为数据和非用户行为数据；用户行为数据库将用户行为数据以树形结构进行存储，得到用户行为数据树；网络数据库将非用户行为数据按其结构属性进行存储；键值缓存模块保存上述数据库中所保存数据的查询键值；数据缓存模块保存已查询过的查询键值以及对应的数据；查询模块解析在键值缓存模块中查找查询键值，不存在则返回非法查询提示，存在则在数据缓存模块中查询并返回给外部应用，或在所述的数据库中进行查询。本技术方案，提高了数据处理***的计算能力，且该***易于扩展，自动化程度高，更利于查询。
附图说明
图1是现有技术中的已改进的数据分析处理***的示意图；
图2是本发明实施例中的一种数据处理***的组成结构示意图；
图3是本发明中的一个数据处理***、其******以及数据流向的示意图；
图4是本发明中的一种数据处理方法的流程图。
具体实施方式
在实施本发明过程中，发明人针对数据分析处理技术解决方案进行了***研究，针对数据分析处理方案，可以通过采用廉价的PC实现分布式的云计算，并且使用HIVE用来模拟关系型数据库的操作模式，具体如图1所示。
图1是一种改进的数据分析处理***的示意图。如图1所示：
1、数据接入平台定时将已接收的数据传输到hadoop的平台里面；
2、将数据传输完成的信息同步到数据平台的应用***。采用***的protoBuffer通讯方式通知数据平台；
3、数据平台的应用***根据接收到信息后从调度***中读取信息，判断是否开启调用Hive语句进行计算，以及调用的顺序；
4、Hive***根据接收到信息从mysql关系数据库中读取元数据和hadoop平台的数据进行关联；
5、Hive读取计算hadoop平台存储的数据并且生成结果文件；
6、将Hive计算生成的结果文件导入到mysql数据库中；
7、从MyS QL数据库中抽取部分数据放到memcache中；
8、数据展现平台从memcache中读取数据展现；
9、数据展现平台从MyS QL数据库中读取数据展现。
图1所示的方案，虽然有了一定的改进，但是思维定势的原因，继承了现有操作模式，导致了扩展性差；对于实时性的数据没有做特殊的处理，导致方案只适用于数据挖掘业务的部分领域；数据查询性能较差，***自动化程度不够。
为此本发明中给出了一种全新的数据处理***，以克服现有***存在的缺陷。
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
图2是本发明实施例中的一种数据处理***的组成结构示意图。如图2所示，该***包括：数据路由模块201、数据获取模块202、解析***203、用户行为数据库204、网络数据库205、数据缓存模块206、键值缓存模块207和查询模块208；其中，
数据获取模块202，用于接收第一类******实时推送的数据，以及对第二类******进行监控，当第二类******空闲时，从第二类******主动获取数据；将数据发送给解析***203；
具体来说，数据获取模块202，是通过数据路由模块201接收第一类******实时推送的数据，以及通过数据路由模块201从第二类******主动获取用户行为数据的；
数据路由模块201，用于将来自第一类******和第二类******的数据转换成符合本数据处理***的数据后传送给数据获取模块202；
解析***203，用于从所接收的数据中解析出用户行为数据和非用户行为数据；从所述用户行为数据中解析得到用户、行为和结果数据；并建立用户、行为和结果三者间的对应关系；其中结果为具体的行为内容；并将所述非用户行为数据根据所述网络数据库的结构属性进行解析；
其中，第一类******实时推送的数据中包含用户行为数据，用户行为数据的数据格式为“用户、行为和结果”格式的数据；而从第二类******获取的数据格式是多样的，解析***203需要对多种格式的用户行为数据进行解析，得到“用户、行为和结果”这样的统一格式的数据。
在本发明的一个实施例中，所述解析***203为Hadoop集群***，采用greenplum计算方式。
用户行为数据库204，用于将所述用户、行为和结果三者间的对应关系以树形结构进行存储，得到用户行为数据树；其中，“用户”为根节点，“行为”为根节点下的分支节点，“结果”为“行为”节点下的分支节点；
网络数据库205，用于将所述非用户行为数据按所述结构属性进行存储；
键值缓存模块207，用于保存用户行为数据库和网络数据库中所保存数据的查询键值；
数据缓存模块206，用于保存已查询过的查询键值以及对应的数据；
查询模块208，用于接收外部应用的查询请求，解析查询请求中的查询键值，在键值缓存模块207中查询是否存在该查询键值，如果不存在则向外部应用返回非法查询的提示，如果存在则进一步在数据缓存模块206中查询是否存在该查询键值以及对应的数据，是则将数据缓存中的对应数据返回给外部应用，否则在用户行为数据库204和网络数据库205中进行查询，将查询到的数据返回给外部应用。
在图2所示的***中，
所述数据获取模块202，通过服务接口方式接收第一类******实时推送的数据；
所述数据获取模块202，用于对应用日志***、应用***备份库和网络爬虫***进行监控，当这些***空闲时，从其主动获取数据。
如图2所示，该***还包括数据分析模块209，用于遍历所述用户行为数据库204中的用户行为数据树和/或查询网络数据库205中的非用户行为数据的结构属性，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算。
所述数据分析模209块包括：用户行为数量统计单元2091，用于遍历所述用户行为数据树，查询并定位各行为对应的结果，统计各行为对应结果的数量，并建立行为、结果和数量间的对应关系；
所述用户行为数据库204还包括：结果存储单元，用于将行为、结果和数量间的对应关系以树形结构进行存储，得到用户行为数量树；其中，“行为”为根节点，“结果”为根节点下的分支节点，“数量”为“结果”节点下的分支节点。在图2中没有画出用户行为数据库204中的结果存储单元。
在图2所示的***中，
所述数据分析模块209还包括：查询分析单元2092，用于当所述查询模块208在数据缓存206中没查询到所述查询键值及对应的数据时，根据所述查询模块208解析得到的查询键值，遍历所述用户行为数据树和/或查询非用户行为数据的结构属性，定位预分析数据；对所述预分析数据根据所述查询请求进行分析计算；将分析计算结果存储在用户行为数据库204和/或网络数据库205中；以便所述查询模块208在所述用户行为数据库204和/或网络数据库205中查询得到查询结果返回给外部应用。
在图2所示的***中，所述数据分析模块209，具体包括多个用数据分析子模块2093，以分布式方式设置在多个设备上，各数据分析子模块2093用于采用分布式计算方式遍历所述用户行为数据树和/或查询非用户行为数据的结构属性，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算；
和/或，所述用户行为数据库204以分布式存储方式存储数据。
在本发明的一个实施例中，例如对大型网站的用户访问行为进行统计的分析的应用中，本发明中给出的数据处理***：可以调用服务接口来获得实时数据，对于应用日志***、应用***备份库和网络爬虫***进行监控，在其空闲时，主动获取其数据。解析***采用Hadoop集群，并采用greenplun计算。用户行为数据库采用非关系型NOSQL数据库，网络数据库采用关系型数据库。则这样的***可如图3所示。
图3是本发明中的一个数据处理***、其******以及数据流向的示意图。如图3所示，可以针对服务接口、应用日志、备份库及网络爬虫等多种数据源中获取数据，并经数据路由、Hadoop集群/greenplum计算等处理后，将经处理的数据根据其类型分别放置在NOSQL数据库和关系型数据库中，并建立键值缓存和数据缓存。SQL路由器接收到外部应用请求(如用户查询某个指标的统计结果等)后，解析该请求内容，并在键值缓存中查询是否存在此类查询，如果没有则返回非法查询。如果存在则，继续在数据库或数据缓存中查询相应的数据(比如标准的SQL语句查询)。
在图3所示的***中：
1、除了通过原始的各***推送数据的方式以为，增加了服务接口调用，应用日志，各应用***备份库，网络爬虫等多种渠道的数据源。其中，对于应用日志，各应用***备份库，网络爬虫等的应用服务器的资源进行监控，只有当应用服务器处于闲时才进行数据的同步，这避免了应用之间对***资源的争抢，提高了***利用率；通过服务接口调用获取实时数据，实现支持实时数据的处理，是数据更准确、更及时。
2、通过数据路由模块转换***数据为***可用数据。
3、数据进入Hadoop集群后，使用greenplum进行计算比现有方案的hive或者mapReduce速度要快3-4倍。
a、通过计算把高扩展性的数据采用树形结构放到NOSQL数据库中，此方案相比于现有的采用关系型数据库的方案，由于NOSQL数据库没有表的感念，不需要预先创建字段，所以当有新的属性加入时不需要重新构建表，增强了扩展性。并且提供了用户自定义属性的功能，使***更加智能。
b、对于常用指标计算结果进入关系型数据库。
4、缓存所有可能出现的查询键值到键值缓存中。使用此方法可以避免由于外部应用对不存在的数据进行查询而对数据处理***造成的压力。并且在数据缓存中缓存已查询过的数据，这减小了数据库的压力，且比从数据库中查询数据的速度要高出10倍以上，从而保证了对高并发图形展示的支持。
5、由于***采用了SQL路由器，该SQL路由器向外部应用开放接口，用于接收用户的查询条件，SQL路由器接收到用户的查询条件后，可以解析外部应用自定义查询的条件得到查询键值，首先在键值缓存中查询是否存在该查询键值，如果不存在直接返回非法查询提示，如果存在，则在数据缓存中实现具体查询(同理，若数据缓存中未查到，再到NOSQL数据库/关系型数据库中进行查询)，并将查询结果反馈给用户。相对于现有的用户提出需求被动开发的模式，更加智能，更具灵活性。
由上述可见在本发明的数据处理***中，由于采用树结构对用户行为数据进行管理，且采用数据缓存模块存储已查询过的内容，并且，采用greenplum计算方式，大大提高了运算速度。综合上述诸多原因，本发明可以支持查询条件灵活设置，根据查询条件实现快速定位查找，以及在必要时随时计算获得需要的查询结果，可支持的查询方式更加灵活。解决了现有技术中仅能查询***设置好的分析结果，不灵活的问题，进一步提高用户体验及应用场景。
图4是本发明中的一种数据处理方法的流程图。如图4所示，该方法包括：
401，接收第一类******实时推送的数据，以及对第二类******进行监控，当第二类******空闲时，从第二类******主动获取数据。
402，从数据中解析出用户行为数据和非用户行为数据；从所述用户行为数据中解析得到用户、行为和结果数据；并建立用户、行为和结果三者间的对应关系；其中结果为具体的行为内容；并将所述非用户行为数据根据所述网络数据库的结构属性进行解析。
403，将所述用户、行为和结果三者间的对应关系以树形结构进行存储，得到用户行为数据树，并保存到用户行为数据库中；其中，“用户”为根节点，“行为”为根节点下的分支节点，“结果”为“行为”节点下的分支节点。
404，将所述非用户行为数据按所述结构属性存储到网络数据库中。
405，在键值缓存中缓存用户行为数据库和网络数据库中所保存数据的查询键值，以及在数据缓存中缓存已查询过的查询键值以及对应的数据。
406，当接收到外部应用的查询请求时，解析查询请求中的查询键值，在键值缓存中查询是否存在该查询键值，如果不存在则向外部应用返回非法查询的提示，如果存在则进一步在数据缓存中查询是否存在该查询键值以及对应的数据，是则将数据缓存中的对应数据返回给外部应用，否则在用户行为数据库和网络数据库中进行查询，将查询到的数据返回给外部应用。
在上述方法中，
所述接收第一类******实时推送的数据包括：通过服务接口方式接收第一类******实时推送的数据；
所述第二类******包括：应用日志***、应用***备份库和网络爬虫***。
该方法进一步包括：遍历所述用户行为数据树和/或查询非用户行为数据的结构属性，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算；
所述遍历所述用户行为数据树，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算包括：
遍历所述用户行为数据树，查询并定位各行为对应的结果，统计各行为对应结果的数量，并建立行为、结果和数量间的对应关系，将行为、结果和数量间的对应关系以树形结构进行存储，得到用户行为数量树；其中，“行为”为根节点，“结果”为根节点下的分支节点，“数量”为“结果”节点下的分支节点。
综上所述，本发明的数据处理***包括：数据获取模块，用于将获取的数据发送给解析***；解析***从接收数据中解析出用户行为数据和非用户行为数据；用户行为数据库将用户行为数据以树形结构进行存储，得到用户行为数据树；网络数据库将非用户行为数据按其结构属性进行存储；键值缓存模块保存上述数据库中所保存数据的查询键值；数据缓存模块保存已查询过的查询键值以及对应的数据；查询模块解析在键值缓存模块中查找查询键值，不存在则返回非法查询提示，存在则在数据缓存模块中查询并返回给外部应用，或在所述的数据库中进行查询。本技术方案，提高了数据处理***的计算能力，且该***易于扩展，自动化程度高，更利于查询。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种数据处理***，其特征在于，该***包括：数据获取模块、解析***、用户行为数据库、网络数据库、数据缓存模块、键值缓存模块和查询模块；
数据获取模块，用于接收第一类******实时推送的数据，以及对第二类******进行监控，当第二类******空闲时，从第二类******主动获取数据；将数据发送给解析***；
解析***，用于从所接收的数据中解析出用户行为数据和非用户行为数据；从所述用户行为数据中解析得到用户、行为和结果数据；并建立用户、行为和结果三者间的对应关系；其中结果为具体的行为内容；并将所述非用户行为数据根据所述网络数据库的结构属性进行解析；
用户行为数据库，用于将所述用户、行为和结果三者间的对应关系以树形结构进行存储，得到用户行为数据树；其中，“用户”为根节点，“行为”为根节点下的分支节点，“结果”为“行为”节点下的分支节点；
网络数据库，用于将所述非用户行为数据按所述结构属性进行存储；
键值缓存模块，用于保存用户行为数据库和网络数据库中所保存数据的查询键值；
数据缓存模块，用于保存已查询过的查询键值以及对应的数据；
查询模块，用于接收外部应用的查询请求，解析查询请求中的查询键值，在键值缓存模块中查询是否存在该查询键值，如果不存在则向外部应用返回非法查询的提示，如果存在则进一步在数据缓存模块中查询是否存在该查询键值以及对应的数据，是则将数据缓存中的对应数据返回给外部应用，否则在用户行为数据库和网络数据库中进行查询，将查询到的数据返回给外部应用。
2.根据权利要求1所述的***，其特征在于，该***进一步包括：数据路由模块；
所述数据获取模块，用于通过数据路由模块接收第一类******实时推送的数据，以及通过数据路由模块从第二类******主动获取用户行为数据；
数据路由模块，用于将来自第一类******和第二类******的数据转换成符合本数据处理***的数据后传送给数据获取模块。
3.根据权利要求1或2所述的***，其特征在于，
所述数据获取模块，通过服务接口方式接收第一类******实时推送的数据；
所述数据获取模块，用于对应用日志***、应用***备份库和网络爬虫***进行监控，当这些***空闲时，从其主动获取数据。
4.根据权利要求1或2所述的***，其特征在于，所述***还包括数据分析模块，用于遍历所述用户行为数据树和/或查询非用户行为数据的结构属性，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算。
5.根据权利要求4所述的***，其特征在于，
所述数据分析模块包括：用户行为数量统计单元，用于遍历所述用户行为数据树，查询并定位各行为对应的结果，统计各行为对应结果的数量，并建立行为、结果和数量间的对应关系；
所述用户行为数据库还包括：
结果存储单元，用于将行为、结果和数量间的对应关系以树形结构进行存储，得到用户行为数量树；其中，“行为”为根节点，“结果”为根节点下的分支节点，“数量”为“结果”节点下的分支节点。
6.根据权利要求4所述的***，其特征在于，
所述数据分析模块还包括：查询分析单元，用于当所述查询模块在数据缓存中没查询到所述查询键值及对应的数据时，根据所述查询模块解析得到的查询键值，遍历所述用户行为数据树和/或查询非用户行为数据的结构属性，定位预分析数据；对所述预分析数据根据所述查询请求进行分析计算；将分析计算结果存储在用户行为数据库和/或网络数据库中；以便所述查询模块在所述用户行为数据库和/或网络数据库中查询得到查询结果返回给外部应用。
7.根据权利要求4所述的***，其特征在于，
所述数据分析模块，具体包括多个数据分析子模块，以分布式方式设置在多个设备上，各数据分析子模块用于采用分布式计算方式遍历所述用户行为数据树和/或查询非用户行为数据的结构属性，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算；
和/或，所述用户行为数据库以分布式存储方式存储数据。
8.一种数据处理方法，其特征在于，该方法包括：
接收第一类******实时推送的数据，以及对第二类******进行监控，当第二类******空闲时，从第二类******主动获取数据；
从数据中解析出用户行为数据和非用户行为数据；从所述用户行为数据中解析得到用户、行为和结果数据；并建立用户、行为和结果三者间的对应关系；其中结果为具体的行为内容；并将所述非用户行为数据根据所述网络数据库的结构属性进行解析；
将所述用户、行为和结果三者间的对应关系以树形结构进行存储，得到用户行为数据树，并保存到用户行为数据库中；其中，“用户”为根节点，“行为”为根节点下的分支节点，“结果”为“行为”节点下的分支节点；
将所述非用户行为数据按所述结构属性存储到网络数据库中；
在键值缓存中缓存用户行为数据库和网络数据库中所保存数据的查询键值，以及在数据缓存中缓存已查询过的查询键值以及对应的数据；
当接收到外部应用的查询请求时，解析查询请求中的查询键值，在键值缓存中查询是否存在该查询键值，如果不存在则向外部应用返回非法查询的提示，如果存在则进一步在数据缓存中查询是否存在该查询键值以及对应的数据，是则将数据缓存中的对应数据返回给外部应用，否则在用户行为数据库和网络数据库中进行查询，将查询到的数据返回给外部应用。
9.根据权利要求8所述的***，其特在于，
所述接收第一类******实时推送的数据包括：通过服务接口方式接收第一类******实时推送的数据；
所述第二类******包括：应用日志***、应用***备份库和网络爬虫***。
10.根据权利要求8或9所述的方法，其特征在于，该方法进一步包括：遍历所述用户行为数据树和/或查询非用户行为数据的结构属性，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算；
所述遍历所述用户行为数据树，根据分析需求查询并定位预分析数据，对所述预分析数据进行分析计算包括：
遍历所述用户行为数据树，查询并定位各行为对应的结果，统计各行为对应结果的数量，并建立行为、结果和数量间的对应关系，将行为、结果和数量间的对应关系以树形结构进行存储，得到用户行为数量树；其中，“行为”为根节点，“结果”为根节点下的分支节点，“数量”为“结果”节点下的分支节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110300725.9A CN103034650B (zh) | 2011-09-29 | 2011-09-29 | 一种数据处理***和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110300725.9A CN103034650B (zh) | 2011-09-29 | 2011-09-29 | 一种数据处理***和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103034650A true CN103034650A (zh) | 2013-04-10 |
| CN103034650B CN103034650B (zh) | 2015-10-28 |
Family
ID=48021552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110300725.9A Active CN103034650B (zh) | 2011-09-29 | 2011-09-29 | 一种数据处理***和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103034650B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514273A (zh) * | 2013-09-17 | 2014-01-15 | 宁波东冠科技有限公司 | 数据采集和监视控制***及该***的数据处理方法 |
| CN104346345A (zh) * | 2013-07-24 | 2015-02-11 | 中兴通讯股份有限公司 | 数据的存储方法及装置 |
| CN105760548A (zh) * | 2016-03-21 | 2016-07-13 | 武汉烽火众智数字技术有限责任公司 | 一种基于大数据跨域比对的车辆首次出现分析方法及*** |
| WO2017032240A1 (zh) * | 2015-08-24 | 2017-03-02 | 阿里巴巴集团控股有限公司 | 移动终端的数据存储方法和装置 |
| CN107798037A (zh) * | 2017-04-26 | 2018-03-13 | 平安科技（深圳）有限公司 | 用户特征数据的获取方法及服务器 |
| CN112182340A (zh) * | 2019-07-01 | 2021-01-05 | ***通信集团浙江有限公司 | 物联网信息查询方法、订阅方法、装置及电子设备 |
| CN114020850A (zh) * | 2022-01-05 | 2022-02-08 | 深圳市明源云科技有限公司 | 数据库数据同步方法、装置、设备及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101170426A (zh) * | 2006-10-25 | 2008-04-30 | 马永利 | 基于用户行为(习惯)分析的个性化内容发布方案 |
| CN101409690A (zh) * | 2008-11-26 | 2009-04-15 | 北京学之途网络科技有限公司 | 一种互联网用户行为的获取方法和*** |
| US20090313086A1 (en) * | 2008-06-16 | 2009-12-17 | Sungkyunkwan University Foundation For Corporate Collaboration | User recommendation method and recorded medium storing program for implementing the method |
| CN102111453A (zh) * | 2011-03-04 | 2011-06-29 | 创博亚太科技（山东）有限公司 | 一种提取互联网用户网络行为的方法和*** |
-
2011
- 2011-09-29 CN CN201110300725.9A patent/CN103034650B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101170426A (zh) * | 2006-10-25 | 2008-04-30 | 马永利 | 基于用户行为(习惯)分析的个性化内容发布方案 |
| US20090313086A1 (en) * | 2008-06-16 | 2009-12-17 | Sungkyunkwan University Foundation For Corporate Collaboration | User recommendation method and recorded medium storing program for implementing the method |
| CN101409690A (zh) * | 2008-11-26 | 2009-04-15 | 北京学之途网络科技有限公司 | 一种互联网用户行为的获取方法和*** |
| CN102111453A (zh) * | 2011-03-04 | 2011-06-29 | 创博亚太科技（山东）有限公司 | 一种提取互联网用户网络行为的方法和*** |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104346345B (zh) * | 2013-07-24 | 2019-03-26 | 上海中兴软件有限责任公司 | 数据的存储方法及装置 |
| CN104346345A (zh) * | 2013-07-24 | 2015-02-11 | 中兴通讯股份有限公司 | 数据的存储方法及装置 |
| CN103514273B (zh) * | 2013-09-17 | 2016-08-17 | 宁波东冠科技有限公司 | 数据采集和监视控制***及该***的数据处理方法 |
| CN103514273A (zh) * | 2013-09-17 | 2014-01-15 | 宁波东冠科技有限公司 | 数据采集和监视控制***及该***的数据处理方法 |
| WO2017032240A1 (zh) * | 2015-08-24 | 2017-03-02 | 阿里巴巴集团控股有限公司 | 移动终端的数据存储方法和装置 |
| US10776323B2 (en) | 2015-08-24 | 2020-09-15 | Alibaba Group Holding Limited | Data storage for mobile terminals |
| CN105760548A (zh) * | 2016-03-21 | 2016-07-13 | 武汉烽火众智数字技术有限责任公司 | 一种基于大数据跨域比对的车辆首次出现分析方法及*** |
| WO2018196650A1 (zh) * | 2017-04-26 | 2018-11-01 | 平安科技（深圳）有限公司 | 用户特征数据的获取方法、装置、服务器及介质 |
| CN107798037A (zh) * | 2017-04-26 | 2018-03-13 | 平安科技（深圳）有限公司 | 用户特征数据的获取方法及服务器 |
| CN112182340A (zh) * | 2019-07-01 | 2021-01-05 | ***通信集团浙江有限公司 | 物联网信息查询方法、订阅方法、装置及电子设备 |
| CN112182340B (zh) * | 2019-07-01 | 2024-06-07 | ***通信集团浙江有限公司 | 物联网信息查询方法、订阅方法、装置及电子设备 |
| CN114020850A (zh) * | 2022-01-05 | 2022-02-08 | 深圳市明源云科技有限公司 | 数据库数据同步方法、装置、设备及可读存储介质 |
| CN114020850B (zh) * | 2022-01-05 | 2022-04-08 | 深圳市明源云科技有限公司 | 数据库数据同步方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103034650B (zh) | 2015-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10698913B2 (en) | System and methods for distributed database query engines | |
| CN108536778B (zh) | 一种数据应用共享平台及方法 | |
| CN103631870B (zh) | 一种用于大规模分布式数据处理的***及其方法 | |
| CN109063196B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN103034650A (zh) | 一种数据处理***和方法 | |
| US9229961B2 (en) | Database management delete efficiency | |
| CN103678665A (zh) | 一种基于数据仓库的异构大数据整合方法和*** | |
| CN104252536A (zh) | 一种基于hbase的上网日志数据查询方法及装置 | |
| CN104239572A (zh) | 基于分布式缓存实现元数据分析的***及方法 | |
| CN111258978B (zh) | 一种数据存储的方法 | |
| CN103430144A (zh) | 数据源分析 | |
| CN103036921B (zh) | 一种用户行为分析***和方法 | |
| CN104239377A (zh) | 跨平台的数据检索方法及装置 | |
| CN106484694B (zh) | 基于分布式数据库的全文搜索方法及*** | |
| CN116166191A (zh) | 湖仓一体*** | |
| US9229968B2 (en) | Management of searches in a database system | |
| CN109726219A (zh) | 数据查询的方法及终端设备 | |
| KR101955376B1 (ko) | 비공유 아키텍처 기반의 분산 스트림 처리 엔진에서 관계형 질의를 처리하는 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| CN106776810B (zh) | 一种大数据的数据处理***及方法 | |
| CN116775712A (zh) | 联表查询方法、装置、电子设备、分布式***和存储介质 | |
| US9058344B2 (en) | Supporting flexible types in a database | |
| KR20170096302A (ko) | 이종 데이터 처리를 위한 분산 병렬 처리 시스템 | |
| KR101629395B1 (ko) | 데이터 분석 장치, 데이터 분석 방법 및 데이터를 분석하는 프로그램을 저장하는 저장매체 | |
| CN112527817A (zh) | 信息处理方法、信息处理装置、存储介质和电子设备 | |
| CN113448957A (zh) | 一种数据查询方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: Room 810, 8 / F, 34 Haidian Street, Haidian District, Beijing 100080 Patentee after: BEIJING D-MEDIA COMMUNICATION TECHNOLOGY Co.,Ltd. Address before: 100089 Beijing city Haidian District wanquanzhuang Road No. 28 Wanliu new building A block 5 layer Patentee before: BEIJING D-MEDIA COMMUNICATION TECHNOLOGY Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder |