CN108717426B - 企业数据的更新方法、装置、计算机设备及存储介质 - Google Patents

企业数据的更新方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN108717426B
CN108717426B CN201810420808.3A CN201810420808A CN108717426B CN 108717426 B CN108717426 B CN 108717426B CN 201810420808 A CN201810420808 A CN 201810420808A CN 108717426 B CN108717426 B CN 108717426B
Authority
CN
China
Prior art keywords
data
enterprise
incremental
updating
incremental data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810420808.3A
Other languages
English (en)
Other versions
CN108717426A (zh
Inventor
倪小波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qichacha Technology Co ltd
Original Assignee
Suzhou Longdong Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Longdong Network Technology Co ltd filed Critical Suzhou Longdong Network Technology Co ltd
Priority to CN201810420808.3A priority Critical patent/CN108717426B/zh
Publication of CN108717426A publication Critical patent/CN108717426A/zh
Application granted granted Critical
Publication of CN108717426B publication Critical patent/CN108717426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种企业数据的更新方法、***、计算机设备和存储介质。方法包括:获取企业数据的增量数据标识,增量数据标识包括企业增量数据的企业标识和相应的数据维度;根据企业增量数据的企业标识和数据维度,从关系型数据库中获取相应的企业增量数据;根据获取到的企业增量数据对文档型数据库中的企业数据进行更新。在查询相应的企业数据时,采用本方法可以直接调用更新后的企业数据,避免了对各维度企业数据的实时计算,从而改善了数据库服务器CPU占用率高的情况。

Description

企业数据的更新方法、装置、计算机设备及存储介质
技术领域
本申请涉及互联网技术领域,特别是涉及一种企业数据的更新方法、装置、计算机设备及存储介质。
背景技术
随着经济的发展,每年会新增大量的企业,则互联网上会新增大量的企业数据。当企业根据实际情况变更业务或者经营发生变化时,相应的企业数据也会变化。企业数据具有网站、商标、新闻、招聘、专利、失信、投资等几十个维度。
在传统技术中,有些维度上的数据是需要实时计算得到的,比如招聘、投资前端通过调用数据库服务器的接口实时获取这些维度上的企业数据,并对这些企业数据进行实时计算并返回计算结果。
然而,如果某一企业在某一维度上的企业数据被多次查询,则需要对该维度上的企业数据进行多次计算。当该维度上的企业数据没有变化时,对该维度上的企业数据的多次计算是不必要的。特别是每秒查询率QPS比较高时,实时计算各维度企业数据需要花费较长的时间,且提高服务器的CPU占用率。
发明内容
基于此,有必要针对上述传统技术中存在的实时计算各维度企业需要花费较长的时间,提高数据库服务器的CPU占用率的技术问题,提供一种企业数据的更新方法、装置、计算机设备及存储介质。
一种企业数据的更新方法,所述方法包括:获取企业数据的增量数据标识,所述增量数据标识包括企业增量数据的企业标识和相应的数据维度;根据所述企业增量数据的企业标识和数据维度,从关系型数据库中获取相应的企业增量数据;根据获取到的企业增量数据对文档型数据库中的企业数据进行更新。
在其中一个实施例中,所述获取企业数据的增量数据标,包括:当企业数据发生变化时,将企业数据的增量数据标识加入消息队列服务中,从消息队列服务中获取企业数据的增量数据标识。
在其中一个实施例中,所述根据获取到的企业增量数据对文档型数据库中的企业数据进行更新,包括:根据所述企业增量数据的企业标识和数据维度,从文档型数据库中获取相应的企业数据;将获取到的企业增量数据与获取到的企业数据进行对比,根据对比结果,对获取到的企业数据进行更新。
在其中一个实施例中,所述将获取到的企业增量数据与获取到的企业数据进行对比,根据对比结果,对获取到的企业数据进行更新,包括:
将所述企业增量数据的数据维度与所述企业数据的数据维度进行对比;
当所述企业增量数据的数据维度与所述企业数据的数据维度一致,所述企业数据不同于所述企业增量数据时,将所述企业数据修改为所述企业增量数据;当所述企业增量数据的数据维度不包含于所述企业数据的数据维度时,增加所述企业增量数据的数据维度及所述企业增量数据。
在其中一个实施例中,所述根据获取到的企业增量数据对文档型数据库中的企业数据进行更新,包括:根据预设规则,从获取到的企业增量数据中提取有效数据;根据提取到的有效数据对相应的企业数据进行更新。
在其中一个实施例中,所述方法还包括:根据企业增量数据的企业标识和数据维度,将更新后的企业数据发送至文档型数据库进行存储。
一种企业数据的更新装置,所述装置包括:
增量数据标识获取模块,用于获取企业数据的增量数据标识,所述增量数据标识包括企业增量数据的企业标识和相应的数据维度。
企业增量数据获取模块,用于根据所述企业增量数据的企业标识和数据维度,从关系型数据库中获取相应的企业增量数据。
企业数据更新模块,用于根据获取到的企业增量数据对文档型数据库中的企业数据进行更新。
在其中一个实施例中,所述企业数据更新模块还用于根据预设规则,从获取到的企业增量数据中提取有效数据;根据提取到的有效数据对相应的企业数据进行更新。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一实施例中的方法步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例中的方法步骤。
上述企业数据的更新方法、装置、计算机设备和存储介质,通过获取企业数据的增量数据标识,增量数据标识包括企业增量数据的企业标识和相应的数据维度;根据企业增量数据的企业标识和数据维度,从关系型数据库中获取相应的企业增量数据;根据获取到的企业增量数据对文档型数据库中的企业数据进行更新。则在查询相应的企业数据时,可以直接调用更新后的企业数据,避免了对各维度企业数据的实时计算,从而改善了数据库服务器CPU占用率高的情况。
附图说明
图1为一个实施例中企业数据的更新方法的应用环境图;
图2为一个实施例中企业数据的更新方法的流程示意图;
图3为一个实施例中获取企业数据的增量数据标的应用环境图;
图4为一个实施例中S230步骤的流程示意图;
图5为另一个实施例中S230步骤的流程示意图;
图6为另一个实施例中企业数据的更新方法的流程示意图;
图7为一个实施例中企业数据的更新方法的时序图;
图8为一个实施例中企业数据的更新装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的企业数据的更新方法,可以应用于如图1所示的应用环境中。其包括关系型数据库服务器110、数据更新服务器130、文档型数据库服务器120和终端140。关系型数据库服务器110与数据更新服务器130通过网络进行通信,文档型数据库服务器120与数据更新服务器130通过网络进行通信,终端140与文档型数据库服务器120通过网络进行通信。
关系型数据库服务器110中存储了与企业经营相关的关系型企业数据,当企业数据发生变化时,关系型数据库服务器110可以根据企业数据的变化产生企业增量数据,同时,企业增量数据设有增量数据标识,并向数据更新服务器130发送增量数据标识。数据更新服务器130获取企业数据的增量数据标识,并根据企业增量数据的增量数据标识从关系型数据库服务器110中获取相应的企业增量数据,进而根据获取到的企业增量数据对文档型数据库服务器120中存储的企业数据进行更新。其中,终端140可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,关系型数据库服务器110、数据更新服务器130、文档型数据库服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种企业数据的更新方法,以该方法应用于图1中的数据更新服务器为例进行说明,包括以下步骤:
步骤210,获取企业数据的增量数据标识,增量数据标识包括企业增量数据的企业标识和相应的数据维度;
其中,企业数据指的是存储在关系型数据库中与企业经营相关的数据。企业增量数据指的是关系型数据库中发生变化或者新增的企业数据。增量数据标识用于标识企业增量数据,增量数据标识包括企业标识和相应的数据维度。企业标识指的是用于唯一表示企业的标识,比如,企业标识可以是企业名称,也可以是企业的工商注册号码。数据维度可以用于描述企业数据的类别,比如数据维度可以包括工商基础信息、对外投资、失信、法院公告、裁判文书、开庭公告的类别,还可以包括税务、证书、软件著作权、财务信息、招投标、员工信息、司法拍卖等类别。
具体地,当关系型数据库中的企业数据发生变化时,则关系型数据库可以根据此变化产生企业增量数据,同时,企业增量数据设有增量数据标识,从而向数据更新服务器发送该增量数据标识,数据更新服务器从关系型数据库服务器获取企业增量数据的标识,增量数据标识包括企业增量数据的企业标识和相应的数据维度。比如,当XX公司的工商基础信息数据发生了变化,则在数据更新服务器获取到的企业增量数据的企业标识即XX公司和相应的数据维度即工商基础信息。
步骤220,根据企业增量数据的企业标识和数据维度,从关系型数据库中获取相应的企业增量数据。
数据更新服务器接收到企业增量数据的企业标识和相应的数据维度。根据接收到的企业增量数据的企业标识和数据维度,数据更新服务器从关系型数据库服务器中查找企业标识和数据维度对应的企业增量数据,并从关系型数据库中获取相应的企业增量数据。
步骤230,根据获取到的企业增量数据对文档型数据库中的企业数据进行更新。
数据更新服务器接收到关系型数据库服务器发送的企业增量数据,并根据接收到的企业增量数据对文档型数据库中的的企业数据进行更新。
上述实施例中,通过获取企业数据的增量数据标识,增量数据标识包括企业增量数据的企业标识和相应的数据维度;根据企业增量数据的企业标识和数据维度,从关系型数据库中获取相应的企业增量数据;根据获取到的企业增量数据对文档型数据库中的企业数据进行更新。实现了当企业数据发生变化时对企业增量数据的计算,则在查询相应的企业数据时,可以直接调用更新后的企业数据,避免了对各维度企业数据查询时的实时计算,从而对用户的查询响应快并改善了数据库服务器CPU占用率高的情况。
在一个实施例中,如图3所示,本实施例提供的企业数据的更新方法,可以应用于如图3所示的应用环境中。其包括关系型数据库服务器110、数据更新服务器130、文档型数据库服务器120、终端140、消息队列服务器210。数据库服务器110与数据更新服务器130通过网络进行通信,文档型数据库服务器120与数据更新服务器130通过网络进行通信,终端140与文档型数据库服务器120通过网络进行通信。数据更新服务器130与消息队列服务器210通过网络进行通信,关系型数据库服务器110与消息队列服务器210通过网络进行通信。
关系型数据库服务器110中存储了与企业经营相关的关系型企业数据,当企业数据发生变化时,关系型数据库服务器110可以根据企业数据的变化产生企业增量数据,同时,企业增量数据设有增量数据标识,并向消息队列服务器210发送增量数据标识。消息队列服务器210获取企业数据的增量数据标识,并将企业增量数据的增量数据标识发送至数据更新服务器130,数据更新服务器130根据接收到的增量数据标识从关系型数据库服务器110中获取相应的企业增量数据,进而根据获取到的企业增量数据对文档型数据库中的企业数据进行更新。
在一个实施例中,获取企业数据的增量数据标,包括:当企业数据发生变化时,将企业数据的增量数据标识加入消息队列服务中,从消息队列服务中获取企业数据的增量数据标识。
其中,消息指的是在两台计算机间传送的数据单位。消息队列指的是在消息的传输过程中保存消息的容器。消息队列服务是分布式***中重要的组件,具备低延迟、高并发、高可用的特点,可支撑大量数据的分布式消息中间件。
具体地,当关系型数据库中的企业数据发生变化时,关系型数据库服务器将企业数据的增量数据标识发送至消息队列服务器中,消息队列服务器将消息队列服务中相应的增量数据标识发送至数据更新服务器。
上述实施例中,数据更新服务器通过消息队列服务获取到企业数据的增量数据标识,结合消息队列服务的低延迟、高并发、高可用的特点,减少了高并发操作时数据库崩溃的风险。
在一个实施例中,如图4所示,根据获取到的企业增量数据对文档型数据库中的企业数据进行更新,包括以下步骤:
步骤410,根据企业增量数据的企业标识和数据维度,从文档型数据库中获取相应的企业数据。
其中,与传统的关系型数据库不同,文档型数据库是用来管理文档的,仍属于数据库范畴。文档型数据库和关系型数据库之间可以相互交换数据,从而可以相互补充、扩展。文档是其处理信息的基本单位。文档型数据库通常用文本文件实现,主要是存储一些字符串,可以自定义结构,每一行定义对应一条信息,行内的列内容以特定分割符来识别,行以回车换行符结束。
具体地,文档型数据库服务器接收到企业增量数据的企业标识和相应的数据维度,根据接收到的企业增量数据的企业标识和数据维度,从文档型数据库中查找企业标识和数据维度对应的企业数据,将文档型数据库中查找到的相应的企业数据发送至数据更新服务器中。
步骤420,将获取到的企业增量数据与获取到的企业数据进行对比,根据对比结果,对获取到的企业数据进行更新。
关系型数据库服务器根据企业标识和数据维度并将查找到的企业增量数据发送至数据更新服务器中。文档型数据库服务器根据企业标识和数据维度并将查找到的企业增量数据发送至数据更新服务器中。使得数据更新服务器将获取到的企业增量数据与获取到的企业数据进行对比,从而得到企业增量数据与相应的企业数据的对比结果。数据更新服务器根据对比结果,对相应的企业数据进行更新。
在一个实施例中,将获取到的企业增量数据与获取到的企业数据进行对比,根据对比结果,对获取到的企业数据进行更新,包括:
将企业增量数据的数据维度与企业数据的数据维度进行对比。
当企业增量数据的数据维度与企业数据的数据维度一致,企业数据不同于企业增量数据时,将企业数据修改为企业增量数据。
当企业增量数据的数据维度不包含于企业数据的数据维度时,增加企业增量数据的数据维度及企业增量数据。
具体地,数据更新服务器将获取到的企业增量数据与相应的企业数据进行对比,首先,将企业增量数据的数据维度与企业数据的数据维度进行对比。当企业增量数据的数据维度与获取到的企业数据的数据维度一致时,再将相应的企业数据与企业增量数据进行对比,当企业数据不同于企业增量数据时,将相应的数据维度上的企业数据修改为相应的企业增量数据。当企业数据与企业增量数据相同时,则不对相应的数据维度上的企业数据进行修改。当企业增量数据的数据维度不包含于获取到的企业数据的数据维度中时,则对获取到的企业数据增加与企业增量数据对应的数据维度,并在对应的数据维度上增加对应的企业增量数据。
上述实施例中,通过从根据企业增量数据的企业标识和数据维度,数据更新服务器从文档型数据库中获取相应的企业数据,且将获取到的企业增量数据与相应的企业数据进行对比,从而根据对比结果,对获取到的企业数据进行更新,实现了对企业数据的及时更新,确保数据查询的实时性和准确性。
在一个实施例中,如图5所示,根据获取到的企业增量数据对文档型数据库中的企业数据进行更新,包括:
步骤510,根据预设规则,从获取到的企业增量数据中提取有效数据。
预设规则指的是数据更新服务器判断获取到的企业增量数据是否有效所依照的预先设置的规则。根据预设规则,数据更新服务器从获取到的企业增量数据中提取有效数据。比如,预设规则可以是对企业增量数据的时效性进行判断的规则,也可以是对企业增量数据的真实性进行判断的规则,还可以是对企业增量数据是否包含敏感信息或者涉黄进行判断的规则。当获取到的企业增量数据满足预设规则时,数据更新服务器提取相应的企业增量数据中作为有效数据。
步骤520,根据提取到的有效数据对相应的企业数据进行更新。
根据预设规则,数据更新服务器从获取到的企业增量数据中提取有效数据。并根据有效数据对文档型数据库服务器中存放的企业数据进行更新。
上述实施例中,通过根据预设规则,从获取到的企业增量数据中提取有效数据,实现了删除错误、虚假等不符合预设规则的企业增量数据,且根据提取到的有效数据对相应的企业数据进行更新,确保了更新后的企业数据的准确性。
在一个实施例中,本申请提供的企业数据的更新方法还包括:根据企业增量数据的企业标识和数据维度,将更新后的企业数据发送至文档型数据库进行存储。
数据更新服务器对获取到的企业数据进行更新后,根据企业增量数据的企业标识和数据维度将更新后的企业数据发送至文档型数据库服务器。文档型数据库服务器将更新后的企业数据进行存储,以对文档型数据库服务器中存储的企业数据进行更新。
在一个实施例中,如图6所示,本申请实施例提供了一种企业数据的更新方法,包括以下步骤:
步骤610,从消息队列服务中获取企业数据的增量数据标识。
当关系型数据库中的企业数据发生变化时,关系型数据库服务器将企业数据的增量数据标识发送至消息队列服务器中,消息队列服务器将消息队列服务中相应的增量数据标识发送至数据更新服务器。比如,当XX公司的工商基础信息数据发生了变化,则在数据更新服务器将企业增量数据的企业标识即XX公司和相应的数据维度即工商基础信息发送至消息队列服务器,通过网络,数据更新服务器从消息队列服务器中获取到的企业增量数据的增量数据标识即XX公司和工商基础信息。
步骤620,根据企业增量数据的企业标识和数据维度,从关系型数据库中获取相应的企业增量数据。
数据更新服务器接收到企业增量数据的企业标识和相应的数据维度。根据接收到的企业增量数据的企业标识和数据维度,数据更新服务器从关系型数据库服务器中查找企业标识和数据维度对应的企业增量数据,并从关系型数据库中获取相应的企业增量数据。比如,数据更新服务器从消息队列服务器中获取到企业增量数据的增量数据标识即XX公司和工商基础信息。则根据XX公司和工商基础信息,数据更新服务器从关系型数据库服务器获取到XX公司的工商基础信息数据。
步骤630,根据预设规则,从获取到的企业增量数据中提取有效数据。
根据预设规则,数据更新服务器从获取到的企业增量数据中提取有效数据。比如,预设规则可以对企业增量数据的时效性进行判断的规则,当企业增量数据对应的时间不满足预设的时间时,则删除对应的企业增量数据,当企业增量数据对应的时间满足预设的时间时,则提取对应的企业增量数据作为有效数据;预设规则也可以对企业增量数据的真实性进行判断的规则,如开庭公告数据维度中的案由数据是否真实,当判断案由数据真实时,则提取对应的案由数据作为有效数据,当判断案由数据不满足真实情况时,则删除相应案由数据;预设规则还可以对企业增量数据是否包含敏感信息或者涉黄进行判断的规则,当企业增量数据包含敏感信息或者涉黄时,则删除对应的企业增量数据,当企业增量数据不包含敏感信息且不涉黄时,则提取对应的企业增量数据作为有效数据。
步骤640,根据企业增量数据的企业标识和数据维度,从文档型数据库中获取相应的企业数据。
文档型数据库服务器接收到企业增量数据的企业标识和相应的数据维度,根据接收到的企业增量数据的企业标识和数据维度,从文档型数据库中查找企业标识和数据维度对应的企业数据,将在文档型数据库中查找到的相应的企业数据发送至数据更新服务器中。
步骤650,将提取到的有效数据与获取到的企业数据进行对比,根据对比结果,对获取到的企业数据进行更新。
数据更新服务器将获取到的企业增量数据与相应的企业数据进行对比,对比企业增量数据的数据维度与从文档型数据库中获取的企业数据的数据维度。当企业增量数据的数据维度与获取到的企业数据的数据维度一致时,再将相应的企业数据与企业增量数据进行对比,当企业数据不同于企业增量数据时,将相应的数据维度上的企业数据修改为相应的企业增量数据。当企业数据与企业增量数据相同时,则不对相应的数据维度上的企业数据进行修改。比如,数据更新服务器获取的企业增量数据是XX公司的失信数据,并根据企业标识和数据维度从文档型数据库服务器获取相应的企业数据,则企业数据设有对应的企业标识和数据维度。对比失信数据维度与相应的企业数据的数据维度是否一致,当企业数据的数据维度与失信数据维度一致时,对比失信数据维度上的失信增量数据与失信数据是否相同,若不同,则将失信数据修改为对应的失信增量数据。若相同,则不予处理。
当企业增量数据的数据维度不包含于获取到的企业数据的数据维度中时,则对获取到的企业数据增加与企业增量数据对应的数据维度及对应的企业增量数据。比如,数据更新服务器获取的企业增量数据是XX公司的失信数据、对外投资数据,并根据企业标识即XX公司和数据维度即失信、对外投资从文档型数据库服务器获取相应的企业数据,则企业数据设有对应的企业标识即XX公司和数据维度。对比失信数据维度、对外投资数据维度是否包含在相应的企业数据的数据维度中,企业数据的数据维度仅包含对外投资数据维度,失信数据维度不包含于企业数据的数据维度时,在企业数据中增加失信数据维度,并在失信数据维度上增加对应的失信数据。
步骤660,根据企业增量数据的企业标识和数据维度,将更新后的企业数据发送至文档型数据库进行存储。
数据更新服务器对获取到的企业数据进行更新后,根据企业增量数据的企业标识和数据维度将更新后的企业数据发送至文档型数据库服务器。文档型数据库服务器将更新后的企业数据进行存储,以对文档型数据库服务器中存储的企业数据进行更新。
上述实施例中,数据更新服务器通过消息队列服务获取到企业数据的增量数据标识,结合消息队列服务的低延迟、高并发、高可用的特点,减少了高并发操作时数据库崩溃的风险。通过从根据企业增量数据的企业标识和数据维度,数据更新服务器从文档型数据库中获取相应的企业数据,且将获取到的企业增量数据与相应的企业数据进行对比,从而根据对比结果,对获取到的企业数据进行更新,实现了企业数据的及时更新,确保数据查询的实时性和准确性。在查询相应的企业数据时,可以直接调用更新后的企业数据,避免了对各维度企业数据查询时的实时计算。通过根据预设规则,从获取到的企业增量数据中提取有效数据,实现了删除错误、虚假等不符合预设规则的企业增量数据,且根据提取到的有效数据对相应的企业数据进行更新,确保了更新后的企业数据的准确性。
在一个实施例中,如图7所示,本申请实施例提供了一种企业数据的更新方法,包括以下步骤:
步骤701至702、当关系型数据库中的企业数据发生变化时,关系型数据库服务器将企业数据的增量数据标识发送至消息队列服务器中。
步骤703、消息队列服务器将消息队列服务中相应的增量数据标识发送至数据更新服务器。
步骤704至705、数据更新服务器将企业标识和数据维度发送至关系型数据库服务器中,关系型数据库服务器根据接收到的企业标识和数据维度从关系型数据库服务器中查找企业标识和数据维度对应的企业增量数据。
步骤706、数据更新服务器将查找到的企业增量数据发送至数据更新服务器中。
步骤707、数据更新服务器接收到企业增量数据,根据预设规则,数据更新服务器从获取到的企业增量数据中提取有效数据。
步骤708、数据更新服务器将企业标识和数据维度发送至文档型型数据库服务器中。
步骤709、文档型数据库服务器接收到数据更新服务器发送的企业标识和数据维度。根据接收到的企业增量数据的企业标识和数据维度,从文档型数据库中查找企业标识和数据维度对应的企业数据。
步骤710、文档型数据库服务器将在文档型数据库中查找到的相应的企业数据发送至数据更新服务器中。
步骤711、数据更新服务器将提取到的有效数据与获取到的企业数据进行对比,根据对比结果,对获取到的企业数据进行更新。
具体地,数据更新服务器将获取到的企业增量数据与相应的企业数据进行对比。首先,将企业增量数据的数据维度与企业数据的数据维度进行对比。当企业增量数据的数据维度与获取到的企业数据的数据维度一致时,再将相应的企业数据与企业增量数据进行对比,当企业数据不同于企业增量数据时,将相应的数据维度上的企业数据修改为相应的企业增量数据。当企业数据与企业增量数据相同时,则不对相应的数据维度上的企业数据进行修改。比如,数据更新服务器获取的企业增量数据是XX公司的失信数据,并根据企业标识和数据维度从文档型数据库服务器获取相应的企业数据,则企业数据设有对应的企业标识和数据维度。对比失信数据维度是否包含在相应的企业数据的数据维度中,当企业数据的数据维度包含失信数据维度时,对比失信数据维度上的失信增量数据与失信数据是否相同。若相同,则不予处理;若不同,则将失信数据修改为对应的失信增量数据。
当企业增量数据的数据维度不包含于获取到的企业数据的数据维度中时,则对获取到的企业数据增加与企业增量数据对应的数据维度及对应的企业增量数据。比如,数据更新服务器获取的企业增量数据是XX公司的失信数据、对外投资数据,并根据企业标识即XX公司和数据维度即失信、对外投资从文档型数据库服务器获取相应的企业数据,则企业数据设有对应的企业标识即XX公司和数据维度。对比失信数据维度、对外投资数据维度是否包含在相应的企业数据的数据维度中,企业数据的数据维度仅包含对外投资数据维度,失信数据维度不包含于企业数据的数据维度时,在企业数据中增加失信数据维度,并在失信数据维度上增加对应的失信数据。
步骤712、数据更新服务器对获取到的企业数据进行更新后,根据企业增量数据的企业标识和数据维度将更新后的企业数据发送至文档型数据库服务器。
步骤713、文档型数据库服务器接收到更新后的企业数据,并存储更新后的企业数据。
上述实施例中,数据更新服务器通过消息队列服务获取到企业数据的增量数据标识,结合消息队列服务的低延迟、高并发、高可用的特点,减少了高并发操作时数据库崩溃的风险。通过从根据企业增量数据的企业标识和数据维度,数据更新服务器从文档型数据库中获取相应的企业数据,且将获取到的企业增量数据与相应的企业数据进行对比,从而根据对比结果,对获取到的企业数据进行更新,实现了企业数据的及时更新,确保数据查询的实时性和准确性。在查询相应的企业数据时,可以直接调用更新后的企业数据,避免了对各维度企业数据查询时的实时计算。通过根据预设规则,从获取到的企业增量数据中提取有效数据,实现了删除错误、虚假等不符合预设规则的企业增量数据,且根据提取到的有效数据对相应的企业数据进行更新,确保了更新后的企业数据的准确性。
应该理解的是,虽然图2、图4-7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图4-7中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供了一种企业数据的更新装置,包括:增量数据标识获取模块810、企业增量数据获取模块820和企业数据更新模块830。其中:
增量数据标识获取模块810,用于获取企业数据的增量数据标识,增量数据标识包括企业增量数据的企业标识和相应的数据维度。
企业增量数据获取模块820,用于根据企业增量数据的企业标识和数据维度,从关系型数据库中获取相应的企业增量数据。
企业数据更新模块830,用于根据获取到的企业增量数据对文档型数据库中的企业数据进行更新。
在一个实施例中,企业数据更新模块830还用于根据预设规则,从获取到的企业增量数据中提取有效数据。并根据提取到的有效数据对相应的企业数据进行更新。
关于企业数据的更新装置的具体限定可以参见上文中对于企业数据的更新方法的限定,在此不再赘述。上述企业数据的更新装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块相应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储xxx数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种企业数据的更新方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述任一实施例中的方法步骤。
在一个实施例中,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例中的方法步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种企业数据的更新方法,其特征在于,所述方法包括:
通过数据更新服务器获取企业数据的增量数据标识,所述增量数据标识包括企业增量数据的企业标识和相应的数据维度,所述增量数据标识用于表征关系型数据库的企业增量数据,且关系型数据库服务器向所述数据更新服务器发送所述增量数据标识;
通过所述关系型数据库服务器根据所述企业增量数据的企业标识和数据维度,从关系型数据库中获取相应的企业增量数据,并将获取的企业增量数据发送至所述数据更新服务器;
通过文档型数据库服务器根据所述企业增量数据的企业标识和数据维度,从文档型数据库中获取相应的企业数据,并将获取的企业数据发送至所述数据更新服务器;
通过所述数据更新服务器,根据所述获取的企业增量数据对所述获取的企业数据进行更新,将更新后的企业数据发送至所述文档型数据库服务器,以对所述文档型数据库中的企业数据进行更新。
2.根据权利要求1所述的方法,其特征在于,所述获取企业数据的增量数据标识,包括:
当企业数据发生变化时,将企业数据的增量数据标识加入消息队列服务中,从消息队列服务中获取企业数据的增量数据标识。
3.根据权利要求1所述的方法,其特征在于,所述根据所述获取的企业增量数据对所述获取的企业数据进行更新,包括:
将获取到的企业增量数据与获取到的企业数据进行对比,根据对比结果,对获取到的企业数据进行更新。
4.根据权利要求3所述的方法,其特征在于,所述将获取到的企业增量数据与获取到的企业数据进行对比,根据对比结果,对获取到的企业数据进行更新,包括:
将所述企业增量数据的数据维度与所述企业数据的数据维度进行对比;
当所述企业增量数据的数据维度与所述企业数据的数据维度一致,所述企业数据不同于所述企业增量数据时,将所述企业数据修改为所述企业增量数据;当所述企业增量数据的数据维度不包含于所述企业数据的数据维度时,增加所述企业增量数据的数据维度及所述企业增量数据。
5.根据权利要求1所述的方法,其特征在于,所述根据获取到的企业增量数据对文档型数据库中的企业数据进行更新,包括:
根据预设规则,从获取到的企业增量数据中提取有效数据;
根据提取到的有效数据对相应的企业数据进行更新。
6.根据权利要求1~5任一项所述的方法,其特征在于,所述方法还包括:
根据企业增量数据的企业标识和数据维度,将更新后的企业数据发送至文档型数据库进行存储。
7.一种企业数据的更新装置,其特征在于,所述装置包括:
增量数据标识获取模块,用于通过数据更新服务器获取企业数据的增量数据标识,所述增量数据标识包括企业增量数据的企业标识和相应的数据维度,所述增量数据标识用于表征关系型数据库的企业增量数据,且关系型数据库服务器向所述数据更新服务器发送所述增量数据标识;
企业增量数据获取模块,用于通过所述关系型数据库服务器根据所述企业增量数据的企业标识和数据维度,从关系型数据库中获取相应的企业增量数据,并将获取的企业增量数据发送至所述数据更新服务器;
企业数据更新模块,用于通过文档型数据库服务器根据所述企业增量数据的企业标识和数据维度,从文档型数据库中获取相应的企业数据,并将获取的企业数据发送至所述数据更新服务器;通过所述数据更新服务器,根据所述获取的企业增量数据对所述获取的企业数据进行更新,将更新后的企业数据发送至所述文档型数据库服务器,以对所述文档型数据库中的企业数据进行更新。
8.根据权利要求7所述的装置,其特征在于,所述企业数据更新模块还用于根据预设规则,从获取到的企业增量数据中提取有效数据;根据提取到的有效数据对相应的企业数据进行更新。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201810420808.3A 2018-05-04 2018-05-04 企业数据的更新方法、装置、计算机设备及存储介质 Active CN108717426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810420808.3A CN108717426B (zh) 2018-05-04 2018-05-04 企业数据的更新方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810420808.3A CN108717426B (zh) 2018-05-04 2018-05-04 企业数据的更新方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN108717426A CN108717426A (zh) 2018-10-30
CN108717426B true CN108717426B (zh) 2021-01-05

Family

ID=63899659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810420808.3A Active CN108717426B (zh) 2018-05-04 2018-05-04 企业数据的更新方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN108717426B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127217A (zh) * 2019-12-30 2021-07-16 中移(成都)信息通信科技有限公司 数据发布方法、装置、设备及存储介质
CN111754131A (zh) * 2020-06-30 2020-10-09 苏州朗动网络科技有限公司 企业情报动态监控方法、设备及介质
CN112579898A (zh) * 2020-12-17 2021-03-30 北京金山云网络技术有限公司 企业信息的管理方法、装置及服务器
CN113095051B (zh) * 2021-04-28 2024-03-19 企查查科技股份有限公司 应标企业报告生成方法、装置、计算机设备和存储介质
CN113239057A (zh) * 2021-05-24 2021-08-10 量子数聚(北京)科技有限公司 企业数据更新方法及装置
CN115423578B (zh) * 2022-09-01 2023-12-05 广东博成网络科技有限公司 基于微服务容器化云平台的招投标方法和***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1193622A3 (en) * 2000-10-02 2006-07-26 Microsoft Corporation Synchronizing a store with write generations
US7266574B1 (en) * 2001-12-31 2007-09-04 Emc Corporation Identification of updated files for incremental backup
CN104967658A (zh) * 2015-05-08 2015-10-07 成都品果科技有限公司 一种多终端设备上的数据同步方法
CN106126753A (zh) * 2016-08-23 2016-11-16 易联众信息技术股份有限公司 基于大数据的增量抽取的方法
CN106326457A (zh) * 2016-08-29 2017-01-11 山大地纬软件股份有限公司 基于大数据的人社人员档案袋数据库的构建方法及***
CN107657057A (zh) * 2017-10-19 2018-02-02 河北省科学院应用数学研究所 一种企业征信信息融合图形化方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2256934C (en) * 1998-12-23 2002-04-02 Hamid Bacha System for electronic repository of data enforcing access control on data retrieval
US20010039547A1 (en) * 2000-05-08 2001-11-08 Black Jonathan K. Internet web-based technology for storing, archiving, and updating key personal identity items
US7496637B2 (en) * 2000-05-31 2009-02-24 Oracle International Corp. Web service syndication system
CN101018259B (zh) * 2006-02-08 2010-12-01 中国电信股份有限公司 电信综合信息***及方法
CN101197876B (zh) * 2006-12-06 2012-02-29 中兴通讯股份有限公司 一种对消息类业务数据进行多维分析的方法和***
JP5783010B2 (ja) * 2011-11-25 2015-09-24 株式会社リコー インデックス管理プログラム、インデックス管理装置及び検索システム
CN104809136B (zh) * 2014-01-28 2019-03-15 ***股份有限公司 一种混合聚类方法和装置
CN107451861B (zh) * 2017-07-27 2021-12-28 浩鲸云计算科技股份有限公司 一种大数据下用户上网特征识别的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1193622A3 (en) * 2000-10-02 2006-07-26 Microsoft Corporation Synchronizing a store with write generations
US7266574B1 (en) * 2001-12-31 2007-09-04 Emc Corporation Identification of updated files for incremental backup
CN104967658A (zh) * 2015-05-08 2015-10-07 成都品果科技有限公司 一种多终端设备上的数据同步方法
CN106126753A (zh) * 2016-08-23 2016-11-16 易联众信息技术股份有限公司 基于大数据的增量抽取的方法
CN106326457A (zh) * 2016-08-29 2017-01-11 山大地纬软件股份有限公司 基于大数据的人社人员档案袋数据库的构建方法及***
CN107657057A (zh) * 2017-10-19 2018-02-02 河北省科学院应用数学研究所 一种企业征信信息融合图形化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于canal 的mysql与redis/memcached/mongodb 的 nosql 数据实时同步方案案例;liukelin;《https://github.com/liukelin/canal_mysql_nosql_sync/tree/db3e72a3c17710eb47767fc012329ce211afaef9》;20171116;第1页 *

Also Published As

Publication number Publication date
CN108717426A (zh) 2018-10-30

Similar Documents

Publication Publication Date Title
CN108717426B (zh) 企业数据的更新方法、装置、计算机设备及存储介质
CN108829781B (zh) 客户信息查询方法、装置、计算机设备和存储介质
CN109474578B (zh) 报文消息校验方法、装置、计算机设备和存储介质
CN109344183B (zh) 数据交互方法、装置、计算机设备和存储介质
CN110493190B (zh) 数据信息的处理方法、装置、计算机设备和存储介质
CN108491450B (zh) 数据缓存方法、装置、服务器和存储介质
CN109766534B (zh) 报表生成方法、装置、计算机设备及可读存储介质
WO2019148712A1 (zh) 钓鱼网站检测方法、装置、计算机设备和存储介质
CN109902272B (zh) 电子表格数据处理方法、装置、计算机设备和存储介质
CN110213392B (zh) 数据分发方法、装置、计算机设备和存储介质
CN110659297A (zh) 数据处理方法、装置、计算机设备和存储介质
CN110795171A (zh) 业务数据处理方法、装置、计算机设备及存储介质
CN112559526A (zh) 数据表导出方法、装置、计算机设备及存储介质
CN109785867B (zh) 双录流程配置方法、装置、计算机设备和存储介质
CN108984754B (zh) 客户信息更新方法、装置、计算机设备及存储介质
CN111209061A (zh) 用户信息的填写方法、装置、计算机设备和存储介质
CN109656947B (zh) 数据查询方法、装置、计算机设备和存储介质
CN113157734B (zh) 基于搜索框架的数据处理方法、装置、设备及存储介质
CN108334452B (zh) 规则数据移交测试方法、装置、计算机设备和存储介质
CN110765131B (zh) 货源数据的数据压缩方法、装置、计算机设备和存储介质
CN110674383B (zh) 舆情查询方法、装置及设备
CN109460500B (zh) 热点事件发现方法、装置、计算机设备和存储介质
US10936686B2 (en) Method and system for asynchronous correlation of data entries in spatially separated instances of heterogeneous databases
CN111585897B (zh) 请求路由管理方法、***、计算机***及可读存储介质
WO2021237550A1 (zh) 文本处理方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 503, 5 / F, C1 building, 88 Dongchang Road, Suzhou Industrial Park, 215000, Jiangsu Province

Patentee after: Qicha Technology Co.,Ltd.

Address before: 215123 a-901, Huihu building, No.10, Yueliangwan Road, Suzhou Industrial Park, Jiangsu Province

Patentee before: SUZHOU LANGDONG NET TEC Co.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No. 8 Huizhi Street, Suzhou Industrial Park, Suzhou Area, China (Jiangsu) Pilot Free Trade Zone, Suzhou City, Jiangsu Province, 215000

Patentee after: Qichacha Technology Co.,Ltd.

Address before: Room 503, 5 / F, C1 building, 88 Dongchang Road, Suzhou Industrial Park, 215000, Jiangsu Province

Patentee before: Qicha Technology Co.,Ltd.

CP03 Change of name, title or address