CN110059491A - 数据导入监控方法、装置、设备及可读存储介质 - Google Patents
数据导入监控方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN110059491A CN110059491A CN201910200499.3A CN201910200499A CN110059491A CN 110059491 A CN110059491 A CN 110059491A CN 201910200499 A CN201910200499 A CN 201910200499A CN 110059491 A CN110059491 A CN 110059491A
- Authority
- CN
- China
- Prior art keywords
- data
- user
- configuration
- user data
- import
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008676 import Effects 0.000 title claims abstract description 88
- 238000012544 monitoring process Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013507 mapping Methods 0.000 claims abstract description 74
- 238000012806 monitoring device Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000000149 penetrating effect Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/604—Tools and structures for managing or administering access control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种数据导入监控方法，包括：获取导入的用户数据，检测所述用户数据是否正确；若正确，则基于预设的配置模板及所述用户数据对用户的权限进行配置，并生成配置文件；将所述配置文件与所述用户数据中的原文件进行比较，基于所述配置模板中的预设映射关系确定所述配置文件与所述原文件是否匹配；若不匹配，则发送提示消息至处理人员，以提醒处理人员查找原因。本发明还提供一种数据导入监控装置、设备及可读存储介质。本发明基于***数据监控实现了在用户数据进行配置后对配置文件与原文件进行匹配，并在配置文件与原文件不一致时提醒处理人员查找原因，对用户数据的配置起到了监控作用，进而保证了数据导入前及导入后的准确性。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种数据导入监控方法、装置、设备及可读存储介质。
背景技术
目前，数据存储***的种类越来越多，虽然每个***都只负责处理自己的数据，但是在有些情况下这些存储***不是相互独立的，在很多时候，工作人员根据业务的需求需要从不同的存储***将数据导入至同一存储***中，所以，如何确保数据导入后的准确性是待解决的问题。
发明内容
本发明的主要目的在于提供一种数据导入监控方法、装置、设备及可读存储介质，旨在确保数据导入后的准确性。
为实现上述目的，本发明提供一种数据导入监控方法，所述数据导入监控方法包括以下步骤：
获取导入的用户数据，检测所述用户数据是否正确；
若正确，则基于预设的配置模板及所述用户数据对用户的权限进行配置，并生成配置文件；
将所述配置文件与所述用户数据中的原文件进行比较，基于所述配置模板中的预设映射关系确定所述配置文件与所述原文件是否匹配；
若不匹配，则发送提示消息至处理人员，以提醒处理人员查找原因。
可选地，所述检测所述用户数据是否正确的步骤包括：
获取第一***接收到的第一数据及第二***接收到的第二数据，并将所述第一数据及所述第二数据进行比较，确定所述第一数据与所述第二数据是否一致；
若一致，则将所述第二数据与所述用户数据进行比较，确定所述第二数据与所述用户数据是否一致；
若一致，则确定所述用户数据正确。
可选地，所述检测所述用户数据是否正确的步骤包括：
利用异常信息库中的异常规则调用预设的文本处理器，检测所述用户数据中是否存在异常字段；
若所述用户数据中不存在异常字段，则确定所述用户数据正确。
可选地，所述若正确，则基于预设的配置模板及所述用户数据对用户的权限进行配置，并生成配置文件的步骤包括：
若正确，则基于所述配置模板将所述用户数据映射为目标数据，并生成待配置文件；
获取所述用户数据中的用户标识，基于所述用户标识查找历史配置记录，确定所述历史配置记录中是否存在所述用户标识对应的历史配置文件；
若存在，则检测所述历史配置文件与所述待配置文件是否冲突；
若冲突，则删除所述历史配置文件，将所述待配置文件作为所述配置文件，并基于所述配置文件对用户的权限进行配置。
可选地，所述将所述配置文件与所述用户数据中的原文件进行比较，基于所述配置模板中的预设映射关系确定所述配置文件与所述原文件是否匹配的步骤之后，所述导入监控方法还包括：
若匹配，则利用预设的脚本信息抓取所述用户数据中的第一关键字，并将所述第一关键字与所述配置模板进行匹配，确定各所述第一关键字是否在所述配置模板中均存在映射关系；
若否，则获取在所述配置模板中不存在映射关系的第二关键字，建立所述第二关键字的新映射关系。
可选地，所述若否，则获取在所述配置模板中不存在映射关系的第二关键字，建立所述第二关键字的新映射关系的步骤包括：
若否，则获取在所述配置模板中不存在映射关系的第二关键字，基于所述第二关键字发送提示消息至处理人员，并确定预设时间段内是否接收到处理人员的添加指令；
若预设时间段内接收到处理人员的添加指令，则基于所述添加指令在所述配置模板中建立新映射关系。
可选地，所述若否，则获取在所述配置模板中不存在映射关系的第二关键字，基于所述第二关键字发送提示消息至处理人员，并确定预设时间段内是否接收到处理人员的添加指令的步骤之后，所述数据导入监控方法还包括：
若预设时间段内未接收到处理人员的添加指令，则删除所述第二关键字及所述第二关键字对应的用户属性信息。
此外，为实现上述目的，本发明还提供一种数据导入监控装置，所述数据导入监控装置包括：
获取模块，用于获取导入的用户数据，检测所述用户数据是否正确；
配置模块，用于若正确，则基于预设的配置模板及所述用户数据对用户的权限进行配置，并生成配置文件；
监控模块，用于将所述配置文件与所述用户数据中的原文件进行比较，基于所述配置模板中的预设映射关系确定所述配置文件与所述原文件是否匹配；
提示模块，用于若不匹配，则发送提示消息至处理人员，以提醒处理人员查找原因。
此外，为实现上述目的，本发明还提供一种数据导入监控设备，所述数据导入监控设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的数据导入监控程序，其中所述数据导入监控程序被所述处理器执行时，实现如上述的数据导入监控方法的步骤。
此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有数据导入监控程序，其中所述数据导入监控程序被处理器执行时，实现如上述的数据导入监控方法的步骤。
本发明提供一种数据导入监控方法、装置、设备及可读存储介质，本发明通过获取导入的用户数据，检测所述用户数据是否正确，然后若正确，则基于预设的配置模板及所述用户数据对用户的权限进行配置，并生成配置文件，接着将所述配置文件与所述用户数据中的原文件进行比较，基于所述配置模板中的预设映射关系确定所述配置文件与所述原文件是否匹配，最后若不匹配，则发送提示消息至处理人员，以提醒处理人员查找原因；实现了在用户数据进行配置后对配置文件与原文件进行匹配，并在配置文件与原文件不一致时提醒处理人员查找原因，对用户数据的配置起到了监控作用，进而保证了数据导入后的准确性。
附图说明
图1为本发明各实施例涉及的数据导入监控设备的硬件结构示意图；
图2为本发明数据导入监控方法第一实施例的流程示意图；
图3为本发明数据导入监控方法第二实施例的流程示意图；
图4为本发明数据导入监控方法第三实施例的流程示意图；
图5为本发明数据导入监控装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例涉及的数据导入监控方法主要应用于数据导入监控设备，该数据导入监控设备可以是PC(个人计算机personal computer)、便携计算机、移动终端等具有显示和处理功能的设备。
参照图1，图1为本发明实施例方案中涉及的数据导入监控设备的硬件结构示意图。本发明实施例中，数据导入监控设备可以包括处理器1001(例如中央处理器CentralProcessing Unit、CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)；存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种可读存储介质的存储器1005可以包括操作***、网络通信模块以及数据导入监控程序。在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的数据导入监控程序，并执行本发明实施例提供的数据导入监控方法。
本发明实施例提供了一种数据导入监控方法。
参照图2，图2为本发明数据导入监控方法第一实施例的流程示意图。
在本实施例中，该数据导入监控方法的执行主体为数据导入监控***，数据导入监控***能够监控数据导入是否正确，在数据导入不正确时提醒相关处理人员查找原因，其中，该数据导入监控***包括数据导入监控设备，该数据导入监控设备可以是手机、PC、掌上电脑和平板电脑等终端设备，可选为图1所示的设备。该数据导入监控方法包括以下步骤：
步骤S10，获取导入的用户数据，检测所述用户数据是否正确；
在本实施例中，该用户数据包括用户的身份信息及所属公司的组织架构信息等，检测用户数据是否正确包括检测用户数据中是否存在异常字段、导入进来的用户数据与导入前的数据是否一致。
具体地，所述检测所述用户数据是否正确的步骤包括：
步骤S11，获取第一***接收到的第一数据及第二***接收到的第二数据，并将所述第一数据及所述第二数据进行比较，确定所述第一数据与所述第二数据是否一致；
在本实施例中，第一***包括数仓***，第二***包括XRM(Any RelationshipManagement任何关系管理)***，导入的数据将依次经过数仓、XRM、数据导入监控***，首先检测数仓***接收到的导入数据与XRM***接收到的导入数据是否一致，若一致，则认为导入数据不存在错误，将导入数据传送至数据导入监控***，若不一致，则说明导入数据存在错误，将以预设方式发送提示消息至处理人员，以通知处理人员查找错误原因，该预设提示方式包括邮件、短信消息等。其中，数仓***接收到的导入数据与XRM***接收到的导入数据不一致，包括数仓***接收到的导入数据中存在XRM***没有的数据，或者，***接收到的导入数据与XRM***接收到的导入数据的具体信息不一致。
步骤S12，若一致，则将所述第二数据与所述用户数据进行比较，确定所述第二数据与所述用户数据是否一致；
在本实施例中，导入的数据经过XRM***后，会由XRM***传送至好数据导入监控***，数据导入监控***将接收到的用户数据与XRM***接收到的导入数据进行比较，确定是否一致，若一致，则说明导入数据正确，若不一致，则说明导入数据存在错误，数据导入监控***将发送再次导入请求至XRM***，XRM***重新导入数据至数据导入监控***，再次进行比较，如此，若发送预设次数的导入请求时，数据还是不一致，则发送提示至对应处理人员，以通知相关技术人员进行查找原因。
步骤S13，若一致，则确定所述用户数据正确。
在本实施例中，数据导入监控***将接收到的用户数据是与XRM***接收到的导入数据进行比较，若一致，则确定用户数据导入正确，其中，数据导入监控***接收到的用户数据与XRM***接收到的导入数据不一致包括，XRM***中存在数据导入监控***接收到的用户数据中没有的数据，或者，数据导入监控***接收到的导入数据与XRM***接收到的导入数据的具体信息不一致。
进一步地，步骤S10之后，还包括：
步骤20，若正确，则基于预设的配置模板及所述用户数据对用户的权限进行配置，并生成配置文件；
在本实施例中，在检测到用户数据正确时，则获取预设的配置模板，对用户数据进行分析，包括对用户数据中人员的身份信息、所属公司的组织架构信息等进行分析，例如，姓名、性别、年龄、公司、部门、组别、上级领导姓名等进行分析。预设的配置模板中包括用户数据中用户的属性与目标属性的映射关系，根据配置模板的中映射关系，将用户数据中的属性映射为目标属性，并查找该目标属性对应的属性权限，赋予用户该属性权限，例如，将外部公司的角色、业务线、岗位、组织架构等映射为本公司***的角色、业务线、岗位、组织架构等，根据不同的组织架构及不同的岗位等配置不同的权限，并生成配置文件。
进一步地，在导入的用户数据中可能存在用户已配置过权限，例如，公司某一员工的岗位或角色会发生变化，则会在导入该员工的数据时，将会检测到该员工已配置信息，这时，需要判断待配置信息与已配置信息是否存在冲突。
具体地，所述若正确，则基于预设的配置模板及所述用户数据对用户的权限进行配置，并生成配置文件的步骤包括：
步骤S21，若正确，则基于所述配置模板将所述用户数据映射为目标数据，并生成待配置文件；
在本实施例中，利用配置模板中的映射关系将用户数据映射为目标数据，包括将外部公司的业务线映射为本公司业务线，将外部公司的角色映射为本公司角色，将外部公司的岗位映射为本公司岗位等。并生成待配置文件，该待配置文件用于在配置时根据该待配置文件配置用户权限，不用再到配置模板中去查找相应的映射关系。
步骤S22，获取所述用户数据中的用户标识，基于所述用户标识查找历史配置记录，确定所述历史配置记录中是否存在所述用户标识对应的历史配置文件；
在本实施例中，用户数据中包括用户的用户标识，该用户标识包括用户名称、用户ID、用户编号等，利用预设的抓取脚本抓取用户的用户标识，并根据用户标识在历史配置记录中查找对应的历史配置文件，确定历史记录中是否存在该用户标识对应的历史配置文件。
步骤S23，若存在，则检测所述历史配置文件与所述待配置文件是否冲突；
在本实施例中，检测历史配置文件与待配置文件是否冲突包括检测待配置文件中的用户属性值是否大于历史配置文件中的用户属性值，检测待配置文件中的用户属性值是否与历史配置文件中的用户属性值是否属于同一类别，检测待配置文件中是否附带删除历史配置文件中的标记信息。其中，用户属性值包括用户业务线、职位、岗位、角色等属性值，例如，当员工晋升时，则待配置文件的用户属性值将大于历史配置文件中的用户属性值，当平职调动时，待配置文件中的用户属性值与历史配置文件中的用户属性值属于不同类别，当然，也可以在导入数据时在导入的用户数据中***删除历史配置文件的标记信息，***检测到高标记信息则会触发删除指令，删除历史配置文件。
步骤S24，若冲突，则删除所述历史配置文件，将所述待配置文件作为所述配置文件，并基于所述配置文件对用户的权限进行配置。
在本实施例中，若检测到历史配置文件与待配置文件不冲突时，则将待配置文件作为配置文件，根据配置文件中的映射关系对用户权限进行配置，若检测到待配置文件与历史配置文件冲突，则删除已配置的信息，根据待配置信息进行配置，即实现对配置更新，当然，也可以发送提示消息至处理人员，由处理人员进行核实该人员的配置信息，并进行手动配置。若不冲突，则根据待配置文件配置用户的权限，则该用户拥有的权限为待配置文件中的权限及历史配置文件中的权限。
进一步地，步骤S20之后，还包括：
步骤S30，将所述配置文件与所述用户数据中的原文件进行比较，基于所述配置模板中的预设映射关系确定所述配置文件与所述原文件是否匹配；
在本实施例中，该配置文件是包括已经配置完成的用户数据与目标用户数据之间的映射关系，将配置文件与原文件进行比较，具体地，检测原文件中的用户属性值是否与配置文件中的用户属性值是否匹配，同时检测用户属性值对应的属性信息是匹配，用户属性值包括用身份信息及组织架构的名称，例如，“姓名”、“年龄”、“岗位”、“职位”，用户属性信息包括身份信息及组织架构名称的具体内容，例如，张三、23、A岗位、C职位、二手房业务线等，例如，例如，姓名：张三，岗位：A岗位，则根据配置模板中的映射关系映射为，姓名：张三，岗位：B岗位，其中，姓名、岗位为用户属性值，张三、A岗位为属性信息，则根据配置模板中的映射关系检测用户属性值是否一致，A岗位与B岗位是否形成映射关系。
步骤S40，若不匹配，则发送提示消息至处理人员，以供处理人员查找原因。
在本实施例中，提示方式包括邮件、短信消息、第三方应用提醒等，若检测到配置文件与原配置文件不匹配，则将通过预设的提示方式提醒相关的处理人员，以提醒处理人员查找原因，处理人员可以修改配置模板中的映射关系。
本实施例提出的数据导入监控方法，通过获取导入的用户数据，检测所述用户数据是否正确，然后若正确，则基于预设的配置模板及所述用户数据对用户的权限进行配置，并生成配置文件，接着将所述配置文件与所述用户数据中的原文件进行比较，基于所述配置模板中的预设映射关系确定所述配置文件与所述原文件是否匹配，最后若不匹配，则发送提示消息至处理人员，以提醒处理人员查找原因；实现了在用户数据进行配置后对配置文件与原文件进行匹配，并在配置文件与原文件不一致时提醒处理人员查找原因，对用户数据的配置起到了监控作用，进而保证了数据导入后的准确性。
基于第一实施例，提出本发明数据导入监控方法的第二实施例，参照图3，本实施例中，步骤S10还包括：
步骤S14，利用异常信息库中的异常规则调用预设的文本处理器，检测所述用户数据中是否存在异常字段；
在本实施例中，异常信息库中包括多个异常规则，异常信息库是独立的一层，不用修改程序，直接在异常信息库中配置新的规则或者删除/修改已有的规则，不用测试程序，就可以进行用户数据的监控。该文本处理器指的是利用脚本语言的正则表达式，能够根据异常信息库中配置的异常规则进行文本的查找和处理，抽取异常信息。文本处理器是基于异常信息库，利用Python的文本正则表达式和Shell文件处理功能，对用户数据进行解析。
由于用户数据从不同的***中导入进来的，所以在数据导入的时候可能存在数据丢失、数据错误等数据异常，***对导入的数据进行异常检测，例如，用户的地址用“？”或者“*”等特殊字符代替，生日用非数值型代替等，具体地，可以利用异常信息库中的异常规则调用文本处理器，检测用户数据中是否存在异常字段。
步骤S15，若所述用户数据中不存在异常字段，则确定所述用户数据正确。
在本实施例中，若***检测到用户数据中存在异常字段，则说明导入的用户数据中存在数据丢失或者数据错误等数据异常，则将发送提示消息至处理人员，以供处理人员查找原因，若***检测到用户数据中不存在异常字段，则说明用户数据正确。
本实施例提出的数据导入监控方法，通过利用异常信息库中的异常规则调用预设的文本处理器，检测所述用户数据中是否存在异常字段，然后若所述用户数据中不存在异常字段，则确定所述用户数据正确；实现了通过文本处理器检测用户数据中是否存在异常字段，从而对用户数据的准确性进行验证，进而保证的用户数据的准确性。
基于第二实施例，提出本发明数据导入监控方法的第三实施例，参照图4，本实施例中，步骤S30之后，还包括：
步骤S50，若匹配，则利用预设的脚本信息抓取所述用户数据中的第一关键字，并将所述关键字与所述配置模板进行匹配，确定各所述第一关键字是否在所述配置模板中均存在映射关系；
在本实施例中，若配置文件与原文件匹配，则还可以检测导入的用户数据中是否存在预设的映射关系中没有的用户属性值，即预设的映射关系无法将用户数据中的所有数据进行映射，例如，某外部公司的某一岗位或者某一角色在本公司***中不存在，同时在预设的映射关系中也找不到该岗位或者角色对应的数据。具体地，可以利用预设的脚本信息抓取用数据中的第一关键字，该第一关键字是指用户数据中的用户属性值的名称，通过将第一关键字与配置模板进行匹配，确定第一关键字是否存在配置模板中均存在映射关系。
步骤S60，若否，则获取在所述配置模板中不存在映射关系的第二关键字，建立所述第二关键字的新映射关系。
在本实施例中，若第一关键字中存在第二关键字在配置模板中没有对应的映射关系，则说明用户数据中存在无法根据预设的映射关系进行映射的用户属性值，获取该第二关键字，并建立该第二关键字的新映射关系。
其中，所述若否，则获取在所述配置模板中不存在映射关系的第二关键字，建立所述第二关键字的新映射关系的步骤包括：
步骤S61，若否，则获取在所述配置模板中不存在映射关系的第二关键字，基于所述第二关键字发送提示消息至处理人员，并确定预设时间段内是否接收到处理人员的添加指令；
在本实施例中，若检测到第二关键字在配置模板中不存在对应的映射关系，则将发送提示消息至处理人员，以提醒处理人员根据第二关键字建立新映射关系，处理人员可以在配置模板中添加新映射关系，***将检测是否在预设时间段内接收到处理人员的添加指令。
步骤S62，若预设时间段内接收到处理人员的添加指令，则基于所述添加指令在所述配置模板中建立新映射关系。
在本实施例中，处理人员可以通过预设控件触发添加指令，根据添加指令将设置好的新映射关系添加至配置模板，从而在配置模板中建立新映射关系，该新映射关系包括重新设置一个用户属性值，第二关键字与该用户属性值进行关联存储形成映射关系，或者，将第二关键字添加至配置文档中已有的映射关系，当然，也可以直接将第二关键字作为映射后的用户属性值。例如，当导入数据中外部公司人员的职位在本公司人员职位中并不存在映射关系，则可以在***中将外部公司人员的职位添加至已有的映射关系中形成新映射关系，或者，新建立一个新的映射关系，从而将外部公司人员的职位映射为本公司的职位。进而能够将用户数据中的所有数据进行映射，避免了映射不完整的情况发生。
进一步地，步骤S61之后，还包括：
步骤S63，若预设时间段内未接收到处理人员的添加指令，则删除所述第二关键字及所述第二关键字对应的属性信息。
在本实施例中，***检测是否在预设时间段内接收到处理人员的添加指令，若处理人员没有在预设时间段内建立新映射关系，则***默认为忽略该第二关键字的映射，可以将该第二关键字及第二关键字对应的属性信息进行删除，其中，第二关键字为用户数据中的用户属性值，用户属性值存在对应的用户属性信息，用户属性值包括用身份信息及组织架构的名称，例如，“姓名”、“年龄”、“岗位”、“职位”，用户属性信息包括身份信息及组织架构名称的具体内容，例如，张三、23、A岗位、C职位、二手房业务线等。
本实施例提出的数据导入监控方法，通过若匹配，则利用预设的脚本信息抓取所述用户数据中的第一关键字，并将所述第一关键字与所述配置模板进行匹配，确定各所述第一关键字是否在所述配置模板中均存在映射关系，若否，则获取在所述配置模板中不存在映射关系的第二关键字，建立所述第二关键字的新映射关系；从而避免了映射不完整的情况发生，支持新映射关系的建立。
此外，本发明实施例还提供一种数据导入监控装置。
参照图5，图5为本发明数据导入监控装置第一实施例的功能模块示意图。
本发明数据导入监控装置为虚拟装置，存储于图1所示数据导入监控设备的存储器1005中，用于实现数据导入监控程序的所有功能：获取导入的用户数据，检测所述用户数据是否正确；若正确，则基于预设的配置模板及所述用户数据对用户的权限进行配置，并生成配置文件；将所述配置文件与所述用户数据中的原文件进行比较，基于所述配置模板中的预设映射关系确定所述配置文件与所述原文件是否匹配；若不匹配，则发送提示消息至处理人员，以提醒处理人员查找原因。
具体的，本实施例中，所述数据导入监控装置包括：
获取模块101，用于获取导入的用户数据，检测所述用户数据是否正确；
配置模块102，用于若正确，则基于预设的配置模板及所述用户数据对用户的权限进行配置，并生成配置文件；
监控模块103，用于将所述配置文件与所述用户数据中的原文件进行比较，基于所述配置模板中的预设映射关系确定所述配置文件与所述原文件是否匹配；
提示模块104，用于若不匹配，则发送提示消息至处理人员，以提醒处理人员查找原因。
进一步地，获取模块101还用于：
获取第一***接收到的第一数据及第二***接收到的第二数据，并将所述第一数据及所述第二数据进行比较，确定所述第一数据与所述第二数据是否一致；
若一致，则将所述第二数据与所述用户数据进行比较，确定所述第二数据与所述用户数据是否一致；
若一致，则确定所述用户数据正确。
进一步地，获取模块101还用于：
利用异常信息库中的异常规则调用预设的文本处理器，检测所述用户数据中是否存在异常字段；
若所述用户数据中不存在异常字段，则确定所述用户数据正确。
进一步地，配置模块102还用于：
若正确，则基于所述配置模板将所述用户数据映射为目标数据，并生成待配置文件；
获取所述用户数据中的用户标识，基于所述用户标识查找历史配置记录，确定所述历史配置记录中是否存在所述用户标识对应的历史配置文件；
若存在，则检测所述历史配置文件与所述待配置文件是否冲突；
若冲突，则删除所述历史配置文件，将所述待配置文件作为所述配置文件，并基于所述配置文件对用户的权限进行配置。
进一步地，监控模块103还用于：
若匹配，则利用预设的脚本信息抓取所述用户数据中的第一关键字，并将所述第一关键字与所述配置模板进行匹配，确定各所述第一关键字是否在所述配置模板中均存在映射关系；
若否，则获取在所述配置模板中不存在映射关系的第二关键字，建立所述第二关键字的新映射关系。
进一步地，监控模块103还用于：
若否，则获取在所述配置模板中不存在映射关系的第二关键字，基于所述第二关键字发送提示消息至处理人员，并确定预设时间段内是否接收到处理人员的添加指令；
若预设时间段内接收到处理人员的添加指令，则基于所述添加指令在所述配置模板中建立新映射关系。
进一步地，监控模块103还用于：
若预设时间段内未接收到处理人员的添加指令，则删除所述第二关键字及所述第二关键字对应的用户属性信息。
其中，上述数据导入监控装置中各个模块的功能实现与上述数据导入监控方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
此外，本发明实施例还提供一种可读存储介质。
本发明可读存储介质上存储有数据导入监控程序，其中所述数据导入监控程序被处理器执行时，实现如上述的数据导入监控方法的步骤。
其中，数据导入监控程序被执行时所实现的方法可参照本发明数据导入监控方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据导入监控方法，其特征在于，所述数据导入监控方法包括以下步骤：
获取导入的用户数据，检测所述用户数据是否正确；
若正确，则基于预设的配置模板及所述用户数据对用户的权限进行配置，并生成配置文件；
将所述配置文件与所述用户数据中的原文件进行比较，基于所述配置模板中的预设映射关系确定所述配置文件与所述原文件是否匹配；
若不匹配，则发送提示消息至处理人员，以提醒处理人员查找原因。
2.如权利要求1所述的数据导入监控方法，其特征在于，所述检测所述用户数据是否正确的步骤包括：
获取第一***接收到的第一数据及第二***接收到的第二数据，并将所述第一数据及所述第二数据进行比较，确定所述第一数据与所述第二数据是否一致；
若一致，则将所述第二数据与所述用户数据进行比较，确定所述第二数据与所述用户数据是否一致；
若一致，则确定所述用户数据正确。
3.如权利要求1所述的数据导入监控方法，其特征在于，所述检测所述用户数据是否正确的步骤包括：
利用异常信息库中的异常规则调用预设的文本处理器，检测所述用户数据中是否存在异常字段；
若所述用户数据中不存在异常字段，则确定所述用户数据正确。
4.如权利要求3所述的数据导入监控方法，其特征在于，所述若正确，则基于预设的配置模板及所述用户数据对用户的权限进行配置，并生成配置文件的步骤包括：
若正确，则基于所述配置模板将所述用户数据映射为目标数据，并生成待配置文件；
获取所述用户数据中的用户标识，基于所述用户标识查找历史配置记录，确定所述历史配置记录中是否存在所述用户标识对应的历史配置文件；
若存在，则检测所述历史配置文件与所述待配置文件是否冲突；
若冲突，则删除所述历史配置文件，将所述待配置文件作为所述配置文件，并基于所述配置文件对用户的权限进行配置。
5.如权利要求3所述的数据导入监控方法，其特征在于，所述将所述配置文件与所述用户数据中的原文件进行比较，基于所述配置模板中的预设映射关系确定所述配置文件与所述原文件是否匹配的步骤之后，所述导入监控方法还包括：
若匹配，则利用预设的脚本信息抓取所述用户数据中的第一关键字，并将所述第一关键字与所述配置模板进行匹配，确定各所述第一关键字是否在所述配置模板中均存在映射关系；
若否，则获取在所述配置模板中不存在映射关系的第二关键字，建立所述第二关键字的新映射关系。
6.如权利要求4所述的数据导入监控方法，其特征在于，所述若否，则获取在所述配置模板中不存在映射关系的第二关键字，建立所述第二关键字的新映射关系的步骤包括：
若否，则获取在所述配置模板中不存在映射关系的第二关键字，基于所述第二关键字发送提示消息至处理人员，并确定预设时间段内是否接收到处理人员的添加指令；
若预设时间段内接收到处理人员的添加指令，则基于所述添加指令在所述配置模板中建立新映射关系。
7.如权利要求6所述的数据导入监控方法，其特征在于，所述若否，则获取在所述配置模板中不存在映射关系的第二关键字，基于所述第二关键字发送提示消息至处理人员，并确定预设时间段内是否接收到处理人员的添加指令的步骤之后，所述数据导入监控方法还包括：
若预设时间段内未接收到处理人员的添加指令，则删除所述第二关键字及所述第二关键字对应的用户属性信息。
8.一种数据导入监控装置，其特征在于，所述数据导入监控装置包括：
获取模块，用于获取导入的用户数据，检测所述用户数据是否正确；
配置模块，用于若正确，则基于预设的配置模板及所述用户数据对用户的权限进行配置，并生成配置文件；
监控模块，用于将所述配置文件与所述用户数据中的原文件进行比较，基于所述配置模板中的预设映射关系确定所述配置文件与所述原文件是否匹配；
提示模块，用于若不匹配，则发送提示消息至处理人员，以提醒处理人员查找原因。
9.一种数据导入监控设备，其特征在于，所述数据导入监控设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的数据导入监控程序，其中所述数据导入监控程序被所述处理器执行时，实现如权利要求1至7中任一项所述的数据导入监控方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有数据导入监控程序，其中所述数据导入监控程序被处理器执行时，实现如权利要求1至7中任一项所述的数据导入监控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910200499.3A CN110059491A (zh) | 2019-03-16 | 2019-03-16 | 数据导入监控方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910200499.3A CN110059491A (zh) | 2019-03-16 | 2019-03-16 | 数据导入监控方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110059491A true CN110059491A (zh) | 2019-07-26 |
Family
ID=67316158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910200499.3A Pending CN110059491A (zh) | 2019-03-16 | 2019-03-16 | 数据导入监控方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110059491A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110781231A (zh) * | 2019-09-19 | 2020-02-11 | 平安科技（深圳）有限公司 | 基于数据库的批量导入方法、装置、设备及存储介质 |
| CN114070737A (zh) * | 2021-11-26 | 2022-02-18 | 中国工商银行股份有限公司 | 设备的配置数据的检查方法、装置、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105740121A (zh) * | 2016-01-26 | 2016-07-06 | 中国银行股份有限公司 | 一种日志文本监控与预警方法、装置 |
| CN106484716A (zh) * | 2015-08-27 | 2017-03-08 | 腾讯科技（北京）有限公司 | 组织架构调整方法及*** |
| CN107301115A (zh) * | 2017-06-26 | 2017-10-27 | 中国铁道科学研究院电子计算技术研究所 | 应用程序异常监控和恢复方法及设备 |
| CN108881108A (zh) * | 2017-05-09 | 2018-11-23 | 北京京东尚科信息技术有限公司 | 权限管理的方法和装置 |
-
2019
- 2019-03-16 CN CN201910200499.3A patent/CN110059491A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106484716A (zh) * | 2015-08-27 | 2017-03-08 | 腾讯科技（北京）有限公司 | 组织架构调整方法及*** |
| CN105740121A (zh) * | 2016-01-26 | 2016-07-06 | 中国银行股份有限公司 | 一种日志文本监控与预警方法、装置 |
| CN108881108A (zh) * | 2017-05-09 | 2018-11-23 | 北京京东尚科信息技术有限公司 | 权限管理的方法和装置 |
| CN107301115A (zh) * | 2017-06-26 | 2017-10-27 | 中国铁道科学研究院电子计算技术研究所 | 应用程序异常监控和恢复方法及设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110781231A (zh) * | 2019-09-19 | 2020-02-11 | 平安科技（深圳）有限公司 | 基于数据库的批量导入方法、装置、设备及存储介质 |
| CN110781231B (zh) * | 2019-09-19 | 2023-07-21 | 平安科技（深圳）有限公司 | 基于数据库的批量导入方法、装置、设备及存储介质 |
| CN114070737A (zh) * | 2021-11-26 | 2022-02-18 | 中国工商银行股份有限公司 | 设备的配置数据的检查方法、装置、存储介质及电子设备 |
| CN114070737B (zh) * | 2021-11-26 | 2024-03-08 | 中国工商银行股份有限公司 | 设备的配置数据的检查方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11023533B2 (en) | Node task data display method and apparatus, storage medium and computer equipment | |
| CN109479061B (zh) | 遵从性违反检测 | |
| US20170279840A1 (en) | Automated event id field analysis on heterogeneous logs | |
| US20210126911A1 (en) | Delegated authorization for isolated collections | |
| CN103280217B (zh) | 一种移动终端的语音识别方法及其装置 | |
| BR112021002704A2 (pt) | método implementado por computador de localização e classificação de informações pessoais e uma fonte de dados, e sistema | |
| US8407781B2 (en) | Information providing support device and information providing support method | |
| US20160241589A1 (en) | Method and apparatus for identifying malicious website | |
| CN105592343A (zh) | 针对问题和回答的显示装置和方法 | |
| CN103220352B (zh) | 终端、服务器、文件存储***和文件存储方法 | |
| CN105940410A (zh) | 用于去除个人可识别信息的清理器 | |
| TW201737072A (zh) | 一種對應用程序進行項目評估的方法及系統 | |
| CN105264555A (zh) | 评估控制 | |
| US20190243912A1 (en) | Rapid design, development, and reuse of blockchain environment and smart contracts | |
| US11423232B2 (en) | Systems and methods for deploying computerized conversational agents | |
| US20120148158A1 (en) | Place-based image organization | |
| US9823922B1 (en) | Source code mapping through context specific key word indexes and fingerprinting | |
| US10514854B2 (en) | Conditional authorization for isolated collections | |
| WO2018121266A1 (zh) | 一种应用程序获取方法和装置以及一种终端设备 | |
| CN111711529B (zh) | 群操作处理方法、装置、***、设备及存储介质 | |
| CN106484699A (zh) | 数据库查询字段的生成方法及装置 | |
| US20120185417A1 (en) | Apparatus and method for generating activity history | |
| CN110059491A (zh) | 数据导入监控方法、装置、设备及可读存储介质 | |
| CN106095948A (zh) | 表格的查询方法、装置和设备 | |
| CN109408502A (zh) | 一种数据标准处理方法、装置及其存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |