CN108388616A - 数据收集装置、方法、***及计算机可读存储介质 - Google Patents
数据收集装置、方法、***及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108388616A CN108388616A CN201810134580.1A CN201810134580A CN108388616A CN 108388616 A CN108388616 A CN 108388616A CN 201810134580 A CN201810134580 A CN 201810134580A CN 108388616 A CN108388616 A CN 108388616A
- Authority
- CN
- China
- Prior art keywords
- business datum
- data
- business
- assembling
- transacter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据收集装置，包括存储器和处理器，存储器上存储有可在处理器上运行的数据收集程序，该程序被处理器执行时实现如下步骤：接收业务***发送的数据组装请求，根据数据组装请求获取采集的业务数据以及该业务数据对应的业务信息；将获取的业务数据和对应的业务信息作为一组数据存储至缓存区域，判断当前存储的未组装的业务数据中是否有业务数据满足组装条件；若是，则按照对应的业务信息将满足组装条件的多组业务数据组装为预设格式的文件后存储。本发明还提出一种数据收集方法以及一种计算机可读存储介质。本发明解决了现有技术中数据收集效率低下，收集的数据不完整以及收集逻辑导致业务***的代码冗杂且难以维护的技术问题。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据收集装置、方法、***及计算机可读存储介质。
背景技术
在业务***的运行过程中，需要对分散在多个业务流程的各个环节的数据进行采集，并且将采集到的这些碎片化的数据进行归总整理，用于对业务情况进行分析。
目前通用的数据采集方法主要有两种：一是采用日志收集，这种方式需要规整用于收集数据的日志的格式，以使这些日志区别于其他日志，这种方式不仅较为繁琐，还存在信息碎片化、存在无用的垃圾信息、需要人为整理、无法收集敏感信息等问题；二是通过人工写代码的方式将收集逻辑写在业务***的业务逻辑中，在业务逻辑的运行过程中，通过其中的收集逻辑实现数据的收集，这种方式由于业务***中业务流程数量庞大，需要写入大量的收集逻辑，并且需要对业务逻辑进行改造，将收集逻辑与业务逻辑混在一起，导致业务***的代码冗杂且难以维护。
发明内容
本发明提供一种数据收集装置、方法、***及计算机可读存储介质，其主要目的在于解决现有技术中数据收集效率低下，收集的数据不完整以及收集逻辑导致业务***的代码冗杂且难以维护的技术问题。
为实现上述目的，本发明提供一种数据收集装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的数据收集程序，所述数据收集程序被所述处理器执行时实现如下步骤：
接收业务***发送的数据组装请求，根据所述数据组装请求获取采集的业务数据以及该业务数据对应的业务信息，其中，所述业务***获取预设收集点产生的业务数据并确定该业务数据对应的业务信息，根据该业务数据和对应的业务信息生成数据组装请求发送到所述数据收集装置；
将获取的业务数据和对应的业务信息作为一组数据存储至缓存区域；
判断当前存储的未组装的业务数据中是否有业务数据满足组装条件；
若是，则获取满足组装条件的多组业务数据，按照对应的业务信息，将满足组装条件的多组业务数据组装为预设格式的文件后存储；
若否，则执行接收业务***发送的数据组装请求的步骤。
可选地，所述判断当前存储的未组装的业务数据中是否有业务数据满足组装条件的步骤包括：
确定当前存储的未组装的业务数据对应的业务流程，根据确定的业务流程判断所述未组装的业务数据中是否有多组业务数据可以构成一个完整的数据流程，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件。
可选地，所述判断当前存储的未组装的业务数据中是否有业务数据满足组装条件的步骤包括：
判断当前存储的未组装的业务数据的数量是否大于预设数量，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件；
或者，获取记录的上次组装业务数据的时间点，判断接收到所述数据组装请求的时间点距离记录的时间点之间的时间间隔是否大于预设时间间隔，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件。
此外，为实现上述目的，本发明还提供一种数据收集***，该***包括上述数据收集装置，以及与该数据收集装置通讯连接的业务***服务器，该业务***服务器用于：
当检测到业务***中有业务流程被执行时，采集该业务流程被执行的过程中，预设采集点产生的业务数据；
确定采集的业务数据对应的业务信息，根据所述业务数据和所述业务信息生成数据组装请求；
将所述数据组装请求发送至所述数据收集装置。
可选地，所述当检测到业务***中有业务流程被执行时，采集该业务流程被执行的过程中，预设采集点产生的业务数据的步骤包括：
当检测到业务***中有业务流程被执行时，根据预设配置文件确定所述业务流程中的采集点；
在所述业务流程的执行过程中，采集确定的采集点处产生的业务数据。
此外，为实现上述目的，本发明还提供一种数据收集方法，该方法包括：
所述数据收集装置接收业务***发送的数据组装请求，根据所述数据组装请求获取采集的业务数据以及该业务数据对应的业务信息，其中，所述业务***获取预设收集点产生的业务数据并确定该业务数据对应的业务信息，根据该业务数据和对应的业务信息生成数据组装请求发送到所述数据收集装置；
将获取的业务数据和对应的业务信息作为一组数据存储至缓存区域；
所述数据收集装置判断当前存储的未组装的业务数据中是否有业务数据满足组装条件；
若是，则获取满足组装条件的多组业务数据，按照对应的业务信息，将满足组装条件的多组业务数据组装为预设格式的文件后存储；
若否，则执行接收业务***发送的数据组装请求的步骤。
可选地，所述判断当前存储的未组装的业务数据中是否有业务数据满足组装条件的步骤包括：
确定当前存储的未组装的业务数据对应的业务流程，根据确定的业务流程判断所述未组装的业务数据中是否有多组业务数据可以构成一个完整的数据流程，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件。
可选地，所述判断当前存储的未组装的业务数据中是否有业务数据满足组装条件的步骤包括：
判断当前存储的未组装的业务数据的数量是否大于预设数量，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件；
或者，获取记录的上次组装业务数据的时间点，判断接收到所述数据组装请求的时间点距离记录的时间点之间的时间间隔是否大于预设时间间隔，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件。
可选地，在所述按照对应的业务信息，将满足组装条件的多组业务数据组装为预设格式的文件后存储的步骤之后，所述方法还包括如下步骤：
从所述缓存区域中删除已完成组装的所述多组数据。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据收集程序，所述数据收集程序可被一个或者多个处理器执行，以实现如上所述的数据收集方法的步骤。
本发明提出的数据收集装置、方法、***及计算机可读存储介质，业务***获取预设收集点产生的业务数据并确定该业务数据对应的业务信息，根据该业务数据和业务信息生成数据组装请求发送到数据收集装置，数据收集装置接收到数据组装请求时，获取其中的业务数据和业务信息并将其作为一组数据存储至缓存区域，判断当前存储的未组装的业务数据中是否有业务数据满足组装条件，若否，则继续接收业务***发送的数据组装请求，若是，则获取满足组装条件的多组业务数据并按照预设格式组装为一个数据包后存储，本发明的方案不需要对业务逻辑做出任何变更，并且业务***中的数据采集过程不影响业务逻辑的正常运行，避免了因为将收集逻辑写在业务逻辑中而导致的业务逻辑的代码冗杂的问题；此外，也不需要通过日志采集，极大地简化了数据的收集过程，并且能够对任何采集点的数据进行收集，即使敏感数据同样能够实现收集，避免出现数据收集不完整的情况。
附图说明
图1为本发明数据收集装置较佳实施例的示意图；
图2为本发明数据收集装置一实施例中数据收集程序的程序模块示意图；
图3为本发明数据收集方法较佳实施例的流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种数据收集装置。参照图1所示，为本发明数据收集装置较佳实施例的示意图。
在本实施例中，数据收集装置可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、便携计算机等具有显示功能的可移动式终端设备。
该数据收集装置至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是数据收集装置的内部存储单元，例如该数据收集装置的硬盘。存储器11在另一些实施例中也可以是数据收集装置的外部存储设备，例如数据收集装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括数据收集装置的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于数据收集装置的应用软件及各类数据，例如数据收集程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行数据收集程序等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置与其他电子设备之间建立通信连接。
图1仅示出了具有组件11-14以及数据收集程序的数据收集装置，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该装置还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在数据收集装置中处理的信息以及用于显示可视化的用户界面。
可选地，该装置还可以包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为阵列布置的多个传感器。该装置的显示器的面积可以与所述触摸传感器的面积相同，也可以不同。可选地，将显示器与所述触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
可选地，该装置还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，若该装置为移动终端，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
在图1所示的装置实施例中，存储器11中存储有数据收集程序；处理器12执行存储器11中存储的数据收集程序时实现如下步骤：
接收业务***发送的数据组装请求，根据所述数据组装请求获取采集的业务数据以及该业务数据对应的业务信息，其中，所述业务***获取预设收集点产生的业务数据并确定该业务数据对应的业务信息，根据该业务数据和对应的业务信息生成数据组装请求发送到所述数据收集装置。
本实施例提出的数据收集装置与一个或者多个业务***的服务器之间建立通讯连接，在目标业务***中设置有数据采集程序，并且，目标业务***中预先设置好各个采集点的信息，例如，在目标业务***中预先设置配置文件，该配置文件中定义了需要进行数据采集的多个采集点，以及这些采集点对应的接口。这些采集点可以分布在该业务***的不同业务流程中，采集点即需要采集的业务数据在业务流程中的位置，在配置文件具体定义了这些数据具***于方法的哪些参数上。设置在业务***的数据采集程序能够实现对该业务***的各个方法的参数上数据的收集，只需要预先在配置文件中定义好采集点和对应的接口信息。可以理解的是，对于一个业务流程来说，可以由一个或者多个方法来实现，每一个方法中涉及到多个参数，根据要采集的数据确定对应的方法和参数，进而根据确定的方法和参数确定采集点，在业务流程被执行时，业务采集程序基于对应的接口从该业务流程预先设置的一个或者多个数据采集点获取该业务流程被用户执行时产生的业务数据。
需要说明的是，需要收集的业务数据按照以下层级结构分布：业务***→业务场景→业务主题→业务流程，一个业务***中可以包含有多个业务场景，一个业务场景下可以包括一个或者多个业务主题，一个业务主题下可以包括一个或者多个业务流程，每个业务流程中可以包含有一个或者多个数据采集点，本实施例中的业务信息包括业务***信息、业务场景信息、业务主题信息以及业务流程信息，其中，业务***信息可以是携带在数据组装请求中的业务***的标识信息。上述业务***可以是公司各个独立的业务***，例如健康险业务***、保险业务***、证券业务***等等，业务流程可以是用户注册流程、产品的线上购买流程。业务***以采集点为单位对业务流程被执行的过程中产生的业务数据进行收集，并发送到数据收集装置进行组装处理。
数据采集程序在采集到业务数据后，获取该业务数据对应的业务流程信息、业务主题信息和业务场景信息，将这些信息与采集到的业务数据关联后生成数据组装请求发送到数据收集装置。数据收集程序根据业务流程被执行的情况，不断地采集业务数据，每完成一个采集点的数据的采集，向数据收集装置发送一个数据组装请求。
将获取的业务数据和对应的业务信息作为一组数据存储至缓存区域。
数据收集装置每接收到一条数据组装请求后，数据收集装置在接收到业务***服务器发送的数据组装请求时，确定获取其中包含的业务数据以及对应的业务流程信息、业务主题信息和业务场景信息等业务信息，将这些信息作为一组数据存储到预设的缓存区域中，其中，这些业务信息体现出该业务数据对应的数据层级关系，在后续组装数据的过程中，根据业务数据对应的业务信息对多组业务数据进行组装。
判断当前存储的未组装的业务数据中是否有业务数据满足组装条件。
若是，则获取满足组装条件的多组业务数据，按照对应的业务信息，将满足组装条件的多组业务数据组装为预设格式的文件后存储。
若否，则执行接收业务***发送的数据组装请求的步骤。
判断当前存储的还未组装过的数据中，是否有多组数据满足预设组装条件。其中，预设组装条件可以由用户预先根据对数据的组装要求设置，可以有一种或者多种实施方式，例如，作为一种实施方式，确定当前存储的未组装的业务数据对应的业务流程，根据确定的业务流程判断所述未组装的业务数据中是否有多组业务数据可以构成一个完整的数据流程，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件，若当前的存储的未组装的多组业务数据均分散在不同的业务流程中，不能构成一个完整的数据流程，则可以暂时不做处理，继续接收业务***发送的数据组装请求。
或者，在其他实施例中，判断当前存储的未组装的业务数据的数量是否大于预设数量，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件；或者，获取记录的上次组装业务数据的时间点，判断接收到数据组装请求的时间点距离记录的时间点之间的时间间隔是否大于预设时间间隔，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件，否则，判定不满足组装条件，继续接收业务***发送的数据组装请求。或者，在其他实施例中，用户可以根据需要设置组装条件对接收到的多组业务数据进行组装。其中，预设格式可以由用户根据需要设置，例如以表格的形式整理组装多组业务数据，或者将多组数据打包为一个数据包。
进一步地，将满足组装条件的多组业务数据组装为预设格式的文件后存储的步骤之后，从缓存区域中删除已完成组装的多组数据。或者，在其他实施例中，在将满足组装条件的多组业务数据组装为预设格式的文件后存储的步骤，按照预设的节点要求，将组装为预设的格式的文件发送到指定的设备。
以某一个业务***中用户的注册流程为例，注册流程中包括多个步骤，例如，定义用户名的步骤，填写身份证号、邮箱等个人信息的步骤、设置登录密码的步骤，每一个步骤中用户填写的数据都对应于该业务流程的特定方法上的特定参数，每一个参数对应于一个数据采集点，例如该流程中的采集点包括用户名、填写身份证号和登录密码对应的参数，业务***中的数据采集程序在用户执行注册流程时，根据流程的执行情况获取这些采集点产生的业务数据，即用户成功注册后的用户名、填写身份证号和登录密码；然后获取该业务流程所属的业务流程信息、业务主题信息和业务场景信息，在采集到一个采集点的数据后，将该采集点的数据和所属的业务流程信息、业务主题信息和业务场景信息一起发送到数据采集装置。数据收集装置将接收到的多组业务数据按照组装条件组装，假设组装条件为间隔预设时间间隔组装异常，预设时间间隔为一天，则可以对于该业务流程来说，可以得到一天内注册用户的上述信息。而对于一个业务***来说，包括有多个业务流程，通过上述数据采集方法，可以得到所有业务流程在上述预设时间间隔内所产生的业务数据。
上述实施例提出的数据收集装置，不需要通过人工写代码的方式对业务逻辑做出任何变更，并且业务***中的数据收集程序独立于业务逻辑，不影响业务逻辑的运行，避免了因为将收集逻辑写在业务逻辑中而导致的业务逻辑的代码冗杂的问题；此外，这种方案相对于通过特定格式的日志数据收集的方式，用户可以根据需要收集的数据定义任意位置的采集点，在业务流程被执行时，直接从业务流程对应的方法的参数上直接采集数据，不会出现因为数据敏感而无法收集的情况，保证了采集的数据的完整性，避免出现数据收集不完整的情况。
此外，本发明还提出一种数据收集***，该数据收集***包括上述实施例中提出的数据收集装置，以及与该数据收集装置通讯连接的业务***服务器，业务***服务器用于执行以下步骤：
当检测到业务***中有业务流程被执行时，采集该业务流程被执行的过程中，预设采集点产生的业务数据；确定采集的业务数据对应的业务信息，根据所述业务数据和所述业务信息生成数据组装请求；将所述数据组装请求发送至所述数据收集装置。
可选地，当检测到业务***中有业务流程被执行时，采集该业务流程被执行的过程中，预设采集点产生的业务数据的步骤包括：
当检测到业务***中有业务流程被执行时，根据预设配置文件确定所述业务流程中的采集点；在所述业务流程的执行过程中，采集确定的采集点处产生的业务数据。
其中，关于该数据收集***中的业务***服务器的具体实施方式，请参见上述数据收集装置实施例中的描述，在此不作累述。
可选地，在其他的实施例中，数据收集程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述数据收集程序在数据收集装置中的执行过程。
例如，参照图2所示，为本发明数据收集装置一实施例中的数据收集程序的程序模块示意图，该实施例中，数据收集程序可以被分割为数据获取模块10、数据存储模块20、数据检测模块30和数据组装模块40，示例性地：
数据获取模块10用于：接收业务***发送的数据组装请求，根据所述数据组装请求获取采集的业务数据以及该业务数据对应的业务信息，其中，所述业务***获取预设收集点产生的业务数据并确定该业务数据对应的业务信息，根据该业务数据和对应的业务信息生成数据组装请求发送到所述数据收集装置；
数据存储模块20用于：将获取的业务数据和对应的业务信息作为一组数据存储至缓存区域；
数据检测模块30用于：判断当前存储的未组装的业务数据中是否有业务数据满足组装条件；
数据组装模块40用于：若是，则获取满足组装条件的多组业务数据，按照对应的业务信息，将满足组装条件的多组业务数据组装为预设格式的文件后存储。
数据组装模块10还用于：当前存储的未组装的业务数据中没有业务数据满足组装条件时，继续接收业务***发送的数据组装请求。
上述数据获取模块10、数据存储模块20、数据检测模块30和数据组装模块40等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明还提供一种数据收集方法。参照图3所示，为本发明数据收集方法较佳实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，数据收集方法包括：
步骤S10，接收业务***发送的数据组装请求，根据所述数据组装请求获取采集的业务数据以及该业务数据对应的业务信息，其中，所述业务***获取预设收集点产生的业务数据并确定该业务数据对应的业务信息，根据该业务数据和对应的业务信息生成数据组装请求发送到所述数据收集装置。
以下实施例中，以数据收集装置作为执行主体对本发明的数据收集方法进行说明。该数据收集装置与一个或者多个业务***的服务器之间建立通讯连接，在目标业务***中设置有数据采集程序，并且，目标业务***中预先设置好各个采集点的信息，例如，在目标业务***中预先设置配置文件，该配置文件中定义了需要进行数据采集的多个采集点，以及这些采集点对应的接口。这些采集点可以分布在该业务***的不同业务流程中，采集点即需要采集的业务数据在业务流程中的位置，在配置文件具体定义了这些数据具***于方法的哪些参数上。设置在业务***的数据采集程序能够实现对该业务***的各个方法的参数上数据的收集，只需要预先在配置文件中定义好采集点和对应的接口信息。可以理解的是，对于一个业务流程来说，可以由一个或者多个方法来实现，每一个方法中涉及到多个参数，根据要采集的数据确定对应的方法和参数，进而根据确定的方法和参数确定采集点，在业务流程被执行时，业务采集程序基于对应的接口从该业务流程预先设置的一个或者多个数据采集点获取该业务流程被用户执行时产生的业务数据。
需要说明的是，需要收集的业务数据按照以下层级结构分布：业务***→业务场景→业务主题→业务流程，一个业务***中可以包含有多个业务场景，一个业务场景下可以包括一个或者多个业务主题，一个业务主题下可以包括一个或者多个业务流程，每个业务流程中可以包含有一个或者多个数据采集点，本实施例中的业务信息包括业务***信息、业务场景信息、业务主题信息以及业务流程信息，其中，业务***信息可以是携带在数据组装请求中的业务***的标识信息。上述业务***可以是公司各个独立的业务***，例如健康险业务***、保险业务***、证券业务***等等，业务流程可以是用户注册流程、产品的线上购买流程。业务***以采集点为单位对业务流程被执行的过程中产生的业务数据进行收集，并发送到数据收集装置进行组装处理。
数据采集程序在采集到业务数据后，获取该业务数据对应的业务流程信息、业务主题信息和业务场景信息，将这些信息与采集到的业务数据关联后生成数据组装请求发送到数据收集装置。数据收集程序根据业务流程被执行的情况，不断地采集业务数据，每完成一个采集点的数据的采集，向数据收集装置发送一个数据组装请求。
步骤S20，将获取的业务数据和对应的业务信息作为一组数据存储至缓存区域。
数据收集装置每接收到一条数据组装请求后，数据收集装置在接收到业务***服务器发送的数据组装请求时，确定获取其中包含的业务数据以及对应的业务流程信息、业务主题信息和业务场景信息等业务信息，将这些信息作为一组数据存储到预设的缓存区域中，其中，这些业务信息体现出该业务数据对应的数据层级关系，在后续组装数据的过程中，根据业务数据对应的业务信息对多组业务数据进行组装。
步骤S30，判断当前存储的未组装的业务数据中是否有业务数据满足组装条件。
步骤S40，若是，则获取满足组装条件的多组业务数据，按照对应的业务信息，将满足组装条件的多组业务数据组装为预设格式的文件后存储。
步骤S50，若否，则执行接收业务***发送的数据组装请求的步骤。
判断当前存储的还未组装过的数据中，是否有多组数据满足预设组装条件。其中，预设组装条件可以由用户预先根据对数据的组装要求设置，可以有一种或者多种实施方式，例如，作为一种实施方式，确定当前存储的未组装的业务数据对应的业务流程，根据确定的业务流程判断所述未组装的业务数据中是否有多组业务数据可以构成一个完整的数据流程，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件，若当前的存储的未组装的多组业务数据均分散在不同的业务流程中，不能构成一个完整的数据流程，则可以暂时不做处理，继续接收业务***发送的数据组装请求。
或者，在其他实施例中，判断当前存储的未组装的业务数据的数量是否大于预设数量，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件；或者，获取记录的上次组装业务数据的时间点，判断接收到数据组装请求的时间点距离记录的时间点之间的时间间隔是否大于预设时间间隔，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件，否则，判定不满足组装条件，继续接收业务***发送的数据组装请求。或者，在其他实施例中，用户可以根据需要设置组装条件对接收到的多组业务数据进行组装。其中，预设格式可以由用户根据需要设置，例如以表格的形式整理组装多组业务数据，或者将多组数据打包为一个数据包。
进一步地，将满足组装条件的多组业务数据组装为预设格式的文件后存储的步骤之后，从缓存区域中删除已完成组装的多组数据。或者，在其他实施例中，在将满足组装条件的多组业务数据组装为预设格式的文件后存储的步骤，按照预设的节点要求，将组装为预设的格式的文件发送到指定的设备。
以某一个业务***中用户的注册流程为例，注册流程中包括多个步骤，例如，定义用户名的步骤，填写身份证号、邮箱等个人信息的步骤、设置登录密码的步骤，每一个步骤中用户填写的数据都对应于该业务流程的特定方法上的特定参数，每一个参数对应于一个数据采集点，例如该流程中的采集点包括用户名、填写身份证号和登录密码对应的参数，业务***中的数据采集程序在用户执行注册流程时，根据流程的执行情况获取这些采集点产生的业务数据，即用户成功注册后的用户名、填写身份证号和登录密码；然后获取该业务流程所属的业务流程信息、业务主题信息和业务场景信息，在采集到一个采集点的数据后，将该采集点的数据和所属的业务流程信息、业务主题信息和业务场景信息一起发送到数据采集装置。数据收集装置将接收到的多组业务数据按照组装条件组装，假设组装条件为间隔预设时间间隔组装异常，预设时间间隔为一天，则可以对于该业务流程来说，可以得到一天内注册用户的上述信息。而对于一个业务***来说，包括有多个业务流程，通过上述数据采集方法，可以得到所有业务流程在上述预设时间间隔内所产生的业务数据。
上述实施例提出的数据收集方法，不需要通过人工写代码的方式对业务逻辑做出任何变更，并且业务***中的数据收集程序独立于业务逻辑，不影响业务逻辑的运行，避免了因为将收集逻辑写在业务逻辑中而导致的业务逻辑的代码冗杂的问题；此外，这种方案相对于通过特定格式的日志数据收集的方式，用户可以根据需要收集的数据定义任意位置的采集点，在业务流程被执行时，直接从业务流程对应的方法的参数上直接采集数据，不会出现因为数据敏感而无法收集的情况，保证了采集的数据的完整性，避免出现数据收集不完整的情况。
此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据收集程序，所述数据收集程序可被一个或多个处理器执行，以实现如下操作：
接收业务***发送的数据组装请求，根据所述数据组装请求获取采集的业务数据以及该业务数据对应的业务信息，其中，所述业务***获取预设收集点产生的业务数据并确定该业务数据对应的业务信息，根据该业务数据和对应的业务信息生成数据组装请求发送到所述数据收集装置；
将获取的业务数据和对应的业务信息作为一组数据存储至缓存区域；
判断当前存储的未组装的业务数据中是否有业务数据满足组装条件；
若是，则获取满足组装条件的多组业务数据，按照对应的业务信息，将满足组装条件的多组业务数据组装为预设格式的文件后存储。
本发明计算机可读存储介质具体实施方式与上述数据收集装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据收集装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的数据收集程序，所述数据收集程序被所述处理器执行时实现如下步骤：
接收业务***发送的数据组装请求，根据所述数据组装请求获取采集的业务数据以及该业务数据对应的业务信息，其中，所述业务***获取预设收集点产生的业务数据并确定该业务数据对应的业务信息，根据该业务数据和对应的业务信息生成数据组装请求发送到所述数据收集装置；
将获取的业务数据和对应的业务信息作为一组数据存储至缓存区域；
判断当前存储的未组装的业务数据中是否有业务数据满足组装条件；
若是，则获取满足组装条件的多组业务数据，按照对应的业务信息，将满足组装条件的多组业务数据组装为预设格式的文件后存储；
若否，则执行接收业务***发送的数据组装请求的步骤。
2.如权利要求1所述的数据收集装置，其特征在于，所述判断当前存储的未组装的业务数据中是否有业务数据满足组装条件的步骤包括：
确定当前存储的未组装的业务数据对应的业务流程，根据确定的业务流程判断所述未组装的业务数据中是否有多组业务数据可以构成一个完整的数据流程，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件。
3.如权利要求1或2所述的数据收集装置，其特征在于，所述判断当前存储的未组装的业务数据中是否有业务数据满足组装条件的步骤包括：
判断当前存储的未组装的业务数据的数量是否大于预设数量，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件；
或者，获取记录的上次组装业务数据的时间点，判断接收到所述数据组装请求的时间点距离记录的时间点之间的时间间隔是否大于预设时间间隔，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件。
4.一种数据收集***，其特征在于，所述数据收集***包括如权利要求1至3中任一项所述的数据收集装置，该***还包括与数据收集装置通讯连接的业务***服务器，所述业务***服务器用于：
当检测到业务***中有业务流程被执行时，采集该业务流程被执行的过程中，预设采集点产生的业务数据；
确定采集的业务数据对应的业务信息，根据所述业务数据和所述业务信息生成数据组装请求；
将所述数据组装请求发送至所述数据收集装置。
5.如权利要求4所述的数据收集***，其特征在于，所述当检测到业务***中有业务流程被执行时，采集该业务流程被执行的过程中，预设采集点产生的业务数据的步骤包括：
当检测到业务***中有业务流程被执行时，根据预设配置文件确定所述业务流程中的采集点；
在所述业务流程的执行过程中，采集确定的采集点处产生的业务数据。
6.一种数据收集方法，其特征在于，所述数据收集方法包括：
所述数据收集装置接收业务***发送的数据组装请求，根据所述数据组装请求获取采集的业务数据以及该业务数据对应的业务信息，其中，所述业务***获取预设收集点产生的业务数据并确定该业务数据对应的业务信息，根据该业务数据和对应的业务信息生成数据组装请求发送到所述数据收集装置；
将获取的业务数据和对应的业务信息作为一组数据存储至缓存区域；
所述数据收集装置判断当前存储的未组装的业务数据中是否有业务数据满足组装条件；
若是，则获取满足组装条件的多组业务数据，按照对应的业务信息，将满足组装条件的多组业务数据组装为预设格式的文件后存储；
若否，则执行接收业务***发送的数据组装请求的步骤。
7.如权利要求6所述的数据收集方法，其特征在于，所述判断当前存储的未组装的业务数据中是否有业务数据满足组装条件的步骤包括：
确定当前存储的未组装的业务数据对应的业务流程，根据确定的业务流程判断所述未组装的业务数据中是否有多组业务数据可以构成一个完整的数据流程，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件。
8.如权利要求6所述的数据收集方法，其特征在于，所述判断当前存储的未组装的业务数据中是否有业务数据满足组装条件的步骤包括：
判断当前存储的未组装的业务数据的数量是否大于预设数量，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件；
或者，获取记录的上次组装业务数据的时间点，判断接收到所述数据组装请求的时间点距离记录的时间点之间的时间间隔是否大于预设时间间隔，其中，若是，则判定当前存储的未组装的业务数据中有业务数据满足组装条件。
9.如权利要求6至8中任一项所述的数据收集方法，其特征在于，在所述按照对应的业务信息，将满足组装条件的多组业务数据组装为预设格式的文件后存储的步骤之后，所述方法还包括如下步骤：
从所述缓存区域中删除已完成组装的所述多组数据。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据收集程序，所述数据收集程序可被一个或者多个处理器执行，以实现如权利要求6至9中任一项所述的数据收集方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810134580.1A CN108388616B (zh) | 2018-02-09 | 2018-02-09 | 数据收集装置、方法、***及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810134580.1A CN108388616B (zh) | 2018-02-09 | 2018-02-09 | 数据收集装置、方法、***及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108388616A true CN108388616A (zh) | 2018-08-10 |
| CN108388616B CN108388616B (zh) | 2020-08-28 |
Family
ID=63075553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810134580.1A Active CN108388616B (zh) | 2018-02-09 | 2018-02-09 | 数据收集装置、方法、***及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108388616B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753501A (zh) * | 2018-12-27 | 2019-05-14 | 广州市玄武无线科技股份有限公司 | 一种离线状态的数据显示方法、装置、设备和存储介质 |
| CN110032608A (zh) * | 2019-04-22 | 2019-07-19 | 江苏满运软件科技有限公司 | ***数据的信息组装方法、装置、存储介质及电子设备 |
| CN110784482A (zh) * | 2019-11-04 | 2020-02-11 | 浙江国利信安科技有限公司 | 一种工业审计***的报文存储方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101178798A (zh) * | 2007-12-12 | 2008-05-14 | 江苏省电力公司 | 跨业务***的流程监控方法 |
| CN101656626A (zh) * | 2009-09-14 | 2010-02-24 | 南京联创科技集团股份有限公司 | 业务支撑***采集处理模块的数据采集方法 |
| CN101901458A (zh) * | 2009-05-27 | 2010-12-01 | 中国工商银行股份有限公司 | 一种支持多种业务品种的贸易融资处理***及方法 |
| US20120311426A1 (en) * | 2011-05-31 | 2012-12-06 | Oracle International Corporation | Analysis of documents using rules |
| CN104112228A (zh) * | 2014-08-04 | 2014-10-22 | 武汉金融资产交易所有限公司 | 用于小额贷款公司的监管数据采集***及方法 |
| CN106649861A (zh) * | 2016-12-30 | 2017-05-10 | 山东鲁能软件技术有限公司 | 一种基于电网gis的gsai气象数据服务平台 |
| CN106851053A (zh) * | 2017-02-06 | 2017-06-13 | 徐文波 | 一种基于互联网的导播方法、终端和*** |
| CN107071006A (zh) * | 2017-03-27 | 2017-08-18 | 广州数字方舟信息技术股份有限公司 | 一种面向航道大数据的采集***及采集方法 |
| CN107301197A (zh) * | 2017-05-12 | 2017-10-27 | 上海瀚银信息技术有限公司 | 一种业务数据跟踪处理***及方法 |
| CN107612764A (zh) * | 2016-07-12 | 2018-01-19 | 中兴通讯股份有限公司 | 一种传输网管数据采集装置和方法 |
-
2018
- 2018-02-09 CN CN201810134580.1A patent/CN108388616B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101178798A (zh) * | 2007-12-12 | 2008-05-14 | 江苏省电力公司 | 跨业务***的流程监控方法 |
| CN101901458A (zh) * | 2009-05-27 | 2010-12-01 | 中国工商银行股份有限公司 | 一种支持多种业务品种的贸易融资处理***及方法 |
| CN101656626A (zh) * | 2009-09-14 | 2010-02-24 | 南京联创科技集团股份有限公司 | 业务支撑***采集处理模块的数据采集方法 |
| US20120311426A1 (en) * | 2011-05-31 | 2012-12-06 | Oracle International Corporation | Analysis of documents using rules |
| CN104112228A (zh) * | 2014-08-04 | 2014-10-22 | 武汉金融资产交易所有限公司 | 用于小额贷款公司的监管数据采集***及方法 |
| CN107612764A (zh) * | 2016-07-12 | 2018-01-19 | 中兴通讯股份有限公司 | 一种传输网管数据采集装置和方法 |
| CN106649861A (zh) * | 2016-12-30 | 2017-05-10 | 山东鲁能软件技术有限公司 | 一种基于电网gis的gsai气象数据服务平台 |
| CN106851053A (zh) * | 2017-02-06 | 2017-06-13 | 徐文波 | 一种基于互联网的导播方法、终端和*** |
| CN107071006A (zh) * | 2017-03-27 | 2017-08-18 | 广州数字方舟信息技术股份有限公司 | 一种面向航道大数据的采集***及采集方法 |
| CN107301197A (zh) * | 2017-05-12 | 2017-10-27 | 上海瀚银信息技术有限公司 | 一种业务数据跟踪处理***及方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753501A (zh) * | 2018-12-27 | 2019-05-14 | 广州市玄武无线科技股份有限公司 | 一种离线状态的数据显示方法、装置、设备和存储介质 |
| CN110032608A (zh) * | 2019-04-22 | 2019-07-19 | 江苏满运软件科技有限公司 | ***数据的信息组装方法、装置、存储介质及电子设备 |
| CN110032608B (zh) * | 2019-04-22 | 2022-09-06 | 江苏满运软件科技有限公司 | ***数据的信息组装方法、装置、存储介质及电子设备 |
| CN110784482A (zh) * | 2019-11-04 | 2020-02-11 | 浙江国利信安科技有限公司 | 一种工业审计***的报文存储方法及装置 |
| CN110784482B (zh) * | 2019-11-04 | 2022-03-25 | 浙江国利信安科技有限公司 | 一种工业审计***的报文存储方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108388616B (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6630276B2 (ja) | 端末デバイスにおけるユーザインタフェースを用いたユーザ行動および関与の計測機 | |
| CN107704356B (zh) | 异常堆栈信息获取方法、装置及计算机可读存储介质 | |
| CN108768875A (zh) | 应用的灰度发布方法、装置及计算机可读存储介质 | |
| US9766690B2 (en) | Method for controlling a sleep mode and electronic device thereof | |
| EP2843529A1 (en) | Method for providing information based on contents and electronic device thereof | |
| CN107944414B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN107408120A (zh) | 电子设备及其图像显示方法 | |
| CN107679058A (zh) | 数据同步方法、装置及计算机可读存储介质 | |
| CN108388616A (zh) | 数据收集装置、方法、***及计算机可读存储介质 | |
| CN110399583A (zh) | 页面显示方法、装置、电子设备以及存储介质 | |
| CN107577706A (zh) | 用户行为数据处理方法、装置及计算机可读存储介质 | |
| CN107861730A (zh) | 一种应用程序的处理方法及移动终端 | |
| CN110035181A (zh) | 一种快应用卡片主题设置方法及终端 | |
| CN109753425A (zh) | 弹窗处理方法及装置 | |
| CN109246467A (zh) | 标记待分享视频的方法、装置、摄像机和智能手机 | |
| CN110162254A (zh) | 一种显示方法和终端设备 | |
| CN109743724A (zh) | 一种嵌入式sim卡的管理方法及移动终端 | |
| KR102203130B1 (ko) | 심카드 사용 제어 방법 및 그 전자 장치 | |
| CN110784672B (zh) | 一种视频数据传输方法、装置、设备及存储介质 | |
| CN109582565A (zh) | 防止应用崩溃的方法、终端及计算机存储介质 | |
| CN110678879A (zh) | 数据生成装置、数据生成方法以及程序 | |
| CN107908492A (zh) | 黑屏检测方法、移动终端及计算机可读存储介质 | |
| CN106155888A (zh) | 一种移动应用中网页加载性能的检测方法和装置 | |
| CN109218082A (zh) | 一种网络配置参数处理方法、装置及设备 | |
| KR20170054876A (ko) | 스케줄 정보를 관리하기 위한 방법 및 그 전자 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |