CN112650746A - 一种应用于政务办理***自动捕获交换业务数据的方法 - Google Patents
一种应用于政务办理***自动捕获交换业务数据的方法 Download PDFInfo
- Publication number
- CN112650746A CN112650746A CN202110038162.4A CN202110038162A CN112650746A CN 112650746 A CN112650746 A CN 112650746A CN 202110038162 A CN202110038162 A CN 202110038162A CN 112650746 A CN112650746 A CN 112650746A
- Authority
- CN
- China
- Prior art keywords
- data
- capturing
- handling system
- business
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000004140 cleaning Methods 0.000 claims abstract description 16
- 238000013481 data capture Methods 0.000 claims abstract description 6
- 238000012544 monitoring process Methods 0.000 claims abstract description 5
- 238000013075 data extraction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Primary Health Care (AREA)
- Operations Research (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种应用于政务办理***自动捕获交换业务数据的方法，涉及数据采集技术领域；通过数据抓取客户端根据服务端的配置规则监听数据请求并进行匹配，所有规则完成匹配时，将获得的业务数据推送至服务端进行清洗加工，调用目标业务***的接口推送清洗加工后的业务数据；利用本发明方法方便快捷地抓取政务办理***的数据，并提供给其他业务***录入。
Description
技术领域
本发明公开一种方法，涉及数据采集技术领域，具体地说是一种应用于政务办理***自动捕获交换业务数据的方法。
背景技术
目前各地政务服务实施部门基本实行一门式、一窗式业务受理、后台分类审批的业务流程，政务服务工作人员需要在两个***里录入业务数据，一个是在本部门的业务办理***，一个是在统一政务服务平台的统建业务办理***。两次***录入不仅增加了政务服务工作人员带来的工作量，影响了工作效率，也因人工录入次数多容易导致***间做数据交换对接不畅等问题的出现。
发明内容
本发明针对现有技术的问题，提供一种应用于政务办理***自动捕获交换业务数据的方法，方便快捷地抓取政务办理***的数据，并提供给其他业务***录入。
本发明提出的具体方案是：
一种应用于政务办理***自动捕获交换业务数据的方法，通过数据抓取客户端根据服务端的配置规则监听数据请求并进行匹配，所有规则完成匹配时，将获得的业务数据推送至服务端进行清洗加工，调用目标业务***的接口推送清洗加工后的业务数据。
优选地，所述的一种应用于政务办理***自动捕获交换业务数据的方法中通过服务端的配置规则：
配置源***的域和分步操作的匹配规则，
配置数据提取规则。
优选地，所述的一种应用于政务办理***自动捕获交换业务数据的方法中通过数据抓取客户端获取服务端的配置规则，
监听数据抓取客户端浏览器发出的数据请求，当数据请求匹配到规则，将请求的数据组装写入本地数据缓存。
优选地，所述的一种应用于政务办理***自动捕获交换业务数据的方法中所述通过服务端按照配置的数据提取规则进行业务数据清洗加工。
一种应用于政务办理***自动捕获交换业务数据的***，包括数据抓取模块、配置管理模块、数据匹配模块、数据清洗加工模块及数据推送模块，
数据抓取模块通过数据抓取客户端根据配置管理模块在服务端的配置的规则监听数据请求，数据匹配模块根据数据请求进行数据匹配，所有规则完成数据匹配时，数据推送模块将获得的业务数据推送至服务端的数据清洗加工模块进行清洗加工，并调用目标业务***的接口推送清洗加工后的业务数据。
优选地，所述的一种应用于政务办理***自动捕获交换业务数据的***中配置管理模块在服务端配置规则：
配置源***的域和分步操作的匹配规则，
配置数据提取规则。
优选地，所述的一种应用于政务办理***自动捕获交换业务数据的***中数据抓取模块通过数据抓取客户端获取管理模块在服务端的配置的规则，
监听数据抓取客户端浏览器发出的数据请求，当数据请求匹配到规则，将请求的数据组装写入本地数据缓存。
优选地，所述的一种应用于政务办理***自动捕获交换业务数据的***中数据清洗加工模块通过按照配置的数据提取规则进行业务数据清洗加工。
一种应用于政务办理***自动捕获交换业务数据的装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行所述的一种应用于政务办理***自动捕获交换业务数据的方法。
本发明的有益之处是：
本发明提供一种应用于政务办理***自动捕获交换业务数据的方法，可应用于政务服务领域，通过数据抓取客户端根据服务端的配置规则监听数据请求并进行匹配，所有规则完成匹配时，将获得的业务数据推送至服务端进行清洗加工，调用目标业务***的接口推送清洗加工后的业务数据，本发明实现自动抓取、分析业务***业务数据并自动导入其他业务***，避免了“二次录入”，减轻了政务服务审批人员的工作量，提高了工作效率，并且充实了政务服务统一平台的业务数据，为业务数据的监管提供了条件。
附图说明
图1是本发明方法应用框架流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明提供一种应用于政务办理***自动捕获交换业务数据的方法，通过数据抓取客户端根据服务端的配置规则监听数据请求并进行匹配，所有规则完成匹配时，将获得的业务数据推送至服务端进行清洗加工，调用目标业务***的接口推送清洗加工后的业务数据。
利用本发明方法实现自动抓取、分析业务***业务数据并自动导入其他业务***，避免了“二次录入”，减轻了政务服务审批人员的工作量，提高了工作效率，并且充实了政务服务统一平台的业务数据，为业务数据的监管提供了条件。
具体应用中，在本发明的一些实施例中，针对抓取B/S架构***的页面数据前，通过服务端配置源***的域和分步操作的匹配规则、数据提取规则以及目标***政务服务业务映射、数据加工规则等，
而抓取数据的业务***客户端与前端浏览器运行在一台机器上，启动时会拉取服务端的配置规则，并开始监听浏览器发出的请求。当请求匹配到一条规则时，将请求数据简单组装写入本地数据缓存，当所有分布操作所有规则都被匹配时，推送业务数据到服务端进行清洗加工处理，
服务端利用数据清洗加工引擎，接收数据抓取客户端推送过来的数据，根据配置提取规则提取有价值的数据，通过调用目标业务***的接口最终产生业务数据。
本发明还提供一种应用于政务办理***自动捕获交换业务数据的***，包括数据抓取模块、配置管理模块、数据匹配模块、数据清洗加工模块及数据推送模块，
数据抓取模块通过数据抓取客户端根据配置管理模块在服务端的配置的规则监听数据请求，数据匹配模块根据数据请求进行数据匹配，所有规则完成数据匹配时，数据推送模块将获得的业务数据推送至服务端的数据清洗加工模块进行清洗加工，并调用目标业务***的接口推送清洗加工后的业务数据。
上述***内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。并且本发明***可应用于客户端及服务端，而客户端和服务端在可在执行数据抓取的过程中，进行角色互换。
同时本发明提供一种应用于政务办理***自动捕获交换业务数据的装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行所述的一种应用于政务办理***自动捕获交换业务数据的方法。
上述装置内的处理器的信息交互、执行可读程序过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。上述装置可根据需求作为客户端或服务端进行数据的抓取。
需要说明的是，上述较佳实施例中各流程和各***装置结构中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的***结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (9)
1.一种应用于政务办理***自动捕获交换业务数据的方法，其特征是通过数据抓取客户端根据服务端的配置规则监听数据请求并进行匹配，所有规则完成匹配时，将获得的业务数据推送至服务端进行清洗加工，调用目标业务***的接口推送清洗加工后的业务数据。
2.根据权利要求1所述的一种应用于政务办理***自动捕获交换业务数据的方法，其特征是通过服务端的配置规则：
配置源***的域和分步操作的匹配规则，
配置数据提取规则。
3.根据权利要求1或2所述的一种应用于政务办理***自动捕获交换业务数据的方法，其特征是通过数据抓取客户端获取服务端的配置规则，
监听数据抓取客户端浏览器发出的数据请求，当数据请求匹配到规则，将请求的数据组装写入本地数据缓存。
4.根据权利要求2或3所述的一种应用于政务办理***自动捕获交换业务数据的方法，其特征是所述通过服务端按照配置的数据提取规则进行业务数据清洗加工。
5.一种应用于政务办理***自动捕获交换业务数据的***，其特征是包括数据抓取模块、配置管理模块、数据匹配模块、数据清洗加工模块及数据推送模块，
数据抓取模块通过数据抓取客户端根据配置管理模块在服务端的配置的规则监听数据请求，数据匹配模块根据数据请求进行数据匹配，所有规则完成数据匹配时，数据推送模块将获得的业务数据推送至服务端的数据清洗加工模块进行清洗加工，并调用目标业务***的接口推送清洗加工后的业务数据。
6.根据权利要求5所述的一种应用于政务办理***自动捕获交换业务数据的***，其特征是配置管理模块在服务端配置规则：
配置源***的域和分步操作的匹配规则，
配置数据提取规则。
7.根据权利要求5或6所述的一种应用于政务办理***自动捕获交换业务数据的***，其特征是数据抓取模块通过数据抓取客户端获取管理模块在服务端的配置的规则，
监听数据抓取客户端浏览器发出的数据请求，当数据请求匹配到规则，将请求的数据组装写入本地数据缓存。
8.根据权利要求6所述的一种应用于政务办理***自动捕获交换业务数据的***，其特征是数据清洗加工模块通过按照配置的数据提取规则进行业务数据清洗加工。
9.一种应用于政务办理***自动捕获交换业务数据的装置，其特征是包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至4中任一所述的一种应用于政务办理***自动捕获交换业务数据的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110038162.4A CN112650746A (zh) | 2021-01-12 | 2021-01-12 | 一种应用于政务办理***自动捕获交换业务数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110038162.4A CN112650746A (zh) | 2021-01-12 | 2021-01-12 | 一种应用于政务办理***自动捕获交换业务数据的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112650746A true CN112650746A (zh) | 2021-04-13 |
Family
ID=75368096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110038162.4A Pending CN112650746A (zh) | 2021-01-12 | 2021-01-12 | 一种应用于政务办理***自动捕获交换业务数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112650746A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114448961A (zh) * | 2022-01-04 | 2022-05-06 | 浪潮软件股份有限公司 | 一种自动交换数据的方法、***、装置及计算机可读介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107465703A (zh) * | 2016-06-02 | 2017-12-12 | 上海海典软件股份有限公司 | 基于桌面程序实现互联网信息交互及推送的***及方法 |
| CN107798085A (zh) * | 2017-10-18 | 2018-03-13 | 广东神马搜索科技有限公司 | 基于插件的业务处理方法及装置 |
| CN109741019A (zh) * | 2018-12-19 | 2019-05-10 | 浙江非线数联科技有限公司 | 基于政务数据调用的一证通办方法及*** |
| CN111325517A (zh) * | 2018-12-14 | 2020-06-23 | 上海冠翊软件科技有限公司 | 电子政务管理***及方法 |
| WO2020258102A1 (zh) * | 2019-06-26 | 2020-12-30 | 深圳市欢太科技有限公司 | 内容推送方法、装置、移动终端及存储介质 |
| CN112184531A (zh) * | 2020-11-27 | 2021-01-05 | 浙江非线数联科技有限公司 | 实现办件智能无感推送的方法及*** |
-
2021
- 2021-01-12 CN CN202110038162.4A patent/CN112650746A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107465703A (zh) * | 2016-06-02 | 2017-12-12 | 上海海典软件股份有限公司 | 基于桌面程序实现互联网信息交互及推送的***及方法 |
| CN107798085A (zh) * | 2017-10-18 | 2018-03-13 | 广东神马搜索科技有限公司 | 基于插件的业务处理方法及装置 |
| CN111325517A (zh) * | 2018-12-14 | 2020-06-23 | 上海冠翊软件科技有限公司 | 电子政务管理***及方法 |
| CN109741019A (zh) * | 2018-12-19 | 2019-05-10 | 浙江非线数联科技有限公司 | 基于政务数据调用的一证通办方法及*** |
| WO2020258102A1 (zh) * | 2019-06-26 | 2020-12-30 | 深圳市欢太科技有限公司 | 内容推送方法、装置、移动终端及存储介质 |
| CN112184531A (zh) * | 2020-11-27 | 2021-01-05 | 浙江非线数联科技有限公司 | 实现办件智能无感推送的方法及*** |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114448961A (zh) * | 2022-01-04 | 2022-05-06 | 浪潮软件股份有限公司 | 一种自动交换数据的方法、***、装置及计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107330034B (zh) | 一种日志分析方法和装置、计算机设备、存储介质 | |
| CN108459939A (zh) | 一种日志收集方法、装置、终端设备及存储介质 | |
| CN111309550A (zh) | 应用程序的数据采集方法、***、设备和存储介质 | |
| CN107798031B (zh) | 保单信息查询方法和装置 | |
| CN101582090A (zh) | 一种基于web分析的分布式处理方法和*** | |
| CN110688828A (zh) | 文件处理方法及装置、文件处理***、计算机设备 | |
| CN101349987A (zh) | 一种计算机使用情况的统计分析方法 | |
| CN105607606B (zh) | 一种基于双主板架构的数据采集装置及方法 | |
| CN111367760A (zh) | 日志采集方法及装置、计算机设备、存储介质 | |
| CN112907377A (zh) | 业务流程监控方法、装置、设备及介质 | |
| CN112650746A (zh) | 一种应用于政务办理***自动捕获交换业务数据的方法 | |
| CN111563131A (zh) | 数据库实体关系生成方法、装置、计算机设备和存储介质 | |
| CN112989135B (zh) | 实时风险团伙的识别方法、介质、装置和计算设备 | |
| CN113641742A (zh) | 一种数据抽取方法、装置、设备和存储介质 | |
| CN108228417A (zh) | 车联网日志处理方法及处理装置 | |
| CN110995538B (zh) | 网络数据采集方法、装置、***、设备及存储介质 | |
| CN104123135A (zh) | 一种统一后台接口的方法及装置 | |
| CN112579406A (zh) | 一种日志调用链生成方法和装置 | |
| CN111324688A (zh) | 一种基于事件的半结构化数据和非结构化数据采集*** | |
| CN113297148B (zh) | 业务日志数据的采集方法、装置、设备及可读存储介质 | |
| CN109634976A (zh) | 非关系型数据库的运维方法、装置、***及可读存储介质 | |
| CN104735097A (zh) | 信息的收集方法和*** | |
| CN112633851A (zh) | 一种控制幂等的方法及装置 | |
| CN107330089B (zh) | 跨网络结构化数据收集*** | |
| CN108923950B (zh) | 性能数据映射的方法及其网管*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210413 |
|
| RJ01 | Rejection of invention patent application after publication |