CN103220343B - 大数据多***转发方法 - Google Patents
大数据多***转发方法 Download PDFInfo
- Publication number
- CN103220343B CN103220343B CN201310109669.XA CN201310109669A CN103220343B CN 103220343 B CN103220343 B CN 103220343B CN 201310109669 A CN201310109669 A CN 201310109669A CN 103220343 B CN103220343 B CN 103220343B
- Authority
- CN
- China
- Prior art keywords
- text
- data
- building together
- building
- ftp server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000004044 response Effects 0.000 claims abstract description 19
- 230000003993 interaction Effects 0.000 claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Computer And Data Communications (AREA)
Abstract
大数据多***转发方法，包括多个共建方***和服务器，共建方***分别连接所述服务器，各共建方***约定一种文本格式，将需要交互的数据生成文本文件并上传至服务器；文本文件上传完成后，通过服务接口调用各共建方***，告知对方文本文件名，通知对方去对文本文件处理；共建方***在收到服务调用时，检查报文中所通知的文本文件，在确认文本文件后，立刻响应返回，在完成响应返回后，再自己单独对文本文件进行处理。本发明在多***共建协作的要求下，在多个共建***间安全、准确、及时的进行大数据交互，并保证各***间数据的一致性。
Description
技术领域
本发明属于计算机技术领域，涉及数据传输，为一种大数据多***转发方法。
背景技术
市民卡是应用于以社会保障为代表的政府公共事务服务、以城市交通为代表的公用事业服务、以小额支付为代表的商业服务和以银行卡为代表的金融服务等四大应用领域的具有信息采集、身份识别、电子凭证、信息服务和金融支付等基本功能，以社保为主导的、实现社保、银行、小额电子钱包的三卡合一的一张卡片。
市民卡改善了社会现行的多种卡混用的局面，集成了多种功能，因此，也需要在各建设方之间保证卡的服务协同,能够对市民卡的发行、使用、遗失、注销等日常业务请求及时响应服务，最终建设能够对市民卡的整个生命周期进行有效的管理。
由于市民卡是一张多功能集成的卡，同时又由于其包含了社保、医保、银行等重要的个人信息，因此对于该卡的业务变动，如领卡、换卡、挂失、补卡等，就需要实时快速准确的通知各共建方。基于市民卡的特殊性和每个市民都会拥有的普遍性，在初期大批量发卡期间，可能会涉及大数据量的业务交互。实际测试数据表明，普通接口服务调用方式，完成一次业务的交互时间大概在1至2秒左右，包括共建***，如社保、银行***的业务处理时间和服务接口的交互时间，但是如果一次***互数据较大，达到几千甚至几万张卡的时候，每次的交互时间就会急剧上升为1分钟甚至更久。而这种等待时间，对于直接面向用户的前台营业人员来说是不可接受的，这就使得我们必须要采用一种方法，能够满足大批量数据的安全、准确、及时的交互的同时，也能够有快速的响应。如何能够在多个共建***间安全、准确、及时的进行大数据交互，并保证各***间数据的一致性，就成为***开发建设中的难题。
发明内容
本发明要解决的问题是：在多***共建协作的要求下，如何在多个共建***间安全、准确、及时的进行大数据交互，加快***之间的响应速度，并保证各***间数据的一致性。
本发明的技术方案为：大数据多***转发方法，包括多个共建方***和FTP服务器，共建方***分别连接所述服务器，各共建方***之间进行数据交互处理，数据转发包括以下步骤：
1）各共建方***约定一种文本数据格式，共建方***将自身需要交互的数据生成所述文本数据格式的文本文件，并将生成的文本文件上传至FTP服务器指定目录；
2）文本文件上传完成后，发出数据的共建方***通过调用共建方***自身的服务接口，发送接口报文，在所述接口报文中告知接收数据的共建方***自己上传至服务器的文本文件名，通知对方去对获取文本文件进行处理；
3）接收数据的共建方***在收到所述接口报文时，去服务器中检查所述接口报文中所通知的文本文件，在确认FTP服务器指定目录中有该文本文件，并且该文件格式符合约定的文本数据格式后，首先向发出数据的共建方***发出响应返回，在完成响应返回后，再从服务器获取所述文本文件自己单独进行处理。
共建方***设置数据量阈值，当共建方***判断要发出的数据量超过所述阈值时，通过步骤1）-3）转发数据，否则直接调用共建方***自身的服务接口直接发送数据。
所述共建方***提供的服务接口包括webservice和socket。
文本文件通过FTP方式上传至服务器。
本发明方法最大的优势在于节省了共建方***对于大数据量的处理时间，共建方***可以在仅对文本文件进行校验、而不进行数据业务处理的情况下，即时对发出数据方进行响应返回。整个处理过程，包括文件通过FTP上传的时间，和共建方***对文件进行校验的时间，一般也可在3至5秒内完成交互响应，提高了业务处理速度，从而极大的减轻了直接面向用户的前台营业人员的压力，并提升了客户的服务满意度。同时，也降低了对接收数据的共建方***处理响应时的要求，接收数据方只需在收到服务调用通知时，对通知的文本文件进行验证，然后即可响应返回，对文件内大批量数据的处理，可在之后自行完成。
本发明方法基于现有的共建方***，提高了数据的传输速度和***之间的响应速度，而无需对现有的共建方***进行改造，易于实现，尤其是对大量业务数据的发送和响应，相比现有技术能显著提高共建方***的业务处理速度。
附图说明
图1为本发明的流程图。
具体实施方式
现有技术中，针对例如市民卡的业务变动等类型的操作，共建方***在彼此间进行数据交互时，都是直接发送数据，发送方等到接收方的接收数据完成的响应时，完成一次数据交互，对于共建方***常用的webservice和socket服务接口来说，小量数据可以快速传输完成，如果数据量越大则数据传输时间越长，等待响应的时间也越长，严重影响业务的办理速度。
对此本发明提出了一种新的数据交互转发方法，对于一次性大量的待处理数据，发送方并不直接通过服务接口发送数据，而是通过FTP的方式快速传输至服务器，然后另外给接收方发送一个接口报文，接收方根据接口报文在服务器中确认有对应的数据后，先回复给发送方响应，再去获取数据进行处理，这样的方式一方面提高了数据的传输速度，FTP传输方式能够有效应对大量数据的快速传输，另一方面共建方之间不再直接传输数据，而是互通报文，响应速度得到了保证。
下面以市民卡的业务数据交互为例，具体说明本发明的实施。
考虑到webservice、socket等服务对于小数据量的交互上有比较完整的解决方案，本发明在保留现有的调用webservice、socket等服务的基础上，对大数据量增加了文件传输的方式，利用“文件+接口服务”的方式来处理大数据量的交互。
首先，各共建方***约定统一的文本数据格式，先将大批量需要交互的数据生成文本文件，例如后缀为.txt的文本文件。该文本文件的格式可在事先与社保、银行等各方约定好，文件内包含共建方***交互所需要数据，每条数据为一行，字段间以逗号分隔，并通过FTP方式上传至服务器指定目录。然后，在文本文件上传完成后，再通过webservice、socket等服务接口，发出接口报文，调用接收数据的各共建方***，如社保、银行***，告知对方文本文件名，通知对方去对文件进行处理。接收方的共建方***在收到服务调用时，检查接口报文中所通知的文件，在确认服务器中确实有所述文件后，暂不对文件进行具体处理，而是立刻响应返回至发送方的共建方***，在完成服务响应后，再自己单独对文件进行相关的处理。
具体实施步骤如下：
1、某共建方***根据具体业务情况，获取相关业务数据，例如领卡数据；
2、该共建方***自动判断相关业务数据，根据数据量决定处理方式。例如，根据实际测试的情况，当领卡数大于10张时（例如某些单位的大批量领卡），认为是大数据量；小于等于10张时，认为是小数据量。具体数量可根据实际业务需要进行调整；
3、如果是小数据量，直接调用相关共建方***如社保、银行***的webservice、socket等服务接口，发送业务数据，并等待对方进行业务处理和响应；
4、如果是大数据量，先将业务数据生成后缀为.txt的文本文件，具体文件格式可事先和社保、银行等各方约定好,文件内包含共建方***交互所需要数据，每条数据为一行，字段间以逗号分隔；
5、发送数据的共建方***将文本文件通过FTP上传至服务器的指定目录；
6、文本文件上传完成后，通过调用相关共建方***的webservice、socket等服务接口，发送方通过接口报文将文本文件名告知接收方，并等待对方响应。此时接收方共建方***在收到调用请求后，连接服务器验证文本文件是否存在及其正确性；在确认文本文件后，暂不对文件进行具体处理，而是立刻对发送方进行响应返回，在完成响应后，再由服务器获取文本文件，自行对文本文件中的业务数据进行对应的业务处理。
Claims (3)
1.大数据多***转发方法，其特征是包括多个共建方***和FTP服务器，共建方***分别连接所述FTP服务器，各共建方***之间进行数据交互处理，数据转发包括以下步骤：
1)各共建方***约定一种文本数据格式，共建方***将自身需要交互的数据生成所述文本数据格式的文本文件，并将生成的文本文件上传至FTP服务器指定目录；
2)文本文件上传完成后，发出数据的共建方***通过调用共建方***自身的服务接口，发送接口报文，在所述接口报文中告知接收数据的共建方***自己上传至FTP服务器的文本文件名，通知对方去获取文本文件进行处理；
3)接收数据的共建方***在收到所述接口报文时，去FTP服务器中检查所述接口报文中所通知的文本文件，在确认FTP服务器指定目录中有该文本文件，并且该文件格式符合约定的文本数据格式后，首先向发出数据的共建方***发出响应返回，在完成响应返回后，再从FTP服务器获取所述文本文件自己单独进行处理；
其中，共建方***设置数据量阈值，当共建方***判断要发出的数据量超过所述阈值时，通过步骤1)-3)转发数据，否则直接调用共建方***自身的服务接口直接发送数据。
2.根据权利要求1所述的大数据多***转发方法，其特征是所述共建方***提供的服务接口包括webservice和socket。
3.根据权利要求1所述的大数据多***转发方法，其特征是文本文件通过FTP方式上传至FTP服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310109669.XA CN103220343B (zh) | 2013-03-29 | 2013-03-29 | 大数据多***转发方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310109669.XA CN103220343B (zh) | 2013-03-29 | 2013-03-29 | 大数据多***转发方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103220343A CN103220343A (zh) | 2013-07-24 |
| CN103220343B true CN103220343B (zh) | 2016-07-06 |
Family
ID=48817794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310109669.XA Expired - Fee Related CN103220343B (zh) | 2013-03-29 | 2013-03-29 | 大数据多***转发方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103220343B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915336B (zh) * | 2014-03-12 | 2021-03-23 | 腾讯科技（深圳）有限公司 | 文档翻译的方法及装置 |
| US10884891B2 (en) | 2014-12-11 | 2021-01-05 | Micro Focus Llc | Interactive detection of system anomalies |
| WO2017027003A1 (en) | 2015-08-10 | 2017-02-16 | Hewlett Packard Enterprise Development Lp | Evaluating system behaviour |
| CN106778302A (zh) * | 2016-12-06 | 2017-05-31 | 金航数码科技有限责任公司 | 一种跨***的电子文档的安全交换和共享方法 |
| US10419269B2 (en) | 2017-02-21 | 2019-09-17 | Entit Software Llc | Anomaly detection |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101094026A (zh) * | 2006-06-19 | 2007-12-26 | 上海全成通信技术有限公司 | 大量数据同步、传输和入数据库的方法 |
| CN101132269A (zh) * | 2007-07-26 | 2008-02-27 | 中兴通讯股份有限公司 | 数据同步方法及使用该方法的iptv内容分发网络*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8892699B2 (en) * | 2008-12-31 | 2014-11-18 | Schneider Electric USA, Inc. | Automatic firmware updates for intelligent electronic devices |
-
2013
- 2013-03-29 CN CN201310109669.XA patent/CN103220343B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101094026A (zh) * | 2006-06-19 | 2007-12-26 | 上海全成通信技术有限公司 | 大量数据同步、传输和入数据库的方法 |
| CN101132269A (zh) * | 2007-07-26 | 2008-02-27 | 中兴通讯股份有限公司 | 数据同步方法及使用该方法的iptv内容分发网络*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103220343A (zh) | 2013-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103220343B (zh) | 大数据多***转发方法 | |
| CN102655481B (zh) | 一种基于网页的即时通信聊天内容查看方法及*** | |
| US20180343214A1 (en) | Information Exchange Method, Client, and Apparatus | |
| CN103647701B (zh) | 即时通信***消息转发的控制方法及装置 | |
| EP2779477A1 (en) | Method, device and system for establishing conversation relation | |
| CN105825409B (zh) | 一种电子***消息推送***及方法 | |
| HK1097375A1 (en) | System and method for communicating asynchronouslywith web services using message set definitions | |
| CN105357110B (zh) | 邮件发送方法、装置及*** | |
| CN104270302B (zh) | 在线订单的传送***及传送方法 | |
| EP3007365A1 (en) | Secure information interaction method for electronic resources transfer | |
| CN111240862A (zh) | 一种通用接口平台以及数据转换方法 | |
| CN104268766A (zh) | 一种电商产品同步发布方法、装置及终端 | |
| CN103457802A (zh) | 一种信息传输***及方法 | |
| CN105787674A (zh) | 一种无纸化移动办公*** | |
| CN110290218A (zh) | 文件批注方法和***、计算机可读介质 | |
| US10582563B2 (en) | Service data group sending method, apparatus, and server | |
| CN110458250A (zh) | 一种社保卡即时制卡方法 | |
| JP5961471B2 (ja) | 複数の情報システムおける出力比較方法 | |
| CN109040331B (zh) | 电子名片的处理方法、装置、计算设备和存储介质 | |
| CN101145912A (zh) | 一种基于ebMS的电子订单安全传输方法 | |
| CN105024907A (zh) | 一种推送im信息的方法和***、服务器以及平台 | |
| CN103457962B (zh) | 访问微博相册的方法、微博客户端及*** | |
| CN105260346A (zh) | 一种监控数据处理方法、装置及*** | |
| CN101106547A (zh) | 一种在即时通信工具中传输文件的方法及*** | |
| CN101227488A (zh) | 一种注册式门户程序通信***、通信装置和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160706 |