CN111292040A - 快件代签收信息接入方法、***及存储介质 - Google Patents

Abstract

本发明公开了一种快件代签收信息接入方法、***及存储介质，所述方法包括：接收代收点下发的物流轨迹数据并异步写入预置第一队列中；将所述第一队列中物流轨迹数据多进程批量录入预置原始数据库中；读取所述原始数据库中物流轨迹数据；根据预置数据清洗规则，对所述原始数据库中物流轨迹数据进行清洗；将清洗后的物流轨迹数据多进程批量录入预置清洗数据库中；读取所述清洗数据库中物流轨迹数据并生成CSV文件，以供后端或第三方读取。本发明可使代签收物流轨迹接入更自动、方便、快捷，使快件物流轨迹形成闭环，进而减少客户投诉。

Description

快件代签收信息接入方法、***及存储介质

技术领域

本发明涉及物流技术领域，尤其涉及一种快件代签收信息接入方法、系 统及存储介质。

背景技术

目前，快递业已经成为最新兴的行业之一，随着电子商务的飞跃发展， 每年的快递业务量巨增，快递的包裹需要安全、快捷、科学地处理，继而才 能及时无误的到达客户手中。物流轨迹一般是通过巴枪等电子设备采集并上 传到扫描平台，然后透传给客户。客户进而通过物流轨迹数据即可了解自己 的保留的物流情况，比如是否发货、目前到哪个城市、什么时候能到等。

近年来随着物流业的快速发展，为提升快件投放效率，同时也便于客户 收快件，快件更多的被存放于第三方代收点如驿站、快递柜等，而这些代收 点签收的物流轨迹数据对快递公司来是说是很难采集的，从而造成快件物流 轨迹无法闭环，而若通过快递业务员手动上传也会耗费非常多的人力物力， 效率非常低。

发明内容

本发明的主要目的在于解决如何接入第三方代收点的物流轨迹数据的技 术问题。

本发明第一方面提供了一种快件代签收信息接入方法，包括：

接收代收点下发的物流轨迹数据并异步写入预置第一队列中；

将所述第一队列中物流轨迹数据多进程批量录入预置原始数据库中；

读取所述原始数据库中物流轨迹数据；

根据预置数据清洗规则，对所述原始数据库中物流轨迹数据进行清洗；

将清洗后的物流轨迹数据多进程批量录入预置清洗数据库中；

读取所述清洗数据库中物流轨迹数据并生成CSV文件，以供后端或第三 方读取。

可选的，在本发明第一方面的第一种实现方式中，所述接收代收点下发 的物流轨迹数据并异步写入预置第一队列中包括：

接收代收点下发的数据信息，所述数据信息包括通信凭证信息与快件在 所述代收点入库或出库时的物流轨迹数据；

验证所述通信凭证信息是否合法；

若合法，则判定验证通过并将所述物流轨迹数据异步写入预置第一队列 中，其中，所述物流轨迹数据包括快件代签收对应的操作类型、操作时间、 取件地址、代收点信息、快件业务员信息。

可选的，在本发明第一方面的第二种实现方式中，所述将所述第一队列 中物流轨迹数据多进程批量录入预置原始数据库中包括：

调用预置Shell调度脚本同时以多个进程读取所述第一队列中的物流轨迹 数据；

将各进程读取的所述第一队列中的物流轨迹数据批量录入预置原始数据 库中；

其中，在读取所述第一队列中的物流轨迹数据时，监测所述第一队列中 的数据量增长率是否超过预置阈值，若是，则调用所述Shell调度脚本以新的 进程读取所述第一队列中的物流轨迹数据。

可选的，在本发明第一方面的第三种实现方式中，所述读取所述原始数 据库中物流轨迹数据包括：

调用预置生产脚本读取所述原始数据库中的物流轨迹数据并写入预置第 二队列中。

可选的，在本发明第一方面的第四种实现方式中，所述根据预置数据清 洗规则，对所述原始数据库中物流轨迹数据进行清洗包括：

调用预置清洗脚本以多个进程读取所述第二队列中的物流轨迹数据；

根据预置数据清洗规则，对各进程读取的所述第二队列中的物流轨迹数 据进行清洗；

将清洗后的所述第二队列中的物流轨迹数据写入预置第三队列中。

可选的，在本发明第一方面的第五种实现方式中，所述将清洗后的物流 轨迹数据多进程批量录入预置清洗数据库中包括：

调用预置录入脚本以多个进程读取所述第三队列中的物流轨迹数据；

将各进程读取的所述第三队列中的物流轨迹数据批量录入预置清洗数据 库中。

可选的，在本发明第一方面的第六种实现方式中，所述读取所述清洗数 据库中物流轨迹数据并生成CSV文件，以供后端或第三方读取包括：

每隔预置时间段，读取所述清洗数据库中对应所述时间段的物流轨迹数 据，并生成与所述时间段对应的空的CSV文件；

将读取的所述清洗数据库中对应所述时间段的物流轨迹数据写入所述 CSV文件中，并按照时间格式对所述CSV文件进行命名，以供后端或第三方 有规则的读取。

本发明第二方面还提供了一种快件代签收信息接入方法，所述快件代签 收信息接入方法包括：

接收代收点下发的物流轨迹数据并异步写入预置第一队列中；

将所述第一队列中物流轨迹数据多进程批量录入预置原始数据库中；

调用预置生产脚本读取所述原始数据库中的物流轨迹数据并写入预置第 二队列中；

调用预置清洗脚本以多个进程读取所述第二队列中的物流轨迹数据并进 行清洗，将清洗后的物流轨迹数据写入预置第三队列中；

调用预置录入脚本以多个进程读取所述第三队列中的物流轨迹数据并批 量录入预置清洗数据库中；

读取所述清洗数据库中物流轨迹数据并生成CSV文件，以供后端或第三 方读取。

本发明第三方面提供了一种快件代签收信息接入***，包括：

接收模块，用于接收代收点下发的物流轨迹数据并异步写入预置第一队 列中；

第一录入模块，用于将所述第一队列中物流轨迹数据多进程批量录入预 置原始数据库中；

读取模块，用于读取所述原始数据库中物流轨迹数据；

清洗模块，用于根据预置数据清洗规则，对所述原始数据库中物流轨迹 数据进行清洗；

第二录入模块，用于将清洗后的物流轨迹数据多进程批量录入预置清洗 数据库中；

写入模块，用于读取所述清洗数据库中物流轨迹数据并生成CSV文件， 以供后端或第三方读取。

可选的，在本发明第三方面的第一种实现方式中，所述接收模块具体用 于：

接收代收点下发的数据信息，所述数据信息包括通信凭证信息与快件在 所述代收点入库或出库时的物流轨迹数据；

验证所述通信凭证信息是否合法；

若合法，则判定验证通过并将所述物流轨迹数据异步写入预置第一队列 中，其中，所述物流轨迹数据包括快件代签收对应的操作类型、操作时间、 取件地址、代收点名信息、快件业务员信息。

可选的，在本发明第三方面的第二种实现方式中，所述第一录入模块具 体用于：

调用预置Shell调度脚本同时以多个进程读取所述第一队列中的物流轨迹 数据；

将各进程读取的所述第一队列中的物流轨迹数据批量录入预置原始数据 库中；

其中，在读取所述第一队列中的物流轨迹数据时，监测所述第一队列中 的数据量增长率是否超过预置阈值，若是，则调用所述Shell调度脚本以新的 进程读取所述第一队列中的物流轨迹数据。

可选的，在本发明第三方面的第三种实现方式中，所述读取模块具体用 于：调用预置生产脚本读取所述原始数据库中的物流轨迹数据并写入预置第 二队列中。

可选的，在本发明第三方面的第四种实现方式中，所述清洗模块具体用 于：

调用预置清洗脚本以多个进程读取所述第二队列中的物流轨迹数据；

根据预置数据清洗规则，对各进程读取的所述第二队列中的物流轨迹数 据进行清洗；

将清洗后的所述第二队列中的物流轨迹数据写入预置第三队列中。

可选的，在本发明第三方面的第五种实现方式中，所述第二录入模块具 体用于：

调用预置录入脚本以多个进程读取所述第三队列中的物流轨迹数据；

将各进程读取的所述第三队列中的物流轨迹数据批量录入预置清洗数据 库中。

可选的，在本发明第三方面的第六种实现方式中，所述写入模块具体用 于：

每隔预置时间段，读取所述清洗数据库中对应所述时间段的物流轨迹数 据，并生成与所述时间段对应的空的CSV文件；

将读取的所述清洗数据库中对应所述时间段的物流轨迹数据写入所述 CSV文件中，并按照时间格式对所述CSV文件进行命名，以供后端或第三方 有规则的读取。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存 储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的快件 代签收信息接入方法。

本发明提供的技术方案中，通过与第三方代收点对接，获取第三方代收 点生成的快件入库、出库等物流轨迹数据，并通过各种中间处理环节，最终 写入CSV文件中，以供快递公司或其他第三方机构读取。通过本发明的快件 代签收信息接入方法，业务员无需关心快件寄存后包裹的运转情况，从而使 代签收物流轨迹接入更自动、方便、快捷，使快件物流轨迹形成闭环，减少 消费者投诉。

附图说明

图1为本发明实施例中快件代签收信息接入方法的第一个实施例示意图；

图2为本发明实施例中快件代签收信息接入方法的第二个实施例示意图；

图3为本发明实施例中快件代签收信息接入方法的第三个实施例示意图；

图4为本发明实施例中快件代签收信息接入方法的第四个实施例示意图；

图5为本发明实施例中快件代签收信息接入方法的第五个实施例示意图；

图6为本发明实施例中快件代签收信息接入方法的第六个实施例示意图；

图7为本发明实施例中快件代签收信息接入***的一个实施例示意图；

图8为本发明快件代签收信息接入设备一实施例的结构示意图。

具体实施方式

本发明实施例提供了一种快件代签收信息接入方法、装置、设备及存储 介质，其中，快件代签收信息接入方法包括：接收代收点下发的物流轨迹数 据并异步写入预置第一队列中；将第一队列中物流轨迹数据多进程批量录入 原始数据库中；读取原始数据库中物流轨迹数据并根据预置数据清洗规则对 其进行清洗并将清洗后的物流轨迹数据录入清洗数据库中；从清洗数据库中 读取物流轨迹数据并写入CSV文件中。通过本发明的快件代签收信息接入方 法，业务员无需关心快件寄存后包裹的运转情况，从而使代签收物流轨迹接入更自动、方便、快捷，使快件物流轨迹形成闭环，减少消费者投诉。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第 三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的 顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这 里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外， 术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含 了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出 的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、 产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本 发明实施例中快件代签收信息接入方法的一个实施例包括：

101、接收代收点下发的物流轨迹数据并异步写入预置第一队列中；

需要说明的是，本发明方法实施例的执行主体可以为快件代签收信息接 入装置或***，还可以是终端或者服务器，具体此处不做限定。本发明实施 例具体以服务器为执行主体为例进行说明。

本实施例中，代收点具体指可提供快件代签收服务的第三方机构，其具 体通过快递柜、驿站等途径提供服务。物流轨迹数据具体是指由第三方代收 点生成的与快件代签收相关的数据，比如代收点基本信息、快件入库代收点 时间、快件出库代收点时间等。

本实施例中，为实现数据的无缝对接，本实施例引入了代签收服务的概 念，具体采用接口对接的模式直接与第三方代收点服务器接口建立合作关系， 第三方代收点将快件入库、出库等物流轨迹推送到代签收服务，代签收服务 接收第三方代收点下发的物流轨迹数据并异步写入预置第一队列中。使用队 列既便于接收前端第三方代收点下发的物流轨迹数据，也便于后端读取物流 轨迹数据，从而提升数据处理效率，提高服务质量。例如，采用kafka分布式 消息队列接收多个不同代收点下发的海量物流轨迹数据并存储。

本实施例采用异步接收数据并写入队列中的方式，极大的减轻了海量数 据的读取压力，并加快了接口响应速度，保证了接口读取数据的稳定性。

102、将所述第一队列中物流轨迹数据多进程批量录入预置原始数据库 中；

本实施例中，引入第一队列缓存数据，能够大大降低海量数据对后端数 据库的冲击，避免延时或发生读数错误。

此外，本实施例进一步采用多进程读取第一队列中的物流轨迹数据，然 后实现物流轨迹数据的批量录入原始数据库中，进而在减轻前端海量数据的 读取压力的同时，保证后端的数据录入效率与数据录入稳定性。

103、读取所述原始数据库中物流轨迹数据；

104、根据预置数据清洗规则，对所述原始数据库中物流轨迹数据进行清 洗；

105、将清洗后的物流轨迹数据多进程批量录入预置清洗数据库中；

本实施例中，考虑到直接从代收点读取的物流轨迹数据可能存在某些脏 数据无法使用或不需要，因此，还需进一步对读取的原始物流轨迹数据进行 数据清洗。

本实施例对于数据清洗规则不限，具体根据实际需要进行设置。在一优 选实施例中，具体采用如下数据清洗规则对原始数据库中物流轨迹数据进行 清洗，包括：

A、一个快件至少有1条分发扫描信息；

快件的分发扫描信息包括分发扫描时间，具体指快递机构侧针对同一快 件运输过程中各个物流节点的扫描信息。

B、一个快件至少有1条揽收或中转类型的扫描记录；

快件的揽收或中转类型的扫描记录具体描述快件的物流流转轨迹，包括 揽收时间、揽收网点、揽收人以及中转时间、中转站点等信息。

C、快件在代收点的入库扫描时间与分发扫描时间的时间差须小于7天；

快件在代收点的入库扫描时间指代收点接收快递员投放的快件的入库时 间，也即相当于快递员的投放时间。第三方入库扫描时间减去分发扫描时间 需小于7天，即只能接收派件后7天以内的出入库数据。

D、快件在代收点的入库扫描时间必须在分发扫描时间之后、快件在代收 点的出库扫描时间必须在入库扫描时间之后。

入库操作时间必须在分发扫描时间之后，同理出库时间必须在入库时间 之后，时间顺序为“分发->入库->出库”。通过以上规则基本上可以从原始的 物流轨迹数据中筛选出符合后端使用要求的物流轨迹数据。

本实施例中，在对原始数据库中的物流轨迹数据进行清洗后，再录入清 洗数据库中保存。

106、读取所述清洗数据库中物流轨迹数据并生成CSV文件，以供后端 或第三方读取。

本实施例中在完成数据清洗并保存清洗后的物流轨迹数据之后，进一步 将清洗数据库中符合要求的物流轨迹数据存入CSV格式的文件中。通过生成 CSV文件的方式，让后端或其他第三方***直接与数据库解耦，既减轻了数 据库的压力，又让后端或其他第三方***获取数据更加稳定，不必考虑数据 库压力过大、网络不稳定等情况。

本实施例提供的技术方案中，通过与第三方代收点对接，获取第三方代 收点生成的快件入库、出库等物流轨迹数据，并通过各种中间处理环节，最 终写入CSV文件中，以供快递公司或其他第三方机构读取，其具体实现过程 为：先接收代收点下发的物流轨迹数据并异步写入预置第一队列中；然后再 将第一队列中物流轨迹数据多进程批量录入预置原始数据库中；再然后读取 原始数据库中物流轨迹数据并根据预置数据清洗规则对其进行清洗并将清洗 后的物流轨迹数据录入清洗数据库中；最后再从清洗数据库中读取物流轨迹 数据并写入CSV文件中。通过本实施例的快件代签收信息接入方法，业务员 无需关心快件寄存后包裹的运转情况，从而使代签收物流轨迹接入更自动、 方便、快捷，使快件物流轨迹形成闭环，减少消费者投诉。

请参阅图2，本发明实施例中快件代签收信息接入方法的另一个实施例包 括：

201、接收代收点下发的数据信息，所述数据信息包括通信凭证信息与快 件在所述代收点入库或出库时的物流轨迹数据；

本实施例中，代收点下发的数据属于外部数据，为保证数据安全性，因 此，快递机构需要预先与第三方代收点开通代签收服务，并分配相应的通信 凭证信息并对接快递机构的接口服务。

本实施例中，通信凭证信息具体指双方约定的账号、密钥、接口文档等 信息，用于接入数据时进行鉴权。

202、验证所述通信凭证信息是否合法；

203、若合法，则判定验证通过并将所述物流轨迹数据异步写入预置第一 队列中，其中，所述物流轨迹数据包括快件代签收对应的操作类型、操作时 间、取件地址、代收点信息、快件业务员信息；

本实施例中，当代收点下发数据信息时，通过预置接口服务对所述数据 信息中的通信凭证信息进行校验，以判断是否合法，若合法，则判定校验通 过，进而可接收数据。

本实施例具体将代收点下发的物流轨迹数据写入预先设置的第一队列 中，通过队列缓存数据，避免外部海量数据涌入对数据库造成压力。

本实施例中，物流轨迹数据具体包括快件代签收对应的：

(1)操作类型，指快件入库或出库操作；

(2)操作时间，指快件入库或出库操作的时间；

(3)取件地址，指代收点的地址信息；

(4)代收点信息，包括代收点名称/联系方式，比如某某小区的1号快递 柜或者快递驿站的联系电话；

(5)快件业务员信息，包括快件业务员姓名/联系方式，指将快件投递到 代收点的业务员的个人基本信息。

需要进一步说明的是，代收点需考虑网络不稳定等因素，若下发数据时 接口请求出现异常，则需增加重试机制，以确保物流轨迹数据成功下发至快 递机构侧。

204、将所述第一队列中物流轨迹数据多进程批量录入预置原始数据库 中；

205、读取所述原始数据库中物流轨迹数据；

206、根据预置数据清洗规则，对所述原始数据库中物流轨迹数据进行清 洗；

207、将清洗后的物流轨迹数据多进程批量录入预置清洗数据库中；

208、读取所述清洗数据库中物流轨迹数据并生成CSV文件，以供后端 或第三方读取。

本实施例通过入队列方式接收外部代收点下发的数据，可以大幅降低后 端数据库的压力，加快响应时间，保证接口的稳定和快速。

请参阅图3，本发明实施例中快件代签收信息接入方法的另一个实施例包 括：

301、接收代收点下发的物流轨迹数据并异步写入预置第一队列中；

302、调用预置Shell调度脚本同时以多个进程读取所述第一队列中的物 流轨迹数据；

303、将各进程读取的所述第一队列中的物流轨迹数据批量录入预置原始 数据库中；

本实施例中，通过Shell调度脚本同时启动多个处理脚本对第一队列进行 数据读取数据，并把读取的数据批量录入到原始数据库中，然后再将各进程 读取的第一队列中的物流轨迹数据批量录入预置原始数据库中。

此外，本实施例中还增加了数据读取异常处理机制，在处理脚本读取数 据出现异常时，将对应读取的数据重新入队列再处理，确保数据不丢失。

在读取第一队列中的物流轨迹数据时，本实施例还进一步监测第一队列 中的数据量增长率是否超过预置阈值，若是，则调用Shell调度脚本以新的进 程读取第一队列中的物流轨迹数据。

由上可知，第一队列中存储从多个代收点下发的物流轨迹数据，如果从 各代收点下发的物流轨迹数据的数据量过高或过快，则可能导致后端从第一 队列读取速度下降而影响服务效率，因此，需要对第一队列中的数据量增长 率进行监测。例如，当第一队列中的数据量增长率超过预置阈值50％时，则 增加新的进程参与读取第一队列中的物流轨迹数据，直至写入第一队列中的 物流轨迹数据的数据量增长率低于50％。

本实施例中，Shell调度脚本可根据第一队列中实际数据量来调整处理脚 本的进程数，比如发现队列中数据存在堆积，则可通过Shell调度脚本将当前 读取数据的进程数调大进而加快队列中数据的读取速度。

304、读取所述原始数据库中物流轨迹数据；

305、根据预置数据清洗规则，对所述原始数据库中物流轨迹数据进行清 洗；

306、将清洗后的物流轨迹数据多进程批量录入预置清洗数据库中；

307、读取所述清洗数据库中物流轨迹数据并生成CSV文件，以供后端 或第三方读取。

本实施例中，通过Shell调度脚本可便捷控制所有处理脚本的启动、停止 以及进程数的增减，从而确保队列中数据消费正常而不堆积，并且本实施例 中是将读取的数据批量录入原始数据库(如每次100条)，而并非一条一条录 入，从而进一步降低了数据库压力，保证了数据录入的稳定性。

请参阅图4，本发明实施例中快件代签收信息接入方法的另一个实施例包 括：

401、接收代收点下发的物流轨迹数据并异步写入预置第一队列中；

402、将所述第一队列中物流轨迹数据多进程批量录入预置原始数据库 中；

403、调用预置生产脚本读取所述原始数据库中的物流轨迹数据并写入预 置第二队列中；

本实施例中，生产脚本从原始数据库中读取原始的物流轨迹数据并写入 到第二队列中以待清洗，生产脚本工作只负责将数据写队列。

404、调用预置清洗脚本启动多个进程读取所述第二队列中的物流轨迹数 据；

405、根据预置数据清洗规则，对各进程读取的所述第二队列中的物流轨 迹数据进行清洗；

406、将清洗后的所述第二队列中的物流轨迹数据写入预置第三队列中；

本实施例中，清洗脚本启动多个进程读取第二队列中的物流轨迹数据， 并根据设定的数据清洗规则对读取的数据进行清洗，只保留有用的物流轨迹 数据，清洗完成后再把数据写入到第三队列中。需要说明的是，原始的物流 轨迹数据必须进行清洗，否则可能会有脏数据，同时也会引发消费者投诉。

407、调用预置录入脚本以多个进程读取所述第三队列中的物流轨迹数 据；

408、将各进程读取的所述第三队列中的物流轨迹数据批量录入预置清洗 数据库中；

本实施例中，录入脚本启动多个进程读取第三队列中已完成清洗的物流 轨迹数据，并批量(如100条一次)录入到清洗数据库中。

此外，针对清洗期间出现的异常情况需记录相应日志并单独处理，确保 数据不丢失，并可根据异常情况查询具体的错误信息。

409、读取所述清洗数据库中物流轨迹数据并生成CSV文件，以供后端 或第三方读取。

本实施例中，清洗服务的生产脚本只负责把原始的物流轨迹数据写入待 清洗队列(也即第二队列)中而不做其他逻辑处理，保证能实时追上最新的 数据而不会造成生产延迟；而清洗脚本只负责数据清洗，同样可以启动多个 进程来处理，可使数据清洗更加高效可控；把清洗后的数据重新写入另一个 清洗完成队列(也即第三队列)则让清洗脚本更专注本职工作，效率更高； 录入脚本只负责把清洗完成的队列数据批量(如100条一次)写入清洗数据 库中，从而降低了数据库压力。通过本实施例的快件代签收信息接入方法使不同的功能解耦相互独立，代码运行效率更高，也更稳定，可处理上亿级别 的数据并能保证数据处理的高效、稳定和快速。

请参阅图5，本发明实施例中快件代签收信息接入方法的另一个实施例包 括：

501、接收代收点下发的物流轨迹数据并异步写入预置第一队列中；

502、将所述第一队列中物流轨迹数据多进程批量录入预置原始数据库 中；

503、读取所述原始数据库中物流轨迹数据；

504、根据预置数据清洗规则，对所述原始数据库中的物流轨迹数据进行 清洗；

505、将清洗后的物流轨迹数据多进程批量录入预置清洗数据库中；

506、每隔预置时间段，读取所述清洗数据库中对应所述时间段的物流轨 迹数据，并生成与所述时间段对应的空的CSV文件；

507、将读取的所述清洗数据库中对应所述时间段的物流轨迹数据写入所 述CSV文件中，并按照时间格式对所述CSV文件进行命名，以供后端或第三 方有规则的读取。

本实施例中，待数据清洗完成后，按照具体的时间段，比如每5分钟读 取清洗数据库中的物流轨迹数据，并以逗号分隔形式写入到空白CSV (Comma-Separated Values，逗号分隔值)文件中。CSV文件命名按照时间格 式“年月日时分秒”来命名，比如文件名为20191212113000，进而方便其他 ***有规则的进行读取。

本实施例中，待吐数成功后，对应给每个CSV文件生成一个结束标记文 件，比如“xxx.flg”，命名规则可与CSV文件一样；其他***读取之前必须先 判断是否存在结束标记文件，若存在则可读取，否则不允许读取，从而确保 不会在数据生成期间进行读取，避免造成数据读取不全的情况。

本实施例通过生成CSV文件的方式，让后端或其他第三方***直接读取， 不需要通过数据库、接口等形式，更安全高效。既减轻了数据库的压力，又 让后端或其他第三方***获取数据更加稳定，不必考虑数据库压力过大、网 络不稳定等情况。

请参阅图6，本发明实施例中快件代签收信息接入方法的另一个实施例包 括：

601、接收代收点下发的物流轨迹数据并异步写入预置第一队列中；

602、将所述第一队列中物流轨迹数据多进程批量录入预置原始数据库 中；

本实施例中，为实现数据的无缝对接，本实施例引入了代签收服务的概 念，具体采用接口对接的模式直接与第三方代收点服务器接口建立合作关系， 第三方代收点将快件入库、出库等物流轨迹推送到代签收服务，代签收服务 接收第三方代收点下发的物流轨迹数据并异步写入预置第一队列中。使用队 列既便于接收前端第三方代收点下发的物流轨迹数据，也便于后端读取物流 轨迹数据，从而提升数据处理效率，提高服务质量。

本实施例采用异步接收数据并写入队列中的方式，极大的减轻了海量数 据的读取压力，并加快了接口响应速度，保证了接口读取数据的稳定性。

本实施例中，引入第一队列缓存数据，能够大大降低海量数据对后端数 据库的冲击，避免延时或发生读数错误。

此外，本实施例进一步采用多进程读取第一队列中的物流轨迹数据，然 后实现物流轨迹数据的批量录入原始数据库中，进而在减轻前端海量数据的 读取压力的同时，保证后端的数据录入效率与数据录入稳定性。

603、调用预置生产脚本读取所述原始数据库中的物流轨迹数据并写入预 置第二队列中；

本实施例中，生产脚本从原始数据库中读取原始的物流轨迹数据并写入 到第二队列中以待清洗，生产脚本工作只负责将数据写队列。

604、调用预置清洗脚本以多个进程读取所述第二队列中的物流轨迹数据 并进行清洗，将清洗后的物流轨迹数据写入预置第三队列中；

本实施例中，清洗脚本启动多个进程读取第二队列中的物流轨迹数据， 并根据设定的数据清洗规则对读取的数据进行清洗，只保留有用的物流轨迹 数据，清洗完成后再把数据写入到第三队列中。需要说明的是，原始的物流 轨迹数据必须进行清洗，否则可能会有脏数据，同时也会引发消费者投诉。

605、调用预置录入脚本以多个进程读取所述第三队列中的物流轨迹数据 并批量录入预置清洗数据库中；

本实施例中，录入脚本启动多个进程读取第三队列中已完成清洗的物流 轨迹数据，并批量(如100条一次)录入到清洗数据库中。

此外，针对清洗期间出现的异常情况需记录相应日志并单独处理，确保 数据不丢失，并可根据异常情况查询具体的错误信息。

606、读取所述清洗数据库中物流轨迹数据并生成CSV文件，以供后端 或第三方读取。

本实施例中，清洗服务的生产脚本只负责把原始的物流轨迹数据写入待 清洗队列(也即第二队列)中而不做其他逻辑处理，保证能实时追上最新的 数据而不会造成生产延迟；而清洗脚本只负责数据清洗，同样可以启动多个 进程来处理，可使数据清洗更加高效可控；把清洗后的数据重新写入另一个 清洗完成队列(也即第三队列)则让清洗脚本更专注本职工作，效率更高； 录入脚本只负责把清洗完成的队列数据批量(如100条一次)写入清洗数据 库中，从而降低了数据库压力。通过这个设计，清洗服务能完全胜任亿+级别的数据处理，并保证数据处理的高效、稳定、快速。

本实施例中，接口服务通过入队列的方式接收代收点下发的数据，能极 大的降低数据库压力，加快响应时间，保证接口的稳定和快速。而清洗服务 通过两个队列独立处理数据，进而确保相应的脚本只负责本职工作，如生产 脚本只负责生产数据、清洗脚本只负责清洗数据、录入脚本只负责写入数据 库，从而使不同的功能解耦相互独立，代码运行效率更高，也更稳定。

上面对本发明实施例中快件代签收信息接入方法进行了描述，下面对本 发明实施例中快件代签收信息接入***进行描述，请参阅图7，本发明实施例 中快件代签收信息接入***一个实施例包括：

接收模块701，用于接收代收点下发的物流轨迹数据并异步写入预置第一 队列中；

第一录入模块702，用于将所述第一队列中物流轨迹数据多进程批量录入 预置原始数据库中；

读取模块703，用于读取所述原始数据库中物流轨迹数据；

清洗模块704，用于根据预置数据清洗规则，对所述原始数据库中物流轨 迹数据进行清洗；

第二录入模块705，用于将清洗后的物流轨迹数据多进程批量录入预置清 洗数据库中；

写入模块706，用于读取所述清洗数据库中物流轨迹数据并生成CSV文 件，以供后端或第三方读取。

本实施例提供的技术方案中，通过与第三方代收点对接，获取第三方代 收点生成的快件入库、出库等物流轨迹数据，并通过各种中间处理环节，最 终写入CSV文件中，以供快递公司或其他第三方机构读取，其具体实现过程 为：先接收代收点下发的物流轨迹数据并异步写入预置第一队列中；然后再 将第一队列中物流轨迹数据多进程批量录入预置原始数据库中；再然后读取 原始数据库中物流轨迹数据并根据预置数据清洗规则对其进行清洗并将清洗 后的物流轨迹数据录入清洗数据库中；最后再从清洗数据库中读取物流轨迹 数据并写入CSV文件中。通过本实施例的快件代签收信息接入方法，业务员 无需关心快件寄存后包裹的运转情况，从而使代签收物流轨迹接入更自动、 方便、快捷，使快件物流轨迹形成闭环，减少消费者投诉。

可选的，在一具体实施例中，接收模块701具体还可以用于：

接收代收点下发的数据信息，所述数据信息包括通信凭证信息与快件在 所述代收点入库或出库时的物流轨迹数据；

验证所述通信凭证信息是否合法；

若合法，则判定验证通过并将所述物流轨迹数据异步写入预置第一队列 中，其中，所述物流轨迹数据包括快件代签收对应的操作类型、操作时间、 取件地址、代收点信息、快件业务员信息。

可选的，在一具体实施例中，第一录入模块702具体还可以用于：

调用预置Shell调度脚本同时以多个进程读取所述第一队列中的物流轨迹 数据；

将各进程读取的所述第一队列中的物流轨迹数据批量录入预置原始数据 库中；

其中，在读取所述第一队列中的物流轨迹数据时，监测所述第一队列中 的数据量增长率是否超过预置阈值，若是，则调用所述Shell调度脚本以新的 进程读取所述第一队列中的物流轨迹数据。

可选的，在一具体实施例中，读取模块703具体还可以用于：

调用预置生产脚本读取所述原始数据库中物流轨迹数据并写入预置第二 队列中。

可选的，在一具体实施例中，清洗模块704具体还可以用于：

调用预置清洗脚本以多个进程读取所述第二队列中的物流轨迹数据；

根据预置数据清洗规则，对各进程读取的所述第二队列中的物流轨迹数 据进行清洗；

将清洗后的所述第二队列中的物流轨迹数据写入预置第三队列中。

可选的，在一具体实施例中，第二录入模块705具体还可以用于：

调用预置录入脚本以多个进程读取所述第三队列中的物流轨迹数据；

将各进程读取的所述第三队列中的物流轨迹数据批量录入预置清洗数据 库中。

可选的，在一具体实施例中，写入模块706具体还可以用于：

每隔预置时间段，读取所述清洗数据库中对应所述时间段的物流轨迹数 据，并生成与所述时间段对应的空的CSV文件；

将读取的所述清洗数据库中对应所述时间段的物流轨迹数据写入所述 CSV文件中，并按照时间格式对所述CSV文件进行命名，以供后端或第三方 有规则的读取。

上面图7从模块化功能实体的角度对本发明实施例中的快件代签收信息 接入***进行详细描述，下面从硬件处理的角度对本发明实施例中快件代签 收信息接入设备进行详细描述。

图8是本发明快件代签收信息接入设备一实施例的结构示意图，该快件 代签收信息接入设备800可因配置或性能不同而产生比较大的差异，可以包 括一个或一个以上处理器(central processing units，CPU)810(例如，一个或 一个以上处理器)和存储器820，一个或一个以上存储应用程序833或数据 832的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器820 和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可 以包括一个或一个以上模块(图示没标出)，每个模块可以包括对快件代签收 信息接入设备800中的一系列指令操作。更进一步地，处理器810可以设置 为与存储介质830通信，在快件代签收信息接入设备800上执行存储介质830 中的一系列指令操作。

基于快件代签收信息接入设备800还可以包括一个或一个以上电源840， 一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口860， 和/或，一个或一个以上操作***831，例如Windows Serve，Mac OS X，Unix， Linux，FreeBSD等等。本领域技术人员可以理解，图8示出的快件代签收信 息接入设备结构并不构成对基于快件代签收信息接入设备的限定，可以包括 比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为 非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算 机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计 算机上运行时，使得计算机执行所述快件代签收信息接入方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描 述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应 过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售 或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本 发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个 存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机， 服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步 骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory， ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等 各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制； 尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应 当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案 的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种快件代签收信息接入方法，其特征在于，所述快件代签收信息接入方法包括：

接收代收点下发的物流轨迹数据并异步写入预置第一队列中；

将所述第一队列中物流轨迹数据多进程批量录入预置原始数据库中；

读取所述原始数据库中物流轨迹数据；

根据预置数据清洗规则，对所述原始数据库中物流轨迹数据进行清洗；

将清洗后的物流轨迹数据多进程批量录入预置清洗数据库中；

读取所述清洗数据库中物流轨迹数据并生成CSV文件，以供后端或第三方读取。

2.根据权利要求1所述的快件代签收信息接入方法，其特征在于，所述接收代收点下发的物流轨迹数据并异步写入预置第一队列中包括：

接收代收点下发的数据信息，所述数据信息包括通信凭证信息与快件在所述代收点入库或出库时的物流轨迹数据；

验证所述通信凭证信息是否合法；

若合法，则判定验证通过并将所述物流轨迹数据异步写入预置第一队列中，其中，所述物流轨迹数据包括快件代签收对应的操作类型、操作时间、取件地址、代收点信息、快件业务员信息。

3.根据权利要求1所述的快件代签收信息接入方法，其特征在于，所述将所述第一队列中物流轨迹数据多进程批量录入预置原始数据库中包括：

调用预置Shell调度脚本同时以多个进程读取所述第一队列中的物流轨迹数据；

将各进程读取的所述第一队列中的物流轨迹数据批量录入预置原始数据库中；

其中，在读取所述第一队列中的物流轨迹数据时，监测所述第一队列中的数据量增长率是否超过预置阈值，若是，则调用所述Shell调度脚本以新的进程读取所述第一队列中的物流轨迹数据。

4.根据权利要求1所述的快件代签收信息接入方法，其特征在于，所述读取所述原始数据库中物流轨迹数据包括：

调用预置生产脚本读取所述原始数据库中的物流轨迹数据并写入预置第二队列中。

5.根据权利要求4所述的快件代签收信息接入方法，其特征在于，所述根据预置数据清洗规则，对所述原始数据库中物流轨迹数据进行清洗包括：

调用预置清洗脚本以多个进程读取所述第二队列中的物流轨迹数据；

根据预置数据清洗规则，对各进程读取的所述第二队列中的物流轨迹数据进行清洗；

将清洗后的所述第二队列中的物流轨迹数据写入预置第三队列中。

6.根据权利要求5所述的快件代签收信息接入方法，其特征在于，所述将清洗后的物流轨迹数据多进程批量录入预置清洗数据库中包括：

调用预置录入脚本以多个进程读取所述第三队列中的物流轨迹数据；

将各进程读取的所述第三队列中的物流轨迹数据批量录入预置清洗数据库中。

7.根据权利要求1-6中任一所述的快件代签收信息接入方法，其特征在于，所述读取所述清洗数据库中物流轨迹数据并生成CSV文件，以供后端或第三方读取包括：

每隔预置时间段，读取所述清洗数据库中对应所述时间段的物流轨迹数据，并生成与所述时间段对应的空的CSV文件；

将读取的所述清洗数据库中对应所述时间段的物流轨迹数据写入所述CSV文件中，并按照时间格式对所述CSV文件进行命名，以供后端或第三方有规则的读取。

8.一种快件代签收信息接入方法，其特征在于，所述快件代签收信息接入方法包括：

接收代收点下发的物流轨迹数据并异步写入预置第一队列中；

将所述第一队列中物流轨迹数据多进程批量录入预置原始数据库中；

调用预置生产脚本读取所述原始数据库中的物流轨迹数据并写入预置第二队列中；

调用预置清洗脚本以多个进程读取所述第二队列中的物流轨迹数据并进行清洗，将清洗后的物流轨迹数据写入预置第三队列中；

调用预置录入脚本以多个进程读取所述第三队列中的物流轨迹数据并批量录入预置清洗数据库中；

读取所述清洗数据库中物流轨迹数据并生成CSV文件，以供后端或第三方读取。

9.一种快件代签收信息接入***，其特征在于，所述快件代签收信息接入***包括：

接收模块，用于接收代收点下发的物流轨迹数据并异步写入预置第一队列中；

第一录入模块，用于将所述第一队列中物流轨迹数据多进程批量录入预置原始数据库中；

读取模块，用于读取所述原始数据库中物流轨迹数据；

清洗模块，用于根据预置数据清洗规则，对所述原始数据库中物流轨迹数据进行清洗；

第二录入模块，用于将清洗后的物流轨迹数据多进程批量录入预置清洗数据库中；

写入模块，用于读取所述清洗数据库中物流轨迹数据并生成CSV文件，以供后端或第三方读取。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的快件代签收信息接入方法。

Images