CN104636477B - 一种信息推送前推送列表的去重方法 - Google Patents

一种信息推送前推送列表的去重方法 Download PDF

Info

Publication number
CN104636477B
CN104636477B CN201510081194.7A CN201510081194A CN104636477B CN 104636477 B CN104636477 B CN 104636477B CN 201510081194 A CN201510081194 A CN 201510081194A CN 104636477 B CN104636477 B CN 104636477B
Authority
CN
China
Prior art keywords
information
push
list
sent
fingerprint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510081194.7A
Other languages
English (en)
Other versions
CN104636477A (zh
Inventor
张大海
宁瑜
于磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhuochuang Touchplus Information Corp
Original Assignee
Shandong Zhuochuang Touchplus Information Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zhuochuang Touchplus Information Corp filed Critical Shandong Zhuochuang Touchplus Information Corp
Priority to CN201510081194.7A priority Critical patent/CN104636477B/zh
Publication of CN104636477A publication Critical patent/CN104636477A/zh
Application granted granted Critical
Publication of CN104636477B publication Critical patent/CN104636477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Storage Device Security (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种信息推送前推送列表的去重方法，属于移动通讯技术领域。包括如下步骤：步骤a，操作人员选择一条待发送信息，并确定该条待发送信息所涉及的栏目；步骤b，获取被选择栏目客户的客户信息；步骤c，进行第一次去重，将重复的客户信息删除，生成推送列表；步骤d，***判断推送列表是否为空；步骤e，根据指纹进行查询，如果未存在相同的信息指纹，则执行步骤f；否则执行步骤g；步骤f，将待发送信息的信息指纹以及对应的推送列表作为一条记录存入存储空间；步骤g，进行第二次去重操作，生成新的推送列表。本方法避免了同一条信息针对同一客户的重复发送，大大降低发送成本，同时提高发送效率。

Description

一种信息推送前推送列表的去重方法
技术领域
一种信息推送前推送列表的去重方法，属于移动通讯技术领域。
背景技术
目前，人们在生产生活中对各类信息需求的日益增大，同时对信息时效性的要求也越来越高，而利用手机端接收各类消息以其时效性和便携性成为了人们接受信息时不可替代的一种方式。之前服务商向客户发送信息主要通过短信的形式进行发送，但是短信一般按条计费，费用较高。随着移动通讯技术以及软件行业的不断发展，安装到手机端的应用软件普遍具备了短信推送的功能，服务商直接通过无线网络将信息推送至客户手机的客户端上，该种方式至目前较为主流的信息发送方式，具有费用较低的优点。
但是现阶段，一条信息的信息量往往较大，一条信息有可能涉及两个甚至多个领域（或专栏），如果客户同时定制了该条信息所涉及的多个领域（或专栏）的服务，就会收到多条涉及领域（或专栏），但是内容相同的同一条信息，服务商不论是以短信还是网络推送的形式进行信息的发送都会遇到同样的问题。对于客户而言，如果同时收到多条相同的信息，会造成收件箱内文件的阻塞，不方便查看的同时也不利于信息的整理和归类。对于服务商而言，多条信息重复发送，首先会大大增加信息的发送成本，其次会降低整体效率，造成服务器压力过大。
在现有技术中，虽然也存在一些数据去重方法，但是现有的去重方法并非针对信息推送而设计。现有的数据去重方法中，由于数据量较大，所涉及到的数据、列表等均存在于硬盘内，因此在进行重复数据的查找时速度较慢，且随着数据的日趋增多，其查找速度会越来越慢，效率极为低下。
发明内容
本发明要解决的技术问题是：克服现有技术的不足，提供一种避免了同一条信息针对同一客户的重复发送，大大降低发送成本，同时提高发送效率的信息推送前推送列表的去重方法。
本发明解决其技术问题所采用的技术方案是：该信息推送前推送列表的去重方法，其特征在于：包括如下步骤：
步骤a，操作人员选择一条待发送信息，并确定该条待发送信息所涉及的栏目；
步骤b，***根据操作人员选择的栏目，分别获取定制了每个被选择栏目客户的客户信息；
步骤c，***对获取的所有栏目的客户信息进行汇总，进行第一次去重，将重复的客户信息删除，生成待发送信息本次发送的推送列表；
步骤d，***判断推送列表是否为空，如果为空则返回步骤a，如果不为空，则对该条待发送信息进行加密生成该条待发送信息的信息指纹；
步骤e，***将步骤d中生成的信息指纹在存储空间内进行查询，判断是否有相同的信息指纹已存在于存储空间内，如果在存储空间中未存在相同的信息指纹，则执行步骤f；如果在存储空间内已存在有相同的信息指纹，则顺序执行步骤g；
步骤f，将待发送信息的信息指纹以及对应的推送列表作为一条记录存入存储空间；
步骤g，***读取已存在于存储空间内信息指纹对应的用户列表，并将该用户列表与步骤c中生成的推送列表进行比对，进行第二次去重操作，将存在于推送列表内而不存在于用户列表内的记录作为补充列表补入原推送列表内成为新的推送列表。
优选的，步骤f中所述的待发送信息的信息指纹以及对应的推送列表以键/值的关系存入所述存储空间内。
优选的，所述的存储空间为***缓存。
优选的，步骤d中所述的对待发送信息进行加密的加密方法为MD5加密。
与现有技术相比，本发明所具有的有益效果是：
1、本信息推送前推送列表的去重方法，通过对推送列表的去重操作，避免了同一条信息针对同一客户的重复发送，大大降低发送成本，同时方便了客户的信息整理。
2、本信息推送前推送列表的去重方法，将待发送信息以MD5的方式进行加密，对应生成一个唯一32位的信息指纹，因此***在缓存中进行指纹密码的查找时，最多只需进行32位的查找即可，提高了查找速度。
3、所有信息的信息指纹以及对应的用户列表均存储于缓存中，因此查找速度大大优于数据库内的查找速度，进一步减少了查找所需的时间，提高了工作效率。
4、利用redis软件对缓存进行操作，同时对缓存中的指纹信息进行过期时间设置，每天定时自动删除缓存内的信息，因此不会造成缓存内信息量的过分拥挤，进一步提高了在缓存内进行查找的速度。
附图说明
图1为信息推送前推送列表的去重方法流程图。
具体实施方式
图1是本发明的最佳实施例，下面结合附图1对本发明做进一步说明。
如图1所示，一种信息推送前推送列表的去重方法，包括如下步骤：
步骤1001：选择待推送的信息；
操作人员从信息库内选择一条本次发送的待推送信息；
步骤1002，设定并选择带推送信息所涉及的栏目；
操作人员设定并选择待推送信息所涉及的栏目；
步骤1003，分别获取定制每个栏目的客户信息；
***根据操作人员选择的栏目，分别获取定制了每个被选择栏目客户的客户信息；
步骤1004，第一次去重操作，生成推送列表；
***获取定制了每个栏目的客户信息之后，对客户信息进行汇总并进行第一次去重，将重复的客户信息删除，生成待发送信息本次发送的推送列表；
由于存在同一客户同时定制了两个或多个栏目的情况，因此需要在生成推送列表时进行一次去重操作，避免在推送列表中存在重复的客户信息，因而造成重复发送。
步骤1005，推送列表是否为空；
***判断生成的推送列表是否为空，如果为空，则返回步骤1001，如果不为空，则执行步骤1006；
步骤1006，生成待发送信息的信息指纹；
***对待发送信息进行MD5加密，生成待发送信息的信息指纹；
步骤1007，待发送信息的信息指纹是否存在于缓存中；
***将步骤1006中生成的待发送信息的信息指纹在缓存中进行查找，判断是否有相同的信息指纹已存在于缓存中，如果在缓存中已存在相同的信息指纹，则表示该信息在当日非第一次发送，执行步骤1008，如果未在缓存中查找到相同的信息指纹，则表示该条待发送信息为当日第一次发送，执行步骤1010；
由于对待发送信息进行MD5加密之后，对应生成一个唯一32位的信息指纹，因此***在缓存中进行指纹密码的查找时，最多只需进行32位的查找即可，同时由于所有信息的信息指纹存储于缓存中，因此查找速度大大优于数据库内的查找速度，减少了查找所需的时间，提高了工作效率。在本信息推送前推送列表的去重方法中，利用redis软件对缓存进行操作，同时对缓存中的指纹信息进行过期时间设置，设置在每天凌晨两点钟（可自行设定）自行删除缓存内的信息，因此信息在缓存内只保留一天的时间，因此不会造成缓存内信息量的过分拥挤，进一步提高了在缓存内进行查找的速度。
步骤1008，读取与信息指纹对应的用户列表；
***读取缓存内与待发送信息的指纹信息相同记录内对应的用户列表；
步骤1009，对用户列表进行去重操作，生成新的用户列表，
***读取缓存内已存在的与待发送信息相同信息指纹对应的用户列表之后，与步骤1004中生成的推送列表进行比对，进行第二次去重，将推送列表中已存在于用户列表内的客户信息进行删除，将推送列表内未存在于用户列表中的客户信息作为补充列表补充到用户列表内，在缓存内形成与信息指纹对应的新的用户列表；
步骤1010，以键/值关系在缓存内生成信息指纹/用户列表关系的记录；
将信息指纹/用户列表以键/值的关系在缓存中生成待发送信息的初始记录。
在缓存中生成信息指纹/推送列表的记录之后，表示该条待发送信息在当日已发出过，在步骤1004中生成的推送列表即成为步骤1008中所述的用户列表。
如果在对缓存进行查找时，未查找到与待发送信息相同的信息指纹，则表示该条待发送信息为当日第一次发送，此时按照推送列表进行推送，保证了定制了相关栏目的客户均可且只可收到一条待发送信息，避免了信息的重复发送。如果在对缓存查找时，查找到了与待发送信息相同的信息指纹，则表示该条信息在当日已发送过，且与该指纹信息相对应的用户列表内的用户均收到且只收到一条该待发送信息，此时，***按照补充列表进行发送。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (4)

1.一种信息推送前推送列表的去重方法，其特征在于：包括如下步骤：
步骤a，操作人员选择一条待发送信息，并确定该条待发送信息所涉及的栏目；
步骤b，***根据操作人员选择的栏目，分别获取定制了每个被选择栏目客户的客户信息；
步骤c，***对获取的所有栏目的客户信息进行汇总，进行第一次去重，将重复的客户信息删除，生成待发送信息本次发送的推送列表；
步骤d，***判断推送列表是否为空，如果为空则返回步骤a，如果不为空，则对该条待发送信息进行加密生成该条待发送信息的信息指纹；
步骤e，***将步骤d中生成的信息指纹在存储空间内进行查询，判断是否有相同的信息指纹已存在于存储空间内，如果在存储空间中未存在相同的信息指纹，则执行步骤f；如果在存储空间内已存在有相同的信息指纹，则顺序执行步骤g；
步骤f，将待发送信息的信息指纹以及对应的推送列表作为一条记录存入存储空间；
步骤g，***读取已存在于存储空间内信息指纹对应的用户列表，并将该用户列表与步骤c中生成的推送列表进行比对，进行第二次去重操作，将存在于推送列表内而不存在于用户列表内的记录作为补充列表补入原推送列表内成为新的推送列表。
2.根据权利要求1所述的信息推送前推送列表的去重方法，其特征在于：步骤f中所述的待发送信息的信息指纹以及对应的推送列表以键/值的关系存入所述存储空间内。
3.根据权利要求1或2所述的信息推送前推送列表的去重方法，其特征在于：所述的存储空间为***缓存。
4.根据权利要求1所述的信息推送前推送列表的去重方法，其特征在于：步骤d中所述的对待发送信息进行加密的加密方法为MD5加密。
CN201510081194.7A 2015-02-15 2015-02-15 一种信息推送前推送列表的去重方法 Active CN104636477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510081194.7A CN104636477B (zh) 2015-02-15 2015-02-15 一种信息推送前推送列表的去重方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510081194.7A CN104636477B (zh) 2015-02-15 2015-02-15 一种信息推送前推送列表的去重方法

Publications (2)

Publication Number Publication Date
CN104636477A CN104636477A (zh) 2015-05-20
CN104636477B true CN104636477B (zh) 2017-11-24

Family

ID=53215223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510081194.7A Active CN104636477B (zh) 2015-02-15 2015-02-15 一种信息推送前推送列表的去重方法

Country Status (1)

Country Link
CN (1) CN104636477B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105227662A (zh) * 2015-09-30 2016-01-06 努比亚技术有限公司 消息处理方法、装置和***
CN107665225B (zh) 2016-07-29 2022-01-28 北京京东尚科信息技术有限公司 信息推送方法和装置
CN106649646A (zh) * 2016-12-09 2017-05-10 北京锐安科技有限公司 一种数据去重的方法及装置
CN107832406B (zh) * 2017-11-03 2020-09-11 北京锐安科技有限公司 海量日志数据的去重入库方法、装置、设备及存储介质
CN109246213B (zh) * 2018-09-06 2021-06-15 郑州云海信息技术有限公司 一种基于gps定位的目标范围信息推送***及方法
CN111245706A (zh) * 2020-01-03 2020-06-05 湖南省梦网科技发展有限公司 一种信息处理方法、装置、服务器及介质
CN113434301A (zh) * 2021-07-19 2021-09-24 深圳市链融科技股份有限公司 信息推送方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102456059A (zh) * 2010-10-21 2012-05-16 英业达股份有限公司 重复数据删除的处理***
CN102810107A (zh) * 2011-06-01 2012-12-05 英业达股份有限公司 重复数据的处理方法
CN103685420A (zh) * 2012-09-24 2014-03-26 华为技术有限公司 一种媒体文件消重的方法、服务器及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8874520B2 (en) * 2011-02-11 2014-10-28 Symantec Corporation Processes and methods for client-side fingerprint caching to improve deduplication system backup performance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102456059A (zh) * 2010-10-21 2012-05-16 英业达股份有限公司 重复数据删除的处理***
CN102810107A (zh) * 2011-06-01 2012-12-05 英业达股份有限公司 重复数据的处理方法
CN103685420A (zh) * 2012-09-24 2014-03-26 华为技术有限公司 一种媒体文件消重的方法、服务器及***

Also Published As

Publication number Publication date
CN104636477A (zh) 2015-05-20

Similar Documents

Publication Publication Date Title
CN104636477B (zh) 一种信息推送前推送列表的去重方法
CN104424229B (zh) 一种多维度拆分的计算方法及***
US9792340B2 (en) Identifying data items
CN103888547B (zh) 一种账单处理方法和服务器
CN102054000B (zh) 数据查询方法、装置及***
CN104104717A (zh) 投放渠道数据统计方法及装置
CN102882703A (zh) 一种基于http分析的url自动分类分级的***及方法
CN103368992A (zh) 一种信息推送方法及装置
CN103235808A (zh) 一种互联网信息推送的方法和装置
CN102404240B (zh) 信息搜索***及方法
CN102487375B (zh) 一种在线下载视频的方法、装置和***
CN104917786A (zh) 一种节省客户端和服务器交互时的传输流量的方法和模块
CN103401933A (zh) 一种资源信息和对应资源文件批量上传的方法和***
CN100392652C (zh) 检索***和检索方法
CN111859127A (zh) 消费数据的订阅方法、装置及存储介质
CN108228432A (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN114398520A (zh) 数据检索方法、***、装置、电子设备及存储介质
CN104917844B (zh) 一种数据同步方法、装置及***
CN102103606A (zh) 一种在手机客户端上实现高级检索商品的技术
CN103825922B (zh) 一种数据更新方法及web服务器
CN102523297A (zh) 一种快速且永久保存移动手持装置信息的方法
CN112307058A (zh) 短链接的处理方法、装置、存储介质及计算机设备
CN104579920A (zh) 一种邮件发送方法及装置
CN103646034A (zh) 一种基于内容可信的Web搜索引擎***及搜索方法
CN102611716A (zh) 一种传输媒体文件的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 255100, 6, Yifan Road, Zhangdian District, Shandong, Zibo

Applicant after: Shandong zhuochuang Touchplus information Corp

Address before: 255400, 2678, Xin Cheng Road, Linzi District, Shandong, Zibo

Applicant before: Shandong Zhuo Chuan information Group Co., Ltd

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant