CN105701224A - 一种基于大数据的证券资讯个性化服务*** - Google Patents

一种基于大数据的证券资讯个性化服务*** Download PDF

Info

Publication number
CN105701224A
CN105701224A CN201610028294.8A CN201610028294A CN105701224A CN 105701224 A CN105701224 A CN 105701224A CN 201610028294 A CN201610028294 A CN 201610028294A CN 105701224 A CN105701224 A CN 105701224A
Authority
CN
China
Prior art keywords
information
user
customer
score
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610028294.8A
Other languages
English (en)
Other versions
CN105701224B (zh
Inventor
俞仕新
胡甲
夏颖哲
杨杰
常凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoyuan Securities Co Ltd
Original Assignee
Guoyuan Securities Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoyuan Securities Co Ltd filed Critical Guoyuan Securities Co Ltd
Priority to CN201610028294.8A priority Critical patent/CN105701224B/zh
Publication of CN105701224A publication Critical patent/CN105701224A/zh
Application granted granted Critical
Publication of CN105701224B publication Critical patent/CN105701224B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于大数据的证券资讯个性化服务***，大数据处理***，接收用户终端发送的海量日志数据，提取出用户设备信息和用户行为信息，生成设备与用户对应关系表，然后将所述对应关系表以及该设备的用户浏览信息发送到资讯适配服务器，资讯适配服务器，通过用户属性、用户行为属性和资讯属性建立用户与资讯的关联度模型，得到每位用户适配后的个性化资讯，根据用户终端发送的设备信息，从所述对应关系表中识别出客户号后，将该用户的个性化资讯推送给相应的用户终端。本发明能够快速识别证券浏览客户，并提供个性化的与客户高度关联的资讯，克服了传统证券软件无法识别浏览客户，以及推送资讯内容没有针对性问题，提高了资讯推送精准度。

Description

一种基于大数据的证券资讯个性化服务***
技术领域
本发明涉及一种大数据采集分析技术，尤其涉及的是一种基于大数据的证券资讯个性化服务***。
背景技术
近年来，随着“大数据”概念的普及，在许多领域，服务提供商开始有意识的对海量用户数据进行实时采集与分析，从而提取有价值的信息。再将有价值的信息综合利用后，推送给目标群体较为精准的个性化信息，是一项以数据挖掘、自然语言处理以及互联网技术为基础的综合性方法体系。将合适的信息推送给合适的人，是一项极具挑战的工作。这个过程需要对信息作充分的分析，同时对人的兴趣、行为做细致的刻画，并将两者进行有效匹配。
近年来，人们对证券市场的关注度越来越高。证券公司每天向证券用户提供的资讯信息较多，动辄几千条，缺乏针对性，而且目前的推送方式不够灵活，一般通过网站或者用户端给用户提供通用资讯。目前浏览用户居多，用户什么时候在线，在线用户是谁无法识别，因此推送个性化资讯方面效率不高。
发明内容
本发明的目的在于克服现有技术的不足，提供了一种基于大数据的证券资讯个性化服务***，能够快速识别浏览客户，并提供个性化资讯。
本发明是通过以下技术方案实现的，本发明包括大数据处理***和资讯适配服务器；
所述大数据处理***，接收用户终端发送的海量日志数据，提取出用户设备信息和用户行为信息，生成设备与用户对应关系表，然后将所述对应关系表以及该设备的用户浏览信息发送到资讯适配服务器，
所述资讯适配服务器，通过用户属性、用户行为属性和资讯属性建立用户与资讯的关联度模型，得到每位用户适配后的个性化资讯，然后根据用户终端发送的设备信息，从所述对应关系表中识别出客户号后，将该用户的个性化资讯推送给相应的用户终端。
所述大数据处理***接收手机端和PC端发送的非结构化日志数据，所述非结构化日志数据包括手机号、IMEI号、客户号、MAC地址、浏览证券信息、登陆时间及次数，并根据所述非结构化日志数据生成设备与用户对应关系表，并定期更新。
所述对应关系表的生成方法，包括以下步骤：
(11)从手机日志数据中提取出用户登录手机***的手机号、IMEI号和客户号数据，从PC日志数据中提取出用户登录PC***的MAC地址和客户号数据；
(12)对每个手机号、IMEI号、MAC地址上登陆过的所有客户号分别进行统计；
(13)如果在一个手机号、IMEI号或MAC地址上只有一个客户号登录，或者有多个客户号登录但只有一个客户号登录次数或者比例超过阀值，则将该手机号、IMEI号或MAC地址对应到这个客户号上，写入设备与用户对应关系表中；
(14)如果在一个手机号、IMEI号或MAC地址上有多个客户号登录，且不止一个客户号登录次数或者比例超过阀值，则将该手机号、IMEI号或MAC地址对应到最近一次登录的超过阀值的客户号上，写入设备与用户对应关系表中。
所述用户属性包括个股仓位、个股活跃度、持仓的个股属性，用户行为属性包括自选股、浏览股、添加自选股时间、浏览次数；资讯属性包括资讯重要度、资讯时效性、对应的个股、对应的行业、栏目优先级。
所述关联度模型的建立方法如下：
(21)将推送的资讯分类为个股资讯、行业资讯和宏观资讯；
(22)分别计算每个分类下的资讯权重得分并排序；
(23)将每个分类下的资讯权重得分前N名的资讯分别推送到相应的用户终端。
所述步骤(22)中，个股资讯权重得分＝个股仓位得分+个股活跃度得分+添加自选股天数+浏览次数得分+个股资讯重要度得分+个股资讯时效性得分+个股栏目优先级得分。
所述步骤(22)中，行业资讯权重得分＝行业现有持仓比例得分+行业历史分析得分+地区持仓比例+概念持仓比例+行业资讯重要度得分+行业资讯时效性得分+行业栏目优先级得分。
所述步骤(22)中，宏观资讯权重得分＝宏观资讯重要度得分+宏观资讯时效性得分+宏观栏目优先级得分。
所述根据用户终端发送的设备信息，从所述对应关系表中识别出用户的方法如下：
(24)根据用户终端启动时发送的信息，由资讯适配服务器判断是移动终端还是PC终端，如果数据中包含加密后的手机号或者IMEI号，则判定为移动终端，反之为PC终端；
(25)如果用户终端是移动终端，首先根据手机号查询对应的客户号，如果查询成功，返回客户号，如果查询失败，再根据IMEI号查询对应的客户号，如果查询成功，返回客户号，如果查询失败，退出查询并返回通用客户标志；
(26)如果用户终端是PC终端，根据MAC地址查询对应的客户号，如果查询成功，返回客户号，如果查询失败，退出查询并返回通用客户标志。
所述资讯适配服务器识别出客户号后，将关联度模型得到的最新的个性化资讯，推送给用户所在的用户终端，针对通用客户标志的用户推送通用资讯，接收到新资讯后，关联度模型每天多次进行更新计算。
本发明相比现有技术具有以下优点：本发明从大数据中抽取分析出用户信息，能够快速识别证券浏览客户，根据用户信息与后台资讯服务器进行适配，并提供个性化的与客户高度关联的资讯，克服了传统证券软件无法识别浏览客户，以及推送资讯内容没有针对性问题，提高了资讯内容精准度。
附图说明
图1是本发明的流程图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例包括大数据处理***和资讯适配服务器；
所述大数据处理***，接收用户终端发送的海量日志数据，每天的数据量约为50G，800亿行，提取出用户设备信息和用户行为信息，生成设备与用户对应关系表，然后将所述对应关系表以及该设备的用户浏览信息发送到资讯适配服务器，
所述资讯适配服务器，通过用户属性、用户行为属性和资讯属性建立用户与资讯的关联度模型，得到每位用户适配后的个性化资讯，然后根据用户终端发送的设备信息，从所述对应关系表中识别出客户号后，将该用户的个性化资讯推送给相应的用户终端。
本实施例的大数据处理***平台使用Hadoop架构，内部采用HDFS和MapReduce并至少3台服务器，资讯适配服务器使用Oracle数据库。
本实施例的用户终端包括手机端和PC端，大数据处理***接收手机端和PC端发送的非结构化日志数据，所述非结构化日志数据包括手机号、IMEI号、客户号、MAC地址、浏览证券信息、登陆时间及次数，并根据所述非结构化日志数据生成设备与用户对应关系表，并定期更新。
本实施例中的客户号即为每个用户存储在证券***内的用来登陆证券的用户名，具有唯一性。IMEI号是手机设备的唯一标识，MAC地址是PC设备的唯一标识，并被写入日志数据中。
对应关系表的生成方法，包括以下步骤：
(11)从手机日志数据中提取出用户登录手机***的手机号、IMEI号和客户号数据，从PC日志数据中提取出用户登录PC***的MAC地址和客户号数据；
(12)对每个手机号、IMEI号、MAC地址上登陆过的所有客户号分别进行统计；
(13)如果在一个手机号、IMEI号或MAC地址上只有一个客户号登录，或者有多个客户号登录但只有一个客户号登录次数或者比例超过3次，则将该手机号、IMEI号或MAC地址对应到这个客户号上，写入设备与用户对应关系表中；
(14)如果在一个手机号、IMEI号或MAC地址上有多个客户号登录，且不止一个客户号登录次数或者比例超过3次，则将该手机号、IMEI号或MAC地址对应到最近一次登录的超过3次的客户号上，写入设备与用户对应关系表中。
用户属性包括个股仓位、个股活跃度、持仓的个股属性，用户行为属性包括自选股、浏览股、添加自选股时间、浏览次数；资讯属性包括资讯重要度、资讯时效性、对应的个股、对应的行业、栏目优先级。
持仓的个股属性为：行业、概念、板块、个股活跃度为涨跌比例。用户的个股跟行业与资讯里的个股和行业信息相匹配，有针对性才可以推送。
关联度模型的建立方法如下：
(21)将推送的资讯分类为个股资讯、行业资讯和宏观资讯；
(22)分别计算每个分类下的资讯权重得分并排序；
个股资讯权重得分＝个股仓位得分+个股活跃度得分+添加自选股天数+浏览次数得分+个股资讯重要度得分+个股资讯时效性得分+个股栏目优先级得分，
行业资讯权重得分＝行业现有持仓比例得分+行业历史分析得分+地区持仓比例+概念持仓比例+行业资讯重要度得分+行业资讯时效性得分+行业栏目优先级得分，
宏观资讯权重得分＝宏观资讯重要度得分+宏观资讯时效性得分+宏观栏目优先级得分，
(23)将每个分类下的资讯权重得分前N名的资讯分别推送到相应的用户终端，本实施例中，为避免资讯太多客户看不过来，选择得分最高的前30条资讯推送。
本实施例中，各个权重得分如表1所示。
表1各个权重计分表
根据用户终端发送的设备信息，从所述对应关系表中识别出用户的方法如下：
(24)根据用户终端启动时发送的信息，由资讯适配服务器判断是移动终端还是PC终端，如果数据中包含加密后的手机号或者IMEI号，则判定为移动终端，反之为PC终端；
(25)如果用户终端是移动终端，首先根据手机号查询对应的客户号，如果查询成功，返回客户号，如果查询失败，再根据IMEI号查询对应的客户号，如果查询成功，返回客户号，如果查询失败，退出查询并返回通用客户标志；
(26)如果用户终端是PC终端，根据MAC地址查询对应的客户号，如果查询成功，返回客户号，如果查询失败，退出查询并返回通用客户标志。
资讯适配服务器识别浏览客户准确性超过95％，识别出客户号后，将资讯关联度模型得到的最新的个性化资讯，推送给用户所在的用户终端。资讯适配服务器接收到新资讯后，关联度模型每天多次更新计算。从启动客户端，到识别客户号及推送个性化资讯，时间不超过3秒。
对于无法识别客户号的用户终端，即通用客户标志的用户终端，推送通用资讯。通用资讯为排除个人属性后的通过上述关联度模型计算得到的资讯，比如涨跌幅较大的个股，以及重要的行业及宏观资讯。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于大数据的证券资讯个性化服务***，其特征在于，包括大数据处理***和资讯适配服务器；
所述大数据处理***，接收用户终端发送的海量日志数据，提取出用户设备信息和用户行为信息，生成设备与用户对应关系表，然后将所述对应关系表以及该设备的用户浏览信息发送到资讯适配服务器，
所述资讯适配服务器，通过用户属性、用户行为属性和资讯属性建立用户与资讯的关联度模型，得到每位用户适配后的个性化资讯，然后根据用户终端发送的设备信息，从所述对应关系表中识别出客户号后，将该用户的个性化资讯推送给相应的用户终端。
2.根据权利要求1所述的一种基于大数据的证券资讯个性化服务***，其特征在于，所述大数据处理***接收手机端和PC端发送的非结构化日志数据，所述非结构化日志数据包括手机号、IMEI号、客户号、MAC地址、浏览证券信息、登陆时间及次数，并根据所述非结构化日志数据生成设备与用户对应关系表，并定期更新。
3.根据权利要求1或2所述的一种基于大数据的证券资讯个性化服务***，其特征在于，所述对应关系表的生成方法，包括以下步骤：
(11)从手机日志数据中提取出用户登录手机***的手机号、IMEI号和客户号数据，从PC日志数据中提取出用户登录PC***的MAC地址和客户号数据；
(12)对每个手机号、IMEI号、MAC地址上登陆过的所有客户号分别进行统计；
(13)如果在一个手机号、IMEI号或MAC地址上只有一个客户号登录，或者有多个客户号登录但只有一个客户号登录次数或者比例超过阀值，则将该手机号、IMEI号或MAC地址对应到这个客户号上，写入设备与用户对应关系表中；
(14)如果在一个手机号、IMEI号或MAC地址上有多个客户号登录，且不止一个客户号登录次数或者比例超过阀值，则将该手机号、IMEI号或MAC地址对应到最近一次登录的超过阀值的客户号上，写入设备与用户对应关系表中。
4.根据权利要求1所述的一种基于大数据的证券资讯个性化服务***，其特征在于，所述用户属性包括个股仓位、个股活跃度、持仓的个股属性；用户行为属性包括自选股、浏览股、添加自选股时间、浏览次数；资讯属性包括资讯重要度、资讯时效性、对应的个股、对应的行业、栏目优先级。
5.根据权利要求4所述的一种基于大数据的证券资讯个性化服务***，其特征在于，所述关联度模型的建立方法如下：
(21)将推送的资讯分类为个股资讯、行业资讯和宏观资讯；
(22)分别计算每个分类下的资讯权重得分并排序；
(23)将每个分类下的资讯权重得分前N名的资讯分别推送到相应的用户终端。
6.根据权利要求5所述的一种基于大数据的证券资讯个性化服务***，其特征在于，所述步骤(22)中，个股资讯权重得分＝个股仓位得分+个股活跃度得分+添加自选股天数+浏览次数得分+个股资讯重要度得分+个股资讯时效性得分+个股栏目优先级得分。
7.根据权利要求5所述的一种基于大数据的证券资讯个性化服务***，其特征在于，所述步骤(22)中，行业资讯权重得分＝行业现有持仓比例得分+行业历史分析得分+地区持仓比例+概念持仓比例+行业资讯重要度得分+行业资讯时效性得分+行业栏目优先级得分。
8.根据权利要求5所述的一种基于大数据的证券资讯个性化服务***，其特征在于，所述步骤(22)中，宏观资讯权重得分＝宏观资讯重要度得分+宏观资讯时效性得分+宏观栏目优先级得分。
9.根据权利要求1所述的一种基于大数据的证券资讯个性化服务***，其特征在于，所述根据用户终端发送的设备信息，从所述对应关系表中识别出用户的方法如下：
(24)根据用户终端启动时发送的信息，由资讯适配服务器判断是移动终端还是PC终端，如果数据中包含加密后的手机号或者IMEI号，则判定为移动终端，反之为PC终端；
(25)如果用户终端是移动终端，首先根据手机号查询对应的客户号，如果查询成功，返回客户号，如果查询失败，再根据IMEI号查询对应的客户号，如果查询成功，返回客户号，如果查询失败，退出查询并返回通用客户标志；
(26)如果用户终端是PC终端，根据MAC地址查询对应的客户号，如果查询成功，返回客户号，如果查询失败，退出查询并返回通用客户标志。
10.根据权利要求9所述的一种基于大数据的证券资讯个性化服务***，其特征在于，所述资讯适配服务器识别出客户号后，将关联度模型得到的最新的个性化资讯，推送给用户所在的用户终端，针对通用客户标志的用户推送通用资讯，接收到新资讯后，关联度模型每天多次进行更新计算。
CN201610028294.8A 2016-01-14 2016-01-14 一种基于大数据的证券资讯个性化服务*** Expired - Fee Related CN105701224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610028294.8A CN105701224B (zh) 2016-01-14 2016-01-14 一种基于大数据的证券资讯个性化服务***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610028294.8A CN105701224B (zh) 2016-01-14 2016-01-14 一种基于大数据的证券资讯个性化服务***

Publications (2)

Publication Number Publication Date
CN105701224A true CN105701224A (zh) 2016-06-22
CN105701224B CN105701224B (zh) 2017-02-08

Family

ID=56227393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610028294.8A Expired - Fee Related CN105701224B (zh) 2016-01-14 2016-01-14 一种基于大数据的证券资讯个性化服务***

Country Status (1)

Country Link
CN (1) CN105701224B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327331A (zh) * 2016-08-18 2017-01-11 北京富盈通科技有限公司 一种智能交易***
CN107491533A (zh) * 2017-08-22 2017-12-19 安徽简道科技有限公司 基于大数据的证券资讯个性化服务***
CN108270842A (zh) * 2017-06-09 2018-07-10 广州市动景计算机科技有限公司 推送权益任务的方法、***及服务器
CN108628949A (zh) * 2018-03-30 2018-10-09 北京金堤科技有限公司 一种资讯显示的处理方法及装置
CN109166039A (zh) * 2018-08-10 2019-01-08 大智慧信息技术有限公司 自选指数的编制方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334880A (zh) * 2007-06-28 2008-12-31 神乎科技股份有限公司 一种证券信息服务***与方法
CN101355713A (zh) * 2007-07-23 2009-01-28 神乎科技股份有限公司 一种证券信息广播***与方法
CN102333067A (zh) * 2010-07-14 2012-01-25 蔡权伟 一种全方位综合金融信息服务***,交易及信息查询方法
CN102609877A (zh) * 2011-01-25 2012-07-25 腾讯科技（深圳）有限公司 一种证券行情与证券资讯聚合显示的方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334880A (zh) * 2007-06-28 2008-12-31 神乎科技股份有限公司 一种证券信息服务***与方法
CN101355713A (zh) * 2007-07-23 2009-01-28 神乎科技股份有限公司 一种证券信息广播***与方法
CN102333067A (zh) * 2010-07-14 2012-01-25 蔡权伟 一种全方位综合金融信息服务***,交易及信息查询方法
CN102609877A (zh) * 2011-01-25 2012-07-25 腾讯科技（深圳）有限公司 一种证券行情与证券资讯聚合显示的方法及***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327331A (zh) * 2016-08-18 2017-01-11 北京富盈通科技有限公司 一种智能交易***
CN108270842A (zh) * 2017-06-09 2018-07-10 广州市动景计算机科技有限公司 推送权益任务的方法、***及服务器
CN107491533A (zh) * 2017-08-22 2017-12-19 安徽简道科技有限公司 基于大数据的证券资讯个性化服务***
CN108628949A (zh) * 2018-03-30 2018-10-09 北京金堤科技有限公司 一种资讯显示的处理方法及装置
CN109166039A (zh) * 2018-08-10 2019-01-08 大智慧信息技术有限公司 自选指数的编制方法和***

Also Published As

Publication number Publication date
CN105701224B (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
US11100466B2 (en) Social media profiling for one or more authors using one or more social media platforms
CN105701224B (zh) 一种基于大数据的证券资讯个性化服务***
CN108984650B (zh) 计算机可读记录介质及计算机设备
CN109617762B (zh) 一种利用网络流量识别移动应用的方法
CN105095211B (zh) 多媒体数据的获取方法和装置
TWI703862B (zh) 內容推薦方法及裝置
US20130311283A1 (en) Data mining method for social network of terminal user and related methods, apparatuses and systems
WO2007071143A1 (fr) Procédé et appareil destinés à émettre des informations réseau
CN102664935B (zh) 一种web类用户行为和用户信息的关联输出方法及***
CN109905873B (zh) 一种基于特征标识信息的网络账号关联方法
CN107992513B (zh) 一种信息处理***及其实现信息处理的方法
WO2020257993A1 (zh) 内容推送方法、装置、服务端及存储介质
CN106227780A (zh) 一种海量网页的自动化截图取证方法和***
WO2015024476A1 (en) A method, server, and computer program product for managing ip address attributions
CN106603734A (zh) Cdn服务ip检测方法和***
CN110648172B (zh) 一种融合多种移动设备的身份识别方法和***
CN103905482B (zh) 推送信息的方法、推送服务器和***
CN107666404B (zh) 宽带网络用户识别方法和装置
CN109033281B (zh) 一种知识资源库的智能推送***
CN103970891A (zh) 一种基于情境的用户兴趣信息查询方法
CN106921795A (zh) 一种联系人数据管理方法及其***
CN104899335A (zh) 一种对网络舆情信息进行情感分类的方法
CN105871585A (zh) 终端关联方法及装置
CN106713950A (zh) 一种基于用户行为预测分析的视频服务***
CN103036910A (zh) 一种用户Web访问行为控制方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170208

Termination date: 20220114