CN110020226B - 基于大数据的数据展示方法、用户设备、存储介质及装置 - Google Patents
基于大数据的数据展示方法、用户设备、存储介质及装置 Download PDFInfo
- Publication number
- CN110020226B CN110020226B CN201810953323.0A CN201810953323A CN110020226B CN 110020226 B CN110020226 B CN 110020226B CN 201810953323 A CN201810953323 A CN 201810953323A CN 110020226 B CN110020226 B CN 110020226B
- Authority
- CN
- China
- Prior art keywords
- data
- preset
- business
- business turn
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了基于大数据的数据展示方法、用户设备、存储介质及装置。本发明中在接收到用户输入的数据爬取请求时,从所述数据爬取请求中提取用户操作轨迹;在预设电子地图中根据所述用户操作轨迹确定对应的商圈位置信息;根据所述商圈位置信息对预设基础网络数据进行数据爬取,以爬取出与所述商圈位置信息对应的基础商圈数据;按照第一预设展示格式将所述基础商圈数据进行展示。在本发明中通过先确定商圈位置信息,再通过大数据的数据处理方式以商圈位置信息为基准进行数据的爬取操作,使得最终爬取出的数据将与该商圈位置信息存在强对应关系,解决了常规的网络爬虫技术存在着的无法将爬取到的数据限定于特定商圈范围内的技术问题。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及基于大数据的数据展示方法、用户设备、存储介质及装置。
背景技术
网络爬虫(Web Crawler),又称为网络蜘蛛(Web Spider),是一种自动下载网页的计算机程序或自动化脚本,多用于在网页上爬取用户需要的特定文本内容或者各类统计数据。
网络爬虫的常规使用方式为,预先确定待爬取的多个统一资源定位符(Un iformResource Locator,URL),然后,一一地遍历各URL,访问URL对应的网页,获取网页上的特定文本内容,从而完成针对特定文本内容的自动化获取工作。
正是因为,网络爬虫工具具有自动化获取特定文本内容的能力,多应用于信息采集、商业统计以及商业咨询等方面。但是,随着对于网络爬虫采集到的数据的精度与详细程度的要求不断升高,常规的网络爬虫工具爬取到的特定文本内容已无法满足当前的应用需求。
比如,当销售人员在制定销售策略以及销售计划时,需要因地制宜,具体而言,当销售人员需要针对某个城市商圈进行销售推广时,需要先了解该城市商圈内的建筑群体、公园数量、公共设施以及常住人口数量等,但是,常规的网络爬虫工具无法将爬取到的内容限定在特定的城市商圈内。
所以,可认为,常规的网络爬虫技术存在无法将爬取到的数据限定于特定商圈范围内的技术问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供基于大数据的数据展示方法、用户设备、存储介质及装置,旨在解决常规的网络爬虫技术存在着的无法将爬取到的数据限定于特定商圈范围内的技术问题。
为实现上述目的,本发明提供一种基于大数据的数据展示方法,所述基于大数据的数据展示方法包括以下步骤:
在接收到用户输入的数据爬取请求时,从所述数据爬取请求中提取用户操作轨迹;
在预设电子地图中根据所述用户操作轨迹确定对应的商圈位置信息;
根据所述商圈位置信息对预设基础网络数据进行数据爬取,以爬取出与所述商圈位置信息对应的基础商圈数据;
按照第一预设展示格式将所述基础商圈数据进行展示。
优选地,所述根据所述商圈位置信息对预设基础网络数据进行数据爬取,以爬取出与所述商圈位置信息对应的基础商圈数据,包括:
根据所述商圈位置信息在所述预设电子地图中确定对应的目标信息点数据;
从所述目标信息点数据中提取信息点标识;
根据所述信息点标识在预设基础网络数据进行数据爬取,以爬取出与所述信息点标识对应的基础商圈数据。
优选地,所述按照第一预设展示格式将所述基础商圈数据进行展示之前,所述基于大数据的数据展示方法还包括:
确定与所述基础商圈数据对应的预设行业类别;
在第一预设映射关系中确定与所述预设行业类别对应的各目标职能类别,所述第一预设映射关系包括所述预设行业类别与所述目标职能类别之间的对应关系;
根据所述目标职能类别对所述基础商圈数据进行数据爬取,以爬取出与所述目标职能类别对应的待展示商圈数据;
所述按照第一预设展示格式将所述基础商圈数据进行展示,包括:
按照第一预设展示格式将所述待展示商圈数据进行展示。
优选地,所述按照第一预设展示格式将所述基础商圈数据进行展示之后,所述基于大数据的数据展示方法还包括:
在接收到用户输入的商圈自定义指令时,从所述商圈自定义指令中提取商圈关键字;
根据所述商圈关键字对所述基础商圈数据进行数据爬取,以爬取出与所述商圈关键字对应的自定义商圈数据;
按照第二预设展示格式将所述自定义商圈数据进行展示。
优选地,所述第二预设展示格式包括预设展示模板;
所述按照第二预设展示格式将所述自定义商圈数据进行展示,包括:
读取预设展示模板中的与所述基础商圈数据对应的基础展示选项;
根据所述商圈关键字创建对应的自定义展示选项,并将所述自定义展示选项添加进所述预设展示模板;
根据添加选项后的预设展示模板中的基础展示选项对所述基础商圈数据进行展示,并根据添加选项后的预设展示模板中的自定义展示选项对所述自定义商圈数据进行展示。
优选地,所述根据所述商圈关键字对所述基础商圈数据进行数据爬取,以爬取出与所述商圈关键字对应的自定义商圈数据,包括:
遍历预设URL队列中的URL,并获取遍历到的URL的文本内容,将所述文本内容与所述商圈关键字进行文本相似度的计算,以获得目标文本相似度;
判断所述目标文本相似度是否大于预设相似度阈值;
在所述目标文本相似度大于所述预设相似度阈值时,将与大于所述预设相似度阈值的目标文本相似度对应的文本内容作为自定义商圈数据。
优选地,所述根据所述商圈关键字对所述基础商圈数据进行数据爬取,以爬取出与所述商圈关键字对应的自定义商圈数据之后,所述基于大数据的数据展示方法还包括:
在第二预设映射关系中根据所述商圈关键字确定对应的相关关键字,所述第二预设映射关系包括所述商圈关键字与所述相关关键字的对应关系;
根据所述相关关键字对所述基础商圈数据进行数据爬取,以爬取出与所述相关关键字对应的相关商圈数据;
所述按照第二预设展示格式将所述自定义商圈数据进行展示,包括:
按照第二预设展示格式将所述自定义商圈数据与所述相关商圈数据进行展示。
此外,为实现上述目的,本发明还提出一种用户设备,所述用户设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于大数据的数据展示程序,所述基于大数据的数据展示程序配置为实现如上文所述的基于大数据的数据展示方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有基于大数据的数据展示程序,所述基于大数据的数据展示程序被处理器执行时实现如上文所述的基于大数据的数据展示方法的步骤。
此外,为实现上述目的,本发明还提出一种基于大数据的数据展示装置,所述基于大数据的数据展示装置包括:轨迹提取模块、位置确认模块、数据爬取模块以及数据展示模块;
所述轨迹提取模块,用于在接收到用户输入的数据爬取请求时,从所述数据爬取请求中提取用户操作轨迹;
所述位置确认模块,用于在预设电子地图中根据所述用户操作轨迹确定对应的商圈位置信息;
所述数据爬取模块,用于根据所述商圈位置信息对预设基础网络数据进行数据爬取,以爬取出与所述商圈位置信息对应的基础商圈数据;
所述数据展示模块,用于按照第一预设展示格式将所述基础商圈数据进行展示。
在本发明中通过先确定商圈位置信息,再以商圈位置信息为基准进行数据的爬取操作,使得最终爬取出的数据将与该商圈位置信息存在强对应关系,也就实现了将爬取到的内容限定在特定的商圈范围内,解决了常规的网络爬虫技术存在着的无法将爬取到的数据限定于特定商圈范围内的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的用户设备结构示意图;
图2为本发明基于大数据的数据展示方法第一实施例的流程示意图;
图3为本发明基于大数据的数据展示方法第二实施例的流程示意图;
图4为本发明基于大数据的数据展示方法第三实施例的流程示意图;
图5为本发明基于大数据的数据展示装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的用户设备结构示意图。
如图1所示,该用户设备可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display),可选用户接口1003还可以包括标准的有线接口、无线接口,对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对用户设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及基于大数据的数据展示程序。
在图1所示的用户设备中,网络接口1004主要用于连接后台服务器,与所述后台服务器进行数据通信;用户接口1003主要用于连接外设;所述用户设备通过处理器1001调用存储器1005中存储的基于大数据的数据展示程序,并执行本发明实施例提供的基于大数据的数据展示方法。
基于上述硬件结构,提出本发明基于大数据的数据展示方法的实施例。
参照图2,图2为本发明基于大数据的数据展示方法第一实施例的流程示意图。
在第一实施例中,所述基于大数据的数据展示方法包括以下步骤:
步骤S10:在接收到用户输入的数据爬取请求时,从所述数据爬取请求中提取用户操作轨迹;
可以理解的是,传统的网络爬虫工具由于与真实的地理位置信息无关,故而,无法对爬取到的数据的位置信息进行限定,而本实施例为了实现将网络爬虫工具爬取到的内容限定在特定的商圈范围内,本实施例可立足于海量数据将网络爬虫技术与电子地图相结合,通过结合地理位置信息以大数据的数据处理方式来完成数据的爬取操作。
在具体实现中,当用户发起了自主限定商圈范围的数据爬取请求后,将先提取出该数据爬取请求中的用户操作轨迹。其中,用户操作轨迹是指用户在预设电子地图中手动绘制的一个封闭的不规则多边形,用于自由地圈定特定范围的商圈位置。
步骤S20:在预设电子地图中根据所述用户操作轨迹确定对应的商圈位置信息;
应当理解的是,比如,用户在预设电子地图中绘制用户操作轨迹,由于预设电子地图中的各点都存在着对应的经纬度,故而,用户操作轨迹中的各个轨迹点也将对应着特定的经纬度,而这些特定的经纬度的集合即为商圈位置信息。
步骤S30:根据所述商圈位置信息对预设基础网络数据进行数据爬取,以爬取出与所述商圈位置信息对应的基础商圈数据;
可以理解的是,若用户操作轨迹将预设电子地图中的A小区、B行政大楼以及C商业综合体都圈定在用户操作轨迹的内侧,则可在实际的数据爬取操作中,爬取出与A小区、B行政大楼以及C商业综合体相关的商圈数据。其中,预设基础网络数据为预先爬取出的与商业相关的网页数据,也可直接从第三方数据库中提取。
需要说明的是,爬取出的基础商圈数据可粗分为教育、医疗、商业、行政、交通与配套设施六大类基础商圈数据。
进一步地,所述根据所述商圈位置信息对预设基础网络数据进行数据爬取,以爬取出与所述商圈位置信息对应的基础商圈数据,包括:根据所述商圈位置信息在所述预设电子地图中确定对应的目标信息点数据;从所述目标信息点数据中提取信息点标识;根据所述信息点标识在预设基础网络数据进行数据爬取,以爬取出与所述信息点标识对应的基础商圈数据。
应当理解的是,为了获取到的与商圈位置信息对应的基础商圈数据,可先确定A小区、B行政大楼以及C商业综合体的信息点数据。其中,信息点(Point of Interest,POI)数据将包括该POI的名称、编号、所属建筑类型、经纬度坐标点、建筑门牌号以及地址描述信息等。
可以理解的是,为了加快数据爬取的速度,可先确定信息点标识,再基于信息点标识去爬取相关的网页数据。其中,信息点标识为建筑名称或建筑的街道门牌号等便于进行数据爬取的标识性信息。而在实际的数据爬取过程中,将以该信息点标识作为关键字去进行数据爬取操作,比如,若预设基础网络数据为预设URL集合,在爬取到URL集合中的任一URL对应的网页数据后,将检测该网页数据中是否包含有该关键字,若检测到该关键字,则将该URL对应的网页数据认定为基础商圈数据。
步骤S40:按照第一预设展示格式将所述基础商圈数据进行展示。
应当理解的是,为了便于用户浏览,由于基础商圈数据的数据量较大,可对基础商圈数据基于第一预设展示格式的格式要求进行数据统计,并将统计后的数据以第一预设展示格式的格式进行数据展示。其中,第一预设展示格式包括表格以及可视化图标等多种展示方式。
此外,本实施例将提供多种展示格式或者布局方式的模板对基础商圈数据进行展示,同时,可搭配多种可嵌入的控件,比如,日期查询控件、条件查询等控件,便于用户通过搭配模板以及可嵌入的控件快速地生成自己需要展示方式。
在本实施例中通过先确定商圈位置信息,再以商圈位置信息为基准进行数据的爬取操作,使得最终爬取出的数据将与该商圈位置信息存在强对应关系,也就实现了将爬取到的内容限定在特定的商圈范围内,解决了常规的网络爬虫技术存在着的无法将爬取到的数据限定于特定商圈范围内的技术问题。
参照图3,图3为本发明基于大数据的数据展示方法第二实施例的流程示意图,基于上述图2所示的第一实施例,提出本发明基于大数据的数据展示方法的第二施例。
第二实施例中,所述步骤S40之前,所述基于大数据的数据展示方法还包括:
步骤S301:确定与所述基础商圈数据对应的预设行业类别;
可以理解的是,本发明基于大数据的数据展示方法第一实施例爬取出的基础商圈数据可粗分为教育、医疗、商业、行政、交通、配套设施六大类基础商圈数据,考虑到用户对于商圈数据可能存在更高的分析需求,还需要对已分出的六大类基础商圈数据进行进一步地划分,以实现在数据展示时,展示出更细维度的商圈数据。其中,预设行业类别为教育、医疗、商业、行政、交通以及配套设施六大类别。
步骤S302:在第一预设映射关系中确定与所述预设行业类别对应的各目标职能类别,所述第一预设映射关系包括所述预设行业类别与所述目标职能类别之间的对应关系;
应当理解的是,为了对六大类基础商圈数据进行更细维度的划分,可预先设置与六大类别分别对应的更细维度的职能类别,比如,教育可能对应有小学、中学以及大学等多种职能类别。
步骤S303:根据所述目标职能类别对所述基础商圈数据进行数据爬取,以爬取出与所述目标职能类别对应的待展示商圈数据;
在具体实现中,比如,在爬取出与A小区、B行政大楼以及C商业综合体相关的基础商圈数据后,B行政大楼可能为某大学的行政楼,而在本发明基于大数据的数据展示方法第一实施例中由于只确定了B行政大楼的行业类别为教育,并未设置更细维度的类别划分,则最终在数据展示的环节中,无法更加清楚地厘清B行政大楼的详细信息,无法确定B行政大楼是否为大学的行政楼还是其他类型的教育机构的行政楼。但是,本实施例中由于设置了第一预设映射关系,将更细维度地去执行数据爬取的操作,使得获取到的待展示商圈数据将与职能类别存在强关联性。
所述步骤S40,包括:
步骤S401:按照第一预设展示格式将所述待展示商圈数据进行展示。
应当理解的是,第一预设展示格式将以行业类别进行分别展示,而本实施例中由于细分了行业类别,将以职能类别对待展示商圈数据进行分别展示,实现了用户通过阅读处于展示状态的待展示商圈数据就可以知晓B行政大楼为大学的行政楼。
在本实施例中将基于比行业类别更细维度的职能类别去执行数据的爬取操作,使得获取到的待展示商圈数据比之基础商圈数据具有更加细化的数据特征,也就实现了更加具体的数据划分;同时,通过使用更加细维度的待展示商圈数据进行展示,使得用户可以阅读到更加详尽且具体的商圈数据。
参照图4,图4为本发明基于大数据的数据展示方法第三实施例的流程示意图,基于上述图2所示的第一实施例,提出本发明基于大数据的数据展示方法的第三施例。
第三实施例中,所述步骤S40之后,所述基于大数据的数据展示方法还包括:
步骤S50:在接收到用户输入的商圈自定义指令时,从所述商圈自定义指令中提取商圈关键字;
可以理解的是,本发明基于大数据的数据展示方法第二实施例通过使用更细维度的职能类别去执行数据的爬取操作,可以使得爬取到的并最终展示的待展示商圈数据更加细化且具体。而考虑到除了更加细化的数据划分需求之后,用户可能还欲对商圈数据的数据类别进行自定义,本实施例可通过用户自由输入的商圈关键字来完成数据的爬取与展示操作,以实现其高扩展性。
在具体实现中,若行业类别为医疗,则可能对应有体检中心、门诊、中医院以及综合医院等多种职能类别,而为了满足用户的差异化需求,用户可通过输入商圈关键字来自创职能类别,比如,用户输入的商圈关键字为三甲医院,则将在特定商圈范围的基础商圈数据中以三甲医院为基准,筛选出该商圈范围内的与三甲医院相关的医院商圈数据。
应当理解的是,若基础商圈数据中存在5家医院,而3家为,2家并非三甲医院,则爬取出的自定义商圈数据为这3家三甲医院的医院数据。
步骤S60:根据所述商圈关键字对所述基础商圈数据进行数据爬取,以爬取出与所述商圈关键字对应的自定义商圈数据;
步骤S70:按照第二预设展示格式将所述自定义商圈数据进行展示。
可以理解的是,在按照与行业类别对应的第一预设展示格式将所述基础商圈数据进行展示之外,还可额外按照与商圈关键字对应的第二预设展示格式将所述自定义商圈数据进行展示,即按照第二预设展示格式将所述自定义商圈数据与所述基础商圈数据进行协同展示。
在具体实现中,比如,若行业类别为医疗,则与医疗对应的第一预设展示格式可分别设有“医疗机构总数”“医疗机构工作人员总人数”等与医疗对应的展示选项,若商圈关键字为三甲医院,则与三甲医院对应的第二预设展示格式可分别设有“三甲医院总数”等与三甲医院对应的展示选项,可参见如下的表1:
表1.基于大数据的数据展示
其中,A区域用于描述商圈位置信息对应的商圈区域。
进一步地,所述在接收到用户输入的商圈自定义指令时,从所述商圈自定义指令中提取商圈关键字,包括:
在接收到用户输入的商圈自定义指令时,从所述商圈自定义指令中提取商圈关键字和目标行业类别;
所述按照第二预设展示格式将所述自定义商圈数据进行展示之后,所述基于大数据的数据展示方法还包括:
将所述商圈关键字添加至所述第一预设映射关系中,并将所述商圈关键字作为所述第一预设映射关系中与所述目标行业类别对应的职能类别。
在具体实现中,商圈关键字作为弥补固有的数据类别带来的扩展性缺陷的方式,在输入商圈关键字后,可将商圈关键字作为一种新的职能类别添加至第一预设映射关系中,作为一种的与所述目标行业类别对应的新的职能类别。
进一步地,所述第二预设展示格式包括预设展示模板;
所述按照第二预设展示格式将所述自定义商圈数据进行展示,包括:
读取预设展示模板中的与所述基础商圈数据对应的基础展示选项;
根据所述商圈关键字创建对应的自定义展示选项,并将所述自定义展示选项添加进所述预设展示模板;
根据添加选项后的预设展示模板中的基础展示选项对所述基础商圈数据进行展示,并根据添加选项后的预设展示模板中的自定义展示选项对所述自定义商圈数据进行展示。
在具体实现中,第一预设展示格式与第二预设展示格式均可以展示模板的形式存在,本实施例还提供了一种对展示模板进行适应性改进的方式,以更加灵活地满足用户的个性化需求。比如,可参见表1,原有的预设展示模板中的基础展示选项与行业类别对应,包括“A区域内的医疗机构总数”与“A区域内的医疗机构工作人员总人数”,根据商圈关键字适应性创建的自定义展示选项为“A区域内的三甲医院总数”,也就使得展示模板可以动态地进行修改,使得展示效果具有更强的适应性。
进一步地,所述根据所述商圈关键字对所述基础商圈数据进行数据爬取,以爬取出与所述商圈关键字对应的自定义商圈数据,包括:
遍历预设URL队列中的URL,并获取遍历到的URL的文本内容,将所述文本内容与所述商圈关键字进行文本相似度的计算,以获得目标文本相似度;
判断所述目标文本相似度是否大于预设相似度阈值;
在所述目标文本相似度大于所述预设相似度阈值时,将与大于所述预设相似度阈值的目标文本相似度对应的文本内容作为自定义商圈数据。
可以理解的是,爬取出自定义商圈数据的具体爬取过程为,可先确定预设URL队列,URL队列中含有多个URL,然后,按照URL队列中的各URL的排列次序一一对URL进行遍历。在遍历到任一URL后,将访问与URL对应的网页中的文本内容,同时,将对网页中的文本内容进行文本相似度的评估。
在具体实现中,对于文本相似度的评估方式具体为,可统计商圈关键字在文本内容中的出现频次,可将出现频次作为文本相似度,预设相似度阈值可设为4,若出现频次为5,则可将该文本内容认定为自定义商圈数据。
进一步地,所述根据所述商圈关键字对所述基础商圈数据进行数据爬取,以爬取出与所述商圈关键字对应的自定义商圈数据之后,所述基于大数据的数据展示方法还包括:
在第二预设映射关系中根据所述商圈关键字确定对应的相关关键字,所述第二预设映射关系包括所述商圈关键字与所述相关关键字的对应关系;
根据所述相关关键字对所述基础商圈数据进行数据爬取,以爬取出与所述相关关键字对应的相关商圈数据;
所述按照第二预设展示格式将所述自定义商圈数据进行展示,包括:
按照第二预设展示格式将所述自定义商圈数据与所述相关商圈数据进行展示。
应当理解的是,除了可根据用户输入的商圈关键字来爬取出自定义商圈数据外,还可预先设置与该商圈关键字对应的筛选信息即相关关键字,以加快数据爬取的效率,并且,可为用户提供更加丰富且更加具有差异化的展示结果。
在具体实现中,比如,若商圈关键字为三甲医院,则对应的相关关键字可为专科医院等内容相关度较高的关键字,并在基础商圈数据中爬取与专科医院对应的相关商圈数据,最终在数据展示环节,可同时展示自定义商圈数据与相关商圈数据。其中,第二预设展示格式中除了设有“三甲医院总数”等与三甲医院对应的展示选项外,还可包括“专科医院总数”等与专科医院对应的展示选项,进而实现了用户只需输入简单的商圈关键字信息,就可自动查询与商圈关键字信息强相关的各筛选信息,以丰富最终表格展示的展示内容。
在本实施例中用户可通过输入商圈关键字来实现对于商圈数据的数据类别的自定义,弥补了固有的数据类别带来的扩展性缺陷。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有基于大数据的数据展示程序,所述基于大数据的数据展示程序被处理器执行时实现如上文所述的基于大数据的数据展示方法的步骤。
此外,参照图5,本发明实施例还提出一种基于大数据的数据展示装置,所述基于大数据的数据展示装置包括:轨迹提取模块10、位置确认模块20、数据爬取模块30以及数据展示模块40;
所述轨迹提取模块10,用于在接收到用户输入的数据爬取请求时,从所述数据爬取请求中提取用户操作轨迹;
所述位置确认模块20,用于在预设电子地图中根据所述用户操作轨迹确定对应的商圈位置信息;
所述数据爬取模块30,用于根据所述商圈位置信息对预设基础网络数据进行数据爬取,以爬取出与所述商圈位置信息对应的基础商圈数据;
所述数据展示模块40,用于按照第一预设展示格式将所述基础商圈数据进行展示。
在本实施例中通过先确定商圈位置信息,再以商圈位置信息为基准进行数据的爬取操作,使得最终爬取出的数据将与该商圈位置信息存在强对应关系,也就实现了将爬取到的内容限定在特定的商圈范围内,解决了常规的网络爬虫技术存在着的无法将爬取到的数据限定于特定商圈范围内的技术问题。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为名称。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种基于大数据的数据展示方法,其特征在于,所述基于大数据的数据展示方法包括以下步骤:
在接收到用户输入的数据爬取请求时,从所述数据爬取请求中提取用户操作轨迹,所述用户操作轨迹为所述用户在预设电子地图中手动绘制的一个封闭的不规则多边形,用于自由地圈定特定范围的商圈数据;
在所述预设电子地图中根据所述用户操作轨迹确定对应的商圈位置信息;
根据所述商圈位置信息对预设基础网络数据进行数据爬取,以爬取出与所述商圈位置信息对应的基础商圈数据,所述预设基础网络数据包括预先爬取出的与商业相关的网页数据和从第三方数据库中提取的数据;
按照第一预设展示格式将所述基础商圈数据进行展示;
所述按照第一预设展示格式将所述基础商圈数据进行展示之前,所述基于大数据的数据展示方法还包括:
确定与所述基础商圈数据对应的预设行业类别,所述预设行业类别为教育、医疗、商业、行政、交通以及配套设施六大类别;
在第一预设映射关系中确定与所述预设行业类别对应的各目标职能类别,所述第一预设映射关系包括所述预设行业类别与所述目标职能类别之间的对应关系;
根据所述目标职能类别对所述基础商圈数据进行数据爬取,以爬取出与所述目标职能类别对应的待展示商圈数据;
所述按照第一预设展示格式将所述基础商圈数据进行展示,包括:
按照第一预设展示格式将所述待展示商圈数据进行展示;
所述按照第一预设展示格式将所述基础商圈数据进行展示之后,所述基于大数据的数据展示方法还包括:
在接收到用户输入的商圈自定义指令时,从所述商圈自定义指令中提取商圈关键字;
根据所述商圈关键字对所述基础商圈数据进行数据爬取,以爬取出与所述商圈关键字对应的自定义商圈数据;
按照第二预设展示格式将所述自定义商圈数据进行展示,所述第二预设展示格式包括预设展示模板;
所述按照第二预设展示格式将所述自定义商圈数据进行展示,包括:
读取预设展示模板中的与所述基础商圈数据对应的基础展示选项;
根据所述商圈关键字创建对应的自定义展示选项,并将所述自定义展示选项添加进所述预设展示模板;
根据添加选项后的预设展示模板中的基础展示选项对所述基础商圈数据进行展示,并根据添加选项后的预设展示模板中的自定义展示选项对所述自定义商圈数据进行展示。
2.如权利要求1所述的基于大数据的数据展示方法,其特征在于,所述根据所述商圈位置信息对预设基础网络数据进行数据爬取,以爬取出与所述商圈位置信息对应的基础商圈数据,包括:
根据所述商圈位置信息在所述预设电子地图中确定对应的目标信息点数据;
从所述目标信息点数据中提取信息点标识;
根据所述信息点标识在预设基础网络数据进行数据爬取,以爬取出与所述信息点标识对应的基础商圈数据。
3.如权利要求1所述的基于大数据的数据展示方法,其特征在于,所述根据所述商圈关键字对所述基础商圈数据进行数据爬取,以爬取出与所述商圈关键字对应的自定义商圈数据,包括:
遍历预设URL队列中的URL,并获取遍历到的URL的文本内容,将所述文本内容与所述商圈关键字进行文本相似度的计算,以获得目标文本相似度;
判断所述目标文本相似度是否大于预设相似度阈值;
在所述目标文本相似度大于所述预设相似度阈值时,将与大于所述预设相似度阈值的目标文本相似度对应的文本内容作为自定义商圈数据。
4.如权利要求1所述的基于大数据的数据展示方法,其特征在于,所述根据所述商圈关键字对所述基础商圈数据进行数据爬取,以爬取出与所述商圈关键字对应的自定义商圈数据之后,所述基于大数据的数据展示方法还包括:
在第二预设映射关系中根据所述商圈关键字确定对应的相关关键字,所述第二预设映射关系包括所述商圈关键字与所述相关关键字的对应关系;
根据所述相关关键字对所述基础商圈数据进行数据爬取,以爬取出与所述相关关键字对应的相关商圈数据;
所述按照第二预设展示格式将所述自定义商圈数据进行展示,包括:
按照第二预设展示格式将所述自定义商圈数据与所述相关商圈数据进行展示。
5.一种基于大数据的数据展示的用户设备,其特征在于,所述用户设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行基于大数据的数据展示程序,所述基于大数据的数据展示程序被所述处理器执行时实现如权利要求1至4中任一项所述的基于大数据的数据展示方法的步骤。
6.一种存储介质,其特征在于,所述存储介质上存储有基于大数据的数据展示程序,所述基于大数据的数据展示程序被处理器执行时实现如权利要求1至4中任一项所述的基于大数据的数据展示方法的步骤。
7.一种基于大数据的数据展示装置,其特征在于,所述基于大数据的数据展示装置包括:轨迹提取模块、位置确认模块、数据爬取模块以及数据展示模块;
所述轨迹提取模块,用于在接收到用户输入的数据爬取请求时,从所述数据爬取请求中提取用户操作轨迹,所述用户操作轨迹为所述用户在预设电子地图中手动绘制的一个封闭的不规则多边形,用于自由地圈定特定范围的商圈数据;
所述位置确认模块,用于在所述预设电子地图中根据所述用户操作轨迹确定对应的商圈位置信息;
所述数据爬取模块,用于根据所述商圈位置信息对预设基础网络数据进行数据爬取,以爬取出与所述商圈位置信息对应的基础商圈数据,所述预设基础网络数据包括预先爬取出的与商业相关的网页数据和从第三方数据库中提取的数据;
所述数据展示模块,用于按照第一预设展示格式将所述基础商圈数据进行展示;
所述数据展示模块,还用于确定与所述基础商圈数据对应的预设行业类别,所述预设行业类别为教育、医疗、商业、行政、交通以及配套设施六大类别;在第一预设映射关系中确定与所述预设行业类别对应的各目标职能类别,所述第一预设映射关系包括所述预设行业类别与所述目标职能类别之间的对应关系;根据所述目标职能类别对所述基础商圈数据进行数据爬取,以爬取出与所述目标职能类别对应的待展示商圈数据;按照第一预设展示格式将所述待展示商圈数据进行展示;
所述数据展示模块,还用于在接收到用户输入的商圈自定义指令时,从所述商圈自定义指令中提取商圈关键字;根据所述商圈关键字对所述基础商圈数据进行数据爬取,以爬取出与所述商圈关键字对应的自定义商圈数据;按照第二预设展示格式将所述自定义商圈数据进行展示,所述第二预设展示格式包括预设展示模板;
所述数据展示模块,还用于读取预设展示模板中的与所述基础商圈数据对应的基础展示选项;根据所述商圈关键字创建对应的自定义展示选项,并将所述自定义展示选项添加进所述预设展示模板;根据添加选项后的预设展示模板中的基础展示选项对所述基础商圈数据进行展示,并根据添加选项后的预设展示模板中的自定义展示选项对所述自定义商圈数据进行展示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810953323.0A CN110020226B (zh) | 2018-08-20 | 2018-08-20 | 基于大数据的数据展示方法、用户设备、存储介质及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810953323.0A CN110020226B (zh) | 2018-08-20 | 2018-08-20 | 基于大数据的数据展示方法、用户设备、存储介质及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110020226A CN110020226A (zh) | 2019-07-16 |
CN110020226B true CN110020226B (zh) | 2023-07-21 |
Family
ID=67188406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810953323.0A Active CN110020226B (zh) | 2018-08-20 | 2018-08-20 | 基于大数据的数据展示方法、用户设备、存储介质及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110020226B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103327293A (zh) * | 2012-03-23 | 2013-09-25 | 罗普特(厦门)科技集团有限公司 | 一种通过视频校准与电子地图相结合的监控设备及方法 |
CN106960063A (zh) * | 2017-04-20 | 2017-07-18 | 广州优亚信息技术有限公司 | 一种针对招商引资领域的互联网情报抓取和推荐*** |
CN107563789A (zh) * | 2017-07-31 | 2018-01-09 | 石河子大学 | 数据处理方法、***、终端及计算机可读存储介质 |
CN108229810A (zh) * | 2017-12-29 | 2018-06-29 | 中国科学院自动化研究所 | 基于网络信息资源的行业分析***及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105069135B (zh) * | 2015-08-18 | 2019-05-17 | 携程计算机技术(上海)有限公司 | Ota网站的数据爬取方法及*** |
CN106651392A (zh) * | 2016-12-07 | 2017-05-10 | 中国联合网络通信集团有限公司 | 一种智能商业选址方法、装置及*** |
CN106777136A (zh) * | 2016-12-19 | 2017-05-31 | 上海找钢网信息科技股份有限公司 | 一种钢贸价格指数信息地图交互展示***及方法 |
CN107730310A (zh) * | 2017-09-30 | 2018-02-23 | 平安科技(深圳)有限公司 | 电子装置、构建零售网点评分模型的方法及存储介质 |
CN107844601A (zh) * | 2017-11-23 | 2018-03-27 | 四川长虹电器股份有限公司 | 基于网络爬虫的招投标信息筛选***与方法 |
-
2018
- 2018-08-20 CN CN201810953323.0A patent/CN110020226B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103327293A (zh) * | 2012-03-23 | 2013-09-25 | 罗普特(厦门)科技集团有限公司 | 一种通过视频校准与电子地图相结合的监控设备及方法 |
CN106960063A (zh) * | 2017-04-20 | 2017-07-18 | 广州优亚信息技术有限公司 | 一种针对招商引资领域的互联网情报抓取和推荐*** |
CN107563789A (zh) * | 2017-07-31 | 2018-01-09 | 石河子大学 | 数据处理方法、***、终端及计算机可读存储介质 |
CN108229810A (zh) * | 2017-12-29 | 2018-06-29 | 中国科学院自动化研究所 | 基于网络信息资源的行业分析***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110020226A (zh) | 2019-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9794766B2 (en) | Identifying an entity associated with wireless network access point | |
US9767124B2 (en) | Information processing system and information processing method | |
US8782041B1 (en) | Text search for weather data | |
US20050004903A1 (en) | Regional information retrieving method and regional information retrieval apparatus | |
JP2009134280A (ja) | 実世界を表現する仮想空間を構築する地図画像生成提供方法、サーバ・コンピュータおよび立体地図画像生成装置 | |
CN111460327B (zh) | 兴趣地搜索方法及装置、存储介质、计算机设备 | |
JP2010009315A (ja) | 推薦店舗提示システム | |
US20040230452A1 (en) | Regional attribute determination method, regional attribute determination device, and regional attribute determination program | |
KR20160133304A (ko) | 사용자 리뷰 제공 방법, 장치 및 컴퓨터 프로그램 | |
EP1879118A1 (en) | Search server | |
Hunter et al. | Understanding spatial data usability | |
CN108984640A (zh) | 一种基于web数据挖掘的地理信息获取方法 | |
EP2620749B1 (en) | Indexing system of spatial information for combined SOI object and content | |
CN110020226B (zh) | 基于大数据的数据展示方法、用户设备、存储介质及装置 | |
JP2009123160A (ja) | コンテンツ情報配信装置、コンテンツ情報配信システムおよびコンテンツ情報配信方法 | |
KR20170029135A (ko) | 행정 구역도를 바탕으로 하는 통합 정보 검색 방법 | |
JP2015053002A (ja) | 情報提示プログラム及びそれを利用した移動通信端末 | |
KR101509209B1 (ko) | 검색 서비스 제공 장치 및 검색 서비스 제공 방법 | |
KR20130085011A (ko) | SOI와 Content의 결합 객체에 대한 공간정보 색인 시스템 | |
KR20120075609A (ko) | 사용자의 관심 장소 기반 컨텐츠 정보 제공 방법 및 그에 적합한 컨텐츠 데이터 구조 및 이를 구현하는 클라이언트 단말 | |
CN113961699A (zh) | 一种旅游资源调查方法和*** | |
JP4828653B1 (ja) | サーバ、辞書生成方法、辞書生成プログラム、及びそのプログラムを記録するコンピュータ読み取り可能な記録媒体 | |
JP6081702B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2008171206A (ja) | 情報提供システム及び方法、回答者端末装置、端末用プログラム、並びにサービスサーバ | |
Pannevis et al. | Using web-sources for location based systems on mobile phones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |