CN108241657B - 一种web数据列表处理方法及装置 - Google Patents

一种web数据列表处理方法及装置 Download PDF

Info

Publication number
CN108241657B
CN108241657B CN201611210340.2A CN201611210340A CN108241657B CN 108241657 B CN108241657 B CN 108241657B CN 201611210340 A CN201611210340 A CN 201611210340A CN 108241657 B CN108241657 B CN 108241657B
Authority
CN
China
Prior art keywords
web
background server
index
target data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611210340.2A
Other languages
English (en)
Other versions
CN108241657A (zh
Inventor
吴小炎
陈丹
金博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Boco Inter Telecom Technology Co ltd
Original Assignee
Beijing Boco Inter Telecom Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boco Inter Telecom Technology Co ltd filed Critical Beijing Boco Inter Telecom Technology Co ltd
Priority to CN201611210340.2A priority Critical patent/CN108241657B/zh
Publication of CN108241657A publication Critical patent/CN108241657A/zh
Application granted granted Critical
Publication of CN108241657B publication Critical patent/CN108241657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/972Access to data in other repository systems, e.g. legacy data or dynamic Web page generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供了一种web数据列表处理方法及装置。所述方法包括:web前端和后台服务端建立连接;构建散列映射表;web前端发送订阅条件给后台服务端;后台服务端接收web前端发送的订阅条件请求;后台服务端根据所述订阅条件请求构建包含索引和值的目标数据记录,并将所述目标数据记录返回到web前端;web前端接收所述目标数据记录,建立web索引缓存;web前端通过所述web索引缓存对web数据列表进行查询,执行翻页、过滤和/或排序操作。上述方案采用索引方式对传输数据进行瘦身,避免了传输浪费;基于索引缓存进行数据查找,减少了web前端与后台服务端的通信频次,保障了操作的流畅度,提升了用户体验。

Description

一种web数据列表处理方法及装置
技术领域
本申请涉及数据传输技术领域,特别地,涉及一种web数据列表处理方法及装置。
背景技术
业务数据,也称设备故障,每一条业务数据都有超过100字段的属性,主要包含字典类数据和字符串类数据两种,可用来描述设备产生的故障,主要包括故障的位置信息,设备的配置信息(版本、型号等),故障的类型、区域、状态,故障维护建议,对业务、设备的影响,关联的设备信息等。
上述业务数据基于web列表,以满足一定的样式、便于操作的综合方式呈现。且web列表数据支持实时变化,包括新增数据、变更已有数据字段值、删除超容量数据等。
现有技术中,web前端接收后台服务端传输的业务数据记录队列,每条数据记录其实都包含字段名和值,其中字段名在所有的数据记录中都是一样的,只有值不同。也就是如果在web前端和后台服务端传输10万条业务数据记录,那么每个数据记录中的字段名都要重复传输10万次,造成了很大的字段冗余和极度的传输浪费。
现有技术中,对web数据列表进行二次过滤、排序、拖动等操作,都需要临时向后台服务端发送请求,等待后台服务端的响应,即后台服务端将数据推送到web前端。整个过程包括web前端操作组织条件、调用接口、传输给后台服务端;后台服务端执行逻辑、组织数据、推送数据传输到web前端。这些过程都需要耗费时间,特别是当web数据列表容量越大,上述过程耗时越大,导致后续针对web数据列表的排序、拖动、过滤等操作存在延迟,用户感知不足、体验差。
发明内容
本申请提供一种web数据列表处理方法及装置,用于解决现有技术中web前端和后台服务端数据传输浪费、通信频繁,web前端数据内存占用大、数据列表操作延迟、用户体验差的问题。
本申请公开的一种web数据列表处理方法,包括:
web前端连接后台服务端;
web前端和后台服务端构建包含字段名和索引的散列映射表;
web前端发送订阅条件给后台服务端;
后台服务端接收web前端发送的订阅条件请求;
后台服务端根据所述订阅条件请求构建包含索引和值的目标数据记录,并将所述目标数据记录返回到web前端;
web前端接收后台服务端返回的所述目标数据记录,建立web索引缓存;
web前端根据所述订阅条件绘制web数据列表;
web前端通过所述web索引缓存对web数据列表进行查询,执行翻页、过滤和/或排序操作。
进一步的,所述web前端和后台服务端构建包含字段名和索引的散列映射表,包括:
后台服务端访问关系数据库,获取字段名,解析所述字段名及字段名对应的编号,所述字段名对应的编号即索引,构建从字段名到索引的散列映射表,缓存在后台服务端的内存中;
web前端获取后台服务端缓存的从字段名到索引的散列映射表,缓存在web前端的内存中;根据所述从字段名到索引的散列映射表进行转换,构建从索引到字段名的散列映射表,也缓存在web前端的内存中。
进一步的,所述后台服务端接收web前端发送的订阅条件请求,包括:
后台服务端接收web前端发送的订阅条件,所述订阅条件告知需要订阅的数据范围,执行注册服务,订阅成功后,查询数据库信息,启动刷数据线程,监听业务数据。
进一步的,所述后台服务端根据所述订阅条件请求构建包含索引和值的目标数据记录,并将所述目标数据记录返回到web前端,包括:
后台服务端从数据库和实时消息队列中获取业务数据,根据后台服务端缓存的从字段名到索引的散列映射表,用索引代替所述业务数据中的字段名,构建包含索引和值的目标数据记录,并将所述目标数据记录返回到web前端。
进一步的,所述web前端接收后台服务端返回的所述目标数据记录,建立web索引缓存,包括:
首次加载并显示预设数量的目标数据记录;
根据返回的所述目标数据记录作资源的补充转换:
通过web前端缓存的从索引到字段名的散列映射表将所述目标数据记录中的索引对应到字段名,再根据所述字段名从资源字典中查找值对应的资源设备类型;
将补充转换后的索引及资源设备类型或索引及值作为资源数据,载入到web索引缓存中,所述web索引缓存存储于web前端;
web前端与后台服务端保持长连接,从后台服务端获取新增的目标数据记录,将所述目标数据记录作资源的补充转换后添加到所述web索引缓存中,直至所述web索引缓存总容量达到所述容量的设置值。
优选的,在所述web前端接收后台服务端发送的目标数据记录,建立web索引缓存的步骤之后,还包括:
web前端从后台服务端获取变更的目标数据记录,更新web索引缓存;
删除超过所述web索引缓存容量设置值的索引缓存数据。
进一步的,所述web前端根据所述订阅条件绘制web数据列表,包括:
web前端查询用户界面显示模板,解析所述显示模板的列头包含的内容及所述内容的显示顺序,基于所述内容及所述内容的显示顺序绘制web数据列表。
进一步的,所述web前端通过web索引缓存对web数据列表进行查询,执行翻页、过滤和/或排序操作,包括:
拖动所述web数据列表中的上下滚动条,执行翻页操作,通过web前端缓存的从字段名到索引的散列映射表,从字段名对应到索引,再根据所述索引从web索引缓存中获取滚动条拖动区域对应的数据并进行显示;
选中所述web数据列表中的某列头中的漏斗图标,展开枚举值列表,并挑选至少一个枚举值,执行过滤操作,通过web前端缓存的从字段名到索引的散列映射表,从字段名对应到索引,再根据所述索引从web索引缓存中过滤数据,并将过滤后的数据推送给用户界面;
选中所述web数据列表中的某列,执行排序操作,通过web前端缓存的从字段名到索引的散列映射表,从字段名对应到索引,根据索引从web索引缓存中将所述列的数据进行排序,重排数据,并将重排后的数据推送给用户界面。
本申请公开的一种web数据列表处理装置,包括:
连接模块,用于web前端连接后台服务端;
散列映射表构建模块,用于web前端和后台服务端构建包含字段名和索引的散列映射表;
发送模块,用于web前端发送订阅条件给后台服务端;
接收模块,用于后台服务端接收web前端发送的订阅条件请求;
响应模块,用于后台服务端根据所述订阅条件请求构建包含索引和值的目标数据记录,并将所述目标数据记录返回到web前端;
web索引缓存构建模块,用于web前端接收后台服务端返回的所述目标数据记录,建立web索引缓存;
web数据列表绘制模块,用于web前端根据所述订阅条件绘制web数据列表;
查询模块,用于web前端通过所述web索引缓存对web数据列表进行查询,执行翻页、过滤和/或排序操作。
进一步的,所述web索引缓存构建模块,包括:
显示单元,用于首次加载并显示预设数量的目标数据记录;
转换单元,用于根据返回的所述目标数据记录作资源的补充转换,具体包括:
通过web前端缓存的从索引到字段名的散列映射表将所述目标数据记录中的索引对应到字段名,再根据所述字段名从资源字典中查找值对应的资源设备类型;
将补充转换后的索引及资源设备类型或索引及值作为资源数据,载入到web索引缓存中,所述web索引缓存存储于web前端;
添加单元,用于web前端与后台服务端保持长连接,从后台服务端获取新增的目标数据记录,将所述目标数据记录作资源的补充转换后添加到所述web索引缓存中,直至所述web索引缓存总容量达到所述容量的设置值。
与现有技术相比,本申请具有以下优点:
本申请通过在web前端和后台服务端用索引代替字段名,有效解决传输的冗余字段,提升了传输效率,保证web前端缓存数据的可行性;新增web前端索引缓存,较少了web前端与后台服务端的交互频次;web数据列表查询操作走web前端的索引缓存,提升了操作效率,提升了用户感知。
附图说明
附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本申请一实施例一种web数据列表处理方法的流程图;
图2为本申请另一实施例一种web数据列表处理方法的流程图;
图3为本申请一实施例一种web数据列表处理装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
在本申请的描述中,需要理解的是,“多个”的含义是两个或两个以上,除非另有明确具体的限定。术语“包括”、“包含”及类似术语应该被理解为是开放性的术语,即“包括/包含但不限于”。术语“基于”是“至少部分地基于”。术语“一实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。
web前端基于超文本标记语言(HTML,Hyper Text Markup Language)5平台建立Ember.Js框架下的JavaScript对象。每一数据对象,可用来描述设备产生一次故障。后台服务端运行java服务提供数据,两端基于websocket长连接进行订阅数据,传输对象为PB(Protocol Buffers),基于PB做结构化数据的序列化和反序列。
参照图1,示出了本申请实施例一种web数据列表处理方法的流程图,本优选方法实施例包括以下步骤:
步骤S101:web前端连接后台服务端。
步骤S102:web前端和后台服务端构建包含字段名和索引的散列映射表(HashMap),具体包括:
后台服务端访问关系数据库(RDB,Relational Database),获取字段名,解析所述字段名及字段名对应的编号,所述字段名对应的编号即索引,构建从字段名到索引的HashMap,缓存在后台服务端的内存中;
web前端调用接口,获取后台服务端缓存的从字段名到索引的Hash Map,缓存在web前端的内存中;根据所述从字段名到索引的Hash Map进行转换,构建从索引到字段名的Hash Map,也缓存在web前端的内存中。
所述字段名到索引的Hash Map,可以用于后台服务端内部处理数据时查找使用,也可以提供web前端查询同步一致的字段名到索引的映射关系。
上述步骤实现了web前端与后台服务端Hash Map的同步,同时还构建了从索引到字段名的Hash Map,使web前端与后台服务端传输数据时用索引代替字段名,只传输真正需要的数据,避免字段冗余和传输浪费;同时,这种对数据的“瘦身”,有利于web前端做索引缓存,仅缓存真正需要的数据记录,避免数据字段名的重复存储而减少占用的内存,提高存储效率;使web前端对数据列表的查询操作都针对索引缓存进行,不需要从后台服务端临时获取,极大减少web前端与后台服务端的通信频次,大大的提升针对web数据列表操作的效率,保障操作的流畅度,提升用户感知和满意度。
步骤S103:web前端发送订阅条件给后台服务端。
web前端发送订阅条件后,开启订阅数据。
步骤S104:后台服务端接收web前端发送的订阅条件请求。具体包括:
后台服务端接收web前端发送的订阅条件,所述订阅条件告知后台服务端需要订阅的数据范围;
执行注册服务;
订阅成功后,查询数据库信息;启动刷数据线程,监听业务数据。
步骤S105:后台服务端根据所述订阅条件请求构建包含索引和值的目标数据记录,并将所述目标数据记录返回到web前端。具体包括:
后台服务端从数据库和实时消息队列中获取业务数据,根据字段名到索引的HashMap,用索引代替所述业务数据中的字段名,构建包含索引和值的目标数据记录,将所述目标数据记录返回到web前端。
步骤S106:web前端接收后台服务端返回的所述目标数据记录,建立web索引缓存。具体包括:
步骤(1):首次加载并显示预设数量的目标数据记录;优选的,预设数量为1000条。
具体实现时,可以优先加载完成并显示数据,如100条;后续逐步同步剩余数据,优选同步到1000条,即完成首次加载并显示预设数量的目标数据记录。
步骤(2):根据返回的所述目标数据记录做资源的补充替换,具体包括:
通过web前端缓存的从索引到字段名的Hash Map将所述目标数据记录中的索引对应到字段名,再根据所述字段名从资源字典中查找值对应的资源设备类型;
将补充转换后的索引及资源设备类型作为资源数据,载入到web索引缓存中,所述web索引缓存存储于web前端。
如,后台服务端返回到web前端的一条目标数据记录是索引“7”和值“200”,需要转换成对应的资源设备类型。
首先根据web前端缓存的从索引到字段名的Hash Map,将索引“7”对应到字段名“object_class”。
类似字段(“object_class”)共有大约100多个,这些字段名大部分都有资源字典,所述资源字典存储于***级的资源仓储中,由***维护,每个字段名对应的资源字典数量几乎都大于几十个,而字段名之间资源字典的ID即值“200”可能是重复的,但某字段名的资源字典ID即值是唯一的。
所以,通过索引“7”找到字段名“object_class”,缩小查找值的范围提高查找效率,避免有可能查错。
然后,通过字段名“object_class”限定的资源字典范围,查找到值“200”对应的资源设备类型“基站控制器(BSC,Base Station Controller)”。
将索引“7”和资源设备类型“BSC”作为所述资源数据,载入到web索引缓存中。
需要说明的是,有些字段名是普通字段名,没有对应的资源字典,如字符串字段、时间字段、数量字段等。这些字段的值不需要查找对应的资源设备类型,直接将所述目标数据记录中的索引及值作为所述资源数据载入到web索引缓存中。
所述web索引缓存是用户界面(UI,User Interface)可用的数据。
步骤(3):web前端与后台服务端保持长连接,从后台服务端获取新增的目标数据记录,将所述目标数据记录作步骤(2)中的资源的补充转换后添加到所述web索引缓存中,直至所述web索引缓存总容量达到所述容量的设置值;所述设置值优选10万条。
步骤S107:web前端根据所述订阅条件绘制web数据列表。具体包括:
web前端查询UI显示模板,解析所述显示模板的列头包含的内容及所述内容的显示顺序,基于所述内容及所述内容的显示顺序绘制web数据列表。
步骤S108:web前端通过web索引缓存对web数据列表进行查询,执行翻页、过滤和/或排序操作,包括:
拖动所述web数据列表中的上下滚动条,执行翻页操作,通过web前端缓存的从字段名到索引的Hash Map,从字段名对应到索引,再根据所述索引从web索引缓存中获取滚动条拖动区域对应的数据并进行显示;
选中所述web数据列表中的某列头中的漏斗图标,展开枚举值列表,并挑选至少一个枚举值,执行过滤操作,通过web前端缓存的从字段名到索引的Hash Map,从字段名对应到索引,再根据所述索引从web索引缓存中过滤数据,并将过滤后的数据推送给UI;
选中所述web数据列表中的某列,执行排序操作,通过web前端缓存的从字段名到索引的Hash Map,从字段名对应到索引,根据索引从web索引缓存中将所述列的数据进行排序,重排数据记录,并将重排后的数据推送给UI。
web前端的上述操作直接针对web索引缓存进行查询,然后将查询结果直接绑定到UI,与后台服务端之间没有交互也不存在网络传输。
参照图2,示出了本申请一种web数据列表处理方法的另一实施例。
其中,步骤S201-步骤S207与上述实施例S101-S107相同,步骤S209与步骤S108相同,不再赘述。
在步骤S207之后还可包括针对web索引缓存的维护步骤S208:
web前端从后台服务端获取变更的目标数据记录,做资源的补充转换后,替换原有web索引缓存数据,对web索引缓存实现更新;
当web索引缓存总容量超过所述容量的设置值,且有新的目标数据记录传输时,删除超出web容量设置值的索引缓存数据,将所述新的目标数据记录做资源的补充转换,将补充转换后的数据添加到所述web索引缓存中。
所述web索引缓存默认按时间顺序降序排列,最新传输的索引缓存存储于web索引缓存最前列。当需要删除索引缓存数据时,删除所述web索引缓存中最末尾即传输最早的索引缓存数据,将所述新的目标数据记录做资源的补充转换后添加到所述web索引缓存中。其中删除的数据条数与新传输的目标数据记录条数相同。
上述删除方法为本发明优选设置, web索引缓存的其他排列顺序、删除web索引缓存的数据位置均不受本申请上述描述的限制,本领域技术人员熟知,根据本申请,所述顺序均可以采用其他设定方式。
对于前述的各方法实施例,为了描述简单,故将其都表述为一系列的动作组合,但是本领域的技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为根据本申请,某些步骤可以采用其他顺序或同时执行;其次,本领域技术人员也应该知悉,上述方法实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
参照图3,示出了本申请web数据列表处理装置一实施例的结构示意图,具体包括:
连接模块31,用于web前端连接后台服务端;
散列映射表构建模块32,用于web前端和后台服务端构建包含字段名和索引的Hash Map;
发送模块33,用于web前端发送订阅条件给后台服务端;
接收模块34,用于后台服务端接收web前端发送的订阅条件请求;
响应模块35,用于后台服务端根据所述订阅条件请求构建包含索引和值的目标数据记录,并将所述目标数据记录返回到web前端;
web索引缓存构建模块36,用于web前端接收后台服务端返回的所述目标数据记录,建立web索引缓存;
web数列表绘制模块37,用于web前端根据所述订阅条件绘制web数据列表;
查询模块38,用于web前端通过所述web索引缓存对web数据列表进行查询,执行翻页、过滤和/或排序操作。
所述web索引缓存构建模块36,具体包括:
显示单元,用于首次加载并显示预设数量的目标数据记录;所述预设数量优选1000条;
转换单元,用于根据返回的所述目标数据记录作资源的补充转换,具体包括:
通过web前端缓存的从索引到字段名的Hash Map将所述目标数据记录中的索引对应到字段名,再根据所述字段名从资源字典中查找值对应的资源设备类型;
将补充转换后的索引及资源设备类型或索引及值作为资源数据,载入到web索引缓存中,所述web索引缓存存储于web前端。
添加单元,用于web前端与后台服务端保持长连接,从后台服务端获取新增的目标数据记录,将所述目标数据记录作资源的补充转换后添加到所述web索引缓存中,直至所述web索引缓存总容量达到所述容量的设置值。所述设置值优选10万条。
所述查询模块38具体包括:
翻页单元,用于执行翻页操作:拖动所述web数据列表中的上下滚动条,执行翻页操作,通过web前端缓存的从字段名到索引的Hash Map,从字段名对应到索引,再根据所述索引从web索引缓存中获取滚动条拖动区域对应的数据并进行显示;
过滤单元,用于执行过滤操作:选中所述web数据列表中的某列头中的漏斗图标,展开枚举值列表,并挑选至少一个枚举值,执行过滤操作,通过web前端缓存的从字段名到索引的Hash Map,从字段名对应到索引,再根据所述索引从web索引缓存中过滤数据,并将过滤后的数据推送给UI;
排序单元,用于执行排序操作:选中所述web数据列表中的某列,执行排序操作,通过web前端缓存的从字段名到索引的Hash Map,从字段名对应到索引,根据索引从web索引缓存中将所述列的数据进行排序,重排数据记录,并将重排后的数据推送给UI。
优选的,所述装置还可以包括维护模块,用于维护所述web索引缓存,具体包括:
更新单元,用于更新所述web索引缓存:web前端从后台服务端获取变更的目标数据记录,做资源的补充转换后,替换原有web索引缓存数据,对web索引缓存实现更新;
删除单元,用于删除多余的索引缓存:当web索引缓存总容量超过所述容量的设置值,且有新的目标数据记录传输时,删除超出web容量设置值的索引缓存数据,将所述新的目标数据记录做资源的补充转换,将补充转换后的数据添加到所述web索引缓存中。
所述web索引缓存默认按时间顺序降序排列,最新传输的索引缓存存储于web索引缓存最前列。当需要删除索引缓存数据时,删除所述web索引缓存中最末尾即传输最早的索引缓存数据,将所述新的目标数据记录做资源的补充转换后添加到所述web索引缓存中。其中删除的数据条数与新传输的目标数据记录条数相同。
需要说明的是,上述装置实施例属于优选实施例,所涉及的单元和模块并不一定是本申请所必需的。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于本申请的装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上对本申请所提供的一种web数据列表处理方法及装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种web数据列表处理方法,其特征在于,所述方法包括:
web前端连接后台服务端;
web前端和后台服务端构建包含字段名和索引的散列映射表;
web前端发送订阅条件给后台服务端;
后台服务端接收web前端发送的订阅条件请求;
后台服务端根据所述订阅条件请求构建包含索引和值的目标数据记录,并将所述目标数据记录返回到web前端;
web前端接收后台服务端返回的所述目标数据记录,建立索引缓存;
web前端根据所述订阅条件绘制web数据列表;
web前端通过所述索引缓存对web数据列表进行查询,执行翻页、过滤和/或排序操作;
所述web前端和后台服务端构建包含字段名和索引的散列映射表,包括:
后台服务端访问关系数据库,获取字段名,解析所述字段名及字段名对应的编号,所述字段名对应的编号即索引,构建从字段名到索引的散列映射表,缓存在后台服务端的内存中;
web前端获取后台服务端缓存的从字段名到索引的散列映射表,缓存在web前端的内存中;根据所述从字段名到索引的散列映射表进行转换,构建从索引到字段名的散列映射表,也缓存在web前端的内存中。
2.根据权利要求1所述的方法,其特征在于,所述后台服务端接收web前端发送的订阅条件请求,包括:
后台服务端接收web前端发送的订阅条件,所述订阅条件告知需要订阅的数据范围,执行注册服务,订阅成功后,查询数据库信息,启动刷数据线程,监听业务数据。
3.根据权利要求1所述的方法,其特征在于,所述后台服务端根据所述订阅条件请求构建包含索引和值的目标数据记录,并将所述目标数据记录返回到web前端,包括:
后台服务端从数据库和实时消息队列中获取业务数据,根据后台服务端缓存的从字段名到索引的散列映射表,用索引代替所述业务数据中的字段名,构建包含索引和值的目标数据记录,并将所述目标数据记录返回到web前端。
4.根据权利要求1所述的方法,其特征在于,所述web前端接收后台服务端返回的所述目标数据记录,建立索引缓存,包括:
首次加载并显示预设数量的目标数据记录;
根据返回的所述目标数据记录作资源的补充转换:
通过web前端缓存的从索引到字段名的散列映射表将所述目标数据记录中的索引对应到字段名,再根据所述字段名从资源字典中查找值对应的资源设备类型;
将补充转换后的索引及资源设备类型或索引及值作为资源数据,载入到索引缓存中,所述索引缓存存储于web前端;
web前端与后台服务端保持长连接,从后台服务端获取新增的目标数据记录,将所述目标数据记录作资源的补充转换后添加到所述索引缓存中,直至所述索引缓存总容量达到所述容量的设置值。
5.根据权利要求1所述的方法,其特征在于,在所述web前端接收后台服务端发送的目标数据记录,建立索引缓存的步骤之后,还包括:
web前端从后台服务端获取变更的目标数据记录,更新索引缓存;
删除超过所述索引缓存容量设置值的索引缓存数据。
6.根据权利要求1所述的方法,其特征在于,所述web前端根据所述订阅条件绘制web数据列表,包括:
web前端查询用户界面显示模板,解析所述显示模板的列头包含的内容及所述内容的显示顺序,基于所述内容及所述内容的显示顺序绘制web数据列表。
7.根据权利要求1所述的方法,其特征在于,所述web前端通过索引缓存对web数据列表进行查询,执行翻页、过滤和/或排序操作,包括:
拖动所述web数据列表中的上下滚动条,执行翻页操作,通过web前端缓存的从字段名到索引的散列映射表,从字段名对应到索引,再根据所述索引从索引缓存中获取滚动条拖动区域对应的数据并进行显示;
选中所述web数据列表中的某列头中的漏斗图标,展开枚举值列表,并挑选至少一个枚举值,执行过滤操作,通过web前端缓存的从字段名到索引的散列映射表,从字段名对应到索引,再根据所述索引从索引缓存中过滤数据,并将过滤后的数据推送给用户界面;
选中所述web数据列表中的某列,执行排序操作,通过web前端缓存的从字段名到索引的散列映射表,从字段名对应到索引,根据索引从索引缓存中将所述列的数据进行排序,重排数据,并将重排后的数据推送给用户界面。
8.一种web数据列表处理装置,其特征在于,所述装置包括:
连接模块,用于web前端连接后台服务端;
散列映射表构建模块,用于web前端和后台服务端构建包含字段名和索引的散列映射表;
发送模块,用于web前端发送订阅条件给后台服务端;
接收模块,用于后台服务端接收web前端发送的订阅条件请求;
响应模块,用于后台服务端根据所述订阅条件请求构建包含索引和值的目标数据记录,并将所述目标数据记录返回到web前端;
索引缓存构建模块,用于web前端接收后台服务端返回的所述目标数据记录,建立索引缓存;
web数据列表绘制模块,用于web前端根据所述订阅条件绘制web数据列表;
查询模块,用于web前端通过所述索引缓存对web数据列表进行查询,执行翻页、过滤和/或排序操作;
所述索引缓存构建模块,包括:
显示单元,用于首次加载并显示预设数量的目标数据记录;
转换单元,用于根据返回的所述目标数据记录作资源的补充转换,具体包括:
通过web前端缓存的从索引到宇段名的散列映射表将所述目标数据记录中的索引对应到宇段名,再根据所述宇段名从资源字典中查找值对应的资源设备类型;
将补充转换后的索引及资源设备类型或索引及值作为资源数据,载入到索引缓存中,所述索引缓存存储于web前端;
添加单元,用于web前端与后台服务端保持长连接,从后台服务端获取新增的目标数据记录,将所述目标数据记录作资源的补充转换后添加到所述索引缓存中,直至所述索引缓存总容量达到所述容量的设置值。
CN201611210340.2A 2016-12-24 2016-12-24 一种web数据列表处理方法及装置 Active CN108241657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611210340.2A CN108241657B (zh) 2016-12-24 2016-12-24 一种web数据列表处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611210340.2A CN108241657B (zh) 2016-12-24 2016-12-24 一种web数据列表处理方法及装置

Publications (2)

Publication Number Publication Date
CN108241657A CN108241657A (zh) 2018-07-03
CN108241657B true CN108241657B (zh) 2022-01-07

Family

ID=62704537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611210340.2A Active CN108241657B (zh) 2016-12-24 2016-12-24 一种web数据列表处理方法及装置

Country Status (1)

Country Link
CN (1) CN108241657B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651406B (zh) * 2020-05-21 2023-07-25 杭州明讯软件技术有限公司 一种自动化载波调度***文件读取方法及装置
CN114764453A (zh) * 2021-01-14 2022-07-19 武汉斗鱼网络科技有限公司 一种数据处理方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479207A (zh) * 2010-11-29 2012-05-30 阿里巴巴集团控股有限公司 一种信息搜索的方法、***及信息搜索设备
CN104077397A (zh) * 2014-07-01 2014-10-01 成都康赛信息技术有限公司 一种分布式的大数据分类检索网页的响应方法
CN104462455A (zh) * 2014-12-16 2015-03-25 北京京东尚科信息技术有限公司 网络数据的展示处理方法和装置
CN105122243A (zh) * 2013-03-15 2015-12-02 亚马逊科技公司 用于半结构化数据的可扩展分析平台

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499097B (zh) * 2009-03-16 2011-03-23 浙江工商大学 基于散列表的数据流频繁模式内存压缩存储方法
CN102831120B (zh) * 2011-06-15 2017-07-21 腾讯科技(深圳)有限公司 一种数据处理方法及***
GB2513140B (en) * 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
IN2013MU04016A (zh) * 2013-12-23 2015-08-07 Tata Consultancy Services Ltd
US9330104B2 (en) * 2014-04-30 2016-05-03 International Business Machines Corporation Indexing and searching heterogenous data entities

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479207A (zh) * 2010-11-29 2012-05-30 阿里巴巴集团控股有限公司 一种信息搜索的方法、***及信息搜索设备
CN105122243A (zh) * 2013-03-15 2015-12-02 亚马逊科技公司 用于半结构化数据的可扩展分析平台
CN104077397A (zh) * 2014-07-01 2014-10-01 成都康赛信息技术有限公司 一种分布式的大数据分类检索网页的响应方法
CN104462455A (zh) * 2014-12-16 2015-03-25 北京京东尚科信息技术有限公司 网络数据的展示处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Clustered Segment Index Scheme for P2P VOD Service on Virtual Mesh Overlay Network";Pheng-Un Lim 等;《The transactions of The Korean Institute of Electrical Engineers》;20160601;第65卷(第6期);第1052-1059页 *

Also Published As

Publication number Publication date
CN108241657A (zh) 2018-07-03

Similar Documents

Publication Publication Date Title
CN110659430B (zh) 一种支持多区块链网络的区块链浏览方法
CN110609865B (zh) 一种信息同步方法,装置及***
CN104348859B (zh) 文件同步方法、装置、服务器、终端及***
JP4579501B2 (ja) アプリケーションサーバおよびアプリケーションプログラム
CN105681477B (zh) 一种数据访问方法和一种服务器
CN102291416A (zh) 一种客户端与服务器端双向同步的方法及***
CN111221469B (zh) 同步缓存数据的方法、装置和***
CN105787091B (zh) 支持多终端的内容发布***及方法
CN111090674B (zh) 一种基于热词和缓存的搜索引擎***
CN107506464A (zh) 一种基于ES实现HBase二级索引的方法
CN102882974A (zh) 一种通过网站识别版本号节省网站访问资源的方法
CN103051706A (zh) 应用于动态网站的动态网页请求处理***和方法
CN104902327A (zh) 一种页面的内容更新及下发方法、智能电视和***
CN108052661B (zh) 分布式环境下的聚合检索的方法、装置及可读存储介质
CN112689170B (zh) 显示终端的内容播放方法、显示终端及可读存储介质
CN108241657B (zh) 一种web数据列表处理方法及装置
CN105335186B (zh) 数据下载管理方法及***
CN101751443A (zh) 数据检索与处理***及方法
CN102982034A (zh) 互联网站内信息的搜索方法和搜索***
CN109213950B (zh) Iptv智能机顶盒浏览器应用的数据处理方法及装置
CN108540583B (zh) 一种cdn***中的域名下发方法及装置,电子设备
CN101808218A (zh) 电子节目单内容的获取和更新方法、装置和***
JPH1031615A (ja) 分散ハイパーメディアシステム
CN110737662B (zh) 一种数据分析方法、装置、服务器及计算机存储介质
CN110334076B (zh) 数据处理方法、***、服务器和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant