CN108469977B - 一种界面数据管理方法 - Google Patents

一种界面数据管理方法 Download PDF

Info

Publication number
CN108469977B
CN108469977B CN201810255331.8A CN201810255331A CN108469977B CN 108469977 B CN108469977 B CN 108469977B CN 201810255331 A CN201810255331 A CN 201810255331A CN 108469977 B CN108469977 B CN 108469977B
Authority
CN
China
Prior art keywords
software system
parameter value
system interface
interface
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810255331.8A
Other languages
English (en)
Other versions
CN108469977A (zh
Inventor
张�林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810255331.8A priority Critical patent/CN108469977B/zh
Publication of CN108469977A publication Critical patent/CN108469977A/zh
Application granted granted Critical
Publication of CN108469977B publication Critical patent/CN108469977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/38Creation or generation of source code for implementing user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种界面数据管理方法,包括:打开第一软件***界面及第二软件***界面;第一软件***界面包括多个第一特征值及多个分别与第一特征值对应的第一参数值;依据第二软件***界面的类型获取第二软件***界面的多个第二特征值及多个分别与第二特征值对应的第二参数值;分别建立多个第一特征值与多个第二特征值的对应关系;当第一参数值发生变化时,通过对应关系,将第一参数值所发生的变化添加至对应的第二参数值;或者,当第二参数值发生变化时,通过对应关系,将第二参数值所发生的变化添加至对应的第一参数值。该发明的有益效果为:无需为各成员***的集成而单独开发接口,具备良好的跨***平台的特性。

Description

一种界面数据管理方法
技术领域
本发明涉及界面数据管理技术领域,尤其涉及一种界面数据管理方法。
背景技术
现有的异构***集成技术的前置条件都必须要求参与集成的各成员***具备一定程度的开放性,集成的深度和范围取决于成员***的开放程度。
现有的***对外开放的方式包括如下三种:
第一种是数据结构开放,通过提供一个用于对外开放接口数据规范的中间数据媒介(数据库或者文件)来实现数据交互的接口,内部***和外部***均遵循此数据结构逻辑规范向此中间数据媒介读写数据,籍此实现异构***之间的数据交换;
第二种是接口程序包开放,通过提供一个供外部调用的封装业务逻辑在内的自定义编程接口的程序包来实现数据交换,为了确保外部***调用的便利性,往往需要提供因应不同编程语言的多个版本的程序包;
第三种是服务协议开放,基于网络连接的应用协议向外提供一个“请求-响应”或“订阅-发布”机制的服务API,简化了外部调用的过程;
现有的***集成架构方案均以成员***已提供上述三种开放接口之中的一种或多种为基本前提而搭建,例如成熟的SOA理念就是如此。但是,对于全封闭而未提供任何对外开放接口的成员***,或者成员***已提供的接口的广度或深度存在不足的情况时,则会导致成员***无法集成或者其集成效果无法达到用户的预期目标。
另外,上述任一种集成方法都必然伴随着或多或少的接口开发和撰写程序代码的工作量,从而导致接口本身也带来了后续维护的工作量。
因此,需要突破囿于已开放接口而设计集成方案的约束,另行设计异构成员***的集成方法。
发明内容
本发明要解决的技术问题在于,针对上述现有技术中接口封闭导致界面数据难以互通的问题,提供一种界面数据管理方法。
本发明解决其技术问题所采用的技术方案是:
提供一种界面数据管理方法,包括:
打开第一软件***界面及第二软件***界面;所述第一软件***界面包括多个第一特征值及多个分别与所述第一特征值对应的第一参数值;
依据所述第二软件***界面的类型获取所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值;
分别建立多个所述第一特征值与多个所述第二特征值的对应关系;
当所述第一参数值发生变化时,通过所述对应关系,将所述第一参数值所发生的变化添加至对应的第二参数值;或者,当所述第二参数值发生变化时,通过所述对应关系,将所述第二参数值所发生的变化添加至对应的第一参数值。
在本发明所述的界面数据管理方法中,所述打开第一软件***界面及第二软件***界面,包括:
配置所述第一软件***界面以配置多个所述第一特征值及多个所述第一参数值;
分别打开所述第一软件***界面及第二软件***界面,从而呈现多个所述第一特征值及多个所述第一参数值。
在本发明所述的界面数据管理方法中,所述依据所述第二软件***界面的类型获取所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值,包括:
确定所述第二软件***界面的类型;
若所述第二软件***界面的类型为可识别类型,则通过预设的接口函数提取所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值;
若所述第二软件***界面的类型为不可识别类型,则捕获操作所述第二软件***界面时的交互行为,依据所述交互行为获取所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值。
在本发明所述的界面数据管理方法中,所述捕获操作所述第二软件***界面时的交互行为,依据所述交互行为获取所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值,包括:
捕获所述第二软件***界面所呈现的UI元素及其交互行为,并获取所述UI元素中的多个UI子元素以获取多个UI子元素对应的多个所述第二特征值;
依据多个所述UI子元素对应的交互行为确定多个分别与所述第二特征值对应的第二参数值。
在本发明所述的界面数据管理方法中,所述当所述第一参数值发生变化时,通过所述对应关系,将所述第一参数值所发生的变化添加至对应的第二参数值,包括:
通过预设的接口函数判断所述第一参数值是否发生变化;
若所述第一参数值发生变化,则通过所述对应关系,并依据所述第一参数值查找对应的第二参数值;
依据所述第一参数值所发生的变化添加至所查找到的第二参数值,并通过对应的UI子元素及其交互行为修改所述第二参数值。
在本发明所述的界面数据管理方法中,所述当所述第二参数值发生变化时,通过所述对应关系,将所述第二参数值所发生的变化添加至对应的第一参数值,包括:
实时捕获所述第二软件***界面所呈现的UI元素;
对刷新前后的每个所述UI子元素进行对比,若一致,则继续捕获所述UI子元素,若不一致,则确定所述UI子元素对应的第二参数值发生变化;
通过所述对应关系,并依据所述第二参数值查找对应的第一参数值;
依据所述第二参数值所发生的变化添加至所查找到的第一参数值,并通过预设的接口函数修改所述第一参数值。
在本发明所述的界面数据管理方法中,还包括:
将多个所述第二软件***界面的参数添加至所述第一软件***界面。
在本发明所述的界面数据管理方法中,所述将多个所述第二软件***界面的参数添加至所述第一软件***界面,包括:
分别设置多个所述第二软件***界面的识别信息;
依据所述识别信息将多个所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值添加至所述第一软件***界面。
在本发明所述的界面数据管理方法中,所述将多个所述第二软件***界面的参数添加至所述第一软件***界面,还包括:
依据所述对应关系查询所述第一参数值及多个所述第二软件***界面中对应的第二参数值。
在本发明所述的界面数据管理方法中,所述捕获所述第二软件***界面所呈现的UI元素及其交互行为,并获取所述UI元素中的多个UI子元素以获取多个UI子元素对应的多个所述第二特征值,包括:
多次捕获所述第二软件***界面所呈现的UI元素及其交互行为;
多次获取所述UI元素中的多个UI子元素以获取多个UI子元素对应的多个所述第二特征值;
对所捕获的UI元素、交互行为、多个第二特征值进行深度学习,从而指导后续的界面数据管理方法。
上述公开的一种界面数据管理方法具有以下有益效果:通过UI元素及其交互行为的识别和UI逻辑重组实现各成员***之间的互联互通,因而无需为各成员***的集成而单独开发接口,并且具备良好的跨***平台的特性;在成员***UI元素和交互行为的识别及其对UI元素的指令发送,均以成员***开放给用户的功能UI为基础,因此也就不需要考虑成员***是否提供开发接口,因而集成过程也就无需侵入成员***,所有成员***的环境依赖、运行操作、版本升级及其变更均保持其原有的独立性,不受集成的影响。
附图说明
图1为本发明提供的一种界面数据管理方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参见图1,图1为本发明提供的一种界面数据管理方法的流程图,本发明以成员***的UI(User Interface,用户界面)识别和事件模拟为基础,通过侦测UI变化而创建操作***事件或浏览器事件的方法,该界面数据管理方法包括步骤S1-S4:
S1、打开第一软件***界面及第二软件***界面;所述第一软件***界面包括多个第一特征值及多个分别与所述第一特征值对应的第一参数值;步骤S1包括步骤S11-S12:
S11、配置所述第一软件***界面以配置多个所述第一特征值及多个所述第一参数值;例如:第一软件***界面为汽车销售公司自身所开发的软件,该第一软件***界面会包括车辆ID、车辆型号、车身规格等等特征值数据,这些特征值数据就构成了第一特征值,而第一参数值则是第一特征值对应的参数,例如车辆ID为00001,车辆型号为ABCD,车身规格为长4000mm×宽1600mm×高1500mm……
S12、分别打开所述第一软件***界面及第二软件***界面,从而在UI中呈现多个所述第一特征值及多个所述第一参数值。第二软件***界面一般是汽车生产商或者客户方所需开发的软件,同样会包括车辆ID、车辆型号、车身规格等等特征值数据。但是每次有不同的第二软件***界面的资料需要更新到第一软件***界面时,现有的第二软件***界面往往接口不兼容。
例如:每一个成员***都单独构建至少两个以上独立的UI模版库(一个是正本,剩余的是副本),正本对应的是成员***的UI运行路径,是对成员***的UI逻辑的穷尽的完整还原,其中可能会包含无效的循环路径或者已建议废弃的路径,副本是攫取的已清洗过的可用作提供模版服务的UI模版库,副本有可能因应成员***的每个用户而构建。
UI模版库是提供模版服务的基础,只不过每一个UI模版库均局限于一个成员***,因此可以为每一个UI模版库构建多个反映成员***部分模块的UI模版库,以此更加便捷地为不同的用途或不同的用户维护多个模版库。
S2、依据所述第二软件***界面的类型获取所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值;步骤S2包括步骤S21-S23:
S21、确定所述第二软件***界面的类型;例如:第二软件***界面可以是网页、word的doc文件、Excel文件等等可识别的类型,也可以是自主开发、接口不对外开放的不可识别类型。
S22、若所述第二软件***界面的类型为可识别类型,则通过预设的接口函数提取所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值;本发明提供了优选递进式的UI元素识别方法,根据成员***的运行环境和开发技术的不同而自动优选不同的UI元素识别方法,包括操作***API识别、浏览器API识别、公开的UI库API识别、成员***自定义UI元素识别,并将UI元素按照用户价值类别予以区分为操作型UI元素(用于触发事件)、标签型UI元素(用于不可变的UI局部标识)和数据型UI元素(可变的用户业务数据展现),因应不同价值类别的UI元素自动构建优选队列,自动构建此优选队列的方法包括:
1、建立智能调度模型对每一个成员***的每一个操作者的UI交互行为进行深度拟合,智能调度模型采用计算和模版相分离的结构而运行,亦可合并部署于成员***的运行环境之中,模版可上传到云端,亦可从云端下载,云端可部署为私有云,亦可直接使用共享的公有云;
2、建立本地的集成软件客户端服务进程,作为后台服务进程运行于成员***的运行环境(操作***或浏览器)之中,从智能调度模型之中获取模版,为每一个成员***的每一个操作者构建不同的优选队列;
3、每一个操作者的每一个操作行为和对应的UI元素变化同时也回馈给智能调度模型,以便更深化模版的拟合度。
S23、若所述第二软件***界面的类型为不可识别类型,则捕获操作所述第二软件***界面时的交互行为,依据所述交互行为获取所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值。步骤23中,所述捕获操作所述第二软件***界面时的交互行为,依据所述交互行为获取所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值的步骤包括步骤S231-S232:
S231、捕获所述第二软件***界面所呈现的UI元素及其交互行为,并获取所述UI元素中的多个UI子元素以获取多个UI子元素对应的多个所述第二特征值;步骤S231包括步骤S2311-S2313:
S2311、多次捕获所述第二软件***界面所呈现的UI元素及其交互行为;
S2312、多次获取所述UI元素中的多个UI子元素以获取多个UI子元素对应的多个所述第二特征值;
S2313、对所捕获的UI元素、交互行为、多个第二特征值进行深度学习,从而指导后续的界面数据管理方法。
其中,深度学习模型是基于神经网络算法而构建的大数据自学习模型,对UI元素因应不同的识别方法而分别构建多个不同的自学习模型,需要特别强调的是:其训练数据并不是单纯的UI元素,而是UI元素及其交互行为,也就是说,其训练数据是UI元素及其此UI元素的前置事件和后置事件,事件之中包裹了触发动作及其相应的触发参数,单纯的UI元素仅仅是一个静态快照,只有将UI元素与对应的前置事件和后置事件链接在一起,才能构成UI逻辑。
每一个成员***都单独构建一个自我独立的智能计算模型实例,确保成员***自身的UI逻辑不受干扰,准确完整地还原成员***自身的运行逻辑。
深度学习模型的输出结果是UI特征值(并不是图形),就是UI模版,存储于UI模版库之中,对成员***的任何UI变化的侦测结果,首先即在UI模版库中根据特征值的匹配算法搜索匹配度最大的匹配对象,若无返回结果,则将此UI特征值对模版库或模版库中的对应的逻辑节点进行初始化,否则,则将此UI特征值与匹配对象共同作为训练数据再次输入深度学习模型,以此持续提升UI特征值的精准度。
S232、依据多个所述UI子元素对应的交互行为确定多个分别与所述第二特征值对应的第二参数值。
即针对上述智能调度模型,本发明的智能调度模型将UI元素定位解析和UI事件响应延时作为关键设计要素,以UI元素的可变程度作为关键拟合目标,并可接受完全不可变UI元素的固化配置。
本地的集成软件客户端对运行环境不做独特的要求,根据成员***的运行环境而设计不同的客户端程序版本。
智能调度模型保持对UI元素可变性的高度敏感,因此可从所有的UI变化之中分离出带有标签的用户业务数据,智能调度模型保存用户业务数据的元数据及其读取方法,确保用户业务数据是可汇聚的。
由于用户业务数据来源于受成员***权限所约束的用户操作行为,因此,用户业务数据的聚合的内容是包含操作者身份的,以此确保聚合数据的二次利用也是受控的。
多个成员***、多个操作者的多次重复操作所产生的用户业务数据的唯一识别和去重,是智能调度模型的另一个拟合目标,除非人工提供了固化配置。
UI元素识别方法的优选队列是细分到每一个成员***的操作者的,操作者的身份识别是可追溯的,这是单点登录鉴权的基础,身份识别也是可变UI元素的识别,只不过它发生在成员***的登录环节或浏览器页面登录环节,口令通过单独的不可逆的加密固化配置方法予以管控。
S3、分别建立多个所述第一特征值与多个所述第二特征值的对应关系;对应关系可以通过InteractLogic实现,例如:成员***之间的触发调用,通过成员***运行环境的事件机制予以实现,在通过一个成员***的操作触发另一个成员***的自动操作的过程中,为了达到最优的事件模拟效果,本发明设计建立了“延时阻塞”机制,阻塞时长通过智能调度模型提供,它是基于每一个UI元素而设定的。
成员***之间的触发调用必须遵循成员***本身所设计的UI逻辑,为了避免因违反成员***UI逻辑而触发的错误调用,本发明设计建立了InteractLogic机制,InteractLogic机制约定了每一个UI元素的操作顺序及其可嵌入的开口,InteractLogic自定义了一套语义(DSL),遵循BPMN2规范,并基于BPMN2定义了业务对象和数据类型及其相应映射描述的语义扩展,InteractLogic的实例由智能调度模型提供,并可人工固化配置。
本发明为成员***跨***触发调用设计了参数传递的方法,由InteractLogic提供参数的源和目标,参数源的提取及其目标位置的参数置入,均由集成软件客户端的后台服务进程完成。
S4、当所述第一参数值发生变化时,通过所述对应关系,将所述第一参数值所发生的变化添加至对应的第二参数值;或者,当所述第二参数值发生变化时,通过所述对应关系,将所述第二参数值所发生的变化添加至对应的第一参数值。
其中,所述当所述第一参数值发生变化时,通过所述对应关系,将所述第一参数值所发生的变化添加至对应的第二参数值的步骤包括步骤S41-S43:
S41、通过预设的接口函数判断所述第一参数值是否发生变化;
S42、若所述第一参数值发生变化,则通过所述对应关系,并依据所述第一参数值查找对应的第二参数值;
S43、依据所述第一参数值所发生的变化添加至所查找到的第二参数值,并通过对应的UI子元素及其交互行为修改所述第二参数值。
所述当所述第二参数值发生变化时,通过所述对应关系,将所述第二参数值所发生的变化添加至对应的第一参数值的步骤包括步骤S44-S47:
S44、实时捕获所述第二软件***界面所呈现的UI元素;
S45、对刷新前后的每个所述UI子元素进行对比,若一致,则继续捕获所述UI子元素,若不一致,则确定所述UI子元素对应的第二参数值发生变化;例如:运行过程为:捕获源UI变化并解析UI内容,从源***捕获到UI的变化(若源***未运行,则启动源***),并解析变化后的UI数据内容,将源***的UI内容提交给智能调度模型,智能调度模型基于自定义的算法内建深度学习模型,对源***的UI内容按如下步骤进行计算处理:
(1)、提取UI的唯一识别符、操作者身份的唯一识别符,并建立操作者身份持久化存储;
(2)、依据UI元素的类别(操作型、标签型、数据型)提取元数据,依据操作***UI库的API、第三方公开UI库的API和图形OCR提取多套元数据;
②、将UI识别符、操作者身份识别符和元数据作为深度学习模型的输入,计算并输出高精度的源***UI内容;依据源***的多次捕获的UI元数据的先后顺序及其所触发的事件源的类型,构建UI模版,此UI模版可与云端UI模版共享,可得到更高的解析精度和更快的解析速度;UI模版的持续积累和优化,将构建出缺省的InteractLogic,InteractLogic根据源***的UI元数据匹配出目标UI的元数据;
③、智能调度模型向目标***发送UI操作事件,若目标***未处于运行状态,则启动目标***;
④、目标***将作为源***开始新一轮的循环;
S46、通过所述对应关系,并依据所述第二参数值查找对应的第一参数值;
S47、依据所述第二参数值所发生的变化添加至所查找到的第一参数值,并通过预设的接口函数修改所述第一参数值。
例如:跨***的UI交互行为存在多种场景,包括:
(1)、主辅***交互:一个成员***作为主***运行,另一个或多个成员***作为辅助***运行,主***UI作为操作者的工作台而占据显示屏的前台焦点界面,辅助***UI作为悬浮窗附着于主***UI的合适位置,悬浮窗的UI内容随着主***UI的变化而跟随变化,悬浮窗的UI内容不提供操作事件响应;此场景下,辅助***的UI隐藏在后端运行,悬浮窗作为其投影目标;
(2)、合并交互:将多个成员***的UI投影到一个由智能调度模型所构建的工作台窗口之中,若各成员***所投影的UI之中存在语义重复的UI元素,则做去重处理;此场景下,成员***的UI隐藏在后端运行,工作台窗口作为其投影目标,工作台窗口中的所有UI交互行为将同步发送给投影源的成员***;
上述场景下的悬浮窗和工作台窗口,在本发明中均命名为“幻影UI”,“幻影UI”是可选的,这取决于InteractLogic的控制。
优选的,该界面数据管理方法中还包括步骤S5:
S5、将多个所述第二软件***界面的参数添加至所述第一软件***界面。步骤S5包括步骤S51-S52:
S51、分别设置多个所述第二软件***界面的识别信息;识别信息即第二软件***界面的身份唯一标识,每个第二软件***界面之间相互区分。
S52、依据所述识别信息将多个所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值添加至所述第一软件***界面。
优选的,步骤S5还包括步骤S53:
S53、依据所述对应关系查询所述第一参数值及多个所述第二软件***界面中对应的第二参数值。
即针对多个第二软件***界面的情况,本发明设计了“幻影UI”机制,用于将多个成员***的UI的局部映射到一个由集成软件客户端提供的窗口之中,从而组合为一个“幻影UI”,对“幻影UI”的所有操作,实际上就是对所映射的成员***UI的操作,从而达到如下效果:
1、将各成员***的输入项按语义去重后合并为一个输入界面,输入完成后的操作,通过参数传递机制触发调用相关所有成员***的同步操作,以此而避免相同语义的输入项的重复录入;
2、将各成员***的UI元素按语义去重后显示在同一个界面,或者,以某一个成员***的界面为主UI,将其它成员***的部分UI元素作为主UI的悬浮窗内容动态显示;
“幻影UI”的显示的时间和位置及其相应的UI元素,由InteractLogic给出定义。
综合步骤S2-S4,幻影UI映射原理为:
1、“幻影UI”首先是向各个成员***UI分配尺寸,分配方法包括固定尺寸分配法和动态适配法:
A、固定尺寸分配法:首先在运行伊始即确定每一个成员***在“幻影UI”的所占据的区块,也就是所分配的固定的形状(并不限定为矩形)和尺寸,在整个运行过程中,各个成员***在“幻影UI”中的显示区块的大小和位置都是固定不变的;
B、动态适配法:并不为每个成员分配固定显示区块,而是在运行过程中根据成员***的UI元素的变化而动态分配形状和尺寸;
2、幻影UI的UI元素映射方法取决于对成员***UI元素的识别方法,如果是web页面元素,则通过dom节点映射的方法,如果是操作***标准图形库或第三方公开的图形库构造的UI元素,则调用相应的API实现映射,如果是自定义的封闭的UI库,则通过读取FrameBuffer映射的方法。映射方法定义于InteractLogic之中。
3、“幻影UI”中各映射区块的协同(也就是UI操作事件发送和事件响应)通过智能调度模型读取InteractLogic而发送事件。对“幻影UI”中任一映射区块的操作均等同于在所对应的成员***的直接操作,反之亦然,在成员***的任何操作的UI变化结果也同步显示在“幻影UI”的对应区块之内。
InteractLogic本质上是跨多个成员***的UI逻辑,以UI模版库为基础,通过InteractLogic将不同成员***的以UI元素为基础的UI逻辑按照语义规则链接到一起,从而构建出一个跨***的UI逻辑。
UI指令调度器是一套运行时的UI指令协调管理机制,在各个成员***独立操作或在“幻影UI”中操作时,以InteractLogic为依据发出指令或接收事件并进行转发,确保跨***的UI指令能够严格遵循InteractLogic的约束而稳定有效地执行。
指令调度器通过自己独有的缓存机制为跨***的UI指令执行提供容错保证。
综上所述,本发明的技术关键点为:
1、UI交互行为识别:对UI元素及其交互行为进行识别;
2、深度学习模型:在神经网络算法的基础上,基于匹配算法对UI元素及其交互行为进行精准度训练;
3、InteractLogic:跨***的UI逻辑片段的链接和组合;
4、基于UI交互行为的指令调度:确保包括UI元素、行为参数在内的UI指令能够有保证地跨***执行;
5、幻影UI:将各个成员***的UI局部组合起来映射到一个综合的窗口之中,通过一个UI窗口操作多个成员***,非常符合用户体验的便利性要求;
本发明的技术效果为:
1、无需接口开发的异构***集成
本发明是基于操作***或浏览器的通用性的方法,通过UI元素及其交互行为的识别和UI逻辑重组(InteractLogic)实现各成员***之间的互联互通,因而无需为各成员***的集成而单独开发接口,并且具备良好的跨***平台的特性。
2、可穷尽的异构***集成
成员***的所有UI元素及其交互行为均可识别,并可通过InteractLogic实现跨***的UI逻辑重组,因此,只要是成员***所提供的用户功能,均可纳入集成范围,并不受成员***所提供接口的限制。
3、非侵入的异构***集成
在成员***UI元素和交互行为的识别及其对UI元素的指令发送,均以成员***开放给用户的功能UI为基础,因此也就不需要考虑成员***是否提供开发接口,因而集成过程也就无需侵入成员***,所有成员***的环境依赖、运行操作、版本升级及其变更均保持其原有的独立性,不受集成的影响。
本发明实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器,磁盘或光盘等。上述的各装置或***,可以执行相应方法实施例中的存储方法。
综上所述,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。

Claims (9)

1.一种界面数据管理方法,其特征在于,包括:
打开第一软件***界面及第二软件***界面;所述第一软件***界面包括多个第一特征值及多个分别与所述第一特征值对应的第一参数值;
依据所述第二软件***界面的类型获取所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值;
分别建立多个所述第一特征值与多个所述第二特征值的对应关系;
当所述第一参数值发生变化时,通过所述对应关系,将所述第一参数值所发生的变化添加至对应的第二参数值;或者,当所述第二参数值发生变化时,通过所述对应关系,将所述第二参数值所发生的变化添加至对应的第一参数值;
所述依据所述第二软件***界面的类型获取所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值,包括:
确定所述第二软件***界面的类型;
若所述第二软件***界面的类型为可识别类型,则通过预设的接口函数提取所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值;
若所述第二软件***界面的类型为不可识别类型,则捕获操作所述第二软件***界面时的交互行为,依据所述交互行为获取所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值。
2.根据权利要求1所述的界面数据管理方法,其特征在于,所述打开第一软件***界面及第二软件***界面,包括:
配置所述第一软件***界面以配置多个所述第一特征值及多个所述第一参数值;
分别打开所述第一软件***界面及第二软件***界面,从而呈现多个所述第一特征值及多个所述第一参数值。
3.根据权利要求1所述的界面数据管理方法,其特征在于,所述捕获操作所述第二软件***界面时的交互行为,依据所述交互行为获取所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值,包括:
捕获所述第二软件***界面所呈现的UI元素及其交互行为,并获取所述UI元素中的多个UI子元素以获取多个UI子元素对应的多个所述第二特征值;
依据多个所述UI子元素对应的交互行为确定多个分别与所述第二特征值对应的第二参数值。
4.根据权利要求3所述的界面数据管理方法,其特征在于,所述当所述第一参数值发生变化时,通过所述对应关系,将所述第一参数值所发生的变化添加至对应的第二参数值,包括:
通过预设的接口函数判断所述第一参数值是否发生变化;
若所述第一参数值发生变化,则通过所述对应关系,并依据所述第一参数值查找对应的第二参数值;
依据所述第一参数值所发生的变化添加至所查找到的第二参数值,并通过对应的UI子元素及其交互行为修改所述第二参数值。
5.根据权利要求3所述的界面数据管理方法,其特征在于,所述当所述第二参数值发生变化时,通过所述对应关系,将所述第二参数值所发生的变化添加至对应的第一参数值,包括:
实时捕获所述第二软件***界面所呈现的UI元素;
对刷新前后的每个所述UI子元素进行对比,若一致,则继续捕获所述UI子元素,若不一致,则确定所述UI子元素对应的第二参数值发生变化;
通过所述对应关系,并依据所述第二参数值查找对应的第一参数值;
依据所述第二参数值所发生的变化添加至所查找到的第一参数值,并通过预设的接口函数修改所述第一参数值。
6.根据权利要求1所述的界面数据管理方法,其特征在于,还包括:
将多个所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值添加至所述第一软件***界面。
7.根据权利要求6所述的界面数据管理方法,其特征在于,所述将多个所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值添加至所述第一软件***界面,包括:
分别设置多个所述第二软件***界面的识别信息;
依据所述识别信息将多个所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值添加至所述第一软件***界面。
8.根据权利要求7所述的界面数据管理方法,其特征在于,所述将多个所述第二软件***界面的多个第二特征值及多个分别与所述第二特征值对应的第二参数值添加至所述第一软件***界面,还包括:
依据所述对应关系查询所述第一参数值及多个所述第二软件***界面中对应的第二参数值。
9.根据权利要求3所述的界面数据管理方法,其特征在于,所述捕获所述第二软件***界面所呈现的UI元素及其交互行为,并获取所述UI元素中的多个UI子元素以获取多个UI子元素对应的多个所述第二特征值,包括:
多次捕获所述第二软件***界面所呈现的UI元素及其交互行为;
多次获取所述UI元素中的多个UI子元素以获取多个UI子元素对应的多个所述第二特征值;
对所捕获的UI元素、交互行为、多个第二特征值进行深度学习,从而指导后续的界面数据管理方法。
CN201810255331.8A 2018-03-26 2018-03-26 一种界面数据管理方法 Active CN108469977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810255331.8A CN108469977B (zh) 2018-03-26 2018-03-26 一种界面数据管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810255331.8A CN108469977B (zh) 2018-03-26 2018-03-26 一种界面数据管理方法

Publications (2)

Publication Number Publication Date
CN108469977A CN108469977A (zh) 2018-08-31
CN108469977B true CN108469977B (zh) 2021-05-25

Family

ID=63265878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810255331.8A Active CN108469977B (zh) 2018-03-26 2018-03-26 一种界面数据管理方法

Country Status (1)

Country Link
CN (1) CN108469977B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739600B (zh) * 2018-12-26 2022-02-25 网易传媒科技(北京)有限公司 数据处理方法、介质、装置和计算设备
CN111158666B (zh) * 2019-12-27 2023-07-04 北京百度网讯科技有限公司 实体归一化处理方法、装置、设备及存储介质
CN111625226B (zh) * 2020-05-29 2023-05-16 北京无线电测量研究所 一种基于原型的人机交互设计实现方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794008A (zh) * 2015-04-28 2015-07-22 北京数字天域科技有限责任公司 一种应用程序同步的方法、装置和***
CN106445956A (zh) * 2015-08-10 2017-02-22 苏宁云商集团股份有限公司 一种购物数据的管理方法及装置
CN106484547A (zh) * 2016-10-10 2017-03-08 广东欧珀移动通信有限公司 一种多开应用的管理方法、装置及终端
CN106503157A (zh) * 2016-10-24 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种多开应用***及其数据共享访问方法、***
CN106528098A (zh) * 2016-10-21 2017-03-22 宇龙计算机通信科技(深圳)有限公司 一种多开应用之间数据的处理方法、装置及终端
CN106844063A (zh) * 2016-12-30 2017-06-13 深圳市优***科技股份有限公司 跨平台数据处理方法、***和跨平台数据共享***
CN106970978A (zh) * 2017-03-28 2017-07-21 联想(北京)有限公司 数据共享方法及装置
CN107624180A (zh) * 2015-05-15 2018-01-23 微软技术许可有限责任公司 用于提取和共享应用程序有关的用户数据的***和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9043841B2 (en) * 2012-08-21 2015-05-26 Sony Corporation Internet TV module for enabling presentation and navigation of non-native user interface on TV having native user interface using either TV remote control or module remote control

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794008A (zh) * 2015-04-28 2015-07-22 北京数字天域科技有限责任公司 一种应用程序同步的方法、装置和***
CN107624180A (zh) * 2015-05-15 2018-01-23 微软技术许可有限责任公司 用于提取和共享应用程序有关的用户数据的***和方法
CN106445956A (zh) * 2015-08-10 2017-02-22 苏宁云商集团股份有限公司 一种购物数据的管理方法及装置
CN106484547A (zh) * 2016-10-10 2017-03-08 广东欧珀移动通信有限公司 一种多开应用的管理方法、装置及终端
CN106528098A (zh) * 2016-10-21 2017-03-22 宇龙计算机通信科技(深圳)有限公司 一种多开应用之间数据的处理方法、装置及终端
CN106503157A (zh) * 2016-10-24 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种多开应用***及其数据共享访问方法、***
CN106844063A (zh) * 2016-12-30 2017-06-13 深圳市优***科技股份有限公司 跨平台数据处理方法、***和跨平台数据共享***
CN106970978A (zh) * 2017-03-28 2017-07-21 联想(北京)有限公司 数据共享方法及装置

Also Published As

Publication number Publication date
CN108469977A (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
CN110825362B (zh) 低代码应用软件开发***及方法
CN108469977B (zh) 一种界面数据管理方法
EP4307106A1 (en) Visual software development system, method and apparatus, and computer storage medium
WO2023065746A1 (zh) 算法应用元生成方法、装置、电子设备、计算机程序产品及计算机可读存储介质
CN112947914A (zh) 一种基于模型的代码生成方法、装置、计算机设备及介质
CN111739136B (zh) 渲染方法、计算机设备和存储介质
Choi Context-driven requirements analysis
CN114995859A (zh) 页面热更新方法、装置、设备及存储介质
CN117311683B (zh) 一种代码辅助***、代码辅助处理方法、装置及电子设备
CN109063059A (zh) 行为日志处理方法、装置及电子设备
US20070233818A1 (en) Recording medium storing input/output screen generation program, and method for suppressing an unreasonable screen shift
CN115080046B (zh) 一种页面设计中多组件抽象关联融合方法和装置
JP2001125855A (ja) 動的Webページ生成プログラム
CN116974554A (zh) 代码数据处理方法、装置、计算机设备和存储介质
JPH11306170A (ja) ドキュメント作成装置
CN115033318A (zh) 图像的文字识别方法、电子设备及存储介质
Sinnott An architecture based approach to specifying distributed systems in LOTOS and Z.
Sun et al. Verifying secure interface composition for component-based system designs
KR102648613B1 (ko) 입력 이미지를 기반으로 인터넷 쇼핑몰에 전시되는 상품 이미지를 생성하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체
LEHRHUBER Pdf support for qualitative research in the cloud
CN110083520B (zh) 数据获取方法及装置
KR20220112977A (ko) 개방형 자동차 표준 소프트웨어 아키텍처 설정 도구의 사용자 인터페이스 관리 시스템 및 그 방법
CN117707529A (zh) 页面开发方法、装置、设备及存储介质
Hoang Finnish scanner mobile application
CN117971223A (zh) 一种数据处理方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant