CN107220274B - 一种可视化数据接口集市实现方法 - Google Patents

一种可视化数据接口集市实现方法 Download PDF

Info

Publication number
CN107220274B
CN107220274B CN201710240065.7A CN201710240065A CN107220274B CN 107220274 B CN107220274 B CN 107220274B CN 201710240065 A CN201710240065 A CN 201710240065A CN 107220274 B CN107220274 B CN 107220274B
Authority
CN
China
Prior art keywords
interface
data
information
file
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710240065.7A
Other languages
English (en)
Other versions
CN107220274A (zh
Inventor
王海荣
曹鹏飞
周向军
聂林
朱文洲
鲁根成
徐云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sugon Nanjing Research Institute Co ltd
Original Assignee
Sugon Nanjing Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sugon Nanjing Research Institute Co ltd filed Critical Sugon Nanjing Research Institute Co ltd
Priority to CN201710240065.7A priority Critical patent/CN107220274B/zh
Publication of CN107220274A publication Critical patent/CN107220274A/zh
Application granted granted Critical
Publication of CN107220274B publication Critical patent/CN107220274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种可视化数据接口集市实现方法，包括以下步骤：1、查询所有数据表的基本信息并显示在前台客户端图形界面，选择需要注册的数据源；2、在前台客户端图形界面显示选择的数据源里存储的数据内容字段；3、根据数据接口使用要求，设置每个数据内容字段为显示字段或条件字段，并设置内容转换方式；4、根据设置信息和转换规则生成需要的接口定义。本发明公开的可视化数据接口集市实现方法，采用可视化的定义及查询的方式进行数据接口定义，为第三方***使用本***中的数据提供极其方便的手段。

Description

一种可视化数据接口集市实现方法
技术领域
本发明属于数据处理领域，具体涉及一种可视化数据接口集市及其实现方法。
背景技术
随着企事业单位各种信息化建设，产生了大量的IT信息化业务***，这些信息化业务***根据各单位的业务需求存在大量的相互之间数据传输、内容交换、数据转换、数据收集等数据的使用，而不同的业务***建设方不同，其输出数据的方式、数据格式也大不相同。为了进行不同***间的数据交叉使用，就必须进行大量的转换工作；一个***在使用其他***数据的时候，现在业界通用的做法有两种：1、要求数据输出***根据数据使用者的要求进行修改；2、数据使用者根据输出***的数据方式进行转换适配。在实际处理中不管使用两种方式中的哪一种，都需要修改者或转换者根据原有***的设计文档、开发文档、甚至测试文档中去查询原始数据的定义格式、获取方式等等，然后才能够定义相关的数据接口，再以文档的形式进行交换。这样存在着工作量大、接口定义及使用不清楚、不及时、不准确，甚至错误的情况。
如果一个已有***的相关设计、开发、测试文档已经遗失或者文档本身同真实***间有一定的偏差，则不管原有***的开发人员，还是使用该***数据的另外***的开发人员根据这些相关文档定义出来的接口就会存在不能使用、数据错误的情况发生；而一旦没有相关文档或者文档记录不全面，要进行接口定义则需要花费巨大的人力物力对原有***的数据进行分析甚至调试原有***，这不仅浪费了人力物力还有可能造成原有***的不稳定。
发明内容
发明目的：针对现有技术中存在的问题，本发明公开了一种可视化数据接口集市实现方法，采用可视化的定义及查询的方式进行数据接口定义，为第三方***使用本***中的数据提供极其方便的手段。
技术方案：一种可视化数据接口集市实现方法，包括以下步骤：
步骤1、查询所有数据表的基本信息并显示在前台客户端图形界面，选择需要注册的数据源；
步骤2、在前台客户端图形界面显示选择的数据源里存储的数据内容字段；
步骤3、根据数据接口使用要求，设置每个数据内容字段为显示字段或条件字段，并设置内容转换方式；
步骤4、根据设置信息和转换规则生成需要的接口定义。
优选地，所述数据表存储在hive中。
优选地，所述内容转换方式包括预先定义的内容格式转换和调用自定义脚本进行的特殊转换。
优选地，还包括以文件形式展示生成接口的具体信息。
所述文件的生成方法包括如下步骤：
步骤51、新增一个空白的文件，生成一个2列的表格，优先写入公共的表头信息：接口的url，接口的名称，请求参数的格式；
步骤52、读取接口定义注册时选择的相关调用参数存入List内，遍历list行写入表格；
步骤53、将生成的表格写入文件中，并存放于指定路径中，查看此文件可以将接口信息在***中展示出来。
有益效果：与现有技术相比，本发明公开的可视化数据接口实现方法具有以下优点：1、由本发明公开的可视化数据接口实现方法得到的数据接口集市，可以把底层数据存储***中的数据注册为需要的接口，并展示在该数据接口集市中；2、通过该数据接口集市，可以非常清晰的了解各个数据接口的定义、调用方式、调用路径、所需要的参数、接口可以返回的数据，以及数据的格式等；3、***可以把数据集市中的接口信息根据需要开放给其他需要的第三方***，第三方***就可以根据该接口调用获取需要的相关数据并进行对应的解析使用；4、本发明以可视化的方式定义及使用业务***间进行数据交换的接口，减少接口定义错误。
附图说明
图1为实施例中的***组成示意图；
图2为本发明公开的可视化数据接口集市实现方法的流程图；
图3为实施例中接口信息的文本展示示意图；
图4为实施例中接口信息文件中的公共表头信息；
图5为实施例中读取接口定义注册时选择的相关调用参数生成的表格；
图6为实施例中接口信息文件保存的最终内容；
图7为第三方***使用生成接口的流程图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
当业务数据汇聚到了本***的数据存储***中，***提供了可视化数据接口集市，在该数据接口集市中集中展示了所有的相关数据接口定义。本实施例以外部关系数据库中数据导入本***并存储在hive中为例，进行操作示例来说明本发明所公开方法的具体实现步骤。如图1所示，本***的业务数据存储于数据存储***中，第三方***通过调用可视化数据接口集市中的接口来访问数据存储***中的数据，从而访问本***的数据。本实施例中数据存储***采用hive架构实现。
如图2所示，为本发明公开的可视化数据接口集市实现方法的流程图，包括如下步骤：
步骤1、查询所有数据表的基本信息并显示在前台客户端图形界面，选择需要注册的数据源；其中数据表存储在hive中；
前台jsp(Java Server Pages，java服务器页面)用ajax(AsynchronousJavascript And XML，异步JavaScript和XML)向后台发送请求，分页查询到所有汇集到hive的表的基本信息，并用js(JavaScript)渲染列表信息显示在前台页面，点击可查看各个hive表的详情信息，用户根据可视化的展现列表在列表页选择需要注册的数据源；
步骤2、在前台客户端图形界面显示选择的数据源里存储的数据内容字段；
步骤3、根据数据接口使用要求，设置每个数据内容字段为显示字段或条件字段，并设置内容转换方式；设置可以采用勾选的方式；
内容转换方式包括预先定义的内容格式转换和调用自定义脚本进行的特殊转换。
步骤4、根据设置信息和转换规则生成需要的接口定义。
***保存所有设置信息，然后根据在图形化界面中的选择设置，经过相应的计算、转换、规则处理等操作，如字段名大小写转换、中文字段转化拼音加上序号生成新的字段名、根据字段类型查出字段长度限制存储在字段对应的外部表结构内作为验证、勾选的调用字段和返回字段都在外部对应表加上勾选标志位等，生成需要的接口定义。
生成接口后即可供第三方***调用。为了可视化地展现具体接口定义的详细内容，在***数据接口集市里可以统一展示所有的注册接口信息，以pdf或文本形式展示接口信息的具体信息。如图3所示，以pdf方式展示某个接口信息，在该信息里面有接口的各种相关信息，包括请求路径、请求参数、相关参数说明，以及返回值等信息。
可视化数据接口信息文件的生成包括如下步骤：
步骤51、新增一个空白的文件，如pdf文件或txt文件，生成一个2列的表格，优先写入公共的表头信息：接口的url，接口的名称，请求参数的格式，如图4所示；
步骤52、读取接口定义注册时选择的相关调用参数存入list内，遍历list行写入表格，如图5所示；
步骤53、将生成的表格写入文件中，并存放于指定路径中，查看此文件可以将接口信息在***中展示出来，如图6所示。
通过这种可视化的方式可以直接访问***中hive数据库里面的数据。
如图7所示，第三方***使用生成的接口，包括如下步骤：
步骤61、在第三方业务***中根据注册生成的接口规范，调用该接口，开发相关的业务代码；
步骤62、第三方业务调用接口后，本***会进行验证及鉴权处理，包括参数的有效性，校验是否是本***接口，校验密保参数是否正确，全部校验完成后才可以进行后续处理；
步骤63、***根据参数信息拼接处理sql的查询数据源和查询条件部分，根据接口定义时相关参数的定义规则拼接sql的查询结果部分，最终生成一个查询sql语句；
步骤64、把生成的sql语句放到spark查询工具类上面运行，查询出hive内存储的数据；
步骤65、生成的数据以List<Map<String,Object>>格式组装返回给第三方***客户端。

Claims (3)

1.一种可视化数据接口集市实现方法，其特征在于，包括以下步骤：
(1)查询所有数据表的基本信息并显示在前台客户端图形界面，选择需要注册的数据源；
(2)在前台客户端图形界面显示选择的数据源里存储的数据内容字段；
(3)根据数据接口使用要求，设置每个数据内容字段为显示字段或条件字段，并设置内容转换方式，所述内容转换方式包括预先定义的内容格式转换和调用自定义脚本进行的特殊转换；
(4)根据设置信息和转换规则生成需要的接口定义；
所述数据表存储在hive中；
使用生成的接口时，根据参数信息拼接处理sql的查询数据源和查询条件部分，根据接口定义时相关参数的定义规则拼接sql的查询结果部分，最终生成一个查询sql语句；把生成的sql语句放到spark查询工具类上面运行，查询出hive内存储的数据；将查询出的数据以List<Map<String,Object>>格式组装返回给接口调用方。
2.根据权利要求1所述的可视化数据接口集市实现方法，其特征在于，还包括以文件形式展示生成接口的具体信息。
3.根据权利要求2所述的可视化数据接口集市实现方法，其特征在于，所述文件的生成方法包括如下步骤：
(51)新增一个空白的文件，生成一个2列的表格，优先写入公共的表头信息：接口的url，接口的名称，请求参数的格式；
(52)读取接口定义注册时选择的相关调用参数存入List内，遍历list行写入表格；
(53)将生成的表格写入文件中，并存放于指定路径中，查看此文件可以将接口信息在***中展示出来。
CN201710240065.7A 2017-04-13 2017-04-13 一种可视化数据接口集市实现方法 Active CN107220274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710240065.7A CN107220274B (zh) 2017-04-13 2017-04-13 一种可视化数据接口集市实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710240065.7A CN107220274B (zh) 2017-04-13 2017-04-13 一种可视化数据接口集市实现方法

Publications (2)

Publication Number Publication Date
CN107220274A CN107220274A (zh) 2017-09-29
CN107220274B true CN107220274B (zh) 2020-10-09

Family

ID=59928243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710240065.7A Active CN107220274B (zh) 2017-04-13 2017-04-13 一种可视化数据接口集市实现方法

Country Status (1)

Country Link
CN (1) CN107220274B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110071951A (zh) * 2018-01-24 2019-07-30 江苏迪纳数字科技股份有限公司 一种大数据条件下的数据查询展示***及方法
CN108647012A (zh) * 2018-05-04 2018-10-12 山东汇贸电子口岸有限公司 一种服务引擎的管理方法和管理装置
CN108694249B (zh) * 2018-05-30 2022-02-25 平安科技（深圳）有限公司 数据处理方法、装置、计算机设备以及存储介质
CN111143187A (zh) * 2018-11-02 2020-05-12 易保网络技术(上海)有限公司 用于应用程序接口api测试的方法和设备
CN110209722A (zh) * 2019-06-04 2019-09-06 广东铭太信息科技有限公司 一种用于数据交换的数据接口
CN110263281B (zh) * 2019-06-17 2021-03-02 北京亚鸿世纪科技发展有限公司 一种数据可视化开发中页面分辨率自适应的装置及方法
CN110825388B (zh) * 2019-11-15 2021-08-31 中科大数据研究院 一种将sql语句直接转换为对应rest接口的方法
CN112685032A (zh) * 2020-12-31 2021-04-20 北京赛思信安技术股份有限公司 一种基于spring boot框架的动态api可视化生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754045A (zh) * 2015-03-23 2015-07-01 国网辽宁省电力有限公司信息通信分公司 数据中心服务与应用接口管理平台
CN105389402A (zh) * 2015-12-29 2016-03-09 曙光信息产业(北京)有限公司 一种面向大数据的etl方法和装置
CN105512139A (zh) * 2014-09-26 2016-04-20 阿里巴巴集团控股有限公司 数据可视化的实现方法及装置
CN106484785A (zh) * 2016-09-19 2017-03-08 济南浪潮高新科技投资发展有限公司 一种高效的自动匹配数据字段映射的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100587693C (zh) * 2007-10-30 2010-02-03 金蝶软件（中国）有限公司 从多个数据源获取数据的方法及***
US9143563B2 (en) * 2011-11-11 2015-09-22 Rockwell Automation Technologies, Inc. Integrated and scalable architecture for accessing and delivering data
CN103220259B (zh) * 2012-01-20 2016-06-08 华为技术有限公司 Oauth API的使用、调用方法、设备及***
EP3134827A1 (en) * 2014-04-23 2017-03-01 IT Systems Ltd. Mescal Database interface creation system and method
CN105389619B (zh) * 2014-08-31 2021-08-03 通用电气公司 用于改进健康护理生态***内的连接的方法和***
CN105718540B (zh) * 2016-01-18 2020-06-05 北京京东尚科信息技术有限公司 数据加载方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512139A (zh) * 2014-09-26 2016-04-20 阿里巴巴集团控股有限公司 数据可视化的实现方法及装置
CN104754045A (zh) * 2015-03-23 2015-07-01 国网辽宁省电力有限公司信息通信分公司 数据中心服务与应用接口管理平台
CN105389402A (zh) * 2015-12-29 2016-03-09 曙光信息产业(北京)有限公司 一种面向大数据的etl方法和装置
CN106484785A (zh) * 2016-09-19 2017-03-08 济南浪潮高新科技投资发展有限公司 一种高效的自动匹配数据字段映射的方法

Also Published As

Publication number Publication date
CN107220274A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
CN107220274B (zh) 一种可视化数据接口集市实现方法
CN109558575B (zh) 在线表格编辑方法、装置、计算机设备及存储介质
US9811604B2 (en) Method and system for defining an extension taxonomy
CN111767057B (zh) 一种数据处理方法及装置
US11792257B2 (en) Form engine
CN104881275A (zh) 一种电子报表生成方法及装置
CN111444696B (zh) 报表展示与编辑方法及装置
CN111367976B (zh) 基于java反射机制的excel文件数据的导出方法及装置
US20110022552A1 (en) Systems and Methods for Implementing a Machine-Learning Agent to Retrieve Information in Response to a Message
CN111324609A (zh) 知识图谱构建方法、装置、电子设备及存储介质
Ureña-Cámara et al. A method for checking the quality of geographic metadata based on ISO 19157
CN111061733B (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN110362630B (zh) 数据管理方法、装置、设备与计算机可读存储介质
CN108984766B (zh) 一种政策解读的方法及装置
CN111090976A (zh) 基于动态数据的检验文档生成方法及装置
CN110321529B (zh) 框架文字显示方法、装置、计算机设备及存储介质
US11644949B2 (en) Autotagging a template of a reporting workbook
CN113238865A (zh) 基于Excel一键导入的快速构建知识图谱的方法
CN116303641B (zh) 一种支持多数据源可视化配置的实验室报告管理方法
CN111414404A (zh) 一种数据可视化装置和方法
CN115587098A (zh) 一种智能识别图表数据的方法及***
CN111556039A (zh) 一种通用微服务的web数据导出方法及装置
CN111143356A (zh) 报表检索方法及装置
CN113792137B (zh) 一种中台研发物料检索方法、***、智能终端和存储介质
CN113296763B (zh) 一种应用能力管理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Jiangning district general road in Nanjing city Jiangsu province 211100 No. 37 Ping Branch Park Building No. three building

Applicant after: Zhongke dawning Nanjing Research Institute Co., Ltd.

Address before: Ping Chong Park No. 37 Jiangning district general road in Nanjing city Jiangsu province 211100 Building No. 3

Applicant before: JIANGSU DAWN INFORMATION TECHNOLOGY CO., LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant