CN115314566A - 数据传输方法和装置、电子设备和存储介质 - Google Patents

数据传输方法和装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115314566A
CN115314566A CN202210887114.7A CN202210887114A CN115314566A CN 115314566 A CN115314566 A CN 115314566A CN 202210887114 A CN202210887114 A CN 202210887114A CN 115314566 A CN115314566 A CN 115314566A
Authority
CN
China
Prior art keywords
data
target
original
format
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210887114.7A
Other languages
English (en)
Inventor
张弥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202210887114.7A priority Critical patent/CN115314566A/zh
Publication of CN115314566A publication Critical patent/CN115314566A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08Protocols for interworking; Protocol conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Communication Control (AREA)

Abstract

本申请提供了一种数据传输方法和装置、电子设备和存储介质,其中,方法包括:获取来自于数据来源***的原始数据;确定原始数据的原始数据格式,以及确定用于进行数据存储的目标***所支持的目标数据格式;生成目标转换方案;按照目标转换方案将原始数据转换为目标数据;将目标数据传输至目标***。可以解决相关技术中针对不同的数据格式、传输协议进行定制化开发需要大量人力成本,且定制化开发很难复用的问题。

Description

数据传输方法和装置、电子设备和存储介质
技术领域
本申请涉及数据传输技术领域,尤其涉及一种数据传输方法和装置、电子设备和存储介质。
背景技术
目前,随着大数据平台的兴起,越来越多的本地端***都接入大数据平台,以将本地端数据上传至大数据平台进行存储或处理;但是,存在各个本地端***各异、且本地端数据也不相同的情况,因此,给数据采集上传大数据平台的过程造成了极大的困扰,导致往往需要针对不同的数据标准、传输协议进行定制化开发的问题。
例如,医院对病例数据的存储备份需求强烈:根据《医疗机构管理条例》第五十三条中规定,医疗机构的门诊病历的保存期不得少于十五年,住院病历的保存期不得少于三十年。医院数据中,90%以上为影像数据,建立自己的数据中心存储海量影像数据成本极高,维护成本更高,因此各医院对影像云(即,用于对影像数据进行存储的大数据平台)提供的数据备份需求十分强烈。医疗机构中的医疗影像检查、申请单、报告和医疗影像文件分别在不同***中管理:医疗影像检查、申请单和报告在医院的RIS***(放射科信息***,Radiology Information System)中管理,影像文件在医院的PACS***(影像归档和通信***,Picture Archiving and Communication System)中管理,这对患者完整的影像检查数据查询制造了困难。并且各医疗机构采用的***均不相同,这对数据的统一采集、传输和存储造成的困难。
因此,相关技术中的不同本地端***在对接大数据平台,并进行数据传输时,用于数据采集的模块进行定制化开发,存在浪费时间,降低人效的问题。
发明内容
本申请提供了一种数据传输方法和装置、电子设备和存储介质,以至少解决相关技术中不同本地端***在对接大数据平台,并进行数据传输时,用于数据采集的模块进行定制化开发,进而存在浪费时间,降低人效的问题。
根据本申请实施例的一个方面,提供了一种数据传输方法,包括:
获取来自于数据来源***的原始数据;
确定所述原始数据的原始数据格式,并确定用于进行数据存储的目标***所支持的目标数据格式;
生成目标转换方案;其中,所述目标转换方案用于将所述原始数据格式的数据转换为所述目标数据格式的数据;
按照所述目标转换方案将所述原始数据转换为目标数据;
将所述目标数据传输至所述目标***。
可选地,如前述的方法,所述生成目标转换方案,包括:
确定出所有候选转换方案,其中,所述候选转换方案用于将待转换数据格式的待转换数据转换为所述目标数据格式的数据,且每个所述候选转换方案具有唯一对应的待转换数据格式;
通过将所述原始数据格式与所有所述待转换数据格式进行匹配,在所有候选转换方案中查询出所述目标转换方案,其中,所述目标转换方案对应的所述待转换数据格式与所述原始数据格式一致。
可选地,如前述的方法,所述按照所述目标转换方案将所述原始数据转换为目标数据,包括:
按照所述原始数据格式对应的解析方式对所述原始数据进行解析,得到所述原始数据中包括的原始字段,并确定出所述原始字段对应的原始字段值;
确定出所述目标转换方案指示的字段间映射关系以及枚举值映射关系;
在按照所述字段间映射关系将所述原始字段映射至目标字段,以及按照所述枚举值映射关系将所述原始字段值映射至目标字段值之后,得到所述目标数据。
可选地,如前述的方法,在所述将所述目标数据传输至所述目标***之前,所述方法还包括:
确定出所述目标数据的数据质量;
在所述数据质量满足预设质量要求的情况下,执行用于跳转至步骤所述将所述目标数据传输至所述目标***的跳转操作;
在所述数据质量不满足所述预设质量要求的情况下,停止将所述目标数据传输至所述目标***。
可选地,如前述的方法,所述确定出所述目标数据的数据质量,包括:
确定所述目标数据格式的数据包括的所有预设字段,并检测所述目标数据是否包括所述所有预设字段,其中,所述预设字段为所述目标数据格式的数据包括的所有字段中必须存在的字段;
检测所述目标数据中与第一指定字段对应的字段值是否符合预设规则;
检测所述目标数据中与第二指定字段对应的字段值是否符合预设场景规则;
所述数据质量满足预设质量要求,包括:所述目标数据包括所述所有预设字段,以及所述目标数据中与第一指定字段对应的字段值符合预设规则,以及所述目标数据中与第二指定字段对应的字段值符合预设场景规则。
可选地,如前述的方法,在所述将所述目标数据传输至所述目标***之后,所述方法还包括:
获取来自于所述目标***的所述目标数据,其中,所述目标数据为所述目标***响应于目标终端的数据获取请求后查询得到;
生成指定转换方案;其中,所述指定转换方案用于将目标数据格式的所述数据转换为指定数据格式的数据,所述指定数据格式为所述目标终端支持的数据格式;
按照所述指定转换方案将所述目标数据转换为指定数据;
将所述指定数据传输至所述目标终端。
可选地,如前述的方法,所述获取来自于数据来源***的原始数据包括:
确定所述数据来源***对应的目标数据传输协议;
在所有候选接口中确定出支持所述目标数据传输协议的目标接口;
通过所述目标接口获取来自于所述数据来源***的所述原始数据。
根据本申请实施例的另一个方面,还提供了一种数据传输装置,包括:
获取模块,用于获取来自于数据来源***的原始数据;
标准确定模块,用于确定所述原始数据的原始数据格式,以及确定用于进行数据存储的目标***所支持的目标数据格式;
方案确定模块,用于生成目标转换方案,其中,所述目标转换方案用于将所述原始数据格式的数据转换为所述目标数据格式的数据;
转换模块,用于按照所述目标转换方案将所述原始数据转换为目标数据;
传输模块,用于将所述目标数据传输至所述目标***。
根据本申请实施例的又一个方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;其中,存储器,用于存储计算机程序;处理器,用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。
根据本申请实施例的又一个方面,还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。
在本申请实施例中数据传输方法和装置、电子设备和存储介质,方法通过获取来自于数据来源***的原始数据;确定所述原始数据的原始数据格式,以及确定用于进行数据存储的目标***所支持的目标数据格式;生成目标转换方案;按照所述目标转换方案将所述原始数据转换为所述目标数据格式的目标数据;将所述目标数据传输至所述目标***。可以将数据来源***的原始数据转换为目标***支持的目标数据格式的目标数据,进而无需对数据来源***或者目标***进行定制话开发,即可使目标***可以获取目标数据格式的目标数据;同时,无需数据来源***与目标***直接进行数据交互,进而可以使用统一的传输协议将目标数据传输至目标***,并有效适应于不同的数据来源***;从而可以克服相关技术中针对不同的数据格式、传输协议进行定制化开发需要大量人力成本,且定制化开发很难复用的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种可选的数据传输方法的流程示意图;
图2是根据本申请另一实施例的一种可选的数据传输方法的流程示意图;
图3是根据本申请应用例中的一种可选的数据传输网络的结构示意图;
图4是根据本申请应用例中的另一种可选的数据传输网络的结构示意图;
图5是根据本申请实施例的一种可选的数据传输装置的结构框图;
图6是根据本申请实施例的一种可选的电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面,提供了一种数据传输方法。可选地,在本实施例中,上述数据传输方法可以应用于由终端和服务器所构成的硬件环境中。服务器通过网络与终端进行连接,可用于为终端或终端上安装的客户端提供服务(如数据处理服务、数据存储服务等),可在服务器上或独立于服务器设置数据库,用于为服务器提供数据存储服务。
上述网络可以包括但不限于以下至少之一:有线网络,无线网络。上述有线网络可以包括但不限于以下至少之一:广域网,城域网,局域网,上述无线网络可以包括但不限于以下至少之一:WIFI(Wireless Fidelity,无线保真),蓝牙。终端可以并不限定于为PC、手机、平板电脑等。
本申请实施例的数据传输方法可以由服务器来执行,也可以由终端来执行,还可以是由服务器和终端共同执行。其中,终端执行本申请实施例的数据传输方法也可以是由安装在其上的客户端来执行。
以由网关来执行本实施例中的数据传输方法为例,图1为本申请实施例提供的一种数据传输方法,包括如下所述步骤:
步骤S101,获取来自于数据来源***的原始数据;
本实施例中的数据传输方法可以应用于需要在将来自于数据来源***的数据传输至数据接收端的场景,例如:将不同类型的医疗数据传输至医疗云平台的场景、将不同医疗机构的数据传输至医疗云平台的场景等,也可以是将其他类型的数据传输至数据接收端的场景。本申请实施例中以将不同医疗***的数据传输至医疗云平台为例说明上述的数据传输方法,对于其他类型的待传输的数据以及用于接受数据的***,在不矛盾的情况下,上述的数据传输方法同样适用。
以将不同医疗***的数据传输至医疗云平台为例,通过对医疗***的数据转换为医疗云平台所支持的数据格式的数据之后,再传输至医疗云平台。
在数据来源***需要上传数据的时候,网关可以通过于数据来源***对应的数据接口,接受到来自于数据来源***的原始数据。
原始数据可以是数据来源***产生的数据,或者上传至数据来源***的数据。原始数据可以是HL7 v2、HL7 v3、HL7 FHIR、DCIOM(Digital Imaging and Communicationsin Medicine,即医学数字成像和通信,是医学图像和相关信息的国际标准(ISO 12052))等医疗数据标准的数据,其中,HL7 v2、HL7 v3、HL7FHIR为不同版本的HL7(Health Level 7,即卫生信息交换标准;一种用于在不同的医疗保健***之间传输电子数据,每个消息发送相关特定事件(例如患者入院)的信息)。
步骤S102,确定原始数据的原始数据格式,并确定用于进行数据存储的目标***所支持的目标数据格式。
网关在获取原始数据之后,则需要将该原始数据进行处理,以使其满足接受该数据的目标***的要求。因此,在对该原始数据进行处理之前,需要获取原始数据的原始数据格式,以及目标***所支持的目标数据格式,进而便于后期确定出将原始数据格式的原始数据转换为目标数据格式的数据。
步骤S103,生成目标转换方案;其中,目标转换方案用于将原始数据格式的数据转换为目标数据格式的数据。
在确定出原始数据格式以及目标数据格式之后,可以通过确定原始数据格式与目标数据格式之间的映射关系,确定出用于将原始数据格式的数据转换为目标数据格式的数据的目标转换方案。
可选地,可以预先设置有用于将不同的数据格式的数据转换为目标数据格式的数据的转换方案,在确定出原始数据格式之后,基于原始数据格式在所有转换方案中确定出目标转换方案,以便于后期通过目标转换方案将原始数据格式的数据转换为目标数据格式的数据。
步骤S104,按照目标转换方案将原始数据转换为目标数据。
在确定出目标转换方案之后,可以基于目标转换方案中所指示的映射关系,将原始数据转换为目标数据格式的目标数据。
步骤S105,将目标数据传输至目标***。
在得到目标数据之后,即可将目标数据以统一的标准协议将数据传输至目标***。
本实施例中的网关可以是与目标***一同设于云端的网关,进而在步骤S101中可以通过远程通信获取来自于数据来源***的原始数据。此外,网关还可以部署于本地端,进而可以获取同样位于本地端的数据来源***的原始数据,并通过远程通信,将目标数据传输至目标***。
通过本实施例中的方法,可以将数据来源***的原始数据转换为目标***支持的目标数据格式的目标数据,进而无需对数据来源***或者目标***进行定制话开发,即可使目标***可以获取目标数据格式的目标数据;同时,无需数据来源***与目标***直接进行数据交互,进而可以使用统一的传输协议将目标数据传输至目标***,并有效适应于不同的数据来源***;从而可以克服相关技术中针对不同的数据格式、传输协议进行定制化开发需要大量人力成本,且定制化开发很难复用的问题。
作为一种可选的实施方式,如前述的方法,所述步骤S103生成目标转换方案,包括如下所述步骤:
步骤S201,确定出所有候选转换方案,其中,候选转换方案用于将待转换数据格式的待转换数据转换为目标数据格式的数据,且每个候选转换方案具有唯一对应的待转换数据格式;
步骤S202,通过将原始数据格式与所有待转换数据格式进行匹配,在所有候选转换方案中查询出目标转换方案,其中,目标转换方案对应的待转换数据格式与原始数据格式一致。
若需要确定出与原始数据格式对应的目标转换方案,则可以预先确定出所有候选转换方案。
候选转换方案可以是用于将待转换数据格式的待转换数据转换为目标数据格式的数据的转换方案,并且,候选转换方案与待转换数据格式之间一一对应,即每种待转换数据格式,都有唯一对应的,用于将该待转换数据标砖的数据转换为目标数据格式的数据的候选转换方案。可选地,候选转换方案可以通过唯一的第一标识进行标识,待转换数据格式可以通过该待转换数据格式的唯一的第二标识(例如,名称)进行标识。
在确定出所有待转换数据格式之后,可以先确定原始数据格式对应的第二标识在所有待转换数据格式中确定出与该原始数据格式一致的指定数据格式,然后将该指定数据格式预先建立有对应关系的候选转换方案,确定为目标转换方案。进而可以达到确定出原始数据格式对应的目标转换方案的目的。
通过本实施例中的方法,可以快速查询到与原始数据格式对应的目标转换方案,进而便于后期快速基于目标转换方案,将原始数据格式的原始数据转换为目标数据格式的目标数据的目的,可以有效提高数据处理的效率。
作为一种可选的实施方式,如前述的方法,所述步骤S103按照目标转换方案将原始数据转换为目标数据,包括如下所述步骤:
步骤S301,按照原始数据格式对应的解析方式对原始数据进行解析,得到原始数据中包括的原始字段,并确定出原始字段对应的原始字段值。
在确定出原始数据格式之后,可以确定出原始数据格式对应的解析方式(例如,每个字段的标识),进而可以通过该解析方式对原始数据进行解析,确定出原始数据中包括的所有字段,即原始字段。
可选地,可以预先设置与每种数据格式对应的解析方式,并通过查询到原始数据格式对应的解析方式。
在确定出所有原始字段之后,可以确定其中与每个原始字段对应的原始字段值。进而后期可以基于每组相互对应的原始字段以及原始字段值进行数据转换。
从而可以达到快速对原始数据进行解析的目的,以确定出原始数据中,原始字段与原始字段值之间的一一对应关系。便于后期进行数据转换。
步骤S302,确定出目标转换方案指示的字段间映射关系以及枚举值映射关系;
步骤S303,在按照字段间映射关系将原始字段映射至目标字段,以及按照枚举值映射关系将原始字段值映射至目标字段值之后,得到目标数据。
目标转换方案中,可以包括字段间映射关系以及枚举值映射关系。
字段间映射关系可以在原始数据格式与目标数据格式中的字段名不一致时,通过字段映射,将它们关联起来。
枚举值映射关系中,枚举值通过预定义列出所有值的标识符来定义一个有序集合,这些值的次序和枚举类型说明中的标识符的次序是一致的。
在确定出字段间映射关系以及枚举值映射关系之后,则可按照字段间映射关系确定原始字段映射至目标数据格式的数据中的目标字段;并且按照枚举值映射关系确定原始字段值映射至目标数据格式的数据中的目标字段值。
由于原始字段与原始字段值之间一一对应,因此,完成映射之后,目标字段与目标字段值之间也一一对应,进而可以得到目标数据。
通过本实施例中的方法,可以快速映射得到目标数据。
为了避免传输给目标***的数据出现数据质量不高的情况,如图2所示,作为一种可选的实施方式,如前述的方法,在所述步骤S105将目标数据传输至目标***之前,方法还包括如下所述步骤:
步骤S401,确定出目标数据的数据质量。
为了判断是否将目标数据传输至目标***,网关可以预先对目标数据的数据质量进行判断,以确定目标数据是否能够发送至目标***。
作为一种可选的实施方式,如前述的方法,所述步骤S401确定出目标数据的数据质量,包括如下所述步骤:
步骤A501,确定目标数据格式的数据包括的所有预设字段,并检测目标数据是否包括所有预设字段,其中,预设字段为所述目标数据格式的数据包括的所有字段中必须存在的字段。
当数据来源***为医疗***的情况下,可以先确定目标数据格式下的数据所需包括的所有预设字段(例如,必填字段等不可缺少的字段),然后判断该目标数据中是否包括所有预设字段;例如,通过本步骤可以进行数据字段完整性评估:判断必要的字段是否有缺失,如患者证件号对应的字段是否缺失。
步骤A502,检测目标数据中的与第一指定字段对应的字段值是否符合预设规则。
当数据来源***为医疗***的情况下,可以先确定目标数据格式下的数据所需包括的所有预设字段,然后判断该目标数据中与第一指定字段对应的字段值是否符合预设规则,预设规则可以通过数据合法性评估得到,例如:判断数据是否合法合规,如身份证号的格式是否满足预设的位数。
第一指定字段可以是所有预设字段中需要进行预设规则判断的字段。
步骤A503,检测目标数据中与第二指定字段对应的字段值是否符合预设场景规则。
在得到目标数据之后,可以判断第二指定字段对应的字段值是否符合预设场景规则,预设场景规则可以是医疗规则、安全规则等等。
第二指定字段可以是所有预设字段中需要进行预设场景规则判断的字段。
例如,对目标数据进行数据权威性评估:判断数据是否符合医疗规范,如采集到数据的设备的设备类型是否包括CT、MR等等规定的设备类型范围内,不能出现其他不符合要求的数据。
数据质量满足预设质量要求,包括:目标数据包括所有预设字段,以及目标数据中与第一指定字段对应的字段值符合预设规则,以及目标数据中与第二指定字段对应的字段值符合预设场景规则。
步骤S402,在数据质量满足预设质量要求的情况下,执行用于跳转至步骤将目标数据传输至目标***的跳转操作;
步骤S403,在数据质量不满足预设质量要求的情况下,停止将目标数据传输至目标***。
网关在确定出数据质量满足预设质量要求的情况下,即同时满足下述条件:目标数据包括所有预设字段;且目标数据中的与每个字段对应的字段值符合预设要求;且目标数据中的每个字段值符合预设场景规则;然后即可执行用于跳转至步骤将目标数据传输至目标***的跳转操作。
网关在确定出数据质量不满足预设质量要求的情况下,即满足以下至少一个条件:目标数据未包括所有预设字段,目标数据中的与每个字段对应的字段值至少一个不符合预设要求,目标数据中的每个字段值中至少一个不符合预设场景规则;在上述情况下停止将目标数据传输至目标***。
通过本实施例中的方法,可以在数据质量满足预设要求前,才将目标数据发送至目标***,进而可以保障目标***接受到的数据都满足高质量的要求,避免低质量的数据占用目标***的处理能力以及传输的通道,可以有效提高数据的传输效率。
作为一种可选的实施方式,如前述的方法,在步骤S105将目标数据传输至目标***之后,还包括如下所述步骤:
步骤S601,获取来自于目标***的目标数据,其中,目标数据为目标***响应于目标终端的数据获取请求后查询得到;
步骤S602,生成指定转换方案;其中,指定转换方案用于将目标数据格式的数据转换为指定数据格式的数据,指定数据格式为目标终端支持的数据格式;
步骤S603,按照指定转换方案将目标数据转换为指定数据;
步骤S604,将指定数据传输至目标终端。
在将目标数据存储至目标***之后,目标***中的目标数据即可被消费。当目标终端需要获取该目标数据的情况下,目标终端即可向目标***发送用于请求获取该目标数据的数据获取请求。目标***在获取该数据获取请求之后,可以基于数据获取请求中携带的与目标数据相关的信息(例如,指定字段的字段值(如,患者证件号为000001)、数据的类型(如,CT数据、MR数据等等))查询到该目标数据。
然后实现本实施例方法的服务器即可获取来自于目标***的目标数据;由于目标***存储目标数据的数据格式与目标终端所需数据的数据格式可能存在不同的情况,因此,需要生成指定转换方案,以将目标数据格式的数据转换为指定数据格式的数据。指定数据格式可以是原始数据格式,也可以是其他数据格式。
在确定出目标数据格式以及指定数据格式之后,可以通过确定目标数据格式以及指定数据格式之间的映射关系,确定出用于将目标数据格式的数据转换为指定数据格式的数据的指定转换方案。
可选地,可以预先设置有用于将目标数据格式的数据转换为不同的数据格式的数据的转换方案,在确定出目标数据格式之后,即可基于,目标终端支持的指定数据格式,在所有转换方案中确定出指定转换方案,以便于后期通过指定转换方案将目标数据格式的数据转换为指定数据格式的数据。
在确定出指定转换方案之后,可以基于指定转换方案中所指示的映射关系,将目标数据转换为指定数据格式的指定数据。
在得到指定数据之后,即可将指定数据以统一的标准协议将数据传输至目标终端。
通过本实施例中的方法,在将目标数据存储至目标***之后,当任一个目标终端需要获取目标数据时,即可采用对应的指定数据转换方案,将目标数据转换为指定数据格式的指定数据之后,再将该指定数据传输至目标终端,可以无需对目标***进行改进即可实现将目标数据转换为指定数据格式的指定数据,同时能够有效提高数据的转换效率,以及传输效率。
作为一种可选的实施方式,如前述的方法,所述步骤S101获取来自于数据来源***的原始数据包括如下所述步骤:
步骤S701,确定数据来源***对应的目标数据传输协议;
步骤S702,在所有候选接口中确定出支持目标数据传输协议的目标接口;
步骤S703,通过目标接口获取来自于数据来源***的原始数据。
网关在确定需要与数据来源***进行数据交互之后,可以获取该数据来源***所支持的目标数据传输协议,包括但不限于:XML(eXtensible Markup Language,即可扩展标记语言)、JSON(JavaScript Object Notation,即JS对象简谱)、HTTP(Hyper TextTransfer Protocol,即超文本传输协议)、API(Application Program Interface,被定义为应用程序可用以与计算机操作***交换信息和命令的标准集)、DCIOM(Digital Imagingand Communications in Medicine,即医学数字成像和通信,是医学图像和相关信息的国际标准(ISO 12052))、FTP(FileTransferProtocol,即文件传输协议)等。
网关本身可以包括多个候选接口,且不同的候选接口可以支持不同的数据传输协议,并且可以建立候选接口与数据传输协议之间的一一对应关系,因此,可以确定出目标数据传输协议对应的目标接口。
在确定出目标接口之后,即可通过目标接口获取来自于数据来源***的原始数据。
通过本实施例中的方法,无论数据来源***所支持的传输协议是什么,都只需通过对网关进行配置,即可达到获取不同的数据来源***的原始数据的目的,进而可以解决大数据平台为了适配各种数据传输协议的所造成的定制化开发工作中,需要大量人力成本,且定制化开发很难复用的问题。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM(Read-Only Memory,只读存储器)/RAM(Random Access Memory,随机存取存储器)、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
本申请还提供一种应用前述任一实施例的应用例,如下所述:
医疗数据网关可以通过不同的传输协议,接收不同标准的医疗数据。并将这些数据转化为同一的标准,供医疗存储服务器或大数据平台(即,目标***)存储。
医疗数据网关的具体功能如下:
1、数据接收模块:可以通过多种数据传输协议,接收多种医疗数据格式(即,候选数据格式)的数据。
数据传输协议包括但不限于:XML、JSON、HTTP、API、DCIOM、FTP等。
医疗数据格式包括但不限于:HL7 v2、HL7 v3、HL7 FHIR、DCIOM等。
2、标准解析模块:将接收的不同标准的数据按其医疗数据格式的定义进行解析,解析出各字段的值。
3、协议转化模块:按照输出的医疗存储服务器或大数据平台所支持的统一的标准格式(即,目标数据格式)进行转化,得到转化后的数据(即,目标数据),主要是字段的映射和枚举值的映射。
4、对数据质量进行评估:当出现数据质量不高的情况时,需要屏蔽该数据。数据评估的维度包括但不限于:
数据字段完整性评估:判断必要的字段是否有缺失,如患者证件号;
数据合法性评估:判断数据是否合法合规,如身份证号的格式;
数据权威性评估:判断数据是否符合医疗规范,如设备类型包括CT、MR等,不能出现其他不符合要求的数据。
5、数据输出模块:通过接口,将转化后的数据,与医疗存储服务器或大数据平台约定好的医疗数据传输给他们进行数据存储和应用。
通过以上方式,数据存储服务或大数据平台不需要进行定制化开发。数据采集完全有医疗数据网关进行隔离。
医疗数据网关除了部署在云端(数据传输网络结构如图3所示),也可以部署在每个医院内部(数据传输网络结构如图4所示),其作用相同。
根据本申请实施例的另一个方面,还提供了一种用于实施上述数据传输方法的数据传输装置。图5是根据本申请实施例的一种可选的数据传输装置的结构框图,如图5所示,该装置可以包括:
获取模块1,用于获取来自于数据来源***的原始数据;
标准确定模块2,用于确定原始数据的原始数据格式,以及确定用于进行数据存储的目标***所支持的目标数据格式;
方案确定模块3,用于确定出用于将原始数据格式的数据转换为目标数据格式的数据的目标转换方案;
转换模块4,用于按照目标转换方案将原始数据转换为目标数据格式的目标数据;
传输模块5,用于将目标数据传输至目标***。
需要说明的是,该实施例中的获取模块1可以用于执行上述步骤S101,该实施例中的标准确定模块2可以用于执行上述步骤S102,该实施例中的方案确定模块3可以用于执行上述步骤S103,该实施例中的转换模块4可以用于执行上述步骤S104,该实施例中的传输模块5可以用于执行上述步骤S105。
作为一种可选的实施例,如前述的装置,方案确定模块3包括:
确定单元,用于确定出所有候选转换方案,其中,候选转换方案用于将待转换数据格式的待转换数据转换为目标数据格式的数据,且每个候选转换方案具有唯一对应的待转换数据格式;
查询单元,用于通过将原始数据格式与所有待转换数据格式进行匹配,在所有候选转换方案中查询出目标转换方案,其中,目标转换方案对应的待转换数据格式与原始数据格式一致。
作为一种可选的实施例,如前述的装置,转换模块4包括:
解析模块,用于按照所述原始数据格式对应的解析方式对所述原始数据进行解析,得到所述原始数据中包括的原始字段,并确定出所述原始字段对应的原始字段值;
目标数据单元,用于在按照所述字段间映射关系将所述原始字段映射至目标字段,以及按照所述枚举值映射关系将所述原始字段值映射至目标字段值之后,得到所述目标数据。
作为一种可选的实施例,如前述的装置,还包括:
数据质量确定模块,用于确定出目标数据的数据质量;
第一执行模块,用于在数据质量满足预设质量要求的情况下,执行用于跳转至步骤将目标数据传输至目标***的跳转操作;
第二执行模块,用于在数据质量不满足预设质量要求的情况下,停止将目标数据传输至目标***。
作为一种可选的实施例,如前述的装置,数据质量确定模块包括:
第一判断单元,用于确定目标数据格式的数据包括的所有预设字段,并检测目标数据是否包括所有预设字段,其中,预设字段为目标数据格式的数据包括的所有字段中必须存在的字段;
第二判断单元,用于检测目标数据中与第一指定字段对应的字段值是否符合预设规则;
第三判断单元,用于检测目标数据中与第二指定字段对应的字段值是否符合预设场景规则;
数据质量确定单元,用于数据质量满足预设质量要求,包括:目标数据包括所有预设字段,以及目标数据中与第一指定字段对应的字段值符合预设规则,以及目标数据中与第二指定字段对应的字段值符合预设场景规则。
作为一种可选的实施例,如前述的装置,还包括反馈模块,用于:
获取来自于所述目标***的所述目标数据,其中,所述目标数据为所述目标***响应于目标终端的数据获取请求后查询得到;生成指定转换方案;其中,所述指定转换方案用于将目标数据格式的所述数据转换为指定数据格式的数据,所述指定数据格式为所述目标终端支持的数据格式;按照所述指定转换方案将所述目标数据转换为指定数据;将所述指定数据传输至所述目标终端。
作为一种可选的实施例,如前述的装置,获取模块1包括:
协议确定单元,用于确定数据来源***对应的目标数据传输协议;
接口确定单元,用于在所有候选接口中确定出支持目标数据传输协议的目标接口;
数据获取确定单元,用于通过目标接口获取来自于数据来源***的原始数据。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实现如图1所示方法的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。
根据本申请实施例的又一个方面,还提供了一种用于实施上述数据传输方法的电子设备,该电子设备可以是服务器、终端、或者其组合。
根据本申请的另一个实施例,还提供一种电子设备,包括:如图6所示,电子设备可以包括:处理器1501、通信接口1502、存储器1503和通信总线1504,其中,处理器1501,通信接口1502,存储器1503通过通信总线1504完成相互间的通信。
存储器1503,用于存放计算机程序;
处理器1501,用于执行存储器1503上所存放的程序时,实现如下步骤:
步骤S101,获取来自于数据来源***的原始数据;
步骤S102,确定原始数据的原始数据格式,以及确定用于进行数据存储的目标***所支持的目标数据格式。
步骤S103,生成目标转换方案;其中,目标转换方案用于将原始数据格式的数据转换为目标数据格式的数据。
步骤S104,按照目标转换方案将原始数据转换为目标数据。
步骤S105,将目标数据传输至目标***。
可选地,在本实施例中,上述的通信总线可以是PCI(Peripheral ComponentInterconnect,外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,可以包含但不限于:CPU(Central ProcessingUnit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(DigitalSignal Processor,数字信号处理器)、ASIC(Application Specific IntegratedCircuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供一种计算机可读存储介质,存储介质包括存储的程序,其中,程序运行时执行上述方法实施例的方法步骤。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种数据传输方法,其特征在于,包括:
获取来自于数据来源***的原始数据;
确定所述原始数据的原始数据格式,并确定用于进行数据存储的目标***所支持的目标数据格式;
生成目标转换方案;其中,所述目标转换方案用于将所述原始数据格式的数据转换为所述目标数据格式的数据;
按照所述目标转换方案将所述原始数据转换为目标数据;
将所述目标数据传输至所述目标***。
2.根据权利要求1所述的方法,其特征在于,所述生成目标转换方案,包括:
确定出所有候选转换方案,其中,所述候选转换方案用于将待转换数据格式的待转换数据转换为所述目标数据格式的数据,且每个所述候选转换方案具有唯一对应的待转换数据格式;
通过将所述原始数据格式与所有所述待转换数据格式进行匹配,在所有候选转换方案中查询出所述目标转换方案,其中,所述目标转换方案对应的所述待转换数据格式与所述原始数据格式一致。
3.根据权利要求1所述的方法,其特征在于,所述按照所述目标转换方案将所述原始数据转换为目标数据,包括:
按照所述原始数据格式对应的解析方式对所述原始数据进行解析,得到所述原始数据中包括的原始字段,并确定出所述原始字段对应的原始字段值;
确定出所述目标转换方案指示的字段间映射关系以及枚举值映射关系;
在按照所述字段间映射关系将所述原始字段映射至目标字段,以及按照所述枚举值映射关系将所述原始字段值映射至目标字段值之后,得到所述目标数据。
4.根据权利要求1所述的方法,其特征在于,在所述将所述目标数据传输至所述目标***之前,所述方法还包括:
确定出所述目标数据的数据质量;
在所述数据质量满足预设质量要求的情况下,执行用于跳转至步骤所述将所述目标数据传输至所述目标***的跳转操作;
在所述数据质量不满足所述预设质量要求的情况下,停止将所述目标数据传输至所述目标***。
5.根据权利要求4所述的方法,其特征在于,所述确定出所述目标数据的数据质量,包括:
确定所述目标数据格式的数据包括的所有预设字段,并检测所述目标数据是否包括所述所有预设字段,其中,所述预设字段为所述目标数据格式的数据包括的所有字段中必须存在的字段;
检测所述目标数据中与第一指定字段对应的字段值是否符合预设规则;
检测所述目标数据中与第二指定字段对应的字段值是否符合预设场景规则;
所述数据质量满足预设质量要求,包括:所述目标数据包括所述所有预设字段,以及所述目标数据中与第一指定字段对应的字段值符合预设规则,以及所述目标数据中与第二指定字段对应的字段值符合预设场景规则。
6.根据权利要求1至5中任一项所述的方法,其特征在于,在所述将所述目标数据传输至所述目标***之后,所述方法还包括:
获取来自于所述目标***的所述目标数据,其中,所述目标数据为所述目标***响应于目标终端的数据获取请求后查询得到;
生成指定转换方案;其中,所述指定转换方案用于将目标数据格式的所述数据转换为指定数据格式的数据,所述指定数据格式为所述目标终端支持的数据格式;
按照所述指定转换方案将所述目标数据转换为指定数据;
将所述指定数据传输至所述目标终端。
7.根据权利要求1至5中任一项所述的方法,其特征在于,所述获取来自于数据来源***的原始数据包括:
确定所述数据来源***对应的目标数据传输协议;
在所有候选接口中确定出支持所述目标数据传输协议的目标接口;
通过所述目标接口获取来自于所述数据来源***的所述原始数据。
8.一种数据传输装置,其特征在于,包括:
获取模块,用于获取来自于数据来源***的原始数据;
标准确定模块,用于确定所述原始数据的原始数据格式,以及确定用于进行数据存储的目标***所支持的目标数据格式;
方案确定模块,用于生成目标转换方案,其中,所述目标转换方案用于将所述原始数据格式的数据转换为所述目标数据格式的数据;
转换模块,用于按照所述目标转换方案将所述原始数据转换为目标数据;
传输模块,用于将所述目标数据传输至所述目标***。
9.一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信,其特征在于,
所述存储器,用于存储计算机程序;
所述处理器,用于通过运行所述存储器上所存储的所述计算机程序来执行权利要求1至7中任一项所述的方法步骤。
10.一种计算机可读的存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至7中任一项中所述的方法步骤。
CN202210887114.7A 2022-07-26 2022-07-26 数据传输方法和装置、电子设备和存储介质 Pending CN115314566A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210887114.7A CN115314566A (zh) 2022-07-26 2022-07-26 数据传输方法和装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210887114.7A CN115314566A (zh) 2022-07-26 2022-07-26 数据传输方法和装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115314566A true CN115314566A (zh) 2022-11-08

Family

ID=83858118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210887114.7A Pending CN115314566A (zh) 2022-07-26 2022-07-26 数据传输方法和装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115314566A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116521627A (zh) * 2023-04-06 2023-08-01 广州航润航空技术有限公司 一种基于oem手册进行数据流管理的方法
CN117093576A (zh) * 2023-10-17 2023-11-21 北京云成金融信息服务有限公司 一种降低存储转存时间的数据存储方法
CN117648289A (zh) * 2024-01-22 2024-03-05 北京梦天门科技股份有限公司 一种县域医共体多类型数据的统一整合的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970267A (zh) * 2020-08-13 2020-11-20 国网电子商务有限公司 一种数据协议转换方法、装置、电子设备及存储介质
CN114036216A (zh) * 2021-10-29 2022-02-11 中国联合网络通信集团有限公司 一种数据处理方法、装置和存储介质
CN114281876A (zh) * 2021-12-24 2022-04-05 北京锐安科技有限公司 一种数据处理方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970267A (zh) * 2020-08-13 2020-11-20 国网电子商务有限公司 一种数据协议转换方法、装置、电子设备及存储介质
CN114036216A (zh) * 2021-10-29 2022-02-11 中国联合网络通信集团有限公司 一种数据处理方法、装置和存储介质
CN114281876A (zh) * 2021-12-24 2022-04-05 北京锐安科技有限公司 一种数据处理方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116521627A (zh) * 2023-04-06 2023-08-01 广州航润航空技术有限公司 一种基于oem手册进行数据流管理的方法
CN117093576A (zh) * 2023-10-17 2023-11-21 北京云成金融信息服务有限公司 一种降低存储转存时间的数据存储方法
CN117093576B (zh) * 2023-10-17 2024-01-05 北京云成金融信息服务有限公司 一种降低存储转存时间的数据存储方法
CN117648289A (zh) * 2024-01-22 2024-03-05 北京梦天门科技股份有限公司 一种县域医共体多类型数据的统一整合的方法

Similar Documents

Publication Publication Date Title
CN115314566A (zh) 数据传输方法和装置、电子设备和存储介质
CN111083225B (zh) 在物联网平台中的数据处理方法、装置及物联网平台
CN111556158B (zh) 物联网平台的接入方法、接入装置、接入设备及存储介质
CN105787280A (zh) 医疗云网关的患者数据处理方法、云网关及医疗云***
CN101299225A (zh) 提供医学报告的方法、装置和***
CN105224789A (zh) 全院自助服务***
CN114598750A (zh) 一种数据请求处理方法、装置及存储介质
CN114242210A (zh) 医学影像数据的管理方法、装置、设备及存储介质
CN102387121A (zh) 管理服务器、影像分发控制***及影像分发控制方法
CN110554884B (zh) 一种配置方法、装置、后台服务器及存储介质
CN116580804A (zh) Ofd文件关联储存dicom数据的方法
KR20140123126A (ko) 변전소 구성 언어 기반의 데이터베이스 생성 방법 및 시스템
US11776699B2 (en) Systems and methods for integrating healthcare applications
CN114968696A (zh) 指标监控方法、电子设备及芯片***
CN112259213A (zh) 一种数据传输方法、***、电子设备及存储介质
CN113934683A (zh) 一种日志传输方法、装置、cdn***及电子设备
CN112559087B (zh) 信息生成方法、装置、电子设备和计算机可读介质
JP2016224536A (ja) 医療支援サーバ及び医療支援システム
CN114253520B (zh) 接口代码生成方法和装置
CN114827197B (zh) 基于物联网的服务通信方法、装置、设备及介质
CN113779128A (zh) 医疗数据***对接方法、装置、设备及存储介质
CN116795905A (zh) 一种数据可视化方法、装置、设备以及计算机存储介质
KR20240068528A (ko) 클라우드 기반의 의료 서비스 제공 시스템
CN114329271A (zh) 锅炉报告生成方法及装置
CN115910251A (zh) 一种处理医疗数据的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination