CN112463765A - 基于大数据构架的医疗数据管理方法及*** - Google Patents
基于大数据构架的医疗数据管理方法及*** Download PDFInfo
- Publication number
- CN112463765A CN112463765A CN202011413510.3A CN202011413510A CN112463765A CN 112463765 A CN112463765 A CN 112463765A CN 202011413510 A CN202011413510 A CN 202011413510A CN 112463765 A CN112463765 A CN 112463765A
- Authority
- CN
- China
- Prior art keywords
- data
- platform
- big data
- big
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000013523 data management Methods 0.000 title claims abstract description 41
- 238000004458 analytical method Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000007726 management method Methods 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000002955 isolation Methods 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 5
- 238000007418 data mining Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 239000008280 blood Substances 0.000 claims description 4
- 210000004369 blood Anatomy 0.000 claims description 4
- 238000013499 data model Methods 0.000 claims description 4
- 238000013524 data verification Methods 0.000 claims description 4
- 238000005553 drilling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000003759 clinical diagnosis Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000004141 dimensional analysis Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013479 data entry Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本申请涉及一种基于大数据构架的医疗数据管理方法、***、计算机设备及存储介质，其中该方法包括：搭建数据中台dataLake数据湖，管理所有的采集数据、分析过程数据、分析模型及分析结果数据、作业调度，支撑整个平台上所有数据的分析流程顺畅进行；搭建大数据采集平台；搭建大数据计算平台；搭建大数据服务平台；搭建大数据交换平台以及搭建大数据应用平台。本发明通过建立统一的数据集成规范和标准优化全院数据质量，建立数据决策基础以实现提高医院竞争力。通过大数据计算平台、服务平台及应用平台为管理者提供各项业务的全流程、精细化的管理分析结果，促进医院管理决策科学化、精细化。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种基于大数据构架的医疗数据管理方法、***、计算机设备及存储介质。
背景技术
随着计算机技术的发展，计算机技术已经广泛的应用于各个领域内，由于计算机技术可以高效地对各种不同的信息进行运算管理，因此可以有效地提供高效的数据管理。
然而，现如今已有的很多医疗数据中心，例如CDR，在实际中更多仅仅用于数据查询，数据的价值没有得到释放，且保存的数据更多偏向临床数据，运营数据涉及的少。因此，传统的医疗数据中心并没有做到整合全院数据，以实现提高医院数据服务的可及性、可得性和可信性，以及未能充分释放数据价值且数据涉及面较少，进而导致当出现问题时并不能快速追溯到问题根源，无法快速及时的为医院提供决策支持。
发明内容
基于此，有必要针对上述技术问题，提供一种可以提高医院数据服务的可及性、可得性和可信性的基于大数据构架的医疗数据管理方法、***、计算机设备及存储介质。
一种基于大数据构架的医疗数据管理方法，所述方法包括：
搭建数据中台dataLake数据湖，管理所有的采集数据、分析过程数据、分析模型及分析结果数据、作业调度，支撑整个平台上所有数据的分析流程顺畅进行；
搭建大数据采集平台，所述大数据采集平台基于开源的异构数据同步引擎，针对不同数据类型创建的数据接口，拓展不同的读写插件，将采集的数据经预处理后分门类别地存储至大数据中心；
搭建大数据计算平台，所述大数据计算平台将采集的数据以混合式存储方式进行存储，并对已经存储好的数据利用Spark计算引擎提供数据分析和挖掘；
搭建大数据服务平台，所述大数据服务平台对大数据中心的信息进行统一管理和监控，所述大数据中心的信息包括数据库总数、数据总数、总容量、基础表及合成表的整体信息；
搭建大数据交换平台，所述大数据交换平台统一管理医院的大数据中心与院内业务***以及院外其他信息平台之间的信息交换；
搭建大数据应用平台，所述大数据应用平台用于直接对所述大数据中心的信息进行查询，并将分析结果以多种不同的图表进行展现。
在其中一个实施例中，所述大数据采集平台还用于：
支持对不同类型的数据库包括Mysql、Postgresql、Clickhouse、Oracle、Sqlserver的数据源进行采集；
支持将采集的数据写入到hive、Mysql、Postgresql、Clickhouse、Oracle、Sqlserver；
支持配置读写的速度，避免读写任务占用过多服务器资源，影响业务应用；
支持通过可视化界面指定采集的数据源，通过勾选需要抽取的数据表对数据表进行预览，通过勾选指定数据表下的数据字段锁定要抽取的数据范围；
支持对无主键的数据源表自定义设置主键，大数据中心将根据主键去重；
支持利用SQL语句在已经制定的数据范围基础上精细化设置采集条件；
支持通过可视化界面设置工作流的方式，直接对数据采集和处理的整个流程进行设置。
在其中一个实施例中，所述大数据服务平台还用于：
支持在基础表的基础上，通过编写SQL语句的方式快速生成新的合成表，且能查看合成表与基础表之间的血缘关系；
支持对数据中心发起的调度任务进行统一监控，并以图表形式对整体情况进行展示；
支持对数据采集过程中出现违规操作时提供及时的预警；
支持对采集的数据进行数据校验和数据监控，保证数据中心信息的准确性。
在其中一个实施例中，所述大数据应用平台还用于：
支持通过编写SQL查询语句从数据源中预览数据，并拖拉拽生成数据模型；
支持通过报表可进行不同层级的上下钻取包括多条数据同时钻取以及直接在界面上追溯生成报表的SQL统计语句；
支持多种数据源、多种图表的接入；
支持自定义数据隔离，以维度为最小颗粒度控制数据隔离，可根据不同的用户过滤统计的数据。
在其中一个实施例中，所述搭建数据中台dataLake数据湖的步骤还包括：
所述dataLake数据湖的API为UI层提供接口服务，将***配置、资源中心、数据处理及数据管理的工作流配置保存更新到数据库中；
API层获取对接的数据源的元信息，存放到es全文检索引擎，便于后续快速定位数据资产，以及消息推送、集群监控，Master和Worker节点在部署创建时会在ZooKeeper上注册临时节点，并在心跳包中往临时节点中存储服务器信息。
在其中一个实施例中，Master集群支持高可用配置，且所述Master集群中维护了多种守护线程用于监听其他Master和Worker的状态。
在其中一个实施例中，Worker集群用于从分布式队列中获取待执行的任务并执行，将执行结果更新到数据库中。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项方法的步骤。
上述基于大数据构架的医疗数据管理方法、***、计算机设备及存储介质通过建立统一的数据集成规范和标准优化全院数据质量，建立数据决策基础以实现提高医院竞争力。通过大数据计算平台、服务平台及应用平台为管理者提供各项业务的全流程、精细化的管理分析结果，促进医院管理决策科学化、精细化，还可以提供临床诊疗决策支持，以助力提升医院科研水平。此外，还可以通过大数据交换平台实现医院与区域平台、外部机构之间互联互通以及安全控制下的数据共享与协同。
附图说明
图1为一个实施例中基于大数据构架的医疗数据管理方法的流程示意图；
图2为另一个实施例中基于大数据构架的医疗数据管理方法的流程示意图；
图3为再一个实施例中基于大数据构架的医疗数据管理方法的流程示意图；
图4为又一个实施例中基于大数据构架的医疗数据管理方法的流程示意图；
图5为一个实施例中基于大数据构架的医疗数据管理***的整体构架图；
图6为一个实施例中大数据采集平台的平台构架图；
图7为一个实施例中大数据计算平台的平台构架图；
图8为一个实施例中基于大数据构架的医疗数据管理***的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
目前，现如今已有的很多医疗数据中心，例如CDR，在实际中更多仅仅用于数据查询，数据的价值没有得到释放，且保存的数据更多偏向临床数据，运营数据涉及的少。因此，传统的医疗数据中心并没有做到整合全院数据，以实现提高医院数据服务的可及性、可得性和可信性，以及未能充分释放数据价值且数据涉及面较少，进而导致当出现问题时并不能快速追溯到问题根源，无法快速及时的为医院提供决策支持。
基于此，本发明提供了一种基于大数据构架的医疗数据中心。具体地，本数据中心设计整合了全院数据，从整个数据的抽取到最终的数据应用和交换，提供全流程处理和监控，当出现问题时，可以快速追溯到问题根源；打通了院内外的信息共享与协同，提高了数据的利用率，在为临床诊疗提供了数据支持的同时也促进了医院管理决策的科学化、精细化。
在一个实施例中，如图1所示，提供了一种基于大数据构架的医疗数据管理方法，该方法包括：
步骤102，搭建数据中台dataLake数据湖，管理所有的采集数据、分析过程数据、分析模型及分析结果数据、作业调度，支撑整个平台上所有数据的分析流程顺畅进行；
步骤104，搭建大数据采集平台，大数据采集平台基于开源的异构数据同步引擎，针对不同数据类型创建的数据接口，拓展不同的读写插件，将采集的数据经预处理后分门别类地存储至大数据中心；
步骤106，搭建大数据计算平台，大数据计算平台将采集的数据以混合式存储方式进行存储，并对已经存储好的数据利用Spark Streaming计算工具提供数据分析和挖掘；
步骤108，搭建大数据服务平台，大数据服务平台对大数据中心的信息进行统一管理和监控，大数据中心的信息包括数据库总数、数据总数、总容量、基础表及合成表的整体信息；
步骤110，搭建大数据交换平台，大数据交换平台统一管理医院的大数据中心与院内其他信息平台之间的信息交换；
步骤112，搭建大数据应用平台，大数据应用平台用于直接对大数据中心的信息进行查询，并将分析结果以多种不同的图表进行展现。
在本实施例中，提供了一种基于大数据构架的医疗数据管理方法，该方法可以应用于如图5所示的大数据中心中。具体地，该大数据中心设计采用大规模分布式计算平台，采用分布式大数据服务集群的方式，规模可扩展为PB级的数据处理，实现大容量、高通量、可扩展、易维护的大数据***，支撑对海量数据的快速检索，以及对数据的深度分析，实现方法如下：
首先，搭建数据中台dataLake数据湖：管理所有的采集数据、分析过程数据、分析模型及分析结果数据、作业调度，支撑整个平台上所有数据的分析流程顺畅进行。具体地，可通过采用数据中台设计方法，将采集数据+处理数据+管理数据+输出数据的流程固化在dataLake上。方便数据中心上处理数据、管理数据、提高输出数据的处理效率。
然后，搭建统一的大数据采集平台，针对不同数据类型，例如：包括结构化数据、文本数据、影像数据、视频数据等，基于开源的异构数据同步引擎，针对不同数据类型创建的数据接口，拓展不同的读写插件，将采集的数据经过预处理后，分门别类地存储至数据中心。此外，对于无法直接通过业务***进行抽取的信息，采用数据录入方式保证数据中心信息的完整性。
接着，通过搭建大数据计算平台，该大数据计算平台的平台构架如图6所示。具体地，将采集的数据以混合式存储方式进行存储。对已经存储好的数据，采用以SparkStreaming为主的计算工具，针对数据应用的不同，提供各式数据分析和挖掘。此外，数据计算工具还可以从数据存储库中获取数据，获得计算结果后，一方面反馈给存储库，另一方面，通过数据展示工具，在大数据应用平台上将各类分析结果予以展示。
再然后，通过搭建大数据服务平台实现对医疗大数据中心信息的统一管理和监控，包括数据中心包含的数据库总数、数据总数、总容量、基础表、合成表的整体信息等。
最后，搭建大数据交换平台，用于统一管理医院院内大数据中心与院内外各类平台，例如：互联网医院平台、区域信息平台以及其他机构等之间的信息交换。以及搭建大数据应用平台，可直接对大数据中心的信息进行查询，对分析结果以丰富多样的图表予以展现。
在本实施例中，通过建立统一的数据集成规范和标准，优化全院数据质量，建立数据决策基础以提高医院竞争力。通过大数据计算平台、服务平台及应用平台为管理者提供各项业务的全流程、精细化的管理分析结果，促进医院管理决策科学化、精细化，还可以提供临床诊疗决策支持，以助力提升医院科研水平。此外，还可以通过大数据交换平台实现医院与区域平台、外部机构之间互联互通以及安全控制下的数据共享与协同。
在一个实施例中，如图2所示，提供了一种基于大数据构架的医疗数据管理方法，该方法中大数据采集平台还用于：
步骤202，支持对不同类型的数据库包括Mysql、Postgresql、Clickhouse、Oracle、Sqlserver的数据源进行采集；
步骤204，支持通过可视化界面指定采集的数据源，通过勾选需要抽取的数据表对数据表进行预览，通过勾选指定数据表下的数据字段锁定要抽取的数据范围；
步骤206，支持对无主键的数据源表自定义设置主键，大数据中心将根据主键去重；
步骤208，支持利用SQL语句在已经制定的数据范围基础上精细化设置采集条件；
步骤210，支持通过可视化界面设置工作流的方式，直接对数据采集和处理的整个流程进行设置。
在本实施例中，搭建了具体的大数据采集平台，具体地可参考图7所示的大数据采集平台的平台构架图，该大数据采集平台具有如下特性：
1、支持对目前市面上各类主流数据库的数据源进行采集，包括Mysql、Postgresql、Clickhouse、Oracle、Sqlserver等。
2、支持通过可视化界面指定采集的数据源，勾选需要抽取的数据表，对数据表进行预览，且进一步通过勾选指定数据表下的数据字段，锁定要抽取的数据范围。
3、支持对无主键的数据源表自定义设置主键，数据中心将根据主键去重。
4、支持利用SQL语句在已经制定的数据范围基础上，进一步精细化设置采集条件。
5、支持通过可视化界面设置工作流的方式，直接对数据采集和处理的整个流程进行设置。
在本实施例中，通过大数据采集平台实现了支持多种不同类型数据库的数据源采集，并可通过预览筛选等功能实现对采集到的数据进行预处理，提高数据采集的有效性。
在一个实施例中，如图3所示，提供了一种基于大数据构架的医疗数据管理方法，该方法中大数据服务平台还用于：
步骤302，支持在基础表的基础上，通过编写SQL语句的方式快速生成新的合成表，且能查看合成表与基础表之间的血缘关系；
步骤304，支持对数据中心发起的调度任务进行统一监控，并以图表形式对整体情况进行展示；
步骤306，支持对数据采集过程中出现违规操作时提供及时的预警；
步骤308，支持对采集的数据进行数据校验和数据监控，保证数据中心信息的准确性。
在本实施例中，搭建了具体的大数据服务平台，该大数据服务平台具有如下特性：
1、支持在基础表的基础上，通过编写SQL语句的方式，快速生成新的合成表，且能查看合成表与基础表之间的血缘关系。
2、支持对数据中心发起的调度任务进行统一监控，并以仪表盘等图表形式对整体情况进行展示。
3、支持对数据采集过程中出现违规操作时提供站内发送、短信或邮箱等多种方式进行预警。
4、支持对采集的数据进行数据校验和数据监控，保证数据中心信息的准确性。
在本实施例中，通过大数据服务平台实现了对大数据中心信息的统一管理和监控，包括数据中心包含的数据库总数、数据总数、总容量、基础表、合成表的整体信息等，有效地提高了数据管理的效率，确保了数据的准确性。
在一个实施例中，如图4所示，提供了一种基于大数据构架的医疗数据管理方法，该方法中大数据应用平台还用于：
步骤402，支持通过编写SQL查询语句从数据源中预览数据，并拖拉拽生成数据模型；
步骤404，支持通过报表可进行不同层级的上下钻取包括多条数据同时钻取以及直接在界面上追溯生成报表的SQL统计语句；
步骤406，支持多种数据源、多种图表的接入；
步骤408，支持自定义数据隔离，以维度为最小颗粒度控制数据隔离，可根据不同的用户过滤统计的数据。
在本实施例中，搭建了具体的大数据应用平台，该大数据应用平台具有如下特性：
1、支持通过编写SQL查询语句从数据源中预览数据，并拖拉拽生成数据模型，设置维度和指标支持直接采用拖曳方式从抽取的数据属性中设定多维分析模型，包括维度和分析指标。
2、报表可进行不同层级的上下钻取，可多条数据同时钻取，可直接在界面上追溯生成报表的SQL统计语句，便于校验结果。
3、支持多种数据源、多种图表：需支持接入多种数据源，例如：jdbc、elasticsearch等。
4、支持自定义数据隔离，即以维度为最小颗粒度控制数据隔离，可根据不同的用户过滤统计的数据，例如：展示给不同科室的用户的图表统计的数据只包含该用户所在科室的数据。
在本实施例中，通过大数据应用平台实现了对大数据中心的信息进行查询，并对分析结果以丰富多样的图表予以展现。
在一个实施例中，提供了一种基于大数据构架的医疗数据管理方法，该方法中搭建数据中台dataLake数据湖的步骤还包括：
dataLake数据湖的API为UI层提供接口服务，将***配置、资源中心、数据处理及数据管理的工作流配置保存更新到数据库中；API层获取对接的数据源的元信息，存放到es全文检索引擎，便于后续快速定位数据资产，以及消息推送、集群监控，Master和Worker节点在部署创建时会在ZooKeeper上注册临时节点，并在心跳包中往临时节点中存储服务器信息。
具体地，在本实施例中提供了一种基于大数据构架的医疗数据管理方法，该方法中dataLake数据湖设计思路如下：
首先，通过DataLake-API为UI层提供接口服务，将***配置、资源中心、数据处理、数据管理的工作流配置等保存更新到DB(mysql 8+)，同时，API层获取对接的数据源的元信息，存放到es全文检索引擎，便于后续快速定位数据资产，以及消息推送、集群监控。具体地，ZooKeeper监控是API层直连ZooKeeper获取ZooKeeper上Master和Worker临时节点中存储的数据，master和worker节点在部署创建时会在zk上注册临时节点，并在心跳包中往临时节点中存储服务器信息，如内存、CPU等。
其中，Master支持HA即同一时刻生效的只有一个，Master中维护了几种守护线程，如心跳、从DB中抓取要执行的任务并放入分布式队列中，具体可通过使用ZooKeeper实现，监听其他Master以及Worker的状态。
Worker集群的主要职责是从分布式队列中获取自己要执行的任务并执行，将执行结果更新到DB，方便UI层调用API获取任务状态，或者触发告警服务。为了保证Worker不会重复执行相同的任务，本产品使用了分布式锁，保证集群数据一致性。
在上述实施例中，设计了从整个数据的抽取到最终的数据应用和交换，并提供全流程处理和监控，其具有的优点如下：
1、通过建立统一的数据集成规范和标准优化全院数据质量，建立数据决策基础，提高医院竞争力。
2、为管理者提供各项业务的全流程、精细化的管理分析结果，促进医院管理决策科学化、精细化。
3、提供临床诊疗决策支持，助力提升医院科研水平。
4、制订了统一的数据上报标准与交换标准，实现医院与区域平台、外部机构之间互联互通、安全控制下的数据共享与协同。
应该理解的是，虽然图1-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种基于大数据构架的医疗数据管理***800，该***包括：
dataLake数据湖801，所述dataLake数据湖容纳了所有的采集数据、分析过程数据、分析模型及分析结果数据，用于支撑各个平台上所有数据的分析流程；
大数据采集平台802，所述大数据采集平台针对不同数据类型创建标准的数据接口，采用不同的数据采集工具，将采集的数据经预处理后分门类别地存储至大数据中心；
大数据计算平台803，所述大数据计算平台将采集的数据以混合式存储方式进行存储，并对已经存储好的数据利用Spark Streaming计算工具提供数据分析和挖掘；
大数据服务平台804，所述大数据服务平台对大数据中心的信息进行统一管理和监控，所述大数据中心的信息包括数据库总数、数据总数、总容量、基础表及合成表的整体信息；
大数据交换平台805，所述大数据交换平台统一管理医院的大数据中心与院内业务***以及院外其他信息平台之间的信息交换；
大数据应用平台806，所述大数据应用平台用于直接对所述大数据中心的信息进行查询，并将分析结果以多种不同的图表进行展现。
具体地，在本实施例中提供的基于大数据构架的医疗数据管理***中可以执行如上述任一项方法实施例中记载的基于大数据构架的医疗数据管理方法。
关于基于大数据构架的医疗数据管理***的具体限定可以参见上文中对于基于大数据构架的医疗数据管理方法的限定，在此不再赘述。
在一个实施例中，提供了一种计算机设备，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器以及网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于大数据构架的医疗数据管理方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以上各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上各个方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于大数据构架的医疗数据管理方法，其特征在于，所述方法包括：
搭建数据中台dataLake数据湖，管理所有的采集数据、分析过程数据、分析模型及分析结果数据、作业调度，支撑整个平台上所有数据的分析流程顺畅进行；
搭建大数据采集平台，所述大数据采集平台基于开源的异构数据同步引擎，针对不同数据类型创建的数据接口，拓展不同的读写插件，将采集的数据经预处理后分门类别地存储至大数据中心；
搭建大数据计算平台，所述大数据计算平台将采集的数据以混合式存储方式进行存储，并对已经存储好的数据利用Spark计算引擎提供数据分析和挖掘；
搭建大数据服务平台，所述大数据服务平台对大数据中心的信息进行统一管理和监控，所述大数据中心的信息包括数据库总数、数据总数、总容量、基础表及合成表的整体信息；
搭建大数据交换平台，所述大数据交换平台统一管理医院的大数据中心与院内业务***以及院外其他信息平台之间的信息交换；
搭建大数据应用平台，所述大数据应用平台用于直接对所述大数据中心的信息进行查询，并将分析结果以多种不同的图表进行展现。
2.根据权利要求1所述的基于大数据构架的医疗数据管理方法，其特征在于，所述大数据采集平台还用于：
支持对不同类型的数据库包括Mysql、Postgresql、Clickhouse、Oracle、Sqlserver的数据源进行采集；
支持将采集的数据写入到hive、Mysql、Postgresql、Clickhouse、Oracle、Sqlserver；
支持配置读写的速度，避免读写任务占用过多服务器资源，影响业务应用；
支持通过可视化界面指定采集的数据源，通过勾选需要抽取的数据表对数据表进行预览，通过勾选指定数据表下的数据字段锁定要抽取的数据范围；
支持对无主键的数据源表自定义设置主键，大数据中心将根据主键去重；
支持利用SQL语句在已经制定的数据范围基础上精细化设置采集条件；
支持通过可视化界面设置工作流的方式，直接对数据采集和处理的整个流程进行设置。
3.根据权利要求1所述的基于大数据构架的医疗数据管理方法，其特征在于，所述大数据服务平台还用于：
支持在基础表的基础上，通过编写SQL语句的方式快速生成新的合成表，且能查看合成表与基础表之间的血缘关系；
支持对数据中心发起的调度任务进行统一监控，并以图表形式对整体情况进行展示；
支持对数据采集过程中出现违规操作时提供及时的预警；
支持对采集的数据进行数据校验和数据监控，保证数据中心信息的准确性。
4.根据权利要求1所述的基于大数据构架的医疗数据管理方法，其特征在于，所述大数据应用平台还用于：
支持通过编写SQL查询语句从数据源中预览数据，并拖拉拽生成数据模型；
支持通过报表可进行不同层级的上下钻取包括多条数据同时钻取以及直接在界面上追溯生成报表的SQL统计语句；
支持多种数据源、多种图表的接入；
支持自定义数据隔离，以维度为最小颗粒度控制数据隔离，可根据不同的用户过滤统计的数据。
5.根据权利要求1-4任一项所述的基于大数据构架的医疗数据管理方法，其特征在于，所述搭建数据中台dataLake数据湖的步骤还包括：
所述dataLake数据湖的API为UI层提供接口服务，将***配置、资源中心、数据处理及数据管理的工作流配置保存更新到数据库中；
API层获取对接的数据源的元信息，存放到es全文检索引擎，便于后续快速定位数据资产，以及消息推送、集群监控，Master和Worker节点在部署创建时会在ZooKeeper上注册临时节点，并在心跳包中往临时节点中存储服务器信息。
6.根据权利要求5所述的基于大数据构架的医疗数据管理方法，其特征在于，Master集群支持高可用配置，且所述Master集群中维护了多种守护线程用于监听其他Master和Worker的状态。
7.根据权利要求6所述的基于大数据构架的医疗数据管理方法，其特征在于，Worker集群用于从分布式队列中获取待执行的任务并执行，将执行结果更新到数据库中。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011413510.3A CN112463765A (zh) | 2020-12-04 | 2020-12-04 | 基于大数据构架的医疗数据管理方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011413510.3A CN112463765A (zh) | 2020-12-04 | 2020-12-04 | 基于大数据构架的医疗数据管理方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112463765A true CN112463765A (zh) | 2021-03-09 |
Family
ID=74800100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011413510.3A Pending CN112463765A (zh) | 2020-12-04 | 2020-12-04 | 基于大数据构架的医疗数据管理方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112463765A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192624A (zh) * | 2021-07-01 | 2021-07-30 | 京东方科技集团股份有限公司 | 紧急救治***、紧急救治方法及电子设备 |
| CN113192614A (zh) * | 2021-04-22 | 2021-07-30 | 广州中康数字科技有限公司 | 一种基于大数据的医疗信息管理*** |
| CN113836235A (zh) * | 2021-09-29 | 2021-12-24 | 平安医疗健康管理股份有限公司 | 基于数据中台的数据处理方法及其相关设备 |
| CN115579094A (zh) * | 2022-11-16 | 2023-01-06 | 神州医疗科技股份有限公司 | 一种多模态医疗数据湖构建方法及*** |
| CN115827922A (zh) * | 2022-12-08 | 2023-03-21 | 华润网络(深圳)有限公司 | 基于风电数据的可视化分析处理方法、***和计算机设备 |
| CN117909322A (zh) * | 2024-03-19 | 2024-04-19 | 广东琴智科技研究院有限公司 | 一种基于智能计算平台的统一数据管理应用***及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415831A (zh) * | 2019-07-18 | 2019-11-05 | 天宜(天津)信息科技有限公司 | 一种医疗大数据云服务分析平台 |
| CN111209269A (zh) * | 2019-12-16 | 2020-05-29 | 云赛智联股份有限公司 | 一种智慧城市大数据管理*** |
-
2020
- 2020-12-04 CN CN202011413510.3A patent/CN112463765A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415831A (zh) * | 2019-07-18 | 2019-11-05 | 天宜(天津)信息科技有限公司 | 一种医疗大数据云服务分析平台 |
| CN111209269A (zh) * | 2019-12-16 | 2020-05-29 | 云赛智联股份有限公司 | 一种智慧城市大数据管理*** |
Non-Patent Citations (2)
| Title |
|---|
| 罗繁明;袁俊;赵恒煜;: "基于大数据的特色新型智库平台建设研究――以广东智库信息化平台为例", 情报资料工作, vol. 41, no. 05, 25 September 2020 (2020-09-25), pages 42 - 48 * |
| 许文韵: "健康医疗大数据中心建设实践与思考", 《医学信息学杂志》, vol. 41, no. 8, 25 August 2020 (2020-08-25), pages 49 - 50 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192614B (zh) * | 2021-04-22 | 2024-02-13 | 广州中康数字科技有限公司 | 一种基于大数据的医疗信息管理*** |
| CN113192614A (zh) * | 2021-04-22 | 2021-07-30 | 广州中康数字科技有限公司 | 一种基于大数据的医疗信息管理*** |
| CN113192624B (zh) * | 2021-07-01 | 2022-05-31 | 京东方科技集团股份有限公司 | 紧急救治***、紧急救治方法及电子设备 |
| WO2023274402A1 (zh) * | 2021-07-01 | 2023-01-05 | 京东方科技集团股份有限公司 | 紧急救治***、紧急救治方法及电子设备 |
| CN113192624A (zh) * | 2021-07-01 | 2021-07-30 | 京东方科技集团股份有限公司 | 紧急救治***、紧急救治方法及电子设备 |
| CN113836235A (zh) * | 2021-09-29 | 2021-12-24 | 平安医疗健康管理股份有限公司 | 基于数据中台的数据处理方法及其相关设备 |
| CN113836235B (zh) * | 2021-09-29 | 2024-04-09 | 平安医疗健康管理股份有限公司 | 基于数据中台的数据处理方法及其相关设备 |
| CN115579094B (zh) * | 2022-11-16 | 2023-02-28 | 神州医疗科技股份有限公司 | 一种多模态医疗数据湖构建方法及*** |
| CN115579094A (zh) * | 2022-11-16 | 2023-01-06 | 神州医疗科技股份有限公司 | 一种多模态医疗数据湖构建方法及*** |
| CN115827922A (zh) * | 2022-12-08 | 2023-03-21 | 华润网络(深圳)有限公司 | 基于风电数据的可视化分析处理方法、***和计算机设备 |
| CN115827922B (zh) * | 2022-12-08 | 2024-02-27 | 华润网络(深圳)有限公司 | 基于风电数据的可视化分析处理方法、***和计算机设备 |
| CN117909322A (zh) * | 2024-03-19 | 2024-04-19 | 广东琴智科技研究院有限公司 | 一种基于智能计算平台的统一数据管理应用***及方法 |
| CN117909322B (zh) * | 2024-03-19 | 2024-05-31 | 广东琴智科技研究院有限公司 | 一种基于智能计算平台的统一数据管理应用***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112463765A (zh) | 基于大数据构架的医疗数据管理方法及*** | |
| US20240070487A1 (en) | Systems and methods for enriching modeling tools and infrastructure with semantics | |
| CN107918600B (zh) | 报表开发***及方法、存储介质和电子设备 | |
| Rosen et al. | Commit guru: analytics and risk prediction of software commits | |
| Begoli et al. | Design principles for effective knowledge discovery from big data | |
| US8671084B2 (en) | Updating a data warehouse schema based on changes in an observation model | |
| JP6505123B2 (ja) | ビッグ・データ・リポジトリにおけるデータ・セットの処理 | |
| Suriarachchi et al. | Crossing analytics systems: A case for integrated provenance in data lakes | |
| CN114925045B (zh) | 大数据集成和管理的PaaS平台 | |
| US11574075B2 (en) | Distributed machine learning technique used for data analysis and data computation in distributed environment | |
| Yadav et al. | Big data analytics for health systems | |
| KR20210008545A (ko) | 보고서 자동 생성 기반의 업무 프로세스 관리 시스템 제공 방법 | |
| Kalvit | Application of an innovative MBSE (SysML-1D) co-simulation in healthcare | |
| US20140136274A1 (en) | Providing multiple level process intelligence and the ability to transition between levels | |
| US10552455B2 (en) | Analytics enablement for engineering records | |
| Neto et al. | Disease surveillance big data platform for large scale event processing | |
| CN114253914A (zh) | 一种分布式数据采集***及方法 | |
| JP2007524886A (ja) | 分散設計ネットワークを管理するためのシステム及び方法 | |
| Rajan et al. | A service oriented framework to assess the quality of electronic health data for clinical research | |
| CN112633834A (zh) | 项目申报需求分析的方法和*** | |
| CN111475504A (zh) | 一种数据管理方法及装置 | |
| Li et al. | Stage-based process performance analysis | |
| JP2007323677A (ja) | オブジェクト統合管理システムの生成方法 | |
| Huang et al. | Data storage accounting and verification at LHC experiments | |
| US20160139969A1 (en) | In-memory approach to extend semantic event processing with domain insights |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |