CN111640476A - 一种实验数据治理和管理的方法 - Google Patents

一种实验数据治理和管理的方法 Download PDF

Info

Publication number
CN111640476A
CN111640476A CN202010483778.8A CN202010483778A CN111640476A CN 111640476 A CN111640476 A CN 111640476A CN 202010483778 A CN202010483778 A CN 202010483778A CN 111640476 A CN111640476 A CN 111640476A
Authority
CN
China
Prior art keywords
data
public information
managing
mode
crawling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010483778.8A
Other languages
English (en)
Inventor
刘昊东
刘壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Health Medical Big Data Co ltd
Original Assignee
Shandong Health Medical Big Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Health Medical Big Data Co ltd filed Critical Shandong Health Medical Big Data Co ltd
Priority to CN202010483778.8A priority Critical patent/CN111640476A/zh
Publication of CN111640476A publication Critical patent/CN111640476A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种实验数据治理和管理的方法，属于数据处理技术领域，本发明通过网络爬虫技术将试验登记公示信息采集后，按照其业务逻辑进行数据拆分，然后将它们重新组合为结构化的数据后存储到到关系型数据库中；同时具有数据操作权限的用户结合其专业知识对试验数据进行初步拆解结构化；通过结构化和标准化对试验数据进行治理后，为患者招募提供高效数据对接，充分发挥数据价值。

Description

一种实验数据治理和管理的方法
技术领域
本发明涉及数据处理技术，尤其涉及一种实验数据治理和管理的方法。
背景技术
任何应用***都离不开对数据的处理，数据也是驱动业务创新以及向智能化发展最核心的东西。这也是为何目前大多数企业都在构建数据中台的原因，数据处理的技术已经是核心竞争力。在一个完备的技术架构中，通常也会由应用***以及数据***构成。应用***负责处理业务逻辑，而数据***负责处理数据。
数据结构化是数据库***与文件***的根本区别。在文件***中，独立文件内部的数据一般是有结构的，但文件之间不存在联系，因此从数据的整体来说是没有结构的。
数据库***虽然也常常分成许多单独的数据文件，并且文件内部也具有完整的数据结构，但是它更注意同一数据库中各数据文件之间的相互联系。
传统模式存在病历不足和入排标准解读慢匹配效率低等主要问题，基于上述背景，需要分别解决院内病历和试验入排标准的问题；但是目前的数据采集和处理上仍有很大问题，以至于数据不能很好的对接。
发明内容
为了解决以上技术问题，本发明提供了一种对数据保存、表格在线编辑及对入排标准数据进行结构化处理的方法，通过结构化和标准化对试验数据进行治理后，提供高效数据对接，充分发挥数据价值，解决试验入排标准面临的问题。
本发明的技术方案是：
一种实验数据治理和管理的方法，包括如下步骤：
1)验数据保存；
2)表格在线编辑；
3)对入排标准数据进行结构化。
进一步的，
通过网络爬虫技术将试验登记公示信息采集后，按照其业务逻辑进行数据拆分，然后将它们重新组合为结构化的数据后存储到到关系型数据库中；同时具有数据操作权限的用户对数据进行初步拆解结构化。
进一步的，
通过使用网络爬虫技术，将数据采集，经过清洗后并存储到关系型数据库，然后进行数据结构化管理和维护，初次爬取对数据源全量数据进行采集，如果数据有变化，则通过逐条对比全字段是否有某些字段值的变化，如有变化则增量更新。
进一步的，
爬取方式分类两种：一种是设置周期时间进行自动化定时采集；一种是手动立即爬取；在数据爬取过程中进行操作，采用正则表达式的方式，根据网页结构的规则、节点属性便可从中提取网页信息，经过清洗后持久化存储到数据库中。
进一步的，
基于角色的访问权限控制模型，赋予用户的操作权限，对不同的人访问资源进行权限的控制。依据已经治理好的标准字典数据进行部分编辑和维护及可视化展示的操作。
进一步的，
可通过在线编辑实现对数据等内容进行在线编辑修改，让用户在网站上获得“所见即所得”效果，一个以上的人同时编辑时，通过监控数据变化实时推送更新到客户端，对比修改状态的变化情况。实时查看、展现数据库实时的视图；查看详细的变化状况，实现对数个用户对数据并发操作的统一管理。
进一步的，
入排标准数据结构化是将采集入库后的数据中的入排标准数据部分进行初步结构化处理，将原有的文本数据归一化字典的方式拆解为指标和值的形式，并维护其指标间逻辑关系，满足数据查询要。
本发明的有益效果是
本发明提供了药物临床实验数据的可视化展示，可多人在线协作编辑数据，保证数据操作的完整性，实现了自动化采集数据，大大减少了人工重复性的工作，解决了入排标准解读慢匹配效率低等主要问题，并解决了医院内电子病历的数据快速查询和高效匹配。
附图说明
图1是本发明的数据治理和管理流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种采集、存储、治理和管理试验数据的方法，该方法通过爬虫采集临床试验登记公示信息(简称CTR)后，将患者招募的入排标准通过拆解、标准化后，形成结构化的入排条件，根据其结构化入排条件，满足患者数据高效快速结构化数据查询要求，为患者招募提供高质量的患者疾病数据队列。
通过网络爬虫技术将试验登记公示信息采集后，按照其业务逻辑进行数据拆分，然后将它们重新组合为结构化的数据后存储到到关系型数据库中；同时具有数据操作权限的用户结合其专业知识对试验数据进行初步拆解结构化。
爬取方式分类两种：一种是设置周期时间进行自动化定时采集；一种是手动立即爬取。在数据爬取过程中进行各种异常处理，错误重试等操作，采用正则表达式的方式，根据网页结构的规则、节点属性便可高效快速的从中提取网页信息，经过清洗后持久化存储到数据库中，使杂乱的数据变得条理清晰，以便我们后续处理和分析数据。
基于角色的访问权限控制(RBAC)模型，赋予用户的操作权限，主要目的是对不同的人访问资源进行权限的控制，避免因权限控制缺失或操作不当引发的风险问题，如操作错误，隐私数据泄露等问题。
依据已经治理好的标准字典数据：如手术、诊断，检查，检验，药品等可进行部分编辑和维护及可视化展示的操作。
用户可通过在线编辑实现对文本等数据等内容进行在线编辑修改，让用户在网站上获得“所见即所得”效果，多人同时编辑时为了确保数据的完整性，我们通过监控数据变化实时推送更新到客户端，对比修改状态的变化情况。实时查看、展现数据库实时的视图；查看详细的变化状况，实现多个用户对数据并发操作的统一管理。完美解决多人编辑后会造成表格数据的混乱，甚至数据相互重叠覆盖的问题。
入排标准数据结构化是将采集入库后的药物实验数据中的入排标准数据部分进行初步结构化处理，将原有的文本数据结合手术、诊断，检查，检验，药品等归一化字典的方式拆解为指标和值的形式，并维护其指标间逻辑关系，满足数据查询要求。
本发明通过“定时采集+数据拆解+实时更新”的方式实现药物实验数据的定时增量采集。实时更新方式是基于websocket通讯技术。
通过“爬虫”的方式对互联网网站的定时爬取及数据的检验、清洗处理。
可采用用户结合专业领域知识将清洗后的数据根据具体条件拆解为结构化数据。
利用websocket+多线程的方式，实现了服务端与客户端实时通讯，对每个在线用户开启一个线程单独处理及操作，同时会保证数据操作的一致性、完整性。
把重复性、手工做的工作尽可能降到最低，并且实现对试验登记公示信息数据中入排标准数据的结构化，管理人员可在数据管理平台结合字典对入排标准进行拆解操作；已结构化的入排标准将用于与医院内电子病历的数据查询和高效匹配。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种实验数据治理和管理的方法，其特征在于，
1)验数据保存；
2)表格在线编辑；
3)对入排标准数据进行结构化。
2.根据权利要求1所述的方法，其特征在于，
通过网络爬虫技术将试验登记公示信息采集后，按照其业务逻辑进行数据拆分，然后将它们重新组合为结构化的数据后存储到到关系型数据库中；同时具有数据操作权限的用户对数据进行初步拆解结构化。
3.根据权利要求2所述的方法，其特征在于，
通过使用网络爬虫技术，将数据采集，经过清洗后并存储到关系型数据库，然后进行数据结构化管理和维护，初次爬取对数据源全量数据进行采集，如果数据有变化，则通过逐条对比全字段是否有某些字段值的变化，如有变化则增量更新。
4.根据权利要求3所述的方法，其特征在于，
爬取方式分类两种：一种是设置周期时间进行自动化定时采集；一种是手动立即爬取。
5.根据权利要求4所述的方法，其特征在于，
在数据爬取过程中进行操作，采用正则表达式的方式，根据网页结构的规则、节点属性便可从中提取网页信息，经过清洗后持久化存储到数据库中。
6.根据权利要求5所述的方法，其特征在于，
基于角色的访问权限控制模型，赋予用户的操作权限，对不同的人访问资源进行权限的控制。
7.根据权利要求6所述的方法，其特征在于，
依据已经治理好的标准字典数据进行部分编辑和维护及可视化展示的操作。
8.根据权利要求7所述的方法，其特征在于，
可通过在线编辑实现对数据等内容进行在线编辑修改，让用户在网站上获得“所见即所得”效果，一个以上的人同时编辑时，通过监控数据变化实时推送更新到客户端，对比修改状态的变化情况。
9.根据权利要求8所述的方法，其特征在于，
实时查看、展现数据库实时的视图；查看详细的变化状况，实现对数个用户对数据并发操作的统一管理。
10.根据权利要求1所述的方法，其特征在于，
入排标准数据结构化是将采集入库后的数据中的入排标准数据部分进行初步结构化处理，将原有的文本数据归一化字典的方式拆解为指标和值的形式，并维护其指标间逻辑关系，满足数据查询要。
CN202010483778.8A 2020-06-01 2020-06-01 一种实验数据治理和管理的方法 Pending CN111640476A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010483778.8A CN111640476A (zh) 2020-06-01 2020-06-01 一种实验数据治理和管理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010483778.8A CN111640476A (zh) 2020-06-01 2020-06-01 一种实验数据治理和管理的方法

Publications (1)

Publication Number Publication Date
CN111640476A true CN111640476A (zh) 2020-09-08

Family

ID=72331034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010483778.8A Pending CN111640476A (zh) 2020-06-01 2020-06-01 一种实验数据治理和管理的方法

Country Status (1)

Country Link
CN (1) CN111640476A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365941A (zh) * 2020-10-16 2021-02-12 零氪科技（北京）有限公司 受试者招募的方法及***
CN113377857A (zh) * 2021-07-02 2021-09-10 招商局金融科技有限公司 数据分发方法、装置、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090083703A1 (en) * 2007-09-24 2009-03-26 Mednet Solutions Electronic Clinical Study Site Generation System
CN107506502A (zh) * 2017-10-10 2017-12-22 山东浪潮云服务信息科技有限公司 一种数据采集***和数据采集方法
CN108711123A (zh) * 2018-05-04 2018-10-26 江苏苏威尔科技有限公司 一种基于在线编辑的实验平台***及其使用方法
CN108986917A (zh) * 2018-06-14 2018-12-11 杭州认知网络科技有限公司 临床试验匹配方法、装置及终端设备
CN110134853A (zh) * 2019-05-13 2019-08-16 重庆八戒传媒有限公司 数据爬取方法及***
CN110223784A (zh) * 2019-06-17 2019-09-10 ***科技（杭州）有限公司 临床试验患者匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090083703A1 (en) * 2007-09-24 2009-03-26 Mednet Solutions Electronic Clinical Study Site Generation System
CN107506502A (zh) * 2017-10-10 2017-12-22 山东浪潮云服务信息科技有限公司 一种数据采集***和数据采集方法
CN108711123A (zh) * 2018-05-04 2018-10-26 江苏苏威尔科技有限公司 一种基于在线编辑的实验平台***及其使用方法
CN108986917A (zh) * 2018-06-14 2018-12-11 杭州认知网络科技有限公司 临床试验匹配方法、装置及终端设备
CN110134853A (zh) * 2019-05-13 2019-08-16 重庆八戒传媒有限公司 数据爬取方法及***
CN110223784A (zh) * 2019-06-17 2019-09-10 ***科技（杭州）有限公司 临床试验患者匹配方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365941A (zh) * 2020-10-16 2021-02-12 零氪科技（北京）有限公司 受试者招募的方法及***
CN113377857A (zh) * 2021-07-02 2021-09-10 招商局金融科技有限公司 数据分发方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
Azeroual et al. Analyzing data quality issues in research information systems via data profiling
CN106709269B (zh) 一种医疗大数据仓库的创建方法及***
CN110415831A (zh) 一种医疗大数据云服务分析平台
CN111125061A (zh) 一种规范和促进健康医疗大数据的方法
Koch Profiling an open source project ecology and its programmers
US20070156766A1 (en) Relationship data management
JP2006509307A (ja) 混合データ統合サービスの提供システム及び提供方法
US10268784B2 (en) Real-time predictive simulation modeling
Sedlack The utilization of six sigma and statistical process control techniques in surgical quality improvement
Lau et al. Design and implementation of an integrated knowledge system
CN111640476A (zh) 一种实验数据治理和管理的方法
CN101261659A (zh) 一种健康监护信息***
US20020180789A1 (en) Framework for developing web-based and email-based collaborative programs
Yeo et al. Natural language interface for process mining queries in healthcare
Azeroual et al. Solving problems of research information heterogeneity during integration–using the European CERIF and German RCD standards as examples
Bettger et al. Measuring nursing care time and tasks in long-term services and supports: one size does not fit all
Stefanescu et al. The Need of Knowledge Management Strategy for the Successfully Implementation of Reengineering Projects
Dawes et al. Critical issues and practical challenges of IT tools for policy analysis and program evaluation
Robinson Risk assessment in software requirements engineering: an event driven framework
Gonçalves et al. The Development of an ICT framework for Business Intelligence at the Brazilian national Cancer Institute: a Case study of organizational learning and Innovation
Eder Philippine Red Cross online blood bank management information system
JP2005292998A (ja) データ管理システム
Ling Application of Data Mining in Talent Team Management System
Kuronen Utilization of the data warehouse in healthcare service breakdown and cost analysis: an illustrative case study on data utilization
Mu et al. Transforming the Pension Industry Based on Aged Care Quality Reports

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination