CN115206146B - 用于放疗靶区勾画的智能教学方法、***、设备和介质 - Google Patents

用于放疗靶区勾画的智能教学方法、***、设备和介质 Download PDF

Info

Publication number
CN115206146B
CN115206146B CN202110398817.9A CN202110398817A CN115206146B CN 115206146 B CN115206146 B CN 115206146B CN 202110398817 A CN202110398817 A CN 202110398817A CN 115206146 B CN115206146 B CN 115206146B
Authority
CN
China
Prior art keywords
teaching
data
clinical
knowledge
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110398817.9A
Other languages
English (en)
Other versions
CN115206146A (zh
Inventor
王少彬
陈颀
陈宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yizhiying Technology Co ltd
Original Assignee
Beijing Yizhiying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhiying Technology Co ltd filed Critical Beijing Yizhiying Technology Co ltd
Priority to CN202110398817.9A priority Critical patent/CN115206146B/zh
Publication of CN115206146A publication Critical patent/CN115206146A/zh
Application granted granted Critical
Publication of CN115206146B publication Critical patent/CN115206146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Educational Administration (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Educational Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施方式提供了一种用于放疗靶区勾画的智能教学方法、***、设备和介质。该智能教学方法包括:自适应教学建模步骤;主动考核步骤;精准量化评估步骤;和自适应培训步骤;其中在自适应教学建模步骤中:利用卷积神经网络(CNN)技术对临床影像数据进行处理,以勾画出含有高阶图像特征信息的临床靶区区域,并且根据勾画标准在勾画后的临床影像数据上标注勾画知识点,从而获得公共教学临床影像数据;筛选出适合学员个人的学员个体化教学知识数据和学员个体化教学临床影像数据;并且建立学员个体化教学模型。因此,含有高阶图像特征信息的临床靶区区域被转化为以人类可以理解的方式表达的知识,从而极大地方便了学习。

Description

用于放疗靶区勾画的智能教学方法、***、设备和介质
技术领域
本发明涉及放疗靶区勾画教学技术领域,具体涉及一种用于放疗靶区勾画的智能教学方法、***、设备和介质。
背景技术
放疗是肿瘤治疗的重要手段,70%左右的肿瘤患者在其疾病的某一阶段需要放疗。放疗技术中,以调强放疗为代表的精确放疗已成为当今的主流放疗技术。然而,精确放疗的前提是放疗靶区勾画的准确性。
放疗靶区勾画需要高水平的放疗医师,长期以来,优秀的放疗医师只能靠长期规范的临床教学实践来培养。目前,放疗靶区勾画教学仍以传统“师徒传承”为主。具体来说:
(1)放疗是交叉学科,涉及到解剖、病生理、肿瘤学、影像学、医学物理、放射生物等多学科内容,知识庞杂,难度大。放疗靶区勾画虽然总体有规范,但具体到每例患者,需要个性化,缺乏标准答案,这使得“师徒传承”仍是目前主流的教学模式。
(2)放疗靶区勾画数据量大,难以做到像素级精准评价。对于每例患者来说,需在其CT图像上勾画放疗靶区,每层CT图像包含512×512像素,每例患者通常有30-50层CT图像,这样每例患者数据均在1000万像素量级(512×512×40=10485760),这样的大数据,传统人工教学和评价的显然只能是比较粗略的。
(3)放疗是相对小众的学科,目前国内从业医师较少,放疗医师教育也处于相对初级的阶段,对教育界的理论和实践进展关注不足,自适应学习等教学理念尚未被广泛认知和接受。
目前,国内外尚不存在针对放疗靶区勾画教学的智能教学技术。
发明内容
本发明的目的在于提供一种用于放疗靶区勾画的智能教学方法、***、设备和介质,其利用人工智能深度学习技术对大量的靶区勾画数据集进行学习,从而将复杂庞大的放疗影像数据的高层特征提取出来分解成各层次的知识点,并根据每个学习者的知识结构特点及学习特点进行学习环节的设计、实现学习内容的智能生成和调整,自适应地为学员个体化精细化地引导学员完成每个学习环节的培训、考核和评估步骤。
根据本发明的一个方面,提供了一种用于放疗靶区勾画的智能教学方法,所述智能教学方法基于包括公共教学数据的公共教学数据库和包括学员个体化数据的学员个体化数据库进行,所述公共教学数据包括公共教学知识数据和公共教学临床影像数据,所述公共教学知识数据包括根据临床指南及规范确定的勾画标准,所述学员个体化数据包括学员个体化教学知识数据、学员个体化教学临床影像数据、学员考核结果数据、学员评估数据、学员知识结构数据,并且所述智能教学方法包括:
自适应教学建模步骤,获得公共教学临床影像数据、筛选出学员个体化教学知识数据和学员个体化教学临床影像数据、并且建立学员个体化教学模型;
主动考核步骤,基于所述学员个体化教学模型,确定每一个学员的个体化的考核时间节点和从公共教学临床影像数据选取的考核内容;
精准量化评估步骤,将学员勾画的临床靶区区域与考核内容中的标准教学临床影像数据进行比对,生成每一个学员的评估数据;和
自适应培训步骤,根据所述评估数据生成所述学员知识结构数据,根据所述学员知识结构数据来规划和更新学员的学习路径;
其中在自适应教学建模步骤中:
利用卷积神经网络(CNN)技术对临床影像数据进行处理,以勾画出含有高阶图像特征信息的临床靶区区域,并且根据所述勾画标准在勾画后的临床影像数据上标注勾画知识点,从而获得公共教学临床影像数据;
根据所述评估数据从公共教学数据库中筛选出适合学员个人的学员个体化教学知识数据和学员个体化教学临床影像数据;并且
对所述学员个体化数据进行挖掘分析以建立学员个体化教学模型。
在本发明的一个实施方式中,所述高阶图像特征信息包括复杂几何形状、纹理变化或空间位置关系。
在本发明的一个实施方式中,标注勾画知识点包括:从所述临床靶区区域提取至少一个子临床靶区区域,并且从所述临床靶区区域周围的区域提取出至少一个重要危及器官区域;和基于所述至少一个子临床靶区区域和所述至少一个重要危及器官区域确定勾画知识点,并在勾画后的临床影像数据上标注出勾画知识点。
在本发明的一个实施方式中,所述智能教学方法还包括初次基础考核和评估步骤,在教学开始,首先执行初次基础考核和评估步骤,在初次基础考核和评估步骤中,选择中等难度的考核内容对学员考核,然后根据学员考核结果数据生成每一个学员的评估数据。
在本发明的一个实施方式中,所述评估数据包括对应于各项教学知识数据的得分和基于得分的能力值,当存在历史能力值时,循环执行主动考核步骤、精准量化评估步骤和自适应培训步骤。
在本发明的一个实施方式中,在精准量化评估步骤中,根据学员遗漏的所述至少一个子临床靶区区域的数量以及包含的所述至少一个重要危及器官区域的数量生成每一个学员的评估数据。
在本发明的一个实施方式中,所述学员知识结构数据包括培训级别和重点教学知识数据,在自适应培训步骤中,根据所述学员知识结构数据来规划和更新学员的学习路径包括:根据培训级别、重点教学知识数据来设定各项学习内容以及相应的学习时间间隔。
根据本发明的另一个方面,提供了一种用于放疗靶区勾画的智能教学***,其特征在于,所述智能教学***基于包括公共教学数据的公共教学数据库和包括学员个体化数据的学员个体化数据库,所述公共教学数据包括公共教学知识数据和公共教学临床影像数据,所述公共教学知识数据包括根据临床指南及规范确定的勾画标准,所述学员个体化数据包括学员个体化教学知识数据、学员个体化教学临床影像数据、学员考核结果数据、学员评估数据、学员知识结构数据,并且所述智能教学***包括:
自适应教学建模模块,所述自适应教学建模模块用于获得公共教学临床影像数据、筛选出学员个体化教学知识数据和学员个体化教学临床影像数据、并且建立学员个体化教学模型;
主动考核模块,所述主动考核模块用于基于所述学员个体化教学模型,确定每一个学员的个体化的考核时间节点和从公共教学临床影像数据选取的考核内容;
精准量化评估模块,所述精准量化评估模块用于将学员勾画的临床靶区区域与考核内容中的标准教学临床影像数据进行比对,生成每一个学员的评估数据;和
自适应培训模块,所述自适应培训模块用于根据所述评估数据生成所述学员知识结构数据,根据所述学员知识结构数据来规划和更新学员的学习路径,
其中所述自适应教学建模模块:
利用卷积神经网络(CNN)技术对临床影像数据进行处理,以勾画出含有高阶图像特征信息的临床靶区区域,并且根据所述勾画标准在勾画后的临床影像数据上标注出勾画知识点,从而获得公共教学临床影像数据;
根据所述评估数据从公共教学数据库中筛选出适合学员个人的学员个体化教学知识数据和学员个体化教学临床影像数据;并且
对所述学员个体化数据进行挖掘分析以建立学员个体化教学模型。
根据本发明的另一个方面,提供了一种计算机设备,包括:
至少一个处理器;和
存储器,
其中当所述存储器存储的一个或多个计算机程序被所述至少一个处理器执行时,使得所述计算机设备能够实现根据上述智能教学方法。
根据本发明的另一个方面,提供了一种计算机可读存储介质,在所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述智能教学方法。
如上所述,在本发明的自适应教学建模步骤中,利用卷积神经网络(CNN)技术勾画出含有高阶图像特征信息的临床靶区区域,并且根据勾画标准在勾画后的临床影像数据上标注勾画知识点。通过这样做,含有高阶图像特征信息的临床靶区区域被转化为以人类可以理解的方式表达的知识,从而极大地方便了学习。另一方面,卷积神经网络(CNN)技术可以容易地提供大量的标注有勾画知识点的公共教学临床影像数据。通过对大量公共教学临床影像数据的学习,也使得学员能够快速学习临床靶区区域勾画知识和技巧。
附图说明
通过阅读下文优选实施方式的详细描述,本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一实施方式的用于放疗靶区勾画的智能教学技术的总体框架设计;
图2是根据本发明一实施方式的用于放疗靶区勾画的智能教学方法的运行图;
图3是示出根据本发明一实施方式的用于图像自动处理的深度学习网络架构的示意图;
图4是示出图3中的深度学习网络架构进行网络学习之后保留的深度学习网络架构的示意图;
图5是例示在自适应教学建模步骤中获得公共教学临床影像数据的流程图;
图6是说明标注勾画知识点的示图;
图7是说明生成评估数据的示图;
图8是例示利用卷积神经网络(CNN)技术勾画出的含有高阶图像特征信息的临床靶区区域的实际影像;
图9是例示根据本发明一实施方式的用于放疗靶区勾画的智能教学方法的流程图;
图10是例示根据本发明一实施方式的用于放疗靶区勾画的智能教学方法的自适应培训步骤的流程图;
图11示出了根据本发明一实施方式的示例性计算机设备。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式,然而应当理解,可以以各种形式实现本发明而不应被在此阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
发明人在针对放疗靶区勾画的智能教学技术的构思过程中,认识到由于不同的学员具有不同的学习基础和学习能力,因而常规的***学模式难以起到针对性学习的作用,从而具有学习效率低、时间长的缺点。
因此,发明人设计出基于自适应学***,并据此来推荐此时此刻最适合的学习材料(包括材料类型,如视频、文字等)和策略。
此外,发明人还认识到对于放疗靶区勾画,虽然已经有一些临床指南、规范或者经验学术文章,然而,放疗靶区勾画是复杂的工作,同手术类似,其中有很多“潜知识”难以用语言描述,更难以传授及复制。发明人已在利用深度学习技术进行放疗靶区勾画方面进行了前期工作,进而首先发现利用深度学习技术提取高阶特征信息,从而对传统认为的靶区勾画“潜知识”进行定量评估是可行的。深度学习能够揭示复杂几何形状、纹理变化、空间位置关系等高阶图像特征信息,这些信息正是传统靶区勾画中“只能意会,不可言传”的“潜知识”或“经验信息”。
因此,发明人旨在通过利用深度学习技术(例如,卷积神经网络(CNN)技术)提取含有高阶图像特征信息的临床靶区区域,从而总结出对“潜知识”或“经验信息”进行描述的勾画知识点,即将这些高阶特征信息转化为以人类可以理解的方式表达的知识。
通过在放疗靶区勾画的智能教学技术中应用总结出的勾画知识点,将极大的方便靶区勾画的教学工作,提高教学效率和效果。
图1示出了根据本发明一实施方式的用于放疗靶区勾画的智能教学技术的总体框架设计,图2是根据本发明一实施方式的用于放疗靶区勾画的智能教学方法的运行图。
参照图1,根据本发明的智能教学技术的总体框架设计主要分为建立基础数据集、教学数据集、智能教学***和教学过程四个部分。
基础数据集和教学数据集可以以数据库的形式实现。
基础数据集包括临床指南及规范、和临床影像数据。通过将现有临床指南及规范进行细化分解,并经专家组论证,形成可操作的靶区勾画细则(勾画标准),并且将确定的勾画标准作为公共教学知识数据。详细来说,可以通过文献检索方法,搜集整理现有的靶区勾画临床指南及规范。检索数据库可以包括PUBMED数据库、CNKI数据库等国内外数据库。可以采用MeSH主题词等检索策略。
临床影像数据由专家组制定典型教学数据入选标准,组织专业团队对临床数据进行筛选,筛选结果经专家组复核后形成临床影像数据。详细来说,临床数据可以通过查阅病案、影像数据库筛选、科室病例首页检索等方法来搜集。
临床影像数据可以是患者的CT数据,具体来说可以是CT切片(CT slices)。
此外,在本发明中,通过利用卷积神经网络(CNN)技术对临床影像数据进行处理,以勾画出含有高阶图像特征信息的临床靶区区域,并且根据勾画标准在勾画后的临床影像数据上标注勾画知识点,从而获得公共教学临床影像数据。
在此,公共教学知识数据和公共教学临床影像数据可以统称为公共教学数据,并且建立包括公共教学数据的公共教学数据库。
另一方面,可以从公共教学数据库中筛选出适合学员个人的学员个体化教学知识数据和学员个体化教学临床影像数据,从而建立学员个体化数据库。
当然,根据需要,公共教学数据库和学员个体化数据库还可以包括其他数据。例如,学员个体化数据库还可以包括学员考核结果数据、学员评估数据、学员知识结构数据等(未示出)。
公共教学数据库和学员个体化数据库的数据构成了教学数据集。教学数据集可进一步包含培训用数据集和考核用数据集两部分。培训过程中学员不会看到任何考核用的数据集。所有教学数据集都会标注所有的勾画知识点,而且会标注相关的临床指南及规范的链接。考核用数据集的勾画知识点在考试时是隐藏的,只有提交考试结果后才会出现所有的勾画知识点和相关的临床指南及规范的链接信息。
应当理解,上述数据库仅是为了便于理解而进行描述的。在具体实现中,根据数据的特点,例如可将公共教学数据库进一步划分成公共教学知识数据库和公共教学临床影像数据库。具体地,可以以MySQL作为基础建立教学知识数据库,以RT-PACS为基础建立教学临床影像数据库。
智能教学***是负责生成教学内容和调整学习进度的主体部分。智能教学***可包括四个主要模块:自适应培训模块、主动考核模块、精准量化评估模块和自适应教学建模模块。
自适应教学建模模块是辅助整个智能教学***真正智能化运转起来的模块。自适应教学建模模块利用深度学习技术(例如,卷积神经网络技术)对大量的靶区勾画数据集进行学习将其分解/勾画出成各层次的知识点,自适应地为学员个体化精细化地引导学员完成每个学习环节的培训、考核和评估的教学过程。也就是说,本发明的智能教学***实质上给出了每个学员的个体化学习数字肖像。
在此,卷积神经网络可以是各种适于医学影像分割的网络架构,例如U-Net、Resnet,但不限于此。
发明人团队提出了一种在U-NET网络基础上改进而来的新颖的深度学习网络模型,并已在放疗靶区勾画领域进行了临床验证。
下面将参照图3和图4中描述的深度学习网络模型详细描述利用发明人团队提出的深度学习网络模型对临床影像数据进行自动处理的方法。
根据本发明的一个实施方式的用于图像自动处理的方法,包括:接收待处理图像数据;对所述待处理图像数据进行自动处理,以产生分割图像数据,所述自动处理包括:包括多个子编码处理EP1-EPn的编码处理EP,所述编码处理EP对所述待处理图像数据进行处理,以产生编码图像数据,中央处理CP,中央处理CP对所述编码图像数据进行处理,以产生待解码图像数据,包括多个子解码处理DP1-DPn的解码处理DP,所述解码处理DP对所述待解码图像数据进行处理,以产生分割图像数据,其中顺序执行子编码处理EP1、……、子编码处理EPn、中央处理CP、子解码处理DPn、……子解码处理DP1,n表示子编码处理或子解码处理的序号并且为大于等于2的整数,其中除前一级处理的输出数据之外,还将其他在前处理的输出数据提供到多个子编码处理EP1-EPn和中央处理CP中的至少一个,并且其中除前一级处理的输出数据之外,还将具有不大于其序号的序号的子编码处理的输出数据提供到多个子解码处理DP1-DPn中的至少一个。
在常规图像自动处理的方法中,例如,基于U-Net深度学习网络的方法中,将相同深度的编码处理的信息引入到相同深度的解码处理中,从而一定程度上避免在提取特征过程中信息丢失严重的问题。然而,发明人团队在实际研究过程中认识到,就信息丢失而言,这种方法仍然不能满足实际需要。
此外,在本发明一实施方式中,还将除多个子编码处理EP1-EPn之外的其他在前处理的输出数据提供到多个子解码处理DP1-DPn中的至少一个。
通过上述信息跳跃路径(输出数据路径)设计,相较于常规图像自动处理的方法,本发明通过基于实际图像处理效果来选择出增加能够有利于多维特征的综合利用的连接路径,因而能够尽可能地减少信息丢失,有利于多维特征的综合利用,从而提高了图像处理质量。
图3是示出根据本发明一实施方式的深度学习网络架构的示意图,其是n=4的示例。
在图3中,深度学习网络架构包括顺序连接的4个子编码模块EM1、EM2、EM3、EM4,1个中央模块CM以及4个子解码模块DM4、DM3、DM2、DM1。在此,4个子编码模块EM1、EM2、EM3、EM4,1个中央模块CM以及4个子解码模块DM4、DM3、DM2、DM1分别对应执行子编码处理EP1、EP2、EP3、EP4、中央处理CP以及子解码处理DP4、DP3、DP2、DP1。各个模块之间的箭头(实线箭头和虚线箭头)包括输出数据(信息)的流向,也可称为模块之间的连接路径。
在本发明一实施方式中,对于多个子编码处理EP1-EPn和中央处理CP,将在前处理的输出数据以经过下采样和卷积运算之后所得到的运算结果作为最终输出数据提供。在本发明一实施方式中,对于多个子解码处理DP1-DPn,将具有小于其序号的序号的子编码处理的输出数据以经过下采样和卷积运算之后所得到的运算结果作为最终输出数据提供,将具有等于其序号的序号的子编码处理的输出数据直接作为最终输出数据提供,并且将中央处理CP和在前的子解码处理的输出数据以经过上采样和卷积处理之后运算所得到的运算结果作为最终输出数据提供。在此,下采样运算可以是最大池化(max pooling)、平均池化(average pooling)或者步长大于1的卷积操作。上采样运算可以是反卷积(Deconvolution)、线性插值或者非线性插值。卷积运算进行卷积操作并将其输出通道与下一级模块的输入通道相匹配。
在本发明一实施方式中,多个子编码处理EP1-EPn中的第s个子编码处理EPs的输入数据IEPs满足式1,1<s≤n:
IEPs=sum(OEP1,…,OEPs-pre1) 式1;
中央处理CP的输入数据ICP满足式2:
ICP=sum(OEP1,…,OEPn) 式2;
多个子解码处理DP1-DPn中的第n个子解码处理DPn的输入数据IDPn满足式3:
IDPn=concatenation(sum(OEP1,…,OEPn),OCP) 式3;
多个子解码处理DP1-DPn中的第t个子解码处理DPt的输入数据IDPt满足式4,1≤t<n:
IDPt=concatenation(sum(OEP1,…,OEPt,OCP,ODPn,…,ODPt-pre2),ODPt-pre1) 式4;
OEP1表示子编码处理EP1的最终输出数据,OEPs-pre1表示子编码处理EPs的前一级处理的最终输出数据,OEPn表示子编码处理EPn的最终输出数据,OCP表示中央处理CP的最终输出数据,OEPt表示具有等于第t个子解码处理DPt的序号的序号的子编码处理EPt的最终输出数据,ODPn表示子解码处理DPn的最终输出数据,ODPt-pre2表示子解码处理DPt的前两级处理的最终输出数据,ODPt-pre1表示子解码处理DPt的前一级处理的最终输出数据,sum表示相加操作,concatenation表示拼接操作。
其中,sum表示的相加操作,即做值的叠加,通道数是不变的。也就是说,通过sum,描述每一图像特征的信息量增加,但是描述图像的特征数量并没有增加。concatenation表示的拼接操作,即通道数的合并。也就是说,通过concatenation,描述图像的特征数量增加,而每一图像特征下的信息是没有增加。concatenation用于将特征联合,实现多个卷积特征提取框架提取的特征融合。
如上所述,本发明所设计出的具有上述特定信息跳跃(发送)路径的深度学习网络架构增加了子模块之间的连接路径,可以让每一个子模块都能获得多维(multi-scale)的特征信息。
应当理解,本发明所设计出的具有上述特定信息跳跃(发送)路径的深度学习网络架构并非简单地尽可能多地增加子模块之间的连接路径,而是基于实际图像处理效果来选择出增加能够有利于多维特征的综合利用的连接路径。也就是说,本发明所设计出的具有上述特定信息跳跃(发送)路径的深度学习网络架构能够尽可能地减少信息丢失,有利于多维特征的综合利用,从而提高了图像处理质量。
另一方面,本发明的发明人团队在实践中还认识到,虽然具有上述特定信息跳跃(发送)路径的深度学习网络架构包括了多条信息跳跃路径,起到了较好的效果。然而,在一些情况下,连接路径并非越多越好,某些连接路径可能带来的效益有限,却增加了网络的复杂度。而且在实际使用过程中,往往只有一部分增加的路径被有效地利用到,而这些没有被利用到或者利用效能低的路径(冗余的路径)增加了网络的参数,为网络的训练带了困难。
因此,在一些实施方式中,上述用于图像自动处理的方法中可以包括训练阶段和正式处理阶段,在训练阶段和正式处理阶段中,保持被提供给每一个处理的前一级处理的最终输出数据、以及被提供给每一个子解码处理的具有等于其序号的序号的子编码处理的最终输出数据始终被提供,其中通过将在训练阶段中执行若干次自动处理之后所得到的分割图像数据与标准分割图像数据比较来确定其余最终输出数据的每一个是否被提供,并且在正式处理阶段中,基于训练阶段中确定的结果来执行自动处理。
也就是说,发明人设计增加了网络路径自我学习的环节,从而有效的裁剪掉了那些冗余的路径。因此,通过上述固定路径和可裁剪路径结合的技术方案,本发明实现了在保持多维特征有效利用的前提下,给网络瘦身。
再次参照图3和图4,在根据本发明的一个实施方式的用于图像自动处理的深度学习网络架构中,各个模块之间或者模块内部的信息跳跃路径(输出数据路径)包括固定路径(实线)和可裁剪路径(虚线)。相邻模块之间的路径(即,被提供给每一个处理的前一级处理的最终输出数据的路径)、以及同一层的模块之间的路径(即,被提供给每一个子解码处理的具有等于其序号的序号的子编码处理的最终输出数据的路径)被设定为固定路径。其余路径(即,其余最终输出数据的路径)被设定为可裁剪路径。
在训练阶段中,通过将执行若干次自动处理之后所得到的分割图像数据与标准分割图像数据比较来确定可裁剪路径是否可被裁剪,并且在正式处理阶段中,基于训练阶段中确定出的最佳的深度学习网络架构来执行自动处理。
本发明提出的可裁剪路径可以通过网络的自主学习,保留有用的路径,裁剪掉不需要的路径。从而可以将不同纬度的特征有效结合,用于新的特征提取和对图像特征的综合利用,同时避免了无效路径及网络参数过多的问题。
此外,在本发明的一些实施方式中,在训练阶段中,被提供给每一个处理的前一级处理的最终输出数据、以及被提供给每一个子解码处理的具有等于其序号的序号的子编码处理的最终输出数据被赋予权重系数1,其余最终输出数据被赋予权重系数w,并且0<w<1,将最终输出数据以与相应的权重系数w相乘后所得到的加权的最终输出数据的形式来提供,其中在训练阶段中,在执行若干次自动处理之后,将权重系数w逼近0或者1,并且将低于阈值的权重系数w设定为0,将高于阈值的权重系数w设定为1,并且其中在正式处理阶段中,使用权重系数w为1的最终输出数据进行自动处理。
其中,w可以是限制在(0,1)之间的函数,例如,可以是sigmoid函数。
在本发明的一个实施方式中,使用式5至式7将权重系数w逼近0或者1:
R=α(w-0.5)2 式5;
L=loss(target,output)+R 式6;
其中w是执行一次自动处理之前的权重系数,w’是执行一次自动处理之后后的权重系数,R是正则项,α是系数并且0<α<1,target是图像处理要达到的真实值,output是图像处理的预测值。loss表示预测值output与真实值target的不一致程度,L表示不一致程度加入正则项的结果,learning rate表示训练过程中的步长,是L对w的导数。在此,α例如可以是0.5。learning rate例如可以是0.0001。α和learning rate的取值可以根据要处理的图像质量、要达到的处理效果、网络架构的深度以及用于计算的显卡的容量等因素来确定。
loss可以使用Dice、BCE(Binary Cross Entropy、二元交叉熵)、focal loss(焦点损失)等损失函数,也可以是这些损失函数的组合。learning rate控制着基于损失的梯度调整神经网络权重系数的改变速度。在此,通过式5,在固定其它系数的前提下,经过少量训练,可将权重系数w逼近0或者1。然后,将低于阈值的权重系数w固定为0,将高于阈值的权重系数w设置为1。因此,可裁剪掉冗余的路径,将有用的路径成功保留。在此,阈值可以根据具体情况进行设置,例如,阈值可以设置为0.75。
此外,在训练阶段中确定了那些可裁剪路径是否可被裁剪之后,即将低于阈值的权重系数w设定为0,并且将高于阈值的权重系数w设定为1之后,可以进一步训练固定下来的网络中的其他参数,例如卷积层的权重。在网络的全部参数训练好之后,进入正式处理阶段,即使用最终训练好的网络执行最终的自动图像处理。
图4是示出图3中的深度学习网络架构进行网络学习之后保留的深度学习网络架构的示意图。参照图4,当n为4时,在训练阶段中,将其余最终输出数据中的以下最终输出数据的权重系数w设定为1,剩下的设定为0:子编码处理EP1提供给子编码处理EP3的最终输出数据;子编码处理EP2提供给中央处理CP的最终输出数据;子编码处理EP3提供给中央处理CP的最终输出数据;中央处理CP提供给子解码处理DP2的最终输出数据;子解码处理DP3提供给子解码处理DP1的最终输出数据;子编码处理EP1提供给子解码处理DP2的最终输出数据;子编码处理EP1提供给子解码处理DP3的最终输出数据;子编码处理EP3提供给子解码处理DP4的最终输出数据。
应当理解,图4中所示的裁剪后的路径是基于特定数据和图像处理要求而获得的。因此,根据不同的数据和不同的图像处理要求,网络学习到的路径也会不同。也就是说,实际裁剪后的路径也可能是与图4不同的多种不同的深度学习网络架构。
也就是说,在对CT图像进行自动处理时,在训练阶段中,确定了如图3中所示的网络架构。然后,在正式处理阶段,使用例如如图4中所示的最终训练好的网络执行最终的自动图像处理。
在对本发明可以使用的具有多条信息跳跃路径和/或可裁剪路径的上述新颖的深度学习网络模型进行描述之后,再次参照图1和图2,如上所述,根据本发明一实施方式的用于放疗靶区勾画的智能教学方法基于包括公共教学数据的公共教学数据库和包括学员个体化数据的学员个体化数据库进行,公共教学数据包括公共教学知识数据和公共教学临床影像数据,公共教学知识数据包括根据临床指南及规范确定的勾画标准,学员个体化数据包括学员个体化教学知识数据、学员个体化教学临床影像数据、学员考核结果数据、学员评估数据、学员知识结构数据。
参照图2,智能教学方法包括:自适应教学建模步骤,获得公共教学临床影像数据、筛选出学员个体化教学知识数据和学员个体化教学临床影像数据、并且建立学员个体化教学模型;主动考核步骤,基于学员个体化教学模型,确定每一个学员的个体化的考核时间节点和从公共教学临床影像数据选取的考核内容;精准量化评估步骤,将学员勾画的临床靶区区域与考核内容中的标准教学临床影像数据进行比对,生成每一个学员的评估数据;和自适应培训步骤,根据评估数据生成学员知识结构数据,根据学员知识结构数据来规划和更新学员的学习路径。
具体地,在自适应教学建模步骤中,利用卷积神经网络(CNN)技术对临床影像数据进行处理,以勾画出含有高阶图像特征信息的临床靶区区域,并且根据勾画标准在勾画后的临床影像数据上标注勾画知识点,从而获得公共教学临床影像数据。
在自适应教学建模步骤中,根据评估数据从公共教学数据库中筛选出适合学员个人的学员个体化教学知识数据和学员个体化教学临床影像数据。
此外,在自适应教学建模步骤中,对学员个体化数据进行挖掘分析以建立学员个体化教学模型。
通常采用人工的方式进行放疗靶区勾画。然而,由于肿瘤的形态各异,放疗靶区勾画是非常复杂的工作。特别是,在放疗靶区勾画中,对于复杂几何形状、纹理变化、空间位置关系等高阶图像特征信息,难以定量描述。
如上所述,在本发明的自适应教学建模步骤中,利用卷积神经网络(CNN)技术勾画出含有高阶图像特征信息的临床靶区区域,并且根据勾画标准在勾画后的临床影像数据上标注勾画知识点。通过这样做,含有高阶图像特征信息的临床靶区区域被转化为以人类可以理解的方式表达的知识,从而极大地方便了学习。另一方面,卷积神经网络(CNN)技术可以容易地提供大量的标注有勾画知识点的公共教学临床影像数据。通过对大量公共教学临床影像数据的学习,也使得学员能够快速学习临床靶区区域勾画知识和技巧。
图5是例示在自适应教学建模步骤中获得公共教学临床影像数据的流程图。
参照图5,在筛选形成临床影像数据之后,首先判断是否新肿瘤分型。如果是新的肿瘤分型,即数据库(或数据集)中没有该肿瘤分型,则如上所述确定新肿瘤分型的公共教学知识数据,并且针对新肿瘤分型训练卷积神经网络,从而确定出对于该肿瘤分型来说最佳的深度学习网络架构。
如果不是新的肿瘤分型,即数据库(或数据集)中存在该肿瘤分型,则将其与已有肿瘤分型的数据集配准。在具体配准过程中,可以利用相似性系数来判断在肿瘤分型的数据集中是否存在与该临床影像数据类似的临床影像数据。如果存在,即相似性系数大于阈值的情况,则无需重复引入该临床影像数据,可将其舍弃。如果不存在,即相似性系数小于或等于阈值的情况,则将该临床影像数据放入教学数据集,然后利用已有的训练好卷积神经网络进行自动勾画和标注。
在一些实施方式中,图像A和图像B的相似性系数SI的公式如下:
其中,SI的第1项为归一化的互信息,SI的第2项为结构相似性。α、C1、C2、γ为常量,例如,α和γ可以是0.5,C1可以是20,C2可以是60;μA和μB分别为图像A的均值和图像B的均值,和/>分别为图像A的方差和图像B的方差,δAB为图像A和图像B的协方差;PA(a)和PB(b)分别表示图像A中像素值为a的像素点个数占图像像素点总个数的比例和图像B中像素值为b的像素点个数占图像像素点总个数的比例;PAB(a,b)表示同一个像素点位置A图像素值为a并且B图像素值为b的像素点个数占图像像素点总个数的比例。在此,SI的值可以在0-1的范围内,SI的值为0时表示完全不相似,SI的值为1时表示相似度100%。阈值可以根据不同的图像和要求进行调整,例如阈值可以是0.7。
图6是说明标注勾画知识点的示图,图7是说明生成评估数据的示图。
根据一个实施方式的标注勾画知识点包括:从临床靶区区域提取至少一个子临床靶区区域,并且从临床靶区区域周围的区域提取出至少一个重要危及器官区域;和基于至少一个子临床靶区区域和至少一个重要危及器官区域确定勾画知识点,并在勾画后的临床影像数据上标注出勾画知识点。
参照图6,整个背景为一张需要进行临床靶区(clinical targetvolume,CTV)勾画的医学临床影像层面,CTV为利用卷积神经网络(CNN)技术勾画出的作为标准的临床靶区区域,CTV1、…、CTVn(例如,图6中示出的CTV1和CVT2)是重要的不可遗漏的子临床靶区区域,OAR1、…、OARn(例如,图7中示出的OAR1和OAR2)是需要规避的重要危及器官区域,这些都是重要的勾画知识点。通过训练CNN分割网络可以对任意一张医学影像进行区域分割并生成对应的轮廓进行显示。
如上所述,在精准量化评估步骤中,将学员勾画的临床靶区区域与考核内容中的标准教学临床影像数据进行比对,生成每一个学员的评估数据。
如图7中所示,图7中的虚线表示学员的考试结果,即学员勾画的临床靶区区域CTVtest。为了对学员进行精准评估,将学员勾画的临床靶区区域与考核内容中的标准教学临床影像数据进行比对,优选像素级的对比,来生成每一个学员的评估数据。例如,评估数据可以包括对应于各项教学知识数据的得分和基于得分的能力值。
通过上述比对过程,能够给出学员的得分和能力值,从而可以指导学员应如何进行改进。
具体地,在一些实施方式中,在精准量化评估步骤中,根据学员遗漏的至少一个子临床靶区区域的数量以及包含的至少一个重要危及器官区域的数量生成每一个学员的评估数据。如果学员勾画的临床靶区区域遗漏了CTVn或者包含了过多OARn则需要扣分。
此外,在精准量化评估步骤中,可以基于量化指标进行比对,量化指标可包括体积DICE、表面DICE或霍氏距离等。
在一些实施方式中,例如,可以采用下式8来表示学员的得分Score:
Score=r0×DSC(CTVtest,CTV)+
r1×[1-95HD(CTVtest,CTV,U,L)/U]+
r2×IncI(CTVtest,CTV1,U,L)+
r3×IncI(CTVtest,CTV2,U,L)+
r4×[1-IncI(CTVtest,OAR1,U,L)]+
r5×[1-IncI(CTVtest,OAR2,U,L)],
其中,Score为总分,即每个单项的分数之和。每个单项表示对应区域(或解剖结构)的分数(体现掌握程度)。例如,式8中对应于OAR1区域的单项,考察的就是学员对OAR1这个解剖结构的掌握程度。在式8中,r0~r5为每个单项的权重,可以根据每个单项区域的重要程度进行权重赋值,其由对区域的解剖位置在哪里和耐受程度如何决定,所有r相加总和等于1,如果不等于1,则可以自动按比例调整为和为1的值;U和L分别是每个单项函数的上界和下界,大于上界U则值为1,小于下界L则值为0。
DSC为相似度系数(Dice similarity coefficient),定义为:SR代表学员勾画的轮廓(CTVtest)面积,SA代表目标轮廓的面积。|SR∩SA|表示SR与SA重合的面积,DSC值介于0至1之间,0表示SR与SA无重合部分,1表示SR与SA完全重合;
IncI为包容性系数(Inclusiveness index),定义为:表示两组轮廓的交集部分在目标轮廓中所占的比例。IncI值的范围为0-1,IncI为0时,表示两组轮廓无交集,为1时,表示CTVtest完全包含目标轮廓(如CTV1,OAR1等)。
HD为豪斯多夫距离(Hausdorffdistance),定义为:
HD(A,B)=max[h(A,B),h(B,A)],
A={a1,a2,…,an},B={b1,b2,…,bn}是分别代表人工勾画结果和AI勾画结果的两个有限点集;h(A,B)代表欧式空间中从点集A到点集B的欧式距离最小值中的最大值,h(B,A)同理为欧式空间中从点集B到点集A的欧式距离最小值中的最大值;HD(A,B)代表上述两个最大欧式距离中的较大值,该距离意味着A与B的最大不匹配程度;A与B的重合性越高,则HD的值越小。本发明取95%分位的HD值(95HD),以排除离群点所致的不合理距离。
CTVtest为学员勾画的临床靶区区域,如上所述,CTV1和CVT2分别是2个重要的不可遗漏的子临床靶区区域,CTV涵盖了全部重要的不可遗漏的子临床靶区区域,例如是CTV1+CVT2;OAR1和OAR2分别是2个需要规避的重要危及器官区域。
因此,评估结果可以给出对应于各项教学知识数据的得分(即每个单项的分数)以及所有得分之和(总分),通过这些分数可以准确的发现学员没有掌握的知识点具体在哪,然后针对性的进行知识点的推送。
图8是例示利用卷积神经网络(CNN)技术勾画出的含有高阶图像特征信息的临床靶区区域的实际影像。
图8中示出了多个区域,其中,LN是***(lymph node),MR表示直肠系膜组,LII和RII分别表示左髂内组(internal iliac group)和右髂内动脉组,LOB和ROB分别表示左闭孔组(obturator group)和右闭孔组,LLE和RLE分别表示左侧髂外组(lateral externaliliac group)和右侧髂外组,LAE和RAE分别表示左前髂外组(anterior external iliacgroup)和右前髂外组,LME和RME分别表示左中髂外组(medial external iliac group)和右中髂外组,Bladder表示膀胱,BoneMarrow表示骨盆。
在这些区域之中,膀胱(Bladder)和骨盆(BoneMarrow)2个区域属于OAR1、…、OARn,即需要规避的重要危及器官区域。其余的区域都属于CTV1、…、CTVn,即重要的不可遗漏的子临床靶区区域。图中示出了利用卷积神经网络(CNN)技术勾画出的作为标准的临床靶区区域CTV,其涵盖了所有的重要的不可遗漏的子临床靶区区域CTV1、…、CTVn。
图9是例示根据本发明一实施方式的用于放疗靶区勾画的智能教学方法的流程图。
参照图2和图9,根据本发明的智能教学方法还可以包括初次基础考核和评估步骤,在教学开始,首先执行初次基础考核和评估步骤,在初次基础考核和评估步骤中,可以选择中等难度的考核内容对学员考核,然后根据学员考核结果数据生成每一个学员的评估数据。
在一些实施方式中,评估数据可以包括对应于各项教学知识数据的得分和基于得分的能力值,当存在历史能力值时,循环执行主动考核步骤、精准量化评估步骤和自适应培训步骤。
如上所述,在主动考核步骤中,基于学员个体化教学模型,确定每一个学员的个体化的考核时间节点和从公共教学临床影像数据选取的考核内容。
学员个体化教学模型例如可以通过项目反应理论(IRT)、概率图形模型(PGMs)和凝聚层次聚类等模型来建立。
自适应教学建模步骤在教学过程中可以持续更新学员个体化教学模型。
下面将描述基于利用项目反应理论(IRT)的学员个体化教学模型来进行主动考核。
在此,假设考核题库中试题难度总共分为M级,每级的难度权重为Wm,学员所有考题共经历了N级,每级试题的评价得分为Sn,则该学员的能力值E为:
主动考核可以基于项目反应理论(IRT)而实现。IRT以一定的数学模型来确定被试个体试题反应概率与其潜在能力之间的函数关系。项目反应模型统一描述成如下公式:
Pj=F(θ,a,b,c),
Pj为学员答对此题目的概率,θ为学员的能力参数,只与学员能力有关,与试题无关,a,b,c分别表示题目的区分度参数、难度参数和猜测参数。每个试题的a,b,c参数可在设计主动考核的自适应考试题库时确定。
当能力值满足终止条件时,终止教学。本发明提出信息函数来计算考核可获得的考生水平的信息量,以用来反映测量的精确度。信息函数I(θ)是学员的能力值θ的函数,与标准误差SE(θ)存在这样的关系:因此,根据需要确定标准误差后,也就确定了信息函数的值。当考核得到的信息函数的值等于事先确定的值时,可结束考核或者终止教学。由于不同考核所含信息量不同,因此能力不同的学员完成考核所需施测的题目及题目数不同,于是测试的长度因被试者的变化而变化。那些能够快速达到测试精度的被试不需浪费时间精力做多余的项目,反之则需多做项目以保证能力估计的准确性,从而更好地体现了“因人施测”的特点。
终止条件可以同时考虑最大测试题数与最大信息量。首先,设定测试的总长度为L,总信息量为I,,设定每级题库所要达到的测试信息量分别为I1、I2、…、Ik,且满足
I=I1+I2+…+Ik
I1<I2<…<Ik
在测试的过程中,测试长度和测试信息量只要有一个达到了预定值,即可结束测试。
此外,如果能力值不满足终止条件,则可以执行自适应培训步骤。
或者,也可以继续选择后续试题进行考核。具体地,每一个题目的选取是根据学员先前的答题情况采用某种选择策略而进行的。例如,可以先对考生能力作一个估计(能力参数θ),再在题库中挑选当能力为θ时,具有最大信息量的考题。选择测验的信息函数值越大,根据该测验对被试的能力素质水平的估计就越准确。
图10是例示根据本发明一实施方式的用于放疗靶区勾画的智能教学方法的自适应培训步骤的流程图。
参照图10,在完成对学员的精准量化评估之后,需要进行培训时,可以根据评估得出的学员知识结构数据生成学员知识结构数据,并且根据学员知识结构数据来规划和更新学员的学习路径。
在一些实施方式中,学员知识结构数据可以包括培训级别和重点教学知识数据。
具体地,如图10中所示,可以根据对应于各项教学知识数据的得分之和来确定培训级别,并且可以根据各项教学知识数据的得分来确定重点教学知识数据。
此外,在自适应培训步骤中,可以根据培训级别、重点教学知识数据来设定各项学习内容以及相应的学习时间间隔。
例如,可基于艾宾浩斯遗忘曲线理论根据培训级别、重点教学知识数据来设定各项学习内容以及相应的学习时间间隔。
在此,再次参照图1描述根据本发明一实施方式的用于放疗靶区勾画的智能教学***。智能教学***基于包括公共教学数据的公共教学数据库和包括学员个体化数据的学员个体化数据库,公共教学数据包括公共教学知识数据和公共教学临床影像数据,公共教学知识数据包括根据临床指南及规范确定的勾画标准,学员个体化数据包括学员个体化教学知识数据、学员个体化教学临床影像数据、学员考核结果数据、学员评估数据、学员知识结构数据。
如图1中所示,智能教学***包括:自适应教学建模模块,自适应教学建模模块用于获得公共教学临床影像数据、筛选出学员个体化教学知识数据和学员个体化教学临床影像数据、并且建立学员个体化教学模型;主动考核模块,主动考核模块用于基于学员个体化教学模型,确定每一个学员的个体化的考核时间节点和从公共教学临床影像数据选取的考核内容;精准量化评估模块,精准量化评估模块用于将学员勾画的临床靶区区域与考核内容中的标准教学临床影像数据进行比对,生成每一个学员的评估数据;和自适应培训模块,自适应培训模块用于根据评估数据生成学员知识结构数据,根据学员知识结构数据来规划和更新学员的学习路径。
自适应教学建模模块可以利用卷积神经网络(CNN)技术对临床影像数据进行处理,以勾画出含有高阶图像特征信息的临床靶区区域,并且根据勾画标准在勾画后的临床影像数据上标注出勾画知识点,从而获得公共教学临床影像数据。
自适应教学建模模块可以根据评估数据从公共教学数据库中筛选出适合学员个人的学员个体化教学知识数据和学员个体化教学临床影像数据。
自适应教学建模模块可以对学员个体化数据进行挖掘分析以建立学员个体化教学模型。
需要说明的是,上述实施方式所提供的用于放疗靶区勾画的智能教学***,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即用于放疗靶区勾画的智能教学***的内部结构将划分为不同的功能模块,以完成以上描述的全部或者部分功能。
此外,上述实施方式所提供的用于放疗靶区勾画的智能教学***与用于放疗靶区勾画的智能教学方法的实施方式属于同一构思,其中各个模块执行操作的具体方式已经在方法实施方式中进行了详细描述,此处将省去相似的详细描述。
图11示出了根据本发明的一个实施方式的示例性计算机设备。
参照图11,根据本发明的一个实施方式的计算机设备,包括:至少一个处理器;和存储器,其中当存储器存储的一个或多个计算机程序被至少一个处理器执行时,使得计算机设备能够实现上述智能教学方法。
计算机设备可以是通用计算机,也可以是专用计算机。
此外,在一些实施方式中,提供了一种计算机可读存储介质,在计算机可读存储介质上存储有计算机程序指令,其中计算机程序指令被处理器执行时实现上述智能教学方法。
上述计算机可读存储介质可以是只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-OnlyMemory,CD-ROM)、磁带、软盘和光数据存储设备等。
如上所述,本发明首次提出针对放疗靶区勾画教学的自适应学习。利用人工智能深度学习技术对大量的靶区勾画数据集进行学习,从而将复杂庞大的放疗影像数据的高层特征提取出来分解成各层次的知识点,并根据每个学习者的知识结构特点及学习特点进行学习环节的设计、实现学习内容的智能生成和调整,自适应地为学员个体化精细化地引导学员完成每个学习环节的培训、考核和评估步骤。
根据本发明的用于放疗靶区勾画的智能教学***将典型病例的精准放疗靶区勾画精确地筛选出来并形象、直观的呈现给低年资医师和医学生,并且根据不同学习者的特点自适应进行培训和考核评估,不仅可以提高学习者对授课内容的掌握和理解,同时激发学习、参与的兴趣,显著提升教学效果,缩短放疗医师培养年限,极大地缓解我国放疗供给严重不足的状态。
尽管上面已经示出和描述了本发明的各实施方式,可以理解的是,上述实施方式仅是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的技术构思范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (10)

1.一种用于放疗靶区勾画的智能教学方法,其特征在于,所述智能教学方法基于包括公共教学数据的公共教学数据库和包括学员个体化数据的学员个体化数据库进行,所述公共教学数据包括公共教学知识数据和公共教学临床影像数据,所述公共教学知识数据包括根据临床指南及规范确定的勾画标准,所述学员个体化数据包括学员个体化教学知识数据、学员个体化教学临床影像数据、学员考核结果数据、学员评估数据、学员知识结构数据,并且所述智能教学方法包括:
自适应教学建模步骤,获得公共教学临床影像数据、筛选出学员个体化教学知识数据和学员个体化教学临床影像数据、并且建立学员个体化教学模型;
主动考核步骤,基于所述学员个体化教学模型,确定每一个学员的个体化的考核时间节点和从公共教学临床影像数据选取的考核内容;
精准量化评估步骤,将学员勾画的临床靶区区域与考核内容中的标准教学临床影像数据进行比对,生成每一个学员的评估数据;和
自适应培训步骤,根据所述评估数据生成所述学员知识结构数据,根据所述学员知识结构数据来规划和更新学员的学习路径;
其中在自适应教学建模步骤中:
利用卷积神经网络(CNN)技术对临床影像数据进行处理,以勾画出含有高阶图像特征信息的临床靶区区域,并且根据所述勾画标准在勾画后的临床影像数据上标注勾画知识点,从而获得公共教学临床影像数据;
根据所述评估数据从公共教学数据库中筛选出适合学员个人的学员个体化教学知识数据和学员个体化教学临床影像数据;并且
对所述学员个体化数据进行挖掘分析以建立学员个体化教学模型。
2.根据权利要求1所述的智能教学方法,其特征在于,
所述高阶图像特征信息包括复杂几何形状、纹理变化或空间位置关系。
3.根据权利要求2所述的智能教学方法,其特征在于,
标注勾画知识点包括:
从所述临床靶区区域提取至少一个子临床靶区区域,并且从所述临床靶区区域周围的区域提取出至少一个重要危及器官区域;和
基于所述至少一个子临床靶区区域和所述至少一个重要危及器官区域确定勾画知识点,并在勾画后的临床影像数据上标注出勾画知识点。
4.根据权利要求1所述的智能教学方法,其特征在于,
所述智能教学方法还包括初次基础考核和评估步骤,在教学开始,首先执行初次基础考核和评估步骤,在初次基础考核和评估步骤中,选择中等难度的考核内容对学员考核,然后根据学员考核结果数据生成每一个学员的评估数据。
5.根据权利要求4所述的智能教学方法,其特征在于,
所述评估数据包括对应于各项教学知识数据的得分和基于得分的能力值,当存在历史能力值时,循环执行主动考核步骤、精准量化评估步骤和自适应培训步骤。
6.根据权利要求3所述的智能教学方法,其特征在于,
在精准量化评估步骤中,根据学员遗漏的所述至少一个子临床靶区区域的数量以及包含的所述至少一个重要危及器官区域的数量生成每一个学员的评估数据。
7.根据权利要求1所述的智能教学方法,其特征在于,
所述学员知识结构数据包括培训级别和重点教学知识数据,在自适应培训步骤中,根据所述学员知识结构数据来规划和更新学员的学习路径包括:根据培训级别、重点教学知识数据来设定各项学习内容以及相应的学习时间间隔。
8.一种用于放疗靶区勾画的智能教学***,其特征在于,所述智能教学***基于包括公共教学数据的公共教学数据库和包括学员个体化数据的学员个体化数据库,所述公共教学数据包括公共教学知识数据和公共教学临床影像数据,所述公共教学知识数据包括根据临床指南及规范确定的勾画标准,所述学员个体化数据包括学员个体化教学知识数据、学员个体化教学临床影像数据、学员考核结果数据、学员评估数据、学员知识结构数据,并且所述智能教学***包括:
自适应教学建模模块,所述自适应教学建模模块用于获得公共教学临床影像数据、筛选出学员个体化教学知识数据和学员个体化教学临床影像数据、并且建立学员个体化教学模型;
主动考核模块,所述主动考核模块用于基于所述学员个体化教学模型,确定每一个学员的个体化的考核时间节点和从公共教学临床影像数据选取的考核内容;
精准量化评估模块,所述精准量化评估模块用于将学员勾画的临床靶区区域与考核内容中的标准教学临床影像数据进行比对,生成每一个学员的评估数据;和
自适应培训模块,所述自适应培训模块用于根据所述评估数据生成所述学员知识结构数据,根据所述学员知识结构数据来规划和更新学员的学习路径,
其中所述自适应教学建模模块:
利用卷积神经网络(CNN)技术对临床影像数据进行处理,以勾画出含有高阶图像特征信息的临床靶区区域,并且根据所述勾画标准在勾画后的临床影像数据上标注出勾画知识点,从而获得公共教学临床影像数据;
根据所述评估数据从公共教学数据库中筛选出适合学员个人的学员个体化教学知识数据和学员个体化教学临床影像数据;并且
对所述学员个体化数据进行挖掘分析以建立学员个体化教学模型。
9.一种计算机设备,其特征在于,包括:
至少一个处理器;和
存储器,
其中当所述存储器存储的一个或多个计算机程序被所述至少一个处理器执行时,使得所述计算机设备能够实现根据权利要求1-7中任一项所述的智能教学方法。
10.一种计算机可读存储介质,其特征在于,
在所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现权利要求1-7中任一项所述的智能教学方法。
CN202110398817.9A 2021-04-14 2021-04-14 用于放疗靶区勾画的智能教学方法、***、设备和介质 Active CN115206146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110398817.9A CN115206146B (zh) 2021-04-14 2021-04-14 用于放疗靶区勾画的智能教学方法、***、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110398817.9A CN115206146B (zh) 2021-04-14 2021-04-14 用于放疗靶区勾画的智能教学方法、***、设备和介质

Publications (2)

Publication Number Publication Date
CN115206146A CN115206146A (zh) 2022-10-18
CN115206146B true CN115206146B (zh) 2023-09-22

Family

ID=83574229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110398817.9A Active CN115206146B (zh) 2021-04-14 2021-04-14 用于放疗靶区勾画的智能教学方法、***、设备和介质

Country Status (1)

Country Link
CN (1) CN115206146B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117373695B (zh) * 2023-10-12 2024-05-17 北京透彻未来科技有限公司 基于极深卷积神经网络的泛癌病理诊断***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106887180A (zh) * 2017-02-28 2017-06-23 成都金盘电子科大多媒体技术有限公司 一种基于医学影像经典病案库的教学***
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技(昆山)有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
EP3252738A1 (en) * 2016-05-30 2017-12-06 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method of assessing the performance of a human or robot carrying out a medical procedure and assessment tool
CN107545137A (zh) * 2017-08-16 2018-01-05 强深智能医疗科技(昆山)有限公司 肿瘤放射治疗计划智能优化方法
CN107731298A (zh) * 2017-09-28 2018-02-23 北京全域医疗技术有限公司 基于放疗计划***的射野设置方法及装置
CN110322436A (zh) * 2019-06-19 2019-10-11 广州金域医学检验中心有限公司 医学图像处理方法、装置、存储介质及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210012878A1 (en) * 2019-07-10 2021-01-14 Duke University Systems and methods for radiation treatment planner training based on knowledge data and trainee input of planning actions
US11705226B2 (en) * 2019-09-19 2023-07-18 Tempus Labs, Inc. Data based cancer research and treatment systems and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3252738A1 (en) * 2016-05-30 2017-12-06 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method of assessing the performance of a human or robot carrying out a medical procedure and assessment tool
CN106887180A (zh) * 2017-02-28 2017-06-23 成都金盘电子科大多媒体技术有限公司 一种基于医学影像经典病案库的教学***
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技(昆山)有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN107545137A (zh) * 2017-08-16 2018-01-05 强深智能医疗科技(昆山)有限公司 肿瘤放射治疗计划智能优化方法
CN107731298A (zh) * 2017-09-28 2018-02-23 北京全域医疗技术有限公司 基于放疗计划***的射野设置方法及装置
CN110322436A (zh) * 2019-06-19 2019-10-11 广州金域医学检验中心有限公司 医学图像处理方法、装置、存储介质及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MIM***标准病例模块联合CBL教学在放疗科靶区勾画中的应用;车少敏;袁维;马海琳;惠蓓娜;李毅;宋丽萍;刘锐;张晓智;;中国医学教育技术(第02期);全文 *
一款基于深度学习的放疗轮廓勾画软件的研发;罗邦雨;伍亚军;周一兵;钱金栋;赵利荣;崔天祥;钟良志;李光辉;孙建国;;中国医疗设备(第07期);全文 *
基于交互式数字化自动乳腺容积超声教学资源平台的软件设计与开发;宋宏萍;赵妮;胡芮;高喜璨;刘丽文;;临床超声医学杂志(第12期);全文 *

Also Published As

Publication number Publication date
CN115206146A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN112150478B (zh) 一种构建半监督图像分割框架的方法及***
Khajah et al. How deep is knowledge tracing?
US20220277572A1 (en) Artificial intelligence-based image processing method, apparatus, device, and storage medium
CN109948522B (zh) 一种基于深度神经网络的x光片手骨成熟度判读方法
CN105913431A (zh) 低分辨率医学图像的多图谱分割方法
CN115131698B (zh) 视频属性确定方法、装置、设备及存储介质
Ni et al. Deepqr: Neural-based quality ratings for learnersourced multiple-choice questions
CN115206146B (zh) 用于放疗靶区勾画的智能教学方法、***、设备和介质
CN113196318A (zh) 一种理科教学***及其使用方法、计算机可读存储介质
CN107133631A (zh) 一种识别电视台图标的方法及装置
CN115862837A (zh) 一种基于类型推理与语义约束的医学视觉问答方法
CN117150151B (zh) 一种基于大语言模型的错题分析及试题推荐***和方法
Malikin et al. Research of Methods for Practical Educational Tasks Generation Based on Various Difficulty Levels.
CN117540104A (zh) 一种基于图神经网络的学习群体差异评价方法与***
Gao Evaluation of college English teaching quality based on particle swarm optimization algorithm
Zhang et al. [Retracted] An Empirical Study on Big Data Model and Visualization of Internet+ Teaching
Cheng et al. Neural cognitive modeling based on the importance of knowledge point for student performance prediction
CN107135402A (zh) 一种识别电视台图标的方法及装置
Kang et al. Personalized exercise recommendation via implicit skills
Wei Analysis of cross-cultural education in Japanese teaching based on multimedia technology
CN109726690B (zh) 基于DenseCap网络的学习者行为图像多区域描述方法
Zhu et al. [Retracted] Application of Lightweight Deep Learning Model in Vocal Music Education in Higher Institutions
Johnson et al. Learning to analyze medical images: A smart adaptive learning environment for an ill-defined domain
Qin et al. Research on the evaluation method of English textbook readability based on the TextCNN model and its application in teaching design
CN117556381B (zh) 一种面向跨学科主观试题的知识水平深度挖掘方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant