CN117851604A - 一种支持大语言模型技术的建筑工程知识库搭建方法 - Google Patents

一种支持大语言模型技术的建筑工程知识库搭建方法 Download PDF

Info

Publication number
CN117851604A
CN117851604A CN202311624195.2A CN202311624195A CN117851604A CN 117851604 A CN117851604 A CN 117851604A CN 202311624195 A CN202311624195 A CN 202311624195A CN 117851604 A CN117851604 A CN 117851604A
Authority
CN
China
Prior art keywords
language model
large language
tuning
knowledge base
building engineering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311624195.2A
Other languages
English (en)
Inventor
吉久茂
陈继良
张东升
高绪聪
王凌宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tongji Technology Transfer Service Co ltd
Architecture Design and Research Institute of Tongji University Group Co Ltd
Original Assignee
Shanghai Tongji Technology Transfer Service Co ltd
Architecture Design and Research Institute of Tongji University Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tongji Technology Transfer Service Co ltd, Architecture Design and Research Institute of Tongji University Group Co Ltd filed Critical Shanghai Tongji Technology Transfer Service Co ltd
Priority to CN202311624195.2A priority Critical patent/CN117851604A/zh
Publication of CN117851604A publication Critical patent/CN117851604A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种支持大语言模型技术的建筑工程知识库搭建方法,包括以下步骤:获取建筑工程数据源,并进行预处理;基于预处理后的建筑工程数据源训练大语言模型;基于人工反馈的增强学习方法对经训练的大语言模型进行多次调优处理;基于多次调优处理后的大语言模型,构建建筑工程知识库。与现有技术相比,本发明具有提高知识管理效率、工作效率、检索准确性、专业准确性等优点。

Description

一种支持大语言模型技术的建筑工程知识库搭建方法
技术领域
本发明涉及人工智能技术领域,尤其是涉及一种支持大语言模型技术的建筑工程知识库搭建方法。
背景技术
在人工智能领域中,知识库是重要的基础设施,它可以为机器人、虚拟助手、搜索引擎等提供强大的信息检索和推理能力。知识库可以整合分散的知识资源,提高知识利用的效率,降低信息查找和分析的成本。同时,它具有可重用性、可扩展性和灵活性等优势。知识库还能够为组织提供丰富的知识资产,从而帮助其创新和发展。
目前,建筑工程领域的知识库的构建主要依赖于人工标注和手动维护,需要人工编写、整理并维护知识库中的内容,这一过程需要耗费大量时间和人力成本。同时,由于人工编写的内容可能存在不完整、不准确等问题,这也可能导致知识库的质量下降;新增知识库内容成本较高,导致知识更新滞后;现有的人工构建的方法成本较高且效率低下。
此外,在人工智能的时代背景下,迫切地需要一种建筑领域智能知识库以在实际工作应用中,能够自动回答常见问题,帮助建筑工程团队管理和检索知识,提供24h的在线支持,及时解答客户的问题,提高客户满意度,帮助新员工或学生了解建筑工程的基本知识和技能以及为企业节省人力资源,从而降低成本。
发明内容
本发明的目的就是为了提供一种专业准确的支持大语言模型技术的建筑工程知识库搭建方法。
本发明的目的可以通过以下技术方案来实现:
一种支持大语言模型技术的建筑工程知识库搭建方法,包括以下步骤:
获取建筑工程数据源,并进行预处理;
基于预处理后的建筑工程数据源训练大语言模型;
基于人工反馈的增强学习方法对经训练的大语言模型进行多次调优处理;
基于多次调优处理后的大语言模型,构建建筑工程知识库。
进一步地,所述建筑工程数据源包括各专业规范数据、各专业设计文件、工程相关的书籍、工程相关的研究论文、项目可行性研究报告、BIM以及建筑领域专家报告,所述专业规范数据包括国家规范、地方规范企业标准以及其他与建筑工程相关的标准文件,所述专业设计文件的格式包括dwg、doc和pdf。。
进一步地,所述预处理步骤包括数据清洗、数据标准化以及分词。
进一步地,所述大语言模型为预训练的语言模型。
进一步地,所述预训练的语言模型为GPT系列模型。
进一步地,所述多次调优处理的具体步骤包括:
将所述经训练的大语言模型,采用有监督调优方法进行初次调优;
基于初次调优后的大语言模型,采用模拟工程师思维方法进行再次调优;
基于再次调优后的大语言模型,采用近端策略优化方法进行最终调优。
进一步地,所述初次调优的具体步骤包括:
对部分建筑工程数据源进行人工标注;
对所述经训练的大语言模型进行提问,获取提问结果;
工程领域专业工程师针对所述提问结果反馈更准确的提问结果,同时基于人工标注的部分建筑工程数据源对所述经训练的大语言模型进行训练,完成初次调优过程。
进一步地,所述再次调优的具体步骤包括:
获取初次调优的大语言模型的输出结果;
工程领域专业工程师对所述输出结果进行偏好排序以及根据工程领域的知识逻辑重新梳理,形成调优训练数据集;
根据所述调优训练数据集对所述初次调优的大语言模型进行训练,完成再次调优过程。
进一步地,所述最终调优的具体步骤包括:
获得再次调优的大语言模型的输出结果,并通过奖励回报模型对所述输出结果转化为数值化奖励;
基于所述数值化奖励,采用近端策略优化对所述再次调优的大语言模型进行进一步调优,完成最终调优过程。
进一步地,还包括:
测试经多次调优的大语言模型,获得测试结果;
基于所述测试结果对所述经多次调优的大语言模型进行优化,
重复以上步骤,直至达到结束条件。
与现有技术相比,本发明具有以下有益效果:
(1)本发明充分利用大语言模型的优点,通过人工反馈的增强学习方法及时对大语言模型进行调优,使得大语言模型符合实际的建筑工程领域知识,因此最终构建的建筑领域知识库更加专业、准确。
(2)本发明通过有监督调优、模拟工程师思维以及近端策略优化方法对所述大语言模型进行多次调优,使得大语言模型正确输出结果、学习工程师的思维偏好等,为后续实际应用部署提供了准确、便捷的知识。
附图说明
图1为本发明的方法流程示意图;
图2为本发明的模型训练过程示意图;
图3为本发明的模型调优过程示意图;
图4为本发明的有监督调优过程示意图;
图5为本发明的模拟工程师思维调优过程示意图;
图6为本发明的近端策略优化过程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本实施例提供一种支持大语言模型技术的建筑工程知识库搭建方法,如图1所示,该方法包括以下步骤:
S1、数据收集。
首先,收集大量的建筑工程领域的数据源。
(1)各专业规范数据,包括国家规范、地方规范企业标准以及其他与建筑工程相关的标准文件;
(2)各专业设计文件,包含但不限于计算书、设计图纸、效果图、BIM模型、图纸校审报告、历年建筑事故备案案件,所述专业设计文件包括dwg/pdf等各种格式;
(3)建筑领域专家年度报告、项目可行性研究报告;
(4)建筑领域相关书籍、工程相关的研究论文等。
这些数据可以来自于书籍、研究论文、建筑规范、设计文档、项目报告、BIM等,用于搭建本地知识库。数据的质量和数量直接影响模型的效果。
S2、数据处理。
该步骤对数据源进行预处理,以便于模型的训练。这包括清洗数据(去除无用的信息,如页眉、页脚、页码等)、标准化数据(统一数据格式,如时间、单位等)、分词等。
S3、模型训练。
该步骤使用预处理后的数据源来训练大语言模型。训练的过程需要大量的计算资源和时间,因此训练过程中,可以选择使用预训练的模型,如GPT系列模型,然后在建筑细分领域的数据上进行微调。
如图2所示,该步骤具体为:
a.准备本地数据资源→加载器加载数据→转成文本→文本分类向量化→形成文本向量库;
b.查询请求→文本拆分→文本向量→在向量库中进行比对,找出最相似结果进行组合发给文本处理→根据提示词模板生成提示词→根据提示词处理数据生成专业细分领域大语言模型。
上述步骤中,可采用词袋模型或者词嵌入进行文本分类向量化,可将文本以句子为单位或者段落为单位或者标记进行文本拆分。
S4、模型调优。
如图3所示,该步骤启动领域专家调优,根据标签库的专家标注进行反馈结果的纠偏,以让人工智能在建筑工程领域给出更专业、更精准的答案。在本实施例的调优过程主要分为主要分以下几个步骤进行:
1、有监督调优:采取建筑工程领域专业工程师以人工标注的方式对数据的初次调优提供监督。
如图4所示,预训练的GPT模型在少量已标注的建筑相关的数据上进行调优,以学习从给定的指示(prompt)列表生成输出的有监督的策略。具体为:建筑工程领域专业工程师为2类,分别为专业标注工程师和其他普通用户。其中,人工为工程领域专业工程师中的专业标注工程师和普通用户,其中普通用户只需对预训练的GPT模型给出的有疑问的输出结果进行反馈即可,专业标注工程师可采用仅提问、输出问题和答案并提出新问题、根据工程案例或者其他相关数据给出问题或答案的方式,专业标注工程师对输出的问题给出更准确的反馈,并根据已标注的建筑相关的数据对预训练的GPT模型进行调优训练,得到初次调优的大模型。
2、模拟工程师思维:主要作用用于人工建立偏好标准完成学习。对模型输出结果进行偏好排序或者对输出的结果根据工程领域的知识逻辑重新梳理,为二次调优提供证据。
如图5所示,工程师从三个角度为人工智能的答案进行打分或者评判,并对多个版本的回答进行优劣排序,通过人工标注的方式第二次学习工程师的工程理念(偏好)。
第一个角度:工程师需要确认AI给出的答案是否有用?
第二个角度:工程师需要确认AI给出的答案是否正确或者符合工程实际?
第三个角度:工程师需要确认AI给出的答案是否无害,包括歧视、有违伦理、敏感话题等?
根据工程师再次调优后的专业领域大语言模型得出输出结果,并形成专业领域奖励回报模型(Reward Model,RM)。
3、近端策略优化(Proximal Policy Optimization,PPO):使用奖励回报模型进行调优。
如图6所示,利用RM模型对初次调优后的专业领域大语言模型进行进一步优化。RM模型为评价大模型的回答给出了依据,通过RM对回答所做出的数值化奖励,利用Open AI提出的PPO优化策略进行进一步调优,多次重复模拟工程师的逻辑或者偏好和近端策略优化就得到了最终的工程细分领域人工智能大语言模型。
上述模拟工程师思维和近端策略优化调优方法可进行反复迭代,不断更新训练回报模型从而获得更优的大语言模型。
S5、知识库构建。
通过训练得到的模型,可以构建一个建筑工程领域的知识库。这个知识库可以用于回答问题、提供建议、生成设计文档、AI辅助设计、AI设计审查等。
S6、模型测试和优化。
测试模型的效果,并根据测试结果进行优化。根据需要可反复进行多次。
经调优训练好的模型可用于AI部署,将模型部署到企业实际工程应用中。例如,可以进行企业本地化部署,搭建企业级的人工智能数据库,盘活企业数据资产,为企业的工程师提供持续不断的知识服务,并伴随用户量的增多,知识库将通过迭代的方式,逐步更具智慧。例如,基于企业级人工智能数据库的本地化部署,在日常生产中,可以结合实际生产需要进行场景建设,让知识库落地工程应用,以下为基于人工智能大语言模型衍生的场景:
a.辅助设计:帮助设计人员理解和实现建筑规范和设计原则。基于建筑领域大语言模型协助设计进行专业之间信息拉通、校审,提升设计产品的质量。
b.知识管理:帮助建筑工程公司管理和利用他们的知识资产。把企业内部的纸质文件以及分散各处的电子数据,通过大语言模型的手段进行批量集成化学习,让数据变成生产要素,真正的为企业的数字化转型提供服务。
c.客户服务:建筑大语言模型技术可以作为客户服务代表,回答客户的问题,提供信息,甚至解决问题。例如,它可以帮助客户理解建筑项目的进度,或者提供关于建筑材料和技术的信息。
d.培训教育:建筑大语言模型技术可以作为一个教育工具,帮助建筑工程学生和新员工学习和理解建筑工程的基本概念和技术,让大语言模型成为工程师的工具,帮助学员快速的学习和掌握技能。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本发明实施例中的方案可以采用各种计算机语言实现,例如,面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种支持大语言模型技术的建筑工程知识库搭建方法,其特征在于,包括以下步骤:
获取建筑工程数据源,并进行预处理;
基于预处理后的建筑工程数据源训练大语言模型;
基于人工反馈的增强学习方法对经训练的大语言模型进行多次调优处理;
基于多次调优处理后的大语言模型,构建建筑工程知识库。
2.根据权利要求1所述的一种支持大语言模型技术的建筑工程知识库搭建方法,其特征在于,所述建筑工程数据源包括各专业规范数据、各专业设计文件、工程相关的书籍、工程相关的研究论文、项目可行性研究报告、BIM以及建筑领域专家报告,所述专业规范数据包括国家规范、地方规范企业标准以及其他与建筑工程相关的标准文件,所述专业设计文件的格式包括dwg、doc和pdf。
3.根据权利要求1所述的一种支持大语言模型技术的建筑工程知识库搭建方法,其特征在于,所述预处理步骤包括数据清洗、数据标准化以及分词。
4.根据权利要求1所述的一种支持大语言模型技术的建筑工程知识库搭建方法,其特征在于,所述大语言模型为预训练的语言模型。
5.根据权利要求4所述的一种支持大语言模型技术的建筑工程知识库搭建方法,其特征在于,所述预训练的语言模型为GPT系列模型。
6.根据权利要求1所述的一种支持大语言模型技术的建筑工程知识库搭建方法,其特征在于,所述多次调优处理的具体步骤包括:
将所述经训练的大语言模型,采用有监督调优方法进行初次调优;
基于初次调优后的大语言模型,采用模拟工程师思维方法进行再次调优;
基于再次调优后的大语言模型,采用近端策略优化方法进行最终调优。
7.根据权利要求6所述的一种支持大语言模型技术的建筑工程知识库搭建方法,其特征在于,所述初次调优的具体步骤包括:
对部分建筑工程数据源进行人工标注;
对所述经训练的大语言模型进行提问,获取提问结果;
工程领域专业工程师针对所述提问结果反馈更准确的提问结果,同时基于人工标注的部分建筑工程数据源对所述经训练的大语言模型进行训练,完成初次调优过程。
8.根据权利要求6所述的一种支持大语言模型技术的建筑工程知识库搭建方法,其特征在于,所述再次调优的具体步骤包括:
获取初次调优的大语言模型的输出结果;
工程领域专业工程师对所述输出结果进行偏好排序以及根据工程领域的知识逻辑重新梳理,形成调优训练数据集;
根据所述调优训练数据集对所述初次调优的大语言模型进行训练,完成再次调优过程。
9.根据权利要求6所述的一种支持大语言模型技术的建筑工程知识库搭建方法,其特征在于,所述最终调优的具体步骤包括:
获得再次调优的大语言模型的输出结果,并通过奖励回报模型对所述输出结果转化为数值化奖励;
基于所述数值化奖励,采用近端策略优化对所述再次调优的大语言模型进行进一步调优,完成最终调优过程。
10.根据权利要求1所述的一种支持大语言模型技术的建筑工程知识库搭建方法,其特征在于,还包括:
测试经多次调优的大语言模型,获得测试结果;
基于所述测试结果对所述经多次调优的大语言模型进行优化,
重复以上步骤,直至达到结束条件。
CN202311624195.2A 2023-11-29 2023-11-29 一种支持大语言模型技术的建筑工程知识库搭建方法 Pending CN117851604A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311624195.2A CN117851604A (zh) 2023-11-29 2023-11-29 一种支持大语言模型技术的建筑工程知识库搭建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311624195.2A CN117851604A (zh) 2023-11-29 2023-11-29 一种支持大语言模型技术的建筑工程知识库搭建方法

Publications (1)

Publication Number Publication Date
CN117851604A true CN117851604A (zh) 2024-04-09

Family

ID=90539026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311624195.2A Pending CN117851604A (zh) 2023-11-29 2023-11-29 一种支持大语言模型技术的建筑工程知识库搭建方法

Country Status (1)

Country Link
CN (1) CN117851604A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118071153A (zh) * 2024-04-17 2024-05-24 中南建筑设计院股份有限公司 基于bim和大语言模型的施工安全风险提示方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118071153A (zh) * 2024-04-17 2024-05-24 中南建筑设计院股份有限公司 基于bim和大语言模型的施工安全风险提示方法及***

Similar Documents

Publication Publication Date Title
Marshall et al. Toward systematic review automation: a practical guide to using machine learning tools in research synthesis
US11721230B2 (en) Personalized learning system and method for the automated generation of structured learning assets based on user data
Omar et al. Automated analysis of exam questions according to Bloom's taxonomy
US11631338B2 (en) Deep knowledge tracing with transformers
CN113377936B (zh) 智能问答方法、装置及设备
CN112036842B (zh) 一种科技服务智能匹配装置
Wulff et al. Computer-based classification of preservice physics teachers’ written reflections
CN117851604A (zh) 一种支持大语言模型技术的建筑工程知识库搭建方法
CN110310012B (zh) 数据分析方法、装置、设备及计算机可读存储介质
CN117668180A (zh) 文档问答方法、文档问答设备以及可读存储介质
Secer et al. Ontology mapping using bipartite graph
Banerjee et al. Neural language model based intelligent semantic information retrieval on NCDOT projects for knowledge management
CN113901793A (zh) 结合rpa和ai的事件抽取方法及装置
Wang et al. Using workflow patterns to model and validate service requirements
Reyna et al. How to Generate and Import Functional Test Cases into a Project Management Software System using Natural Language Processing
Stašák et al. Semantic technology and linguistic modelling in business strategy design and evaluation
Lagakis et al. Automated Essay Feedback Generation in the Learning of Writing: A Review of the Field
CN117435746B (zh) 基于自然语言处理的知识点标注方法及***
Mehta et al. Graduate prediction using ontology approach
CN117540004B (zh) 基于知识图谱和用户行为的工业领域智能问答方法及***
Guo Course Analysis and Management System Design Based on Big Data Technology
Scott et al. Case Study: Customised Enhancement of an MBSE Environment for Transport Infrastructure Projects
Wiratunga et al. RubricAce TM: a case-based feedback recommender for coursework assessment⋆
Wang et al. Infusing topic modeling into interactive program comprehension: An empirical study
Alhamed et al. iGrade: an automated short answer grading system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination