CN116259407A - 基于多模态数据的疾病诊断方法、装置、设备及介质 - Google Patents
基于多模态数据的疾病诊断方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116259407A CN116259407A CN202310550630.5A CN202310550630A CN116259407A CN 116259407 A CN116259407 A CN 116259407A CN 202310550630 A CN202310550630 A CN 202310550630A CN 116259407 A CN116259407 A CN 116259407A
- Authority
- CN
- China
- Prior art keywords
- feature
- features
- text
- image
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 127
- 238000003745 diagnosis Methods 0.000 title claims abstract description 83
- 201000010099 disease Diseases 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000004927 fusion Effects 0.000 claims abstract description 75
- 239000013598 vector Substances 0.000 claims abstract description 63
- 238000013507 mapping Methods 0.000 claims abstract description 30
- 208000024891 symptom Diseases 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000002405 diagnostic procedure Methods 0.000 claims 1
- 238000012549 training Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000007499 fusion processing Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000005338 frosted glass Substances 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010013700 Drug hypersensitivity Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000005311 drug allergy Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及医学诊疗技术领域，具体公开了一种基于多模态数据的疾病诊断方法、装置、设备及介质，其中，方法包括以下步骤：分别提取问题文本特征、病症文本特征、音频特征和图像特征；将病症文本特征、音频特征和图像特征映射至同一维度下，并进行特征对齐处理；融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量；拼接问题文本特征和融合特征向量获取拼接向量；将拼接向量置入预先训练好的语言模型生成诊断结果；该方法能充分挖掘不同模态数据之间的关联性和差异性，解决了多模态数据因为数据之间的差异性而难以捕捉其关系的问题，以将各类特征进行有效融合，能有效缓解医生疲劳，并提高疾病诊断准确率。
Description
技术领域
本申请涉及医学诊疗技术领域，具体而言，涉及一种基于多模态数据的疾病诊断方法、装置、设备及介质。
背景技术
医学作为一门经验学科，需要门诊医生在疾病预测、病情分析、药方存储等方面具有丰富的经验。而深度学习技术的引入，可以很好的在这方面提供支持，辅助医师进行疾病诊断，减少主观因素的影响，提高诊断的准确性。
现有的利用深度学习技术进行疾病诊断的方法或***一般采用特定类型的模态数据（如文字、图片）作为输入数据来进行疾病诊断，现有的采用单一模态数据进行分析的模型无法准确对疾病做出判定；同时由于不同类型模态数据之间存在差异性，现有的采用多类模态数据进行分析的模型难以捕捉不同模态数据的差异性而存在诊断准确率低的问题。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请的目的在于提供一种基于多模态数据的疾病诊断方法、装置、设备及介质，以实现多模态数据的有效融合来提高关于模型的疾病诊断准确率。
第一方面，本申请提供了一种基于多模态数据的疾病诊断方法，用于根据多模态数据进行疾病诊断，所述多模态数据包括问题文本信息、病症文本信息、音频信息和图像信息，所述方法包括以下步骤：
分别根据问题文本信息、病症文本信息、音频信息和图像信息提取问题文本特征、病症文本特征、音频特征和图像特征；
将病症文本特征、音频特征和图像特征映射至同一维度下，并进行特征对齐处理；
融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量；
拼接所述问题文本特征和所述融合特征向量获取拼接向量；
将拼接向量置入预先训练好的语言模型生成诊断结果。
本申请的基于多模态数据的疾病诊断方法能充分挖掘不同模态数据之间的关联性和差异性，解决了多模态数据因为数据之间的差异性而难以捕捉其关系的问题，以将各类特征进行有效融合，并解决基于模态数据训练导致的模型容易引起误判、漏诊的问题。
所述的基于多模态数据的疾病诊断方法，其中，所述特征对齐处理包括：
基于三元排序损失函数将映射至同一维度下的病症文本特征和音频特征分别与图像特征对齐。
所述的基于多模态数据的疾病诊断方法，其中，所述三元排序损失函数为基于折页的三元排序损失函数，其表达式：
其中，Lmatching为所述基于折页的三元排序损失函数，α、β为边缘参数，I、V和T分别为映射至同一维度下的图像特征、音频特征和病症文本特征，
和/>
分别为特征对（I、V）之间相似度最低的局部音频特征和局部图像特征，/>
和/>
分别为特征对（I、T）之间相似度最低的局部文本特征和局部图像特征，S（,）为相似性函数，[x]+=max（x,0），表示取填入数据x与0中的最大值。
该基于折页的三元排序损失函数能使三种模态数据的特征以图像特征为对齐基准实现特征对齐，以充分明确不同模态数据的特征之间的特征关系，使得本申请的方法能在精准捕捉不同模态数据之间的差异性和相似性的前提下进行特征对齐，以为后续特征融合搭建桥梁。
所述的基于多模态数据的疾病诊断方法，其中，所述拼接所述问题文本特征和所述融合特征向量获取拼接向量的步骤包括：
以所述问题文本特征作为令牌与所述融合特征向量拼接获取所述拼接向量[Tm,Z],其中，Tm为所述问题文本特征，Z为所述融合特征向量。
所述的基于多模态数据的疾病诊断方法，其中，所述图像特征包括多个显著的图像区域特征。
所述的基于多模态数据的疾病诊断方法，其中，所述问题文本信息和所述病症文本信息基于同一文本编码器进行特征提取以获取所述问题文本特征和病症文本特征。
所述的基于多模态数据的疾病诊断方法，其中，所述融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量的步骤包括：
基于门控专家神经网络获取分别对应于病症文本特征、音频特征和图像特征的文本特征融合权值、音频特征融合权值和图像特征融合权值；
根据所述文本特征融合权值、所述音频特征融合权值和所述图像特征融合权值融合特征对齐后的病症文本特征、音频特征和图像特征生成所述融合特征向量。
第二方面，本申请还提供了一种基于多模态数据的疾病诊断装置，用于根据多模态数据进行疾病诊断，所述多模态数据包括问题文本信息、病症文本信息、音频信息和图像信息，所述装置包括：
特征提取模块，用于分别根据问题文本信息、病症文本信息、音频信息和图像信息提取问题文本特征、病症文本特征、音频特征和图像特征；
特征映射模块，用于将病症文本特征、音频特征和图像特征映射至同一维度下，并进行特征对齐处理；
特征融合模块，用于融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量；
拼接模块，用于拼接所述问题文本特征和所述融合特征向量获取拼接向量；
诊断模块，用于将拼接向量置入预先训练好的语言模型生成诊断结果。
本申请的基于多模态数据的疾病诊断装置能充分挖掘不同模态数据之间的关联性和差异性，解决了多模态数据因为数据之间的差异性而难以捕捉其关系的问题，以将各类特征进行有效融合，并解决基于模态数据训练导致的模型容易引起误判、漏诊的问题。
第三方面，本申请还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请提供了一种基于多模态数据的疾病诊断方法、装置、设备及介质，其中，基于多模态数据的疾病诊断方法，在根据多模态数据提取对应的特征后，基于映射、特征对齐、融合处理获取了能置入语言模型中使用的融合特征向量，并结合作为令牌的问题文本特征构成拼接向量以置入语言模型中生成诊断结果；该疾病诊断方法能充分挖掘不同模态数据之间的关联性和差异性，解决了多模态数据因为数据之间的差异性而难以捕捉其关系的问题，以将各类特征进行有效融合，并解决基于模态数据训练导致的模型容易引起误判、漏诊的问题，其生成的诊断结果能为医生提供更准确的诊断依据，能有效缓解医生疲劳，并提高疾病诊断准确率。
附图说明
图1为本申请实施例提供的基于多模态数据的疾病诊断方法的流程图。
图2为本申请实施例提供的基于多模态数据的疾病诊断装置的结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
附图标记：201、特征提取模块；202、特征映射模块；203、特征融合模块；204、拼接模块；205、诊断模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
第一方面，请参照图1，本申请一些实施例提供了一种基于多模态数据的疾病诊断方法，用于根据多模态数据进行疾病诊断，多模态数据包括问题文本信息、病症文本信息、音频信息和图像信息，方法包括以下步骤：
S1、分别根据问题文本信息、病症文本信息、音频信息和图像信息提取问题文本特征、病症文本特征、音频特征和图像特征；
S2、将病症文本特征、音频特征和图像特征映射至同一维度下，并进行特征对齐处理；
S3、融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量；
S4、拼接问题文本特征和融合特征向量获取拼接向量；
S5、将拼接向量置入预先训练好的语言模型生成诊断结果。
具体地，上述多模态数据均为关于问诊对象身体状态相关的数据信息；其中，问题文本信息为疾病相关的问题模板，如“是否患有特定疾病、疾病是否转移、是否存在药物过敏”等相关问题的文字内容；病症文本信息为问诊对象对于自身疾病的描述内容，可以是包括对应于问题文本信息的描述内容，还可以是还包括问诊对象对身体状态的描述内容等；音频信息为关于问诊对象的病症音频数据，包括基于医疗器械获取的关于问诊对象身体状况的音频数据，如包括心跳音频数据、脉诊音频数据、骨骼声响数据等；图像信息为关于问诊对象的病症图像数据，如包括彩超数据、B超数据、疾病部位的普通照片数据等。
更具体地，步骤S1中利用预先训练好的编码器便能根据对应类型的模态数据提取出对应的模态特征，如利用文本编码器根据问题文本信息便能提取出问题文本特征。
更具体地，为了解决不同模态数据因特征之间的差异性而无法有效捕捉不同特征间的关系而难以综合利用的问题，本申请实施例的方法通过映射处理的方式将不同模态数据的特征统一到统一特征空间中并进行特征对齐处理，使得步骤S3能将同一特征空间中对齐的多种模态数据的特征进行有效融合。
更具体地，特征对齐后的三类特征可基于现有的特征融合模型进行融合，并生成一个特征向量作为语言模型的输入数据，语言模型为文字信息输出模型，如GPT4、n-gram、Glove等；在该实施方式中，在映射、特征对齐、融合处理下，多模态数据的特征实现了有效融合，使得语言模型能综合多模态数据的特点进行训练和分析，从而能根据不同模态数据各自和关联的病症特点进行疾病诊断，有效提高疾病诊断的准确率。
更具体地，语言模型输入的拼接向量还包含了问题文本特征，作为令牌使用过的问题文本特征能作为语言模型输入的访问权限验证的手段，防止非合规问题影响语言模型的诊断分析结果或非法使用该语言模型，同时还能引导疾病分析方向，使得语言模型能根据令牌进行访问验证和问诊引导，有效提高疾病诊断的安全性、准确性。
本申请实施例的基于多模态数据的疾病诊断方法，在根据多模态数据提取对应的特征后，基于映射、特征对齐、融合处理获取了能置入语言模型中使用的融合特征向量，并结合作为令牌的问题文本特征构成拼接向量以置入语言模型中生成诊断结果；该疾病诊断方法能充分挖掘不同模态数据之间的关联性和差异性，解决了多模态数据因为数据之间的差异性而难以捕捉其关系的问题，以将各类特征进行有效融合，并解决基于模态数据训练导致的模型容易引起误判、漏诊的问题，其生成的诊断结果能为医生提供更准确的诊断依据，能有效缓解医生疲劳，并提高疾病诊断准确率。
在一些优选的实施方式中，步骤S1包括：
利用文本编码器根据问题文本信息获取问题文本特征，利用文本编码器根据病症文本信息获取病症文本特征，利用音频编码器根据音频信息获取音频特征，利用图像编码器根据图像信息获取图像特征。
其中，问题文本信息和病症文本信息可以采用相同或不同的文本编码器来提取对应的特征；在本申请实施例中，由于问题文本信息与病症文本信息对应相关，且均属于文字内容，故问题文本信息和病症文本信息优选为基于同一文本编码器进行特征提取以获取问题文本特征和病症文本特征，能节省数据分析资源，并保证步骤S1获取的问题文本特征和病症文本特征保留了相关性。
更具体地，编码器的类型可以按照输入数据的特征特点进行选用；在本申请实施例中，文本编码器优选为采用doc2vec模型，doc2vec模型能从不定长的文本中学习得到固定长度的特征表示，即能根据不同信息量的问题文本信息或病症文本信息生成特定长度的问题文本特征或病症文本特征，以利用单一长度的特征向量表征特定文档内容；其中，该doc2vec模型的网络参数记为WT，问题文本信息记为XPr，病症文本信息记为XT，问题文本特征记为Tm，病症文本特征记为T。
更具体地，在本申请实施例中，音频编码器优选为采用transformer模型，transformer模型利用自注意力机制捕捉序列中的长距离依赖关系，缓解了音频信息中声音事件可能相隔较远的问题；此外，transformer模型包含多个编码器和解码器层，可以在不同层次上学习音频数据的特征表示，有助于捕捉不同时间尺度和复杂度的音频结构，以根据音频信息获取能准确表征病症特点的音频特征；其中，该transformer模型的网络参数记为WV，音频信息记为XV，音频特征记为V。
更具体地，在本申请实施例中，图像编码器优选为yolov5模型，yolov5模型基于预测实例类以及属性类而非图像中的对象类来进行特征提取，因此可以学习到包含更丰富语音数据的特征表示，其中，该yolov5模型的网络参数记为WI，图像信息记为XI，图像特征记为I。
更具体地，实例类包括难以识别的对象和突出的东西，如“毛玻璃状”之类的属性以及诸如“肺部”、“心脏”之类的物体，一个图像信息可能存在多个特征区域，如“毛玻璃状”之类的属性以及诸如“肺部”、“心脏”之类的物体；因此，本申请实施例的方法以预设的交并比阈值（可根据使用需求设定,如0.7）作为非最大压缩作用于yolov5模型的最终输出上，并设置目标检测置信度阈值（可根据使用需求设定,如0.3），以使得yolov5模型能根据图像信息筛选出具有高类别检测置信度的N个图像重点区域（N可根据使用需求设定，N为正整数），其中，Ii为图像特征中第i个图像重点区域的图像区域特征。
因此，在本申请实施例中，图像特征包括多个显著的图像区域特征，故记I={I1，…，Ii，…，IN}，即I利用了所有图像重点区域的图像区域特征来标识整张图片，不同图像区域特征能表征图像信息中不同对象（如对应于不同人体脏器）的病症。
在一些优选的实施方式中，将病症文本特征、音频特征和图像特征映射至同一维度下的步骤为分别基于对应的映射网络将病症文本特征、音频特征和图像特征映射至同一维度下；其中，病症文本特征基于文本映射网络进行映射，音频特征基于音频映射网络进行映射，图像特征基于图像映射网络进行映射。
具体地，不同映射网络的参数可以是设定所得，还可以是训练获取，病症文本特征、音频特征和图像特征各自对应的映射网络的网络参数分别记为θT、θV、θI，设置上述三种映射网络的目的是将三种模态数据的特征映射到同一维度中，即将三种模态数据的特征映射到同一特征空间中，以便于后续处理步骤充分挖掘不同模态数据的特征之间的关系；其中，该维度记为RD，由于图像特征中包含多个显著的图像区域特征，故映射处理后的图像特征的维度可以记为RN×D。
更具体地，映射处理后的病症文本特征、音频特征和图像特征只改变了维度而不改变特征特点，故本申请实施例的方法依然采用T、V、I分别代表映射处理后的病症文本特征、音频特征和图像特征（后续处理步骤中的病症文本特征、音频特征和图像特征均指映射处理后的病症文本特征、音频特征和图像特征）。
为了更准确的挖掘出不同模态数据的特征之间的关系，本申请实施例的方法还需要将映射处理后的三种特征进行对齐，其中，特征对齐处理过程可以是以第四方参考特征作为基准来对齐，或以三种特征中的一种作为基准来对齐；由于图像信息包含着最为广泛的与疾病相关的语义信息，因此，在一些优选的实施方式中，特征对齐处理包括：
基于三元排序损失函数将映射至同一维度下的病症文本特征和音频特征分别与图像特征对齐。
在一些优选的实施方式中，本申请实施例的方法在现有的三元排序损失函数的基础上，设计了一种基于折页的三元排序损失函数，其表达式：
其中，Lmatching为基于折页的三元排序损失函数，α、β为边缘参数，I、V和T分别为映射至同一维度下的图像特征、音频特征和病症文本特征，
和/>
分别为特征对（I、V）之间相似度最低的局部音频特征和局部图像特征，/>
和/>
分别为特征对（I、T）之间相似度最低的局部文本特征和局部图像特征，S（,）为相似性函数，[x]+=max（x,0），表示取x与0中的最大值。
需要说明的是，相似度为元素相似性的度量值，在本申请实施例中，相似度越低表明元素相似性越高。
具体地，基于折页的三元排序损失函数能够同时对三种模态数据的特征进行特征对齐处理，通过优化相似度最低的特征对（即两类特征）来促进所有特征之间的对齐，从而实现不同模态数据的特征对齐处理；其中，基于式（1）可知，该特征对齐包括两部分：第一部分是以图像特征和音频特征作为训练查询，实现图像特征和音频特征的对齐，第二部分是以图像特征和病症文本特征作为训练查询，实现图像特征和病症文本特征的对齐。
更具体地，基于式（1）可知，α、β分别为控制图像特征与音频特征对齐以及控制图像特征与病症文本特征对齐的边缘参数，两者均为大于0的超参数，可根据使用需求进行设定，使得上述基于折页的三元排序损失函数在调整过程中能遵循整体能够取得最小的原则；在本申请实施例中，α、β均优选为0.2，能使上述基于折页的三元排序损失函数稳定优化，以实现三种模态数据的特征对齐。
更具体地，相似性函数S（,）为用于测量其内两种元素之间相似性的函数，可根据使用需求进行选用，在本申请实施例中，该相似性函数优选采用基于cosine similarity（余弦相似度）作为相似性度量的函数（其输出值越小表征两种元素越相似）。
更具体地，
、/>
、/>
和/>
分别满足：
其中，argmin为目标最小化函数，故式（2）中的j为遍历V中找到的第j个局部音频特征；式（3）中的d为遍历I中找到的第d个局部图像特征；式（4）中的r为遍历T中找到的第r个局部文本特征；式（5）中的e为遍历I中找到的第e个局部图像特征；基于式（2）-（5），j、d、r、e为基于argmin函数遍历相应的局部特征而确定。
更具体地，最小化Lmatching能确定最优的
、/>
、/>
和/>
使得音频特征和图像特征能根据/>
和/>
的对齐而实现特征对齐，同时使得病症文本特征和图像特征能根据/>
和/>
的对齐而实现特征对齐，从而使得三种模态数据的特征以图像特征为对齐基准实现特征对齐，以充分明确不同模态数据的特征之间的特征关系，使得本申请实施例的方法能在精准捕捉不同模态数据之间的差异性和相似性的前提下进行特征对齐，以为后续特征融合搭建桥梁。
在明确了不同模态数据的特征之间的关系后，可利用现有的特征融合手段将已经映射至同一维度中的多模态数据的特征进行融合；由于不同类型的模态数据所能反映的疾病特点具有一定差异性，对应于不同的诊断结果具有不同的约束性和影响性，故本申请实施例的方法优选为采用门控专家神经网络对多模态数据的特征进行融合处理，以获取不同模态数据的特征与任务（疾病诊断）的影响关系来确定不同模态数据的特征的融合权值来进行特征融合；因此，在一些优选的实施方式中，融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量的步骤包括：
基于门控专家神经网络获取分别对应于病症文本特征、音频特征和图像特征的文本特征融合权值、音频特征融合权值和图像特征融合权值；
根据文本特征融合权值、音频特征融合权值和图像特征融合权值融合特征对齐后的病症文本特征、音频特征和图像特征生成融合特征向量。
具体地，门控专家神经网络为一个多层感知机网络，其作用为根据不同模态数据的特征与任务之间的相关性分配对应大小的融合权值给不同模态数据的特征，从而将不同模态数据的特征进行有效融合；其中，在本申请实施例中，文本特征融合权值记为gT，音频特征融合权值记为gV，图像特征融合权值记为gI，满足gT+gV+gI=1，三个融合权值基于下式确定：
gV,gI,gT=softmax（Wg·[V,I,T]+bg） （6）
其中，softmax为归一化函数，Wg为门控专家神经网络的网络参数，bg的门控专家神经网络的偏置值，[,,]表示拼接向量操作符；基于式（6）确定gV，gI和gT后，可将特征对齐后的三种模态特征进行融合，其融合后获取的融合特征向量表示为Z，满足：
Z=gT·T+gV·V+gI·I，Z∈RD （7）
基于上述融合处理获取的融合特征向量Z综合了病症文本信息、音频信息和视频信息的模态特征，并充分考虑了不同模态特征对于疾病诊断的关联性进行权值分配，能有效提高后续生成的诊断结果的准确性。
在一些优选的实施方式中，拼接问题文本特征和融合特征向量获取拼接向量的步骤包括：
以问题文本特征作为令牌与融合特征向量拼接获取拼接向量[Tm,Z],其中，Tm为问题文本特征，Z为融合特征向量。
具体地，作为令牌（token）使用的问题文本特征能作为语言模型的访问请求，语言模型在分析到拼接向量中存在符合验证需要的令牌后才能进行分析，提高模型分析的安全性、稳定性；在别的实施方式中，本申请实施例的方法提供多种问题文本信息，语言模型能根据拼接向量中基于不同类型的问题文本信息获取的问题文本特征进行识别分类，再进行疾病分析，即基于作为令牌的问题文本特征作为疾病类型初筛手段，从而进一步提高疾病诊断的准确率。
在一些优选的实施方式中，语言模型为输出语言形式（如文字、语音）的诊断结论的学习模型，该语言模型的网络参数记为θlan。
具体地，语言模型、编码器、映射网络及门控专家神经网络均为预先训练好的模型，可以是在正式使用前各自单独训练确定，也可以是在正式使用前共同学习训练确定，在本申请实施例中，优选为后者；其中，将语言模型、编码器、映射网络及门控专家神经网络组成的整体的损伤函数定义为Lce，则有：
其中，YT为训练标签，即为实际采集到的真实诊断文本，如医生针对问诊对象的病症确定的疾病描述；利用梯度下降法更新Lce中的网络参数即可完成语言模型、编码器、映射网络及门控专家神经网络的训练。
更具体地，由于编码器的网络参数调整会影响不同模态数据的特征的输出结果，会影响特征对齐处理效果，因此，在本申请实施例中，训练语言模型、编码器、映射网络及门控专家神经网络的过程，引入Lmatching来进行训练，故定义整体损失函数L，其满足：
L=γ·Lce+δ·Lmatching （9）
其中，γ和δ分别为控制Lce和Lmatching影响的超参数，可根据实际需要进行设定，在本申请实施例中，优选为γ=δ=0.5。
更具体地，基于前述内容可知，Lmatching为遍历特征确定的损失值，故其无需进行训练，而是根据编码器提取的调整维度后的特征自适应调节结果，因此，该整体损失函数训练的网络参数与Lce一致，训练方法也采用梯度下降法来进行，其整体网络参数表示为θ=(θlan,θT,θV,θI,WT,WV,WI,Wg,bg),使得模型训练过程中充分考虑了特征对齐关系，以确保不同模态特征能准确映射到同一特征空间中，并在对齐后进行综合分析，有效提高语言模型分析的准确性，以提高疾病诊断的准确率。
第二方面，请参照图2，本申请一些实施例还提供了一种基于多模态数据的疾病诊断装置，用于根据多模态数据进行疾病诊断，多模态数据包括问题文本信息、病症文本信息、音频信息和图像信息，装置包括：
特征提取模块201，用于分别根据问题文本信息、病症文本信息、音频信息和图像信息提取问题文本特征、病症文本特征、音频特征和图像特征；
特征映射模块202，用于将病症文本特征、音频特征和图像特征映射至同一维度下，并进行特征对齐处理；
特征融合模块203，用于融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量；
拼接模块204，用于拼接问题文本特征和融合特征向量获取拼接向量；
诊断模块205，用于将拼接向量置入预先训练好的语言模型生成诊断结果。
本申请实施例的基于多模态数据的疾病诊断装置，在根据多模态数据提取对应的特征后，基于映射、特征对齐、融合处理获取了能置入语言模型中使用的融合特征向量，并结合作为令牌的问题文本特征构成拼接向量以置入语言模型中生成诊断结果；该疾病诊断装置能充分挖掘不同模态数据之间的关联性和差异性，解决了多模态数据因为数据之间的差异性而难以捕捉其关系的问题，以将各类特征进行有效融合，并解决基于模态数据训练导致的模型容易引起误判、漏诊的问题，其生成的诊断结果能为医生提供更准确的诊断依据，能有效缓解医生疲劳，并提高疾病诊断准确率。
在一些优选的实施方式中，本申请实施例的基于多模态数据的疾病诊断装置用于执行上述第一方面提供的基于多模态数据的疾病诊断方法。
第三方面，请参照图3，本申请一些实施例还提供了一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机可读取指令，当电子设备运行时，处理器301执行该计算机可读取指令，以执行时执行上述实施例的任一可选的实现方式中的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-OnlyMemory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于多模态数据的疾病诊断方法，用于根据多模态数据进行疾病诊断，其特征在于，所述多模态数据包括问题文本信息、病症文本信息、音频信息和图像信息，所述方法包括以下步骤：
分别根据问题文本信息、病症文本信息、音频信息和图像信息提取问题文本特征、病症文本特征、音频特征和图像特征；
将病症文本特征、音频特征和图像特征映射至同一维度下，并进行特征对齐处理；
融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量；
拼接所述问题文本特征和所述融合特征向量获取拼接向量；
将拼接向量置入预先训练好的语言模型生成诊断结果。
2.根据权利要求1所述的基于多模态数据的疾病诊断方法，其特征在于，所述特征对齐处理包括：
基于三元排序损失函数将映射至同一维度下的病症文本特征和音频特征分别与图像特征对齐。
3.根据权利要求2所述的基于多模态数据的疾病诊断方法，其特征在于，所述三元排序损失函数为基于折页的三元排序损失函数，其表达式：
其中，Lmatching为所述基于折页的三元排序损失函数，α、β为边缘参数，I、V和T分别为映射至同一维度下的图像特征、音频特征和病症文本特征，
和/>
分别为特征对（I、V）之间相似度最低的局部音频特征和局部图像特征，/>
和/>
分别为特征对（I、T）之间相似度最低的局部文本特征和局部图像特征，S（,）为相似性函数，[x]+=max（x,0），表示取x与0中的最大值。
4.根据权利要求1所述的基于多模态数据的疾病诊断方法，其特征在于，所述拼接所述问题文本特征和所述融合特征向量获取拼接向量的步骤包括：
以所述问题文本特征作为令牌与所述融合特征向量拼接获取所述拼接向量[Tm,Z],其中，Tm为所述问题文本特征，Z为所述融合特征向量。
5.根据权利要求1所述的基于多模态数据的疾病诊断方法，其特征在于，所述图像特征包括多个显著的图像区域特征。
6.根据权利要求1所述的基于多模态数据的疾病诊断方法，其特征在于，所述问题文本信息和所述病症文本信息基于同一文本编码器进行特征提取以获取所述问题文本特征和病症文本特征。
7.根据权利要求1所述的基于多模态数据的疾病诊断方法，其特征在于，所述融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量的步骤包括：
基于门控专家神经网络获取分别对应于病症文本特征、音频特征和图像特征的文本特征融合权值、音频特征融合权值和图像特征融合权值；
根据所述文本特征融合权值、所述音频特征融合权值和所述图像特征融合权值融合特征对齐后的病症文本特征、音频特征和图像特征生成所述融合特征向量。
8.一种基于多模态数据的疾病诊断装置，用于根据多模态数据进行疾病诊断，其特征在于，所述多模态数据包括问题文本信息、病症文本信息、音频信息和图像信息，所述装置包括：
特征提取模块，用于分别根据问题文本信息、病症文本信息、音频信息和图像信息提取问题文本特征、病症文本特征、音频特征和图像特征；
特征映射模块，用于将病症文本特征、音频特征和图像特征映射至同一维度下，并进行特征对齐处理；
特征融合模块，用于融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量；
拼接模块，用于拼接所述问题文本特征和所述融合特征向量获取拼接向量；
诊断模块，用于将拼接向量置入预先训练好的语言模型生成诊断结果。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一项所述方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310550630.5A CN116259407B (zh) | 2023-05-16 | 2023-05-16 | 基于多模态数据的疾病诊断方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310550630.5A CN116259407B (zh) | 2023-05-16 | 2023-05-16 | 基于多模态数据的疾病诊断方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116259407A true CN116259407A (zh) | 2023-06-13 |
| CN116259407B CN116259407B (zh) | 2023-07-25 |
Family
ID=86682951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310550630.5A Active CN116259407B (zh) | 2023-05-16 | 2023-05-16 | 基于多模态数据的疾病诊断方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116259407B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116340778A (zh) * | 2023-05-25 | 2023-06-27 | 智慧眼科技股份有限公司 | 基于多模态的医疗大模型构建方法及其相关设备 |
| CN116631567A (zh) * | 2023-07-21 | 2023-08-22 | 紫东信息科技(苏州)有限公司 | 一种胃镜检查报告生成装置、设备及计算机可读存储介质 |
| CN117557883A (zh) * | 2024-01-12 | 2024-02-13 | 中国科学技术大学 | 基于病理对齐扩散网络的医疗多模态内容分析及生成方法 |
| CN117611845A (zh) * | 2024-01-24 | 2024-02-27 | 浪潮通信信息***有限公司 | 多模态数据的关联识别方法、装置、设备及存储介质 |
| CN118155638A (zh) * | 2024-05-07 | 2024-06-07 | 武汉人工智能研究院 | 基于大语言模型的语音生成和理解***、方法和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113095081A (zh) * | 2021-06-11 | 2021-07-09 | 深圳市北科瑞声科技股份有限公司 | 疾病的识别方法及装置、存储介质、电子装置 |
| CN113780012A (zh) * | 2021-09-30 | 2021-12-10 | 东南大学 | 基于预训练语言模型的抑郁症访谈对话生成方法 |
| CN114579723A (zh) * | 2022-03-02 | 2022-06-03 | 平安科技（深圳）有限公司 | 问诊方法和装置、电子设备及存储介质 |
| CN115223678A (zh) * | 2022-07-27 | 2022-10-21 | 重庆师范大学 | 基于多任务多模态深度学习的x光胸片诊断报告生成方法 |
| CN115732076A (zh) * | 2022-11-16 | 2023-03-03 | 四川大学华西医院 | 一种多模态抑郁数据的融合分析方法 |
-
2023
- 2023-05-16 CN CN202310550630.5A patent/CN116259407B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113095081A (zh) * | 2021-06-11 | 2021-07-09 | 深圳市北科瑞声科技股份有限公司 | 疾病的识别方法及装置、存储介质、电子装置 |
| CN113780012A (zh) * | 2021-09-30 | 2021-12-10 | 东南大学 | 基于预训练语言模型的抑郁症访谈对话生成方法 |
| CN114579723A (zh) * | 2022-03-02 | 2022-06-03 | 平安科技（深圳）有限公司 | 问诊方法和装置、电子设备及存储介质 |
| CN115223678A (zh) * | 2022-07-27 | 2022-10-21 | 重庆师范大学 | 基于多任务多模态深度学习的x光胸片诊断报告生成方法 |
| CN115732076A (zh) * | 2022-11-16 | 2023-03-03 | 四川大学华西医院 | 一种多模态抑郁数据的融合分析方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116340778A (zh) * | 2023-05-25 | 2023-06-27 | 智慧眼科技股份有限公司 | 基于多模态的医疗大模型构建方法及其相关设备 |
| CN116340778B (zh) * | 2023-05-25 | 2023-10-03 | 智慧眼科技股份有限公司 | 基于多模态的医疗大模型构建方法及其相关设备 |
| CN116631567A (zh) * | 2023-07-21 | 2023-08-22 | 紫东信息科技(苏州)有限公司 | 一种胃镜检查报告生成装置、设备及计算机可读存储介质 |
| CN116631567B (zh) * | 2023-07-21 | 2023-10-13 | 紫东信息科技(苏州)有限公司 | 一种胃镜检查报告生成装置、设备及计算机可读存储介质 |
| CN117557883A (zh) * | 2024-01-12 | 2024-02-13 | 中国科学技术大学 | 基于病理对齐扩散网络的医疗多模态内容分析及生成方法 |
| CN117611845A (zh) * | 2024-01-24 | 2024-02-27 | 浪潮通信信息***有限公司 | 多模态数据的关联识别方法、装置、设备及存储介质 |
| CN117611845B (zh) * | 2024-01-24 | 2024-04-26 | 浪潮通信信息***有限公司 | 多模态数据的关联识别方法、装置、设备及存储介质 |
| CN118155638A (zh) * | 2024-05-07 | 2024-06-07 | 武汉人工智能研究院 | 基于大语言模型的语音生成和理解***、方法和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116259407B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116259407B (zh) | 基于多模态数据的疾病诊断方法、装置、设备及介质 | |
| US10902588B2 (en) | Anatomical segmentation identifying modes and viewpoints with deep learning across modalities | |
| US20240203599A1 (en) | Method and system of for predicting disease risk based on multimodal fusion | |
| CN112949786B (zh) | 数据分类识别方法、装置、设备及可读存储介质 | |
| CN107742100B (zh) | 一种考生身份验证方法及终端设备 | |
| CN110491502B (zh) | 显微镜视频流处理方法、***、计算机设备和存储介质 | |
| CN111316281A (zh) | 基于机器学习的自然语言情境中数值数据的语义分类 | |
| KR102222011B1 (ko) | 의료용 인공 신경망의 분석 결과를 평가하는 의료용 인공 신경망 기반 의료 영상 분석 장치 및 방법 | |
| Carchiolo et al. | Medical prescription classification: a NLP-based approach | |
| CN110720124A (zh) | 监测患者语言的使用以识别潜在的言语和相关的神经障碍 | |
| CN101944154A (zh) | 医用图像读影*** | |
| US11468989B2 (en) | Machine-aided dialog system and medical condition inquiry apparatus and method | |
| US11244755B1 (en) | Automatic generation of medical imaging reports based on fine grained finding labels | |
| CN111724136A (zh) | 病案首页信息的录入方法、装置及计算机设备 | |
| CN112100406B (zh) | 数据处理方法、装置、设备以及介质 | |
| TW201224826A (en) | Systems and methods for automated extraction of measurement information in medical videos | |
| CN111477320B (zh) | 治疗效果预测模型的构建***、治疗效果预测***及终端 | |
| WO2023160264A1 (zh) | 医疗数据处理方法、装置及存储介质 | |
| Fuhse | How can theories represent social phenomena? | |
| US20220108070A1 (en) | Extracting Fine Grain Labels from Medical Imaging Reports | |
| US11449680B2 (en) | Method for testing medical data | |
| CN117523275A (zh) | 基于人工智能的属性识别方法及属性识别模型训练方法 | |
| CN111008269A (zh) | 数据处理方法及装置、存储介质及电子终端 | |
| CN113516142A (zh) | 文本图像匹配方法、装置、设备及存储介质 | |
| CN113707304B (zh) | 分诊数据处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |