CN111063455A - 远程医疗的人机交互方法和装置 - Google Patents
远程医疗的人机交互方法和装置 Download PDFInfo
- Publication number
- CN111063455A CN111063455A CN201911194970.9A CN201911194970A CN111063455A CN 111063455 A CN111063455 A CN 111063455A CN 201911194970 A CN201911194970 A CN 201911194970A CN 111063455 A CN111063455 A CN 111063455A
- Authority
- CN
- China
- Prior art keywords
- information
- medical
- database
- searching
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003993 interaction Effects 0.000 title claims abstract description 42
- 238000003745 diagnosis Methods 0.000 claims abstract description 22
- 239000013598 vector Substances 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000015654 memory Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本申请公开了一种远程医疗的人机交互方法和装置。其中，该方法包括：获取语音信息，语音信息为目标终端采集到的用于在医疗***中进行交互的信息，医疗***包括通过互联网连接的多个终端，多个终端包括位于诊断侧的目标终端；从数据库中查找与语音信息匹配的医疗信息；在目标终端的已有显示界面中显示医疗信息，已有显示界面为目标终端在医疗***中进行交互时的显示界面。本申请解决了相关技术中查找医疗信息的效率较低的技术问题。
Description
技术领域
本申请涉及互联网领域，具体而言，涉及一种远程医疗的人机交互方法和装置。
背景技术
随着社会的进步，经济的发展，还有人们素质的不断提高，我们的健康意识有普遍增强。但随之而来的问题是由于目前国内公共医疗管理***的不完善，医疗成本高、渠道少、覆盖面低等问题正困扰着老百姓。看病难且贵的就医现状亦成为社会关注的主要焦点。
一边是大医院人满为患，另一边却是社区医院却无人问津。医疗信息不畅，医疗资源两极化，医疗监督机制不全等己成为影响社会和谐发展的重要因素。这就使得本来就紧张的医疗资源显得更为捉襟见肘。
近几年来，互联网技术的快速发展。云平台作为互联网技术的一个分支，它是一种适应当前大数据业务的技术模式，经过多年的发展己经进人实际运营阶段，由于云平台技术强大的数据存储和数据分析能力，可以对破壁目前医疗问题提供解决方案，其中，基于互联网的远程会诊***不同于已有会议***，若需要某些医疗信息还需要手动查找，然后通过共享软件进行共享。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种远程医疗的人机交互方法和装置，以至少解决相关技术中查找医疗信息的效率较低的技术问题。
根据本申请实施例的一个方面，提供了一种远程医疗的人机交互方法，包括：获取语音信息，语音信息为目标终端采集到的用于在医疗***中进行交互的信息，医疗***包括通过互联网连接的多个终端，多个终端包括位于诊断侧的目标终端；从数据库中查找与语音信息匹配的医疗信息；在目标终端的已有显示界面中显示医疗信息，已有显示界面为目标终端在医疗***中进行交互时的显示界面。
根据本申请实施例的另一方面，还提供了一种远程医疗的人机交互装置，包括：获取单元，用于获取语音信息，语音信息为目标终端采集到的用于在医疗***中进行交互的信息的语音信息，医疗***包括通过互联网连接的多个终端，多个终端包括位于诊断侧的目标终端；查找单元，用于从数据库中查找与语音信息匹配的医疗信息；交互单元，用于在目标终端的已有显示界面中显示医疗信息，已有显示界面为目标终端在医疗***中进行交互时的显示界面。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
根据本申请实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
在本申请实施例中，在医生使用目标终端参与会诊的过程中，可以获取医生的语音信息；然后利用***自动从数据库中查找与语音信息匹配的医疗信息；在目标终端的已有显示界面(已有显示界面为目标终端在医疗***中进行交互时的显示界面)中显示医疗信息，而不再需要人工查找医疗信息，可以解决相关技术中查找医疗信息的效率较低的技术问题，进而达到提高查找医疗信息的效率的技术效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的远程医疗的人机交互方法的硬件环境的示意图；
图2是根据本申请实施例的一种可选的远程医疗的人机交互方法的流程图；
图3是根据本申请实施例的远程医疗的人机交互方案的示意图；
图4是根据本申请实施例的一种可选的远程医疗的人机交互装置的示意图；以及，
图5是根据本申请实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：
人工神经网络(Artificial Neural Networks，简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model)，是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型，在工程与学术界也常直接简称为“神经网络”或类神经网络，可模仿动物神经网络行为特征，是进行分布式并行信息处理的算法数学模型，这种网络依靠***的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
本方案可用于远程医疗的人机交互，目前并没有应用于远程医疗场景的相关技术，与之最接近的是远程视频会议***，其人机交互逻辑主要面向于会议、演讲等通用场景，而远程医疗领域与普通会议场景存在以下区别：(1)目前的视频会议，分享资料及字幕位置通过人工共享屏幕和调整来实现，而远程医疗的会诊过程中，需要大量的资料分享和字幕叠加，仅靠人工调整费时费力，极大影响会议进展；(2)目前的视频会议，只能呈现实时的会议内容(如视频、图像、文字等)，但远程医疗的会诊需要结合整个会诊的全局讨论内容进行综合诊断，因此仅呈现实时会议内容是远远不够的；(3)目前的视频会议，无法用准确专业的方式呈现远程医疗会诊中的术语及专业用语，无法准确地切割长段文字。
为了解决以提及的问题，根据本申请实施例的一个方面，提供了一种智能家电的实施例。
根据本申请实施例的一方面，提供了一种远程医疗的人机交互***的***实施例。
可选地，在本实施例中，上述远程医疗的人机交互方法可以应用于如图1所示的由多个终端101和服务器103所构成的硬件环境(即远程医疗的人机交互***)中。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务(如远程会诊服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101并不限定于PC、手机、平板电脑等。本申请实施例的远程医疗的人机交互方法可以由服务器103来执行，也可以由终端101来执行，还可以是由服务器103和终端101共同执行。其中，终端101执行本申请实施例的远程医疗的人机交互方法也可以是由安装在其上的客户端来执行。
根据本申请实施例的另一方面，还提供了一种远程医疗的人机交互方法的方法实施例。图2是根据本申请实施例的一种可选的远程医疗的人机交互方法的流程图，如图2所示，该方法可以包括以下步骤：
步骤S202，获取语音信息，语音信息为目标终端采集到的用于在医疗***中进行交互的信息，医疗***包括通过互联网连接的多个终端，多个终端包括位于诊断侧的目标终端。
在***中，终端为会诊的诊断侧使用的终端，诊断侧可以有多个处于异地的医生，每个医生使用一个终端，而目标终端即多个终端中正在发言(语音信息即目标终端获取的发言语音)的医生使用的终端；可选地，***中的终端还可以包括被诊断侧使用的终端，即病人使用的终端。
步骤S204，从数据库中查找与语音信息匹配的医疗信息。
步骤S206，在目标终端的已有显示界面中显示医疗信息，已有显示界面为目标终端在医疗***中进行交互时的显示界面。
通过上述步骤S202至步骤S206，在医生使用目标终端参与会诊的过程中，可以获取医生的语音信息；然后利用***自动从数据库中查找与语音信息匹配的医疗信息；在目标终端的已有显示界面(已有显示界面为目标终端在医疗***中进行交互时的显示界面)中显示医疗信息，而不再需要人工查找医疗信息，可以解决相关技术中查找医疗信息的效率较低的技术问题，进而达到提高查找医疗信息的效率的技术效果。
在步骤S202提供的技术方案中，获取语音信息，语音信息为目标终端采集到的用于在医疗***中进行交互的信息，医疗***包括通过互联网连接的多个终端，多个终端包括位于诊断侧的目标终端。
若步骤S202的执行主体是目标终端，那么目标终端可以通过麦克风获取医生在会诊过程中实时的语音信息；若步骤S202的执行主体是服务器，那么服务器可以通过互联网获取终端侧麦克风采集得到的语音信息。
在步骤S204提供的技术方案中，从数据库中查找与语音信息匹配的医疗信息。
在上述技术方案中，从数据库中查找与语音信息匹配的医疗信息包括：通过语音转换模块将语音信息转换为文本信息，其中，语音转换模块用于将语音转换为文本；从数据库中查找与文本信息匹配的医疗信息。
在一个可选的实施例中，数据库包括保存有与诊断对象关联的医疗信息的第一数据库，从数据库中查找与文本信息匹配的医疗信息包括以下至少之一：从第一数据库中查找与文本信息中的对象标识匹配的第一医疗信息，对象标识用于标识目标诊断对象，也即可以通过名称匹配：调取医院管理***获取会诊患者的所有资料名称；从第一数据库中查找与文本信息中的关键词匹配的第一医疗信息，文本信息中的关键词与第一医疗信息中的关键词匹配，也即可通过对发言语音进行关键词识别，关键词如检查项目名称、检查结论、检查时间、人体部位名称等，获取发言语音中可能与患者资料有关的关键词，进而调取该份资料；从第一数据库中查找与文本信息中的医学术语匹配的第一医疗信息，第一医疗信息的医学术语与文本信息中的医学术语匹配，也即通过对发言语音进行术语识别，术语包括如资料全称、资料名称缩写、检查类型等，来调取相应的资料。通过该方案，可智能识别发言中的患者资料名称并呈现。
在上述实施例中，从第一数据库中查找与文本信息中的医学术语匹配的第一医疗信息包括：获取文本信息中的医学术语的第一词向量和第一数据库中医疗信息的第二词向量；利用第一词向量和第二词向量确定第一数据库中医疗信息与文本信息之间的相似度；将与文本信息之间的相似度大于第一阈值的医疗信息作为第一医疗信息。
上述的医学术语的词向量可以通过“Word2Vec”实现，即基本思想是把每个词表征为K维的实数向量(每个实数都对应着一个特征，可以是和其他单词之间的联系)，将相似的单词分组映射到向量空间的不同部分。也就是Word2Vec能在没有人为干涉下学习到单词之间的关系。而医疗信息与文本信息之间的相似度可以为医疗信息具有的与文本信息相同或者相似的术语的数量与文本信息的术语的数量之间的比值。
在又一个可选的实施例中，数据库包括保存有与会诊历史关联的医疗信息的第二数据库，从数据库中查找与文本信息匹配的医疗信息包括以下至少之一：从第二数据库中查找与文本信息中的关键词匹配的第二医疗信息，文本信息中的关键词与第二医疗信息中的关键词匹配，即通过对发言语音进行关键词识别调取会诊历史信息；从第二数据库中查找与文本信息中的医学术语匹配的第二医疗信息，第二医疗信息的医学术语与文本信息中的医学术语匹配，即通过将发言语音的文字与会诊历史记录的文字进行内容相关度计算来调取会诊历史信息。通过该方案，可智能识别发言内容与会议历史信息的关联并呈现。
可选地，从第二数据库中查找与文本信息中的医学术语匹配的第二医疗信息包括：获取文本信息中的医学术语的第三词向量和第二数据库中医疗信息的第四词向量；利用第三词向量和第四词向量确定第二数据库中医疗信息与文本信息之间的相似度；将与文本信息之间的相似度大于第二阈值的医疗信息作为第二医疗信息。
该方案与上述“利用第一词向量和第二词向量确定第一数据库中医疗信息与文本信息之间的相似度”类似，具体实现方式可以参考上文。
在上述实施例中，在从数据库中查找与文本信息匹配的医疗信息的过程中，从文本信息中提取医学术语包括：利用神经网络模型从文本信息中提取医学术语，神经网络模型是使用对医学术语进行标注后的语句文本进行训练后得到的，也即通过基于统计的术语提取算法进行识别，利用人工标注的术语句子训练模型，训练好的模型用于自动识别术语；通过将文本信息中的词语与术语词典中的词语进行比对从文本信息中提取医学术语，术语词典中保存有多个医学术语。
可选地，在通过语音转换模块将语音信息转换为文本信息之后，为了便于之后的会诊，可将本次会诊过程中的文本信息整理作为医疗信息(如会诊记录)保存在数据库中。
在步骤S206提供的技术方案中，在目标终端的已有显示界面中显示医疗信息，已有显示界面为目标终端在医疗***中进行交互时的显示界面。
在上述技术方案中，已有显示界面为第一应用的显示界面，在目标终端的已有显示界面中显示医疗信息包括：通过信息抓取工具抓取第二应用的展示信息，如通过截屏、录屏等方式实现，展示信息包括医疗信息，第二应用与第一应用不同；将展示信息显示在显示界面中，也即使用指定的专业应用程序(第二应用)呈现信息，并通过视频抓取显示到会诊画面(即已有显示界面)上，或将展示信息叠加在已有显示界面上，即在会诊画面上切分出一块区域，通过视频叠加显示到会诊画面上。
在本申请的技术方案中，提出了一种智能屏幕共享及字幕叠加的方案，智能检测及呈现患者资料，智能检测及呈现会诊历史信息，智能检测及呈现术语词汇，用于解决远程会诊中人工切换屏幕共享及自动调整字幕位置的问题；提出了一种智能截取保存会诊过程中重要内容的方案，用于解决远程会诊中单方面需要重看历史信息的问题；提出了一种智能术语处理和长句切分的方案，用于解决远程会诊中术语词汇无法准确呈现及切分错误的问题。下面结合图3和下述步骤进一步详述本申请的技术方案。
步骤1：会诊医生发言并自动语音识别，具体包括步骤1.1和步骤1.2。
步骤1.1，远程会诊***通过互联网或专用网连接会诊各方的医生，通过网络获取各方的发言语音。
步骤1.2，使用自动语音识别获取会诊医生发言语音的文字。
步骤2，智能识别发言中的患者资料名称并呈现，包括下述步骤2.1-步骤2.2。
步骤2.1，在步骤1.2中获取的发言语音的文字的基础上，通过多种方式智能解析发言语音的文字，调取指定资料。这多种方式包括：
(1)通过名称匹配，调取医院管理***获取会诊患者的所有资料名称，将所有资料名称组成对应于该次会诊的资料名称词典，当获得发言语音的文字后，将资料名称词典与发言语音的文字进行匹配，如匹配上则调取该份资料；
(2)通过关键词检索，通过对发言语音进行关键词识别，关键词包括，检查项目名称、检查结论、检查时间、人体部位名称等，获取发言语音中可能与患者资料有关的关键词，如该关键词可以匹配上患者资料中的关键词，则调取该份资料；
(3)通过术语相似度计算，通过对发言语音进行术语识别，术语包括资料全称、资料名称缩写、检查类型等，获取发言语音中的术语，并将该术语与患者资料名称词典中的项目进行相似度计算，如超过某一阈值，则调取该份资料，其中相似度计算通过词向量实现。
步骤2.2，在调取指定资料的基础上，通过多种方案呈现资料，多种方案包括：
(1)使用指定的专业应用程序呈现资料，并通过视频抓取显示到会诊画面上；
(2)在会诊画面上切分出一块区域，通过视频叠加显示到会诊画面上。
步骤3，智能识别发言内容与会议历史信息的关联并呈现，具体包括步骤3.1和步骤3.2。
步骤3.1，在步骤1.2中获取的发言语音的文字的基础上，通过多种方案智能解析发言语音的文字，调取会诊历史信息。多种方案包括：
(1)通过关键词匹配，通过对发言语音进行关键词识别，关键词包括，历史病历、相似病历、医学概念、会诊诊断、处方、医嘱、手术记录、病程记录等，获取发言语音中可能与会诊历史信息有关的关键词，如能与会诊历史信息的关键词匹配，则调取该段会诊历史信息；
(2)通过内容相关度计算，通过将发言语音的文字与会诊历史记录的文字进行内容相关度计算，如内容相关度超过某一阈值，则判定当前发言与该段会诊历史记录具有关联性，则调取该段会诊历史信息，其中内容相关度计算通过关键词的相似度计算实现。
步骤3.2，在调取指定会诊历史信息的基础上，通过多种方式呈现信息，多种方式包括：
(1)使用指定的专业应用程序呈现信息，并通过视频抓取显示到会诊画面上；
(2)在会诊画面上切分出一块区域，通过视频叠加显示到会诊画面上。
步骤4，智能识别医学术语并呈现，包括步骤4.1-步骤4.2。
步骤4.1，在步骤1.2中获取的发言语音的文字的基础上，通过多种手段智能识别医学术语。多种手段包括，
(1)通过基于统计的术语提取算法进行识别，利用人工标注的术语句子训练模型，用于自动识别术语；
(2)通过术语词典匹配实现。
步骤4.2，获取术语后，呈现字幕时，利用术语信息进行智能切分，以避免呈现会诊发言的长句时术语词汇被切开的问题。
采用本申请的技术方案，可以自动根据会诊发言呈现相应的患者资料，避免了人工切换屏幕或调取资料，节省时间，极大增强了用户体验；可以自动根据会诊发言呈现相应的会诊历史信息，避免了人工查找信息的繁琐，极大提升了远程医疗商讨过程的效率；可以自动根据会诊发言识别术语，避免了字幕呈现时术语词汇被切开的问题。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述远程医疗的人机交互方法的远程医疗的人机交互装置。图4是根据本申请实施例的一种可选的远程医疗的人机交互装置的示意图，如图4所示，该装置可以包括：
获取单元401，用于获取语音信息，其中，语音信息为目标终端采集到的用于在医疗***中进行交互的信息的语音信息，医疗***包括通过互联网连接的多个终端，多个终端包括位于诊断侧的目标终端。
查找单元403，用于从数据库中查找与语音信息匹配的医疗信息。
交互单元405，用于在目标终端的已有显示界面中显示医疗信息，其中，已有显示界面为目标终端在医疗***中进行交互时的显示界面。
需要说明的是，该实施例中的获取单元401可以用于执行本申请实施例中的步骤S202，该实施例中的查找单元403可以用于执行本申请实施例中的步骤S204，该实施例中的交互单元405可以用于执行本申请实施例中的步骤S206。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
可选地，上述查找单元包括：转换模块，用于通过语音转换模块将语音信息转换为文本信息，语音转换模块用于将语音转换为文本；查找模块，用于从数据库中查找与文本信息匹配的医疗信息。
可选地，数据库包括保存有与诊断对象关联的医疗信息的第一数据库，其中，查找模块还用于执行以下至少之一：从第一数据库中查找与文本信息中的对象标识匹配的第一医疗信息，其中，对象标识用于标识目标诊断对象；从第一数据库中查找与文本信息中的关键词匹配的第一医疗信息，其中，文本信息中的关键词与第一医疗信息中的关键词匹配；从第一数据库中查找与文本信息中的医学术语匹配的第一医疗信息，其中，第一医疗信息的医学术语与文本信息中的医学术语匹配。
可选地，上述查找模块还用于获取文本信息中的医学术语的第一词向量和第一数据库中医疗信息的第二词向量；利用第一词向量和第二词向量确定第一数据库中医疗信息与文本信息之间的相似度；将与文本信息之间的相似度大于第一阈值的医疗信息作为第一医疗信息。
可选地，数据库包括保存有与会诊历史关联的医疗信息的第二数据库，其中，查找模块还用于执行以下至少之一：从第二数据库中查找与文本信息中的关键词匹配的第二医疗信息，其中，文本信息中的关键词与第二医疗信息中的关键词匹配；从第二数据库中查找与文本信息中的医学术语匹配的第二医疗信息，其中，第二医疗信息的医学术语与文本信息中的医学术语匹配。
可选地，上述查找模块还用于获取文本信息中的医学术语的第三词向量和第二数据库中医疗信息的第四词向量；利用第三词向量和第四词向量确定第二数据库中医疗信息与文本信息之间的相似度；将与文本信息之间的相似度大于第二阈值的医疗信息作为第二医疗信息。
可选地，上述查找模块还用于在从数据库中查找与文本信息匹配的医疗信息的过程中，按照如下方式从文本信息中提取医学术语：利用神经网络模型从文本信息中提取医学术语，其中，神经网络模型是使用对医学术语进行标注后的语句进行训练后得到的；和/或，通过将文本信息中的词语与术语词典中的词语进行比对从文本信息中提取医学术语，其中，术语词典中保存有多个医学术语。
可选地，本申请的装置还可包括：保存单元，用于在通过语音转换模块将语音信息转换为文本信息之后，将根据文本信息生成的医疗信息保存在数据库中。
可选地，已有显示界面为第一应用的显示界面，其中，上述交互单元还可用于：通过信息抓取工具抓取第二应用的展示信息，其中，展示信息包括医疗信息，第二应用与第一应用不同；将展示信息显示在显示界面中，或将展示信息叠加在已有显示界面上。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本申请实施例的另一个方面，还提供了一种用于实施上述远程医疗的人机交互方法的服务器或终端。
图5是根据本申请实施例的一种终端的结构框图，如图5所示，该终端可以包括：一个或多个(图5中仅示出一个)处理器501、存储器503、以及传输装置505，如图5所示，该终端还可以包括输入输出设备507。
其中，存储器503可用于存储软件程序以及模块，如本申请实施例中的远程医疗的人机交互方法和装置对应的程序指令/模块，处理器501通过运行存储在存储器503内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的远程医疗的人机交互方法。存储器503可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器503可进一步包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置505用于经由一个网络接收或者发送数据，还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置505包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置505为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器503用于存储应用程序。
处理器501可以通过传输装置505调用存储器503存储的应用程序，以执行下述步骤：
获取语音信息，其中，语音信息为目标终端采集到的用于在医疗***中进行交互的信息，医疗***包括通过互联网连接的多个终端，多个终端包括位于诊断侧的目标终端；
从数据库中查找与语音信息匹配的医疗信息；
在目标终端的已有显示界面中显示医疗信息，其中，已有显示界面为目标终端在医疗***中进行交互时的显示界面。
处理器501还用于执行下述步骤：
从第一数据库中查找与文本信息中的对象标识匹配的第一医疗信息，其中，对象标识用于标识目标诊断对象；
从第一数据库中查找与文本信息中的关键词匹配的第一医疗信息，其中，文本信息中的关键词与第一医疗信息中的关键词匹配；
从第一数据库中查找与文本信息中的医学术语匹配的第一医疗信息，其中，第一医疗信息的医学术语与文本信息中的医学术语匹配。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图5所示的结构仅为示意，终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices，MID)、PAD等终端设备。图5其并不对上述电子装置的结构造成限定。例如，终端还可包括比图5中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图5所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行远程医疗的人机交互方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
获取语音信息，其中，语音信息为目标终端采集到的用于在医疗***中进行交互的信息，医疗***包括通过互联网连接的多个终端，多个终端包括位于诊断侧的目标终端；
从数据库中查找与语音信息匹配的医疗信息；
在目标终端的已有显示界面中显示医疗信息，其中，已有显示界面为目标终端在医疗***中进行交互时的显示界面。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
从第一数据库中查找与文本信息中的对象标识匹配的第一医疗信息，其中，对象标识用于标识目标诊断对象；
从第一数据库中查找与文本信息中的关键词匹配的第一医疗信息，其中，文本信息中的关键词与第一医疗信息中的关键词匹配；
从第一数据库中查找与文本信息中的医学术语匹配的第一医疗信息，其中，第一医疗信息的医学术语与文本信息中的医学术语匹配。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种远程医疗的人机交互方法，其特征在于，包括：
获取语音信息，其中，所述语音信息为目标终端采集到的用于在医疗***中进行交互的信息，所述医疗***包括通过互联网连接的多个终端，所述多个终端包括位于诊断侧的所述目标终端；
从数据库中查找与所述语音信息匹配的医疗信息；
在所述目标终端的已有显示界面中显示所述医疗信息，其中，所述已有显示界面为所述目标终端在所述医疗***中进行交互时的显示界面。
2.根据权利要求1所述的方法，其特征在于，从数据库中查找与所述语音信息匹配的医疗信息包括：
通过语音转换模块将所述语音信息转换为文本信息，其中，所述语音转换模块用于将语音转换为文本；
从所述数据库中查找与所述文本信息匹配的医疗信息。
3.根据权利要求2所述的方法，其特征在于，所述数据库包括保存有与诊断对象关联的医疗信息的第一数据库，其中，从所述数据库中查找与所述文本信息匹配的医疗信息包括以下至少之一：
从所述第一数据库中查找与所述文本信息中的对象标识匹配的第一医疗信息，其中，所述对象标识用于标识目标诊断对象；
从所述第一数据库中查找与所述文本信息中的关键词匹配的第一医疗信息，其中，所述文本信息中的关键词与所述第一医疗信息中的关键词匹配；
从所述第一数据库中查找与所述文本信息中的医学术语匹配的第一医疗信息，其中，所述第一医疗信息的医学术语与所述文本信息中的医学术语匹配。
4.根据权利要求3所述的方法，其特征在于，从所述第一数据库中查找与所述文本信息中的医学术语匹配的第一医疗信息包括：
获取所述文本信息中的医学术语的第一词向量和所述第一数据库中医疗信息的第二词向量；
利用所述第一词向量和所述第二词向量确定所述第一数据库中医疗信息与所述文本信息之间的相似度；
将与所述文本信息之间的相似度大于第一阈值的医疗信息作为所述第一医疗信息。
5.根据权利要求2所述的方法，其特征在于，所述数据库包括保存有与会诊历史关联的医疗信息的第二数据库，其中，从所述数据库中查找与所述文本信息匹配的医疗信息包括以下至少之一：
从所述第二数据库中查找与所述文本信息中的关键词匹配的第二医疗信息，其中，所述文本信息中的关键词与所述第二医疗信息中的关键词匹配；
从所述第二数据库中查找与所述文本信息中的医学术语匹配的第二医疗信息，其中，所述第二医疗信息的医学术语与所述文本信息中的医学术语匹配。
6.根据权利要求5所述的方法，其特征在于，从所述第二数据库中查找与所述文本信息中的医学术语匹配的第二医疗信息包括：
获取所述文本信息中的医学术语的第三词向量和所述第二数据库中医疗信息的第四词向量；
利用所述第三词向量和所述第四词向量确定所述第二数据库中医疗信息与所述文本信息之间的相似度；
将与所述文本信息之间的相似度大于第二阈值的医疗信息作为所述第二医疗信息。
7.根据权利要求3至6中任意一项所述的方法，其特征在于，在从所述数据库中查找与所述文本信息匹配的医疗信息的过程中，从所述文本信息中提取医学术语包括：
利用神经网络模型从所述文本信息中提取医学术语，其中，所述神经网络模型是使用对医学术语进行标注后的语句进行训练后得到的；和/或，
通过将所述文本信息中的词语与术语词典中的词语进行比对从所述文本信息中提取医学术语，其中，所述术语词典中保存有多个医学术语。
8.根据权利要求2所述的方法，其特征在于，在通过语音转换模块将所述语音信息转换为文本信息之后，所述方法还包括：
将根据所述文本信息生成的医疗信息保存在所述数据库中。
9.根据权利要求1所述的方法，其特征在于，所述已有显示界面为第一应用的显示界面，其中，在所述目标终端的已有显示界面中显示所述医疗信息包括：
通过信息抓取工具抓取第二应用的展示信息，其中，所述展示信息包括所述医疗信息，所述第二应用与所述第一应用不同；
将所述展示信息显示在所述显示界面中，或将所述展示信息叠加在所述已有显示界面上。
10.一种远程医疗的人机交互装置，其特征在于，包括：
获取单元，用于获取语音信息，其中，所述语音信息为目标终端采集到的用于在医疗***中进行交互的信息的语音信息，所述医疗***包括通过互联网连接的多个终端，所述多个终端包括位于诊断侧的所述目标终端；
查找单元，用于从数据库中查找与所述语音信息匹配的医疗信息；
交互单元，用于在所述目标终端的已有显示界面中显示所述医疗信息，其中，所述已有显示界面为所述目标终端在所述医疗***中进行交互时的显示界面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911194970.9A CN111063455A (zh) | 2019-11-28 | 2019-11-28 | 远程医疗的人机交互方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911194970.9A CN111063455A (zh) | 2019-11-28 | 2019-11-28 | 远程医疗的人机交互方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111063455A true CN111063455A (zh) | 2020-04-24 |
Family
ID=70299076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911194970.9A Pending CN111063455A (zh) | 2019-11-28 | 2019-11-28 | 远程医疗的人机交互方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111063455A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883707A (zh) * | 2020-12-31 | 2021-06-01 | 首都医科大学宣武医院 | 基于人机对话的急救辅助方法、***、设备及存储介质 |
| CN114188041A (zh) * | 2021-12-02 | 2022-03-15 | 深圳市华美泰科技发展有限公司 | 以远程对话方式完成医患业务的医疗*** |
| CN115514913A (zh) * | 2022-09-16 | 2022-12-23 | 深圳市拓普智造科技有限公司 | 视频数据处理方法和装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101072331A (zh) * | 2006-05-12 | 2007-11-14 | 富士施乐株式会社 | 远程指示***、远程指示方法及其程序产品 |
| CN101840459A (zh) * | 2009-03-20 | 2010-09-22 | 天津佳医在线科技有限公司 | 多平台移动医疗信息互动和管理*** |
| CN105653125A (zh) * | 2015-12-28 | 2016-06-08 | 北京经纬恒润科技有限公司 | 一种人机交互方法及*** |
| CN108538395A (zh) * | 2018-04-02 | 2018-09-14 | 上海市儿童医院 | 一种通用的医疗专病数据***的构建方法 |
| CN108648831A (zh) * | 2018-05-11 | 2018-10-12 | 贵州大学 | 一种医患沟通辅助平台及其交互方法 |
-
2019
- 2019-11-28 CN CN201911194970.9A patent/CN111063455A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101072331A (zh) * | 2006-05-12 | 2007-11-14 | 富士施乐株式会社 | 远程指示***、远程指示方法及其程序产品 |
| CN101840459A (zh) * | 2009-03-20 | 2010-09-22 | 天津佳医在线科技有限公司 | 多平台移动医疗信息互动和管理*** |
| CN105653125A (zh) * | 2015-12-28 | 2016-06-08 | 北京经纬恒润科技有限公司 | 一种人机交互方法及*** |
| CN108538395A (zh) * | 2018-04-02 | 2018-09-14 | 上海市儿童医院 | 一种通用的医疗专病数据***的构建方法 |
| CN108648831A (zh) * | 2018-05-11 | 2018-10-12 | 贵州大学 | 一种医患沟通辅助平台及其交互方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883707A (zh) * | 2020-12-31 | 2021-06-01 | 首都医科大学宣武医院 | 基于人机对话的急救辅助方法、***、设备及存储介质 |
| CN114188041A (zh) * | 2021-12-02 | 2022-03-15 | 深圳市华美泰科技发展有限公司 | 以远程对话方式完成医患业务的医疗*** |
| CN114188041B (zh) * | 2021-12-02 | 2022-11-15 | 深圳市华美泰科技发展有限公司 | 以远程对话方式完成医患业务的医疗*** |
| CN115514913A (zh) * | 2022-09-16 | 2022-12-23 | 深圳市拓普智造科技有限公司 | 视频数据处理方法和装置、电子设备及存储介质 |
| CN115514913B (zh) * | 2022-09-16 | 2024-02-13 | 深圳市拓普智造科技有限公司 | 视频数据处理方法和装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022095380A1 (zh) | 基于ai的虚拟交互模型生成方法、装置、计算机设备及存储介质 | |
| CN111063455A (zh) | 远程医疗的人机交互方法和装置 | |
| CN112328762A (zh) | 基于文本生成模型的问答语料生成方法和装置 | |
| US11033216B2 (en) | Augmenting questionnaires | |
| CN110517689A (zh) | 一种语音数据处理方法、装置及存储介质 | |
| CN107784033B (zh) | 一种基于会话进行推荐的方法和装置 | |
| CN108132952A (zh) | 一种基于语音识别的主动型搜索方法和装置 | |
| CN110472008B (zh) | 智能交互方法以及装置 | |
| CN109036416A (zh) | 同声传译方法和***、存储介质及电子装置 | |
| CN114187988A (zh) | 数据处理的方法及装置、***、存储介质 | |
| CN111724908A (zh) | 基于机器人流程自动化rpa的疫情排查方法和装置 | |
| CN111599359A (zh) | 人机交互方法、服务端、客户端及存储介质 | |
| CN113392273A (zh) | 视频播放方法、装置、计算机设备及存储介质 | |
| KR20190046062A (ko) | 대화 시스템을 위한 대화 시나리오 데이터베이스 구축 방법 및 장치 | |
| CN112699758A (zh) | 基于动态手势识别的手语翻译方法、装置、计算机设备及存储介质 | |
| US11322139B2 (en) | Presentation of indications with respect to questions of a communication session | |
| CN111491209A (zh) | 视频封面确定方法、装置、电子设备和存储介质 | |
| CN113241175B (zh) | 基于边缘计算的帕金森症辅助诊断***和方法 | |
| CN111695360A (zh) | 语义分析方法、装置、电子设备及存储介质 | |
| KR20180116104A (ko) | 대화 시스템을 위한 대화 시나리오 데이터베이스 구축 방법 및 장치 | |
| CN111353439A (zh) | 一种教学行为的分析方法、装置、***及设备 | |
| CN112434953A (zh) | 一种基于计算机数据处理的客服人员考核方法和装置 | |
| CN113407772A (zh) | 视频推荐模型的生成方法、视频推荐方法、装置 | |
| EP4093005A1 (en) | System method and apparatus for combining words and behaviors | |
| US20220223292A1 (en) | System and method for utilizing digital forensics, artificial intelligence, and machine learning models to prevent suicidal behavior |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |