CN114840110B - 一种基于混合现实的穿刺导航交互辅助方法及装置 - Google Patents

一种基于混合现实的穿刺导航交互辅助方法及装置 Download PDF

Info

Publication number
CN114840110B
CN114840110B CN202210264158.4A CN202210264158A CN114840110B CN 114840110 B CN114840110 B CN 114840110B CN 202210264158 A CN202210264158 A CN 202210264158A CN 114840110 B CN114840110 B CN 114840110B
Authority
CN
China
Prior art keywords
strategy
navigation
interaction
command
policy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210264158.4A
Other languages
English (en)
Other versions
CN114840110A (zh
Inventor
禹浪
卢亚超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Original Assignee
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Institute of Information Technology AIIT of Peking University, Hangzhou Weiming Information Technology Co Ltd filed Critical Advanced Institute of Information Technology AIIT of Peking University
Priority to CN202210264158.4A priority Critical patent/CN114840110B/zh
Publication of CN114840110A publication Critical patent/CN114840110A/zh
Application granted granted Critical
Publication of CN114840110B publication Critical patent/CN114840110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4488—Object-oriented
    • G06F9/449—Object-oriented method invocation or resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种基于混合现实的穿刺导航交互辅助方法及装置。其中，所述方法包括：获取导航交互用户的用户行为和***流程；根据用户行为和***流程，确定导航交互所需的策略元素；提取策略元素中的策略对象；通过用户与策略对象包括的界面进行交互，触发策略对象包括的命令；通过命令管理器调用命令对应的对象，执行对象的接口内的方法。本申请将混合现实技术与人工智能技术深度整合，具有通用性和高扩展性，能够根据不同的应用场景对用户行为进行智能提示，降低了导航交互的难度；支持第三方开发者自行添加，支持不同导航***下不同规则的统一化、抽象化和规范化接口，支持通用接口内自定义添加策略对象。

Description

一种基于混合现实的穿刺导航交互辅助方法及装置
技术领域
本发明涉及智能交互技术领域，更为具体来说，本发明涉及一种基于混合现实的穿刺导航交互辅助方法及装置。
背景技术
将传统导航技术应用于骨科手术中，会存在着诸多问题。比如，骨科机器人存在着伦理、责任人、机械臂活动范围有限、操作过程人为不可控和机器人费用高昂不利于普及等方面的问题；3D打印导板存在着制作时间、导板消毒、术中是否贴服、操作过程不可视、以及对金属过敏等问题。目前情况下，传统计算机导航具有不可视、设备昂贵及精度不高等问题，对于这种传统计算机导航对应的导航方案，其过程需要医生在CT引导下进行，医生在手术中需要通过CT影像来判定穿刺角度位置等信息，因此患者在手术中需要接受多次CT照射，会对患者和医生身体造成损害；医生在非实时CT影像引导下需要凭经验完成手术，对医生的技能要求较高，且又因为手术时间长，风险高，易对患者造成二次伤害。
随着科技的发展，医学混合现实技术发展迅速，出现了许多基于混合现实的穿刺导航技术，这些导航方案通过虚实叠加的形式在屏幕上实时显示手术器械相对病灶的位置以及病灶区矢状位、水平位和冠状位的组织结构等，最终引导临床医生调整手术器械的位置进而更加快速、安全、准确的完成手术，大大提高了手术的效率和成功率，但也存在着流程繁多复杂、人机交互不便且上手难度较高的缺点。
因此，本申请提出了一种基于混合现实的穿刺导航交互辅助方法及装置，将混合现实技术与人工智能技术深度整合，具有通用性和高扩展性，能够根据不同的应用场景对用户行为进行智能提示，降低了导航交互的难度；能够辅助用户进行***流程的操作，降低***流程的复杂度，增加便利性和体验度。
发明内容
本申请实施例提供了一种基于混合现实的穿刺导航交互辅助方法及装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种基于混合现实的穿刺导航交互辅助方法，该方法包括：
获取导航交互用户的用户行为和***流程；
根据所述用户行为和***流程，确定导航交互所需的策略元素；
提取所述策略元素中的策略对象；
通过用户与所述策略对象包括的界面进行交互，触发所述策略对象包括的命令；
通过命令管理器调用所述命令对应的对象，执行所述对象的接口内的方法。
可选的，所述根据所述用户行为和***流程，确定导航交互所需的策略元素，包括：
通过场景分析器对所述用户行为进行实时分析，获取导航交互的用户行为特征；
从指令集中提取所述用户行为特征的相关策略元素；
将所述相关策略元素存储于缓存器中。
可选的，所述缓存器具有缓冲池的功能。
可选的，所述方法还包括：
通过所述场景分析器确定所述***流程的场景行为特征，获取所述场景行为特征对应的特征码；
通过所述特征码从所述相关策略元素中提取导航交互所需的策略元素。
可选的，所述提取所述策略元素中的策略对象，包括：
所述场景分析器通过特征队列容器将提取的所述策略元素发送至命令处理器；
所述命令处理器依次从特征队列中提取出所述策略元素中的策略对象。
可选的，所述场景分析器的所有逻辑都运行在Update函数中。
可选的，所述策略元素由键值对key-value组成，其中，key表示所述策略元素中的所述特征码，value表示所述策略对象。
第二方面，本申请实施例提供了一种基于混合现实的穿刺导航交互辅助装置，该装置包括：
信息获取模块，用于获取导航交互用户的用户行为和***流程；
策略元素确定模块，用于根据所述用户行为和***流程，确定导航交互所需的策略元素；
策略对象提取模块，用于提取所述策略元素中的策略对象；
命令触发模块，用于通过用户与所述策略对象包括的界面进行交互，触发所述策略对象包括的命令；
执行模块，用于通过命令管理器调用所述命令对应的对象，执行所述对象的接口内的方法。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，所述基于混合现实的穿刺导航交互辅助方法，首先获取导航交互用户的用户行为和***流程，再根据用户行为和***流程确定导航交互所需的策略元素，然后提取策略元素中的策略对象，通过用户与策略对象包括的界面进行交互，触所述策略对象包括的命令，最后通过命令管理器调用命令对应的对象，执行对象接口内的方法。本申请实施例所述的方法，将混合现实技术与人工智能技术深度整合，具有通用性和高扩展性，能够根据不同的应用场景对用户行为进行智能提示，降低了导航交互的难度；支持第三方开发者自行添加，支持不同导航***下不同规则的统一化、抽象化和规范化接口，支持通用接口内自定义添加策略对象。
在本申请实施例中，所述的基于混合现实的穿刺导航交互辅助方法，获取导航交互用户的用户行为和***流程；通过场景分析器对所述用户行为进行实时分析，获取导航交互的用户行为特征，从指令集中提取所述用户行为特征的相关策略元素，将所述相关策略元素存储于缓存器中；通过所述场景分析器确定所述***流程的场景行为特征，获取所述场景行为特征对应的特征码；通过所述特征码从所述相关策略元素中提取导航交互所需的策略元素。本申请实施例所述的方法，融入了智能监测和机器学习技术，能够实时分析用户行为，将用户行为的相关策略元素存储于缓存器中，便于对***流程下的用户进行智能提示；能够辅助用户进行***流程的操作，降低***流程的复杂度，增加便利性和体验度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种基于混合现实的穿刺导航交互辅助方法的流程示意图；
图2是本申请实施例提供的一种基于混合现实的穿刺导航交互辅助方法的逻辑架构示意图；
图3是本申请实施例提供的一种基于混合现实的穿刺导航交互辅助方法的第三方开发人员的使用流程示意图；
图4是本申请实施例提供的另一种基于混合现实的穿刺导航交互辅助方法的流程示意图；
图5是本申请实施例提供的一种基于混合现实的穿刺导航交互辅助装置的装置示意图；
图6是本申请实施例提供的一种终端示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的***和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
近年来，混合现实技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起了一个交互反馈的信息回路，打破了数字的虚拟世界与物理的真实世界之间的界限，从而将数字技术多年的量变积累突破到了质变。
混合现实技术展示的是三维影像，在手术中具有更高的应用价值。随着医学混合现实技术的迅速发展，医学混合现实技术为医务工作者带来了新的临床诊疗模式，对于创伤骨科复杂多变的损伤情况，提供了全新的个体化三维立体视觉呈现方式。混合现实技术首先通过获取CT和MRI等影像数据进行三维重建，再通过渲染技术进行模块设定与参数设置，最后把模型载入到特殊设备中以实现基于混合现实的各项操作。由于身体骨骼部位的各种结构被不同颜色渲染，整个3D模型就可以从任意角度观察、并进行清晰度调节，骨科医生可以对病灶部位的结构有更直观的了解，影像资料的阅读也更简单、明了。
自从微软于2016年推出混合现实设备HoloLens后，基于HoloLens的手术导航方法被广泛地应用于临床。目前众多的基于HoloLens的导航***，人机交互模块与自身导航***紧密耦合，不具备移植性及通用性，不同的导航软件中的人机交互模块都需要研发人员重复设计、重复开发，如果业务场景发生变化，接口也要跟随着变化，必然会导致二次的开发和调整，这就造成了不同导航***之间操作流程各不相同、复杂且用户学习成本高，所以这并不是一个通用化的解决方案，不利于此类导航手术的推广普及。基于此场景，本申请实施例需要解决的是如何快速提高效率、解放生产力、简化手术导航***操作流程、降低混合现实环境下人机交互难度和用户学习成本的问题，所以，本申请实施例提出了一种基于混合现实的穿刺导航交互辅助方法及装置，以解决上述问题，利用一个通用的人机交互方案来实现多场景智能交互辅助；采用混合现实和人工智能技术相结合的方式，辅助医生完成复杂的手术，能够减少医疗事故的发生；能够实现分级诊疗，缓解医疗资源不均等问题。
下面将结合附图1-附图4，对本申请实施例提供的一种基于混合现实的穿刺导航交互辅助方法进行详细介绍。
请参见图1-3，为本申请实施例提供了一种基于混合现实的穿刺导航交互辅助方法的流程示意图。如图1-3所示，本申请实施例的方法可以包括以下步骤：
本申请实施例所述的基于混合现实的穿刺导航交互辅助方法的技术方案可作为Unity3D平台下的通用开发扩展包，***基于模块化设计架构，提供统一的接口和开发规范，可以对基于此平台创建开发的导航交互***的业务逻辑与交互逻辑解耦，可针对不同的穿刺导航***提供辅助交互方案，不受单一产品的限制，使不同的穿刺导航***具有统一的开发规范和开发接口，支持第三方开发者自行添加、实现交互策略，具备高度通用性及灵活的拓展性，最大程度的避免因业务逻辑变化造成研发人员对人机交互的重复设计、重复开发和重复调整，从而提高效率、降低人力成本和研发成本。
S110,获取导航交互用户的用户行为和***流程。
在本申请实施例中，通过摄像头或者语音监测器获取用户行为，所述用户行为可以包括：语音、凝视和手势等。获取到的***流程可以为***具体配置到的阶段等。
S120,根据所述用户行为和***流程，确定导航交互所需的策略元素。
具体地说，S120包括：
S121,通过场景分析器对所述用户行为进行实时分析，获取导航交互的用户行为特征。在本申请实施例中，用户行为和用户行为特征有对应关系，场景分析器可以通过查表等方式获取导航交互的用户行为特征；用户行为特征可以为特征码，即用户行为与所述特征码存在对应关系。
S122,从指令集中提取所述用户行为特征的相关策略元素。
举例说明,当用户行为特征为特征码时，若所述特征码为a，则从所有策略元素中提取到的特征码为a的策略元素即为本申请实施例预分析的相关策略元素。
在本申请实施例中，指令集是开发人员将穿刺导航***自身的***流程实际所需的多个策略元素添加到***预定义行为库中的策略集合，本申请实施例采用面向接口编程的理念，对构成指令集的基本策略元素高度抽象。每个策略元素都是一个抽象类，所述策略元素由键值对key-value组成，其中，key表示策略元素中的特征码，所述特征码是开发人员绑定的特征码，是根据导航***流程高度抽象化的对象；value表示策略元素中的策略对象，所述策略对象是抽象的策略接口对象，策略对象抽象为接口是为了方便第三方开发人员引入本申请实施例的开发框架后根据标准接口自行设计和赋值。
S123,将所述相关策略元素存储于缓存器中；在本申请实施例中，缓存器即为指令缓存集，所述指令缓存集作为预处理命令的二级缓存器。此处使用缓冲池的思想，对***的应用内存实行动态管理，使得缓存器具有缓冲池的功能；缓冲池预设单个策略对象内存长度为*10个单位的内存空间，并对内存空间循环利用，若缓冲池中的剩余内存空间不足单个策略对象的存储，则再次增加10个单位的内存空间；所述缓存器具有的缓冲池功能，有效地节省了内存空间。所述缓存器即为图2中的缓存集。
S124,通过所述场景分析器确定所述***流程的场景行为特征，获取所述场景行为特征对应的特征码。在本申请实施例中，所述场景行为特征与所述***流程存在对应关系，场景分析器可以通过查表等方式获取导航交互的场景行为特征；场景行为特征存在有对应的特征码，***流程与所述特征码存在对应关系。
在本申请实施例中，所述特征码即为特征id，所述特征id是策略元素的Key、主键、唯一标识；本申请实施例能够通过特征id获取策略元素。
特征码又称为行为特征码，所述行为特征码表示抽象出来的导航***不同的***流程。本申请实施例的基于HoloLens的导航穿刺引导***，一般要经过接收模型数据、渲染模型、坐标系适配、空间配准注册、穿刺针定位与跟踪等***流程，导航***不同，使得***流程的实现算法也不同；能够将***流程的实现算法抽象为具体的行为阶段，可以通过行为特征码标识所述行为阶段。
S125,通过所述特征码从所述相关策略元素中提取导航交互所需的策略元素。场景分析器可以通过调动缓存器的方式，从缓存器中的相关策略元素中提取所需的策略元素。
在本申请实施例中，所述相关策略元素可以表示当前可能所在的***流程；通过***流程对应的特征码从相关策略元素中提取的所述策略元素可以表示当前所在的确定的***流程。
在本申请实施例中，由上述S121和S122，通过用户行为特征对应的特征码从所有策略元素中提取用户行为的相关策略元素；由上述S124和S125，通过场景行为特征对应的特征码从相关策略元素中提取***流程的策略元素；从而实现了通过用户行为和***流程从所有策略元素中提取出本申请所需的策略元素。
S130,提取所述策略元素中的策略对象。具体地，所述S130包括：
S131,所述场景分析器通过特征队列容器将提取的所述策略元素发送至命令处理器。所述特征队列容器即为Push特征队列容器，场景分析器通过Push特征队列容器将策略元素按照先进先出的特性发送至命令处理器中；所述命令处理器的操作即为图2中的命令处理块的操作，该步骤对应的模块为一个队列结构。
在本申请实施例中，所述场景分析器即为Update SceneAnalysis，场景分析器源于机器学习算法中的Agent概念，是在环境中观察并采取行动的参与者。场景分析器基于TensorFlow算法，将本***的API与TensorFlow算法API进行融合，通过在Agent的Update函数中的每个执行帧对Agent进行训练；上述S110至S131为一个完整的执行帧操作，场景分析器的所有逻辑都运行在所述Update函数中，该Update函数以实时循环的方式执行上述S110至S131，实时分析软件运行过程中的动态元素，从而使其能够完成多个指定目标。所述动态元素包括Unity中的每个行为内容、图形内容和物理内容等封装成的GameObject容器；所述指定目标包括环境感知、用户行为预测、***内部自动测试、交互智能提示、设计决策评估和智能学习等；场景分析器能够在日常交互中不断强化学习(Reinforcement learning)，随着用户对***使用次数的增加，场景分析器也越来越智能。
S132,所述命令处理器依次从特征队列中提取出要执行的所述策略元素中的策略对象。
S140,通过用户与所述策略对象包括的界面进行交互，触发所述策略对象包括的命令；所述策略对象是一个列表，列表中有一个或多个具体的执行对象。
在本申请实施例中，所述策略对象可以由UI块和Command块组成。UI中存储的是此命令绑定的图片资源本地化序列码，通过该序列码可以直接向资源库索引对应的唯一UI预设，并将所述UI预设加载到运行环境中。UI块的设计能够支持点击、拖拽和Toggle等交互类型，可以使用用户语音、手势和凝视等触发这些UI元素。Command为具体行为提示的载体，绑定该对象被触发后要执行的命令，采用的是软件设计模型中的命令模式，将指令的发出者和执行者解耦；第三方开发人员可自主设计与本命令关联的行为提示的形式，如语音、手势和凝视等。
所述UI可以为本申请实施例中的界面，UI元素即为界面元素、执行的所述对象；所述command也可以称为本申请实施例中的命令。
在本申请实施例中，资源库中存储有***要用到的所有资源序列，每个资源都有唯一FileID对应唯一的磁盘路径；若所述资源是一个复合资源如图集，则所述复合资源如图集记录的是所有子文件FileID的集合。命令执行器通过资源ID可提取出完整的UI预设资源；在资源使用完毕后，资源库可同时负责某个资源的内存回收。所述资源可以为音频、图片、UX和预设资源等，所述命令执行器的操作即为图2中的命令执行块的操作。
S150,命令触发后，通过命令管理器调用所述命令对应的对象，执行所述对象的接口内的Execute方法。在命令管理器中的每条命令都有唯一的标识，所述标识标定有命令触发的消息及命令对应的具体执行对象。
在本申请实施例中，在命令处理器的处理阶段，所有形式的提示信息(即UI元素)都会被***渲染在终端用户的视线中，用户可根据自身实际需要选择触发的提示信息，绑定的命令以命令模式触发，命令管理器在收到触发命令的消息后，处理该条命令。
在本申请实施例中，当所述Execute方法执行完毕后，本次提示命令的生命周期结束；缓存器回收策略元素，并等待场景分析器再次调用或者析构所述策略元素。
本申请实施例所述的方法可以形成基于Unity3D平台下的开发包；在本申请实施例中，有关人工智能、机器学***台下的封装和改造、符合Unity3D平台的运行要求。经过授权的第三方研发机构，可以在自身的导航工程内导入所述开发包，自定义划分其自身导航***的各个***流程，依据所述开发包设计的接口，自主编辑策略元素键值对(即设定特征码与策略对象的列表)，并绑定每个策略对象所关联的UI预设数据和行为，将所有添加的策略元素添加至指令集，能够快速搭建其自身导航***内的交互辅助逻辑，无需自身从头设计和研发。
开发人员可基于***框架与***标准化接口，根据自身导航***流程添加自定义指令集与策略对象，框架支持对策略对象的标记、匹配、增加、排序和删除等操作，可满足不同穿刺导航***的业务逻辑需要，从而最大幅度的避免重复设计和开发，提高生产效果，降低研发成本。如图5所示，第三方开发者将开发包导入自身的穿刺导航***后，首先选择需要添加的特征码、添加特征码对应的策略对象；再判断该策略对象是否符合行为配置，在该策略对象符合行为配置的情况下，确定特征码对应的策略元素；然后添加所述策略元素，可以添加该策略元素的策略对象、删除该策略元素的策略对象、调整该策略元素的策略对象，进而将配置好的策略元素通过标准接口输出至指令集中进行存储。在所述行为配置包括语音、凝视和手势时，若所述策略对象为视频，则所述策略对象不符合行为配置。
本申请实施例所述的基于混合现实的穿刺导航交互辅助方法，首先获取导航交互用户的用户行为和***流程，再根据用户行为和***流程确定导航交互所需的策略元素，然后提取策略元素中的策略对象，其次通过用户与策略对象包括的界面进行交互，触所述策略对象包括的命令，最后通过命令管理器调用命令对应的对象，执行对象接口内的方法。本申请实施例所述的方法，将混合现实技术与人工智能技术深度整合，能够根据不同的应用场景对用户行为进行智能提示，降低了导航交互的难度；采用了通用模块化设计理念，不受单一产品的限制，可针对不同的导航交互***提供辅助交互方案；从软件架构和数据结构设计层面进行高度抽象，大大降低了整体与部分的耦合性，可满足不同导航交互方案的需求，降低开发和维护成本，具有更灵活的拓展性和可移植性。
请参见图4为本申请实施例提供了一种基于混合现实的穿刺导航交互辅助方法的流程示意图。如图4所示，本申请实施例的方法可以包括以下步骤：
S210,获取导航交互用户的用户行为和***流程；
S211,通过场景分析器对所述用户行为进行实时分析，获取导航交互的用户行为特征；
S212,从指令集中提取所述用户行为特征的相关策略元素；
S213,将所述相关策略元素存储于缓存器中；所述缓存器具有缓冲池的功能；
S214,通过所述场景分析器确定所述***流程的场景行为特征，获取所述场景行为特征对应的特征码；
S215,通过所述特征码从所述相关策略元素中提取导航交互所需的策略元素；
S216,所述场景分析器通过特征队列容器将提取的所述策略元素发送至命令处理器；
S217,所述命令处理器依次从特征队列中提取出所述策略元素中的策略对象；所述策略元素由键值对key-value组成，其中，key表示所述策略元素中的所述特征码，value表示所述策略对象；
S218,通过用户与所述策略对象包括的界面进行交互，触发所述策略对象包括的命令；
S219,通过命令管理器调用所述命令对应的对象，执行所述对象的接口内的方法。
在本申请实施例中，所述的基于混合现实的穿刺导航交互辅助方法，首先获取导航交互用户的用户行为和***流程，再根据用户行为和***流程确定导航交互所需的策略元素，然后提取策略元素中的策略对象，其次通过用户与策略对象包括的界面进行交互，触发所述策略对象包括的命令，最后通过命令管理器调用命令对应的对象，执行对象接口内的方法。本申请实施例所述的方法，将混合现实技术与人工智能技术深度整合，具有通用性和高扩展性，能够根据不同的应用场景对用户行为进行智能提示，降低了导航交互的难度；支持第三方开发者自行添加，支持不同导航***下不同规则的统一化、抽象化和规范化接口，支持通用接口内自定义添加策略对象。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图5，其示出了本发明一个示例性实施例提供的一种基于混合现实的穿刺导航交互辅助装置的结构示意图。该装置1包括：信息获取模块10、策略元素确定模块20、策略对象提取模块30、命令触发模块40和执行模块50。
信息获取模块10，用于获取导航交互用户的用户行为和***流程；
策略元素确定模块20，用于根据所述用户行为和***流程，确定导航交互所需的策略元素；
策略对象提取模块30，用于提取所述策略元素中的策略对象；
命令触发模块40，用于通过用户与所述策略对象包括的界面进行交互，触发所述策略对象包括的命令；
执行模块50，用于通过命令管理器调用所述命令对应的对象，执行所述对象的接口内的方法。
需要说明的是，上述实施例提供的基于混合现实的穿刺导航交互辅助装置在执行基于混合现实的穿刺导航交互辅助方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于混合现实的穿刺导航交互辅助装置与基于混合现实的穿刺导航交互辅助方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，所述的基于混合现实的穿刺导航交互辅助装置，首先获取导航交互用户的用户行为和***流程，再根据用户行为和***流程确定导航交互所需的策略元素，然后提取策略元素中的策略对象，其次通过用户与策略对象包括的界面进行交互，触发所述策略对象包括的命令，最后通过命令管理器调用命令对应的对象，执行对象接口内的方法。本申请实施例所述的装置，将混合现实技术与人工智能技术深度整合，具有通用性和高扩展性，能够根据不同的应用场景对用户行为进行智能提示，降低了导航交互的难度；支持第三方开发者自行添加，支持不同导航***下不同规则的统一化、抽象化和规范化接口，支持通用接口内自定义添加策略对象。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的基于混合现实的穿刺导航交互辅助方法。
本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的基于混合现实的穿刺导航交互辅助方法。
请参见图6，为本申请实施例提供了一种终端的结构示意图。如图6所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及车辆运行轨迹数据的可用度分析应用程序。
在图6所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的基于混合现实的穿刺导航交互辅助应用程序，并具体执行以下操作：
获取导航交互用户的用户行为和***流程；
根据所述用户行为和***流程，确定导航交互所需的策略元素；
提取所述策略元素中的策略对象；
通过用户与所述策略对象包括的界面进行交互，触发所述策略对象包括的命令；
通过命令管理器调用所述命令对应的对象，执行所述对象的接口内的方法。
在一个实施例中，处理器1001在执行所述根据所述用户行为和***流程，确定导航交互所需的策略元素时，具体执行以下操作：
通过场景分析器对所述用户行为进行实时分析，获取导航交互的用户行为特征；
从指令集中提取所述用户行为特征的相关策略元素；
将所述相关策略元素存储于缓存器中；所述缓存器具有缓冲池的功能；
通过所述场景分析器确定所述***流程的场景行为特征，获取所述场景行为特征对应的特征码；
通过所述特征码从所述相关策略元素中提取导航交互所需的策略元素。
在一个实施例中，处理器1001在执行所述提取所述策略元素中的策略对象时，具体执行以下操作：
所述场景分析器通过特征队列容器将提取的所述策略元素发送至命令处理器；
所述命令处理器依次从特征队列中提取出所述策略元素中的策略对象；所述策略元素由键值对key-value组成，其中，key表示所述策略元素中的所述特征码，value表示所述策略对象。
在本申请实施例中，所述的基于混合现实的穿刺导航交互辅助装置，首先获取导航交互用户的用户行为和***流程，再根据用户行为和***流程确定导航交互所需的策略元素，然后提取策略元素中的策略对象，其次通过用户与策略对象包括的界面进行交互，触所述策略对象包括的命令，最后通过命令管理器调用命令对应的对象，执行对象接口内的方法。本申请实施例所述的装置，将混合现实技术与人工智能技术深度整合，具有通用性和高扩展性，能够根据不同的应用场景对用户行为进行智能提示，降低了导航交互的难度；支持第三方开发者自行添加，支持不同导航***下不同规则的统一化、抽象化和规范化接口，支持通用接口内自定义添加策略对象。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (8)

1.一种基于混合现实的穿刺导航交互辅助方法，其特征在于，包括以下步骤：
获取导航交互用户的用户行为和***流程；
根据所述用户行为和***流程，确定导航交互所需的策略元素；
提取所述策略元素中的策略对象；
通过用户与所述策略对象包括的界面进行交互，触发所述策略对象包括的命令；
通过命令管理器调用所述命令对应的对象，执行所述对象的接口内的方法；
所述根据所述用户行为和***流程，确定导航交互所需的策略元素，包括：
通过场景分析器对所述用户行为进行实时分析，获取导航交互的用户行为特征；
从指令集中提取所述用户行为特征的相关策略元素；
将所述相关策略元素存储于缓存器中；
所述方法还包括：
通过所述场景分析器确定所述***流程的场景行为特征，获取所述场景行为特征对应的特征码；
通过所述特征码从所述相关策略元素中提取导航交互所需的策略元素。
2.根据权利要求1所述的导航交互辅助方法，其特征在于，所述缓存器具有缓冲池的功能。
3.根据权利要求1所述的导航交互辅助方法，其特征在于，所述提取所述策略元素中的策略对象，包括：
所述场景分析器通过特征队列容器将提取的所述策略元素发送至命令处理器；
所述命令处理器依次从特征队列中提取出所述策略元素中的策略对象。
4.根据权利要求3所述的导航交互辅助方法，其特征在于，所述场景分析器的所有逻辑都运行在Update函数中。
5.根据权利要求3所述的导航交互辅助方法，其特征在于，所述策略元素由键值对key－value组成，其中，key表示所述策略元素中的所述特征码，value表示所述策略对象。
6.一种基于混合现实的穿刺导航交互辅助装置，其特征在于，包括：
信息获取模块，用于获取导航交互用户的用户行为和***流程；
策略元素确定模块，用于根据所述用户行为和***流程，确定导航交互所需的策略元素；通过场景分析器对所述用户行为进行实时分析，获取导航交互的用户行为特征；从指令集中提取所述用户行为特征的相关策略元素；将所述相关策略元素存储于缓存器中；通过所述场景分析器确定所述***流程的场景行为特征，获取所述场景行为特征对应的特征码；通过所述特征码从所述相关策略元素中提取导航交互所需的策略元素；
策略对象提取模块，用于提取所述策略元素中的策略对象；
命令触发模块，用于通过用户与所述策略对象包括的界面进行交互，触发所述策略对象包括的命令；
执行模块，用于通过命令管理器调用所述命令对应的对象，执行所述对象的接口内的方法。
7.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1－5任意一项的方法步骤。
8.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1－5任意一项的方法步骤。
CN202210264158.4A 2022-03-17 2022-03-17 一种基于混合现实的穿刺导航交互辅助方法及装置 Active CN114840110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210264158.4A CN114840110B (zh) 2022-03-17 2022-03-17 一种基于混合现实的穿刺导航交互辅助方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210264158.4A CN114840110B (zh) 2022-03-17 2022-03-17 一种基于混合现实的穿刺导航交互辅助方法及装置

Publications (2)

Publication Number Publication Date
CN114840110A CN114840110A (zh) 2022-08-02
CN114840110B true CN114840110B (zh) 2023-06-20

Family

ID=82562388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210264158.4A Active CN114840110B (zh) 2022-03-17 2022-03-17 一种基于混合现实的穿刺导航交互辅助方法及装置

Country Status (1)

Country Link
CN (1) CN114840110B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273164A (zh) * 2017-06-16 2017-10-20 郑州云海信息技术有限公司 一种实现Linux***性能优化时自动匹配场景优化策略的方法
CN109074665A (zh) * 2016-12-02 2018-12-21 阿文特公司 用于在基于医学成像的程序中导航到目标解剖对象的***和方法
CN113133813A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 基于穿刺过程的动态信息显示***及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852381B2 (en) * 2012-12-20 2017-12-26 Nokia Technologies Oy Method and apparatus for providing behavioral pattern generation for mixed reality objects
WO2015154069A1 (en) * 2014-04-04 2015-10-08 Surgical Theater LLC Dynamic and interactive navigation in a surgical environment
CN110537980A (zh) * 2019-09-24 2019-12-06 上海理工大学 一种基于运动捕捉和混合现实技术的穿刺手术导航方法
CN113133829B (zh) * 2021-04-01 2022-11-01 上海复拓知达医疗科技有限公司 一种手术导航***、方法、电子设备和可读存储介质
CN113986111A (zh) * 2021-12-28 2022-01-28 北京亮亮视野科技有限公司 一种交互方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074665A (zh) * 2016-12-02 2018-12-21 阿文特公司 用于在基于医学成像的程序中导航到目标解剖对象的***和方法
CN107273164A (zh) * 2017-06-16 2017-10-20 郑州云海信息技术有限公司 一种实现Linux***性能优化时自动匹配场景优化策略的方法
CN113133813A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 基于穿刺过程的动态信息显示***及方法

Also Published As

Publication number Publication date
CN114840110A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
KR102014385B1 (ko) 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치
KR101864380B1 (ko) 수술영상데이터 학습시스템
US11907848B2 (en) Method and apparatus for training pose recognition model, and method and apparatus for image recognition
KR102298412B1 (ko) 수술영상데이터 학습시스템
CN107296650A (zh) 基于虚拟现实和增强现实的智能手术辅助***
US20190333626A1 (en) System and method for artificial agent based cognitive operating rooms
EP2400464A2 (en) Spatial association between virtual and augmented reality
CN111383347B (zh) 基于三维仿真的急救模拟方法、***、服务器及存储介质
CN110060767A (zh) 一种洗手的监控方法、装置、设备及存储介质
US20220125360A1 (en) Method and computer program for determining psychological state through drawing process of counseling recipient
CN113177928B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN110827953A (zh) 基于vr的认知记忆力训练评估***、方法及存储介质
CN110660130A (zh) 一种面向医学影像的移动增强现实***构建方法
CN110209741A (zh) 异构数据源间的数据同步方法、装置和设备
CN116869651A (zh) 提供基于虚拟现实的手术模拟的装置及方法
CN104517016A (zh) 一种体感技术和虚拟现实技术的手术模拟***
US20230293236A1 (en) Device, method and computer program product for validating surgical simulation
CN110796064A (zh) 人体肌肉图像的建立方法、装置、存储介质及电子设备
CN114840110B (zh) 一种基于混合现实的穿刺导航交互辅助方法及装置
CN110335687A (zh) 远程会诊方法、***及计算机可读存储介质
CN106078743A (zh) 智能机器人，应用于智能机器人的操作***及应用商店
CN113397708B (zh) 粒子穿刺手术机器人导航***
CN113409280B (zh) 医学影像的处理方法、标注方法和电子设备
CN111967333B (zh) 一种信号生成方法、***、存储介质及脑机接口拼写器
CN117058405B (zh) 一种基于图像的情绪识别方法、***、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant