CN110376922B - 手术室场景模拟*** - Google Patents

手术室场景模拟*** Download PDF

Info

Publication number
CN110376922B
CN110376922B CN201910666857.XA CN201910666857A CN110376922B CN 110376922 B CN110376922 B CN 110376922B CN 201910666857 A CN201910666857 A CN 201910666857A CN 110376922 B CN110376922 B CN 110376922B
Authority
CN
China
Prior art keywords
scene
operating room
interactive object
user
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910666857.XA
Other languages
English (en)
Other versions
CN110376922A (zh
Inventor
陈玉冰
张立臣
叶典
曹祖晟
叶子成
江嘉伟
曾博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910666857.XA priority Critical patent/CN110376922B/zh
Publication of CN110376922A publication Critical patent/CN110376922A/zh
Application granted granted Critical
Publication of CN110376922B publication Critical patent/CN110376922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00Systems involving the use of models or simulators of said systems
    • G05B17/02Systems involving the use of models or simulators of said systems electric
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及虚拟现实技术领域,特别是涉及一种手术室场景模拟***,包括:场景建模模块和场景交互模块;所述场景建模模块,用于构建手术室模拟场景,并将所述手术室模拟场景导入所述场景交互模块,所述手术室模拟场景包含多个交互物体,所述交互物体包括手术床、无影灯、X线片阅片器、监护仪及多功能麻醉机;所述场景交互模块,用于接收用户发送的各个控制指令,并依据每个所述控制指令对应的控制操作,模拟人体与所述手术室模拟场景中的各个所述交互物体进行人机交互。应用该***,可以使用户以直观的形式观察手术室的内部结构,并通过各种控制指令,模拟人体在手术室中的进行各种控制操作的操作过程,提高医疗教学效率。

Description

手术室场景模拟***
技术领域
本发明涉及虚拟现实技术领域,特别是涉及一种手术室场景模拟***。
背景技术
随着网络技术和科学技术的不断发展,虚拟技术越发成熟。用户通过虚拟技术,构建三维环境信息,可以逼真地模拟在现实世界中的实物和环境,用户可在三维的虚拟环境进行交互,模拟用户在真实场景中各种行为操作的过程。
目前,随着医疗技术在不断的发展,医护人员和学生的技术水平需要进一步提高,医护人员和学生需要不断的钻研学术知识,包括医疗器械的使用和说明、多种疾病的诊断和治疗、对人体多种解剖手术的学习和研究等,然而在现有技术中,医护人员大都是通过观看二维影像资料来进行学习研究,而这种方式不直观,教学过程学生非常被动,理解困难,不利于医疗教学效率的提高。
发明内容
本发明所要解决的技术问题是提供一种手术室场景模拟***,通过该***,构建一个手术室模拟场景,使用户可以以直观的形式观察手术室的内部结构,并通过各种控制指令,模拟人体在手术室中的进行各种控制操作的操作过程,提高医疗教学效率。
一种手术室场景模拟***,包括:
场景建模模块和场景交互模块;
所述场景建模模块,用于构建手术室模拟场景,并将所述手术室模拟场景导入所述场景交互模块,所述手术室模拟场景包含多个交互物体,所述交互物体包括手术床、无影灯、X线片阅片器、监护仪及多功能麻醉机;
所述场景交互模块,用于接收用户发送的各个控制指令,并依据每个所述控制指令对应的控制操作,模拟人体与所述手术室模拟场景中的各个所述交互物体进行人机交互。
上述的***,可选的,所述场景建模模块,包括:
设置单元及建模单元;
所述设置单元,用于设置与每个所述交互物体对应的摆放位置;
所述建模单元,用于应用预先设置的3Ds Max软件,依据每个所述交互物体对应的摆放位置构建所述手术室模拟场景。
上述的***,可选的,所述建模单元,还用于将已构建的手术室模拟场景保存为目标格式文件,并将所述目标格式文件导入所述场景交互模块对应的模块程序。
上述的***,可选的,所述建模单元,包括:
手术床调节子单元、无影灯调节子单元、阅片器控制子单元、监护仪控制子单元及麻醉机控制子单元;
手术床调节子单元,用于接收所述用户发送的手术床调节指令,调节所述手术床的床高度、把手位置及靠背角度;
所述无影灯调节子单元,用于接收所述用户发送的无影灯调节指令,调节所述无影的照明位置和灯光亮度,并控制所述无影灯的开关;
所述阅片器控制子单元,用于接收所述用户发送的阅片控制指令,控制所述X线片阅片器的开关;
所述监护仪控制子单元,用于接收所述用户发送的监护仪操作指令,控制所述监护仪的开关;
所述麻醉机控制子单元,用于接收所述用户发送的麻醉机操作指令,控制所述多功能麻醉机的开关。
上述的***,可选的,所述场景交互模块,包括:
角色控制器、碰撞检测器、可交互物体特性存储设备和UI界面;
所述角色控制器,用于接收所述用户通过所述UI界面发送的控制指令,并依据所述控制指令模拟所述人体在所述手术室模拟场景中与各个所述交互物体进行用户交互的行为;
所述碰撞检测器,用于检测每个所述交互物体对应的碰撞范围内是否存在所述人体进行人机交互,并确定当前进行人机交互对应的当前交互物体的物体信息,依据所述可交互物体特性存储设备所存储的与所述当前交互物体的物体属性,触发所述UI界面显示与所述当前交互物体对应的物体详情和操作方法;
所述可交互物体特性存储设备,用于设置每个所述交互物体的物体属性,并将所有所述交互物体的共同属性存储在预先设置的共性集合中,每个所述交互物体的不同属性存储在与每个所述交互物体对应的异性集合中;
所述UI界面,用于显示所述手术室模拟场景及各个所述交互物体的物体详情和操作方法,并接收所述用户在所述UI界面上选择的与每种所述操作方法对应的控制指令,将所述控制指令发送至所述角色控制器,触发接收所述角色控制器执行与每个所述控制指令对应的控制操作。
上述的***,可选的,所述角色控制器,包括:
位移控制器、旋转控制器、摄像机及角色碰撞控制器;
所述位移控制器,用于当接收到所述用户通过所述UI界面发送的位移控制指令时,控制所述人体在所述手术室模拟场景中的人***移;
所述旋转控制器,用于当接收到所述用户通过所述UI界面发送的旋转控制指令时,控制所述人体在预设角度范围内进行旋转;
所述摄像机,用于按照预先设置的拍摄视角,拍摄所述人体在所述手术室模拟场景中所观看到的物体;
所述角色碰撞控制器,用于当接收到所述用户通过所述UI界面发送的触碰控制指令时,控制所述人体对待交互的交互物体进行交互。
上述的***,可选的,所述碰撞检测器,包括:
物体配置器及多个物体检测器;
所述物体配置器,用于检测各个所述交互物体的物体形态,根据每个所述交互物体的物体形态增加物体刚体属性,并配置与每个所述物体形态对应的碰撞范围;
每个所述物体检测器设置于与其对应的交互物体上;
每个所述物体检测器,用于检测与其对应的当前交互物体当前是否存在所述人体进入与所述当前交互物体对应的碰撞范围;若存在所述人体进入与所述当前交互物体对应的碰撞范围,则触发所述UI界面显示与所述当前交互物体对应的物体介绍和操作方法。
与现有技术相比,本发明包括以下优点:
本发明提供了一种手术室场景模拟***,包括:场景建模模块和场景交互模块;所述场景建模模块,用于构建手术室模拟场景,并将所述手术室模拟场景导入所述场景交互模块,所述手术室模拟场景包含多个交互物体,所述交互物体包括手术床、无影灯、X线片阅片器、监护仪及多功能麻醉机;所述场景交互模块,用于接收用户发送的各个控制指令,并依据每个所述控制指令对应的控制操作,模拟人体与所述手术室模拟场景中的各个所述交互物体进行人机交互。应用该***,可以使用户以直观的形式观察手术室的内部结构,并通过各种控制指令,模拟人体在手术室中的进行各种控制操作的操作过程,提高医疗教学效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种手术室场景模拟***的***结构图;
图2为本发明实施例提供的一种手术室场景模拟***的又一***结构图;
图3为本发明实施例提供的一种手术室场景模拟***的又一***结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明可用于众多通用或专用的计算装置环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本发明实施例提供了一种手术室场景模拟***,该***的***结构图如图1所示,具体包括:
场景建模模块100和场景交互模块200;
所述场景建模模块100,用于构建手术室模拟场景,并将所述手术室模拟场景导入所述场景交互模块,所述手术室模拟场景包含多个交互物体,所述交互物体包括手术床、无影灯、X线片阅片器、监护仪及多功能麻醉机;
所述场景交互模块200,用于接收用户发送的各个控制指令,并依据每个所述控制指令对应的控制操作,模拟人体与所述手术室模拟场景中的各个所述交互物体进行人机交互。
本发明实施例提供的一种手术室场景模拟***中,由场景建模模块构建一个手术室模拟场景,该手术室模拟场景是应用预先设置的建模绘图软件进行构建。其中,该手术室模拟场景可以是根据现代化医学的手术室的内部组成结构进行构建。该手术室模拟场景中包含各个交互物体,每一个交互物体为该手术室模拟场景中,用户进行医学治疗所需要用到的一些医疗器械,具体可以包括手术床、无影灯、X线片阅片器、监护仪及多功能麻醉机。在构建该手术室模拟场景后,将该手术室模拟场景导入到场景交互模块中,并根据该场景交互模块,利用模拟人体的方式对各个交互物体进行人机交互。其中,用户可通过场景交互模块发送控制指令,由场景交互模块根据该控制指令执行相对应的控制操作,实现人机交互的过程。
需要说明的是,该场景交互模块可以通过Unity 3D软件进行构建。其中,当场景建模模块完成构建手术室模拟场景后,可将该手术室模拟场景导入Unity软件中,通过编写与该场景建模模块对应的软件程序,实现人机交互的过程。
可选的,该场景建模模块中,除了构建手术室模拟场景中的手术床、无影灯、X线片阅片器、监护仪及多功能麻醉机之外,还可再增加其他的交互物体,例如:手术刀、氧气瓶等。
应用本发明实施例提供的***,通过场景建模模块和场景交互模块实现对手术室的场景模拟,并通过各种控制指令,模拟人体在手术室中的进行各种控制操作的操作过程,提高医疗教学效率。
本发明实施例提供的***中,参考图2,该场景建模模块100,具体可以包括:设置单元110及建模单元120;
所述设置单元,用于设置与每个所述交互物体对应的摆放位置;
所述建模单元,用于应用预先设置的3Ds Max软件,依据每个所述交互物体对应的摆放位置构建所述手术室模拟场景。
本发明实施例提供的***中,通过建模单元对该手术室模拟场进行构建,其中,该手术室模拟场景中包含了多个交互物体,先设置与每个交互物体具体的摆放位置,可选的,可以以3D立体坐标设置每个交互物体之间的对应关系,例如,多功能麻醉机可以设置于手术床的任意一面,则在确定手术床的为之后,可根据当前的场景设置与多功能麻醉机对应的坐标位置。其中,通过3Ds Max绘图软件进行绘制。
应用本发明实施例提供的***,采用3Ds Max软件构建手术室模拟场景,能够更加直观地显示手术室的内部结构。
本发明实施例提供的***中,可选的,该建模单元120具体还用于将已构建的手术室模拟场景保存为目标格式文件,并将所述目标格式文件导入所述场景交互模块对应的模块程序。
本发明实施例提供的***中,在通过3Ds Max软件进行构建手术室模拟场景后,根据该3Ds Max软件对应的文件格式,可将该手术室模拟场景保存为目标格式文件,即,保存成后缀为.FBX格式的文件。并根据该目标格式文件导入到场景交互模块中,以实现通过手术室模拟场景进行人机交互的过程。
本发明实施例提供的***中,参考图3,该建模单元120,具体包括:
手术床调节子单元1201、无影灯调节子单元1202、阅片器控制子单元1203、监护仪控制子单元1204及麻醉机控制子单元1205;
手术床调节子单元1201,用于接收所述用户发送的手术床调节指令,调节所述手术床的床高度、把手位置及靠背角度;
所述无影灯调节子单元1202,用于接收所述用户发送的无影灯调节指令,调节所述无影的照明位置和灯光亮度,并控制所述无影灯的开关;
所述阅片器控制子单元1203,用于接收所述用户发送的阅片控制指令,控制所述X线片阅片器的开关;
所述监护仪控制子单元1204,用于接收所述用户发送的监护仪操作指令,控制所述监护仪的开关;
所述麻醉机控制子单元1205,用于接收所述用户发送的麻醉机操作指令,控制所述多功能麻醉机的开关。
本发明实施例提供的***中,该建模单元可以包含各个交互物体的控制子单元或调节子单元。其中手术床调节子单元可以用来对该手术室模拟场景中的手术床进行调节。例如床的高度、把手的位置依据拷贝的角度等。无影灯调节子单元则可以调节灯光的明暗程度以及照明的位置,具体可以进行挪动,转变照明的位置,同时还可以控制无影灯的开和关。阅片器控制子单元、监护仪控制子单元、麻醉机控制子单元,均分别用于控制X线片阅片器、监护仪以及多功能麻醉机的的开关。
可选的,该建模单元除了手术床调节子单元、无影灯调节子单元、阅片器控制子单元、监护仪控制子单元及麻醉机控制子单元之外,若该手术室模拟场景中还构建了其他的交互物体,可根据该交互物体的功能及使用方式,设置与该交互物体对应的控制子单元。
应用本发明提供的***,通过各个交互物体对应的控制子单元或调节子单元,可以更加形象地将每个交互物体的可操作性行进行展示,更加真实地反映每个交互物体的功能,使医学学生在学习的过程中,更加直观了解每一个仪器的操作方法。
本发明实施例提供的***中,参考图2,所述场景交互模块200,包括:
角色控制210、碰撞检测器220、可交互物体特性存储设备230和UI界面240;
所述角色控制器210,用于接收所述用户通过所述UI界面发送的控制指令,并依据所述控制指令模拟所述人体在所述手术室模拟场景中与各个所述交互物体进行用户交互的行为;
所述碰撞检测器220,用于检测每个所述交互物体对应的碰撞范围内是否存在所述人体进行人机交互,并确定当前进行人机交互对应的当前交互物体的物体信息,依据所述可交互物体特性存储设备所存储的与所述当前交互物体的物体属性,触发所述UI界面显示与所述当前交互物体对应的物体详情和操作方法;
所述可交互物体特性存储设备230,用于设置每个所述交互物体的物体属性,并将所有所述交互物体的共同属性存储在预先设置的共性集合中,每个所述交互物体的不同属性存储在与每个所述交互物体对应的异性集合中;
所述UI界面240,用于显示所述手术室模拟场景及各个所述交互物体的物体详情和操作方法,并接收所述用户在所述UI界面上选择的与每种所述操作方法对应的控制指令,将所述控制指令发送至所述角色控制器,触发接收所述角色控制器执行与每个所述控制指令对应的控制操作。
本发明实施例提供的***中,由角色控制器模拟人体进行人机交互操作,其中,当用户通过UI界面发送控制指令时,根据该控制指令对应的控制操作,触发该手术室模拟场集中的人体进行人机交互的行为,例如走路、转身、触摸等人体动作,其中,该人体在手术室模拟场景中,以用户的第一视角进行控制操作。碰撞检测器主要用于检测该手术室模拟场景中的人体当前是否产生人机交互的行为,若该人体与当前交互物体产生人机交互的行为,则确定该当前交互物体的物体信息,即确定该交互物体是什么、叫什么名字,在确定该当前交互物体的物体信息后,根据可交互物体特性存储设备中存储的与该当前交互物体对应的物体属性,触发UI界面显示该当前交互物体的物体详情和操作方法。例如,当前交互物体为手术床,则根据该手术床的物体属性,触发UI界面显示该手术床的结构、分类、用途和使用方法等信息。其中,由可交互物体特性存储设备存储每个交互物体的物体属性,具体地,将所有交互物体的共同属性存储在预先设置的共性集合中,每个交互物体的不同属性存储在与每个所述交互物体对应的异性集合中。例如,手术床、无影灯、X线片阅片器、监护仪及多功能麻醉机的共同属性包括:
1)需要显示可交互提示;
2)需要显示交互UI界面;
3)需要标记人体是否进入交互物体的碰撞范围;
4)需要动态地为交互UI界面中的控件添加事件监听;
其中,标记玩家是否进入交互物体的碰撞范围是,具体可以实时监测是否存在模拟的人体进入碰撞范围,若进入,则会产生一个enter指令,并根据该enter指令进行标记当前该人体正在进行人机交互;同样,若人体离开碰撞范围时,会产生一个exit指令,并根据该exit指令取消原先的标记,完成人机交互。事件监听指的是对各个交互物体对应的控制子单元或调节子单元进行监控,确定当前交互物体是否与人体进行人机交互。
UI界面是作为真实操作用户与手术室模拟场景进行模拟交互操作的交互界面。用户可以通过该UI界面进行操作,并根据用户在UI界面选择操作的控制指令,将每一个控制指令发送到角色控制器中,由角色控制器根据控制指令执行相对应的控制操作。
需要说明的是,可交互物体特性存储设备中,该共性集合具体可以是InteractiveObj类,即共同属***互类。每个交互物体对应的异性集合具体可以包括:灯Lamp类、手术床Bed类、监视器Invigilator类、X射线监测器XRayMonitor类、麻醉Anasethesia类等。Lamp类对应于无影灯的可交互的实现;Bed类对应于手术床的交互实现;Invigilator类对应于监护仪的交互实现;XRayMonitor类对应于X线片阅片灯的交互实现;Anasethesia类对应于多功能麻醉机的交互实现。交互中,不仅仅有相关仪器的功能介绍、操作方法,还能对相应的仪器进行操作,以充分了解手术室的布局,使用户仿佛就身处于该***环境中进行学习和实训。
在本施例中,可以根据面向对象编程的多态方法,实现各个交互物体的共性和异性之间的分离,即通过对交互物体进行抽象设计,将共性与异性分离,如果要添加新的不同类型的交互物体,只需要让它继承InteractiveObj类,然后让它自行实现自身的异性,无需额外实现可交互物体间的共性。再者如果其他类需要调用可交互物体的方法时,无需考虑这个物体到底是哪一种类型,因为它们都是属于InteractiveObj类型的,只需要交给类自身进行判断,调用实际应该调用的方法。
应用本发明实施例提供的方法,在角色控制器、碰撞检测器、可交互物体特性存储设备和UI界面的相互配合之下,实现对手术室模拟场景中进行人机交互的过程,提高医疗教学效率。
本发明实施例提供的***中,参考图3,所述角色控制210,包括:
位移控制器2101、旋转控制器2102、摄像机2103及角色碰撞控制器2104;
所述位移控制器2101,用于当接收到所述用户通过所述UI界面发送的位移控制指令时,控制所述人体在所述手术室模拟场景中的人***移;
所述旋转控制器2102,用于当接收到所述用户通过所述UI界面发送的旋转控制指令时,控制所述人体在预设角度范围内进行旋转;
所述摄像机2103,用于按照预先设置的拍摄视角,拍摄所述人体在所述手术室模拟场景中所观看到的物体;
所述角色碰撞控制器2104,用于当接收到所述用户通过所述UI界面发送的触碰控制指令时,控制所述人体对待交互的交互物体进行交互。
本发明实施例提供的***中,改位移控制器可以用于当接收到用户通过UI界面发送的位移控制指令时,控制人体进行移动。其中位移控制指令包括:前进、后退、左移、右移等位移控制指令,可以是人体在该手术室模拟场景中进行向前移动、向后退、向左移动即向右移动等。该旋转控制器则可以控制人体进行扭头或扭转身体的。其中,该旋转控制器可以根据预先设置的旋转角度进行旋转。该摄像机相当于人体的“眼睛”部分,可以真实的模仿人体观察手术室模拟场景的周围环境,并将拍摄内容通过UI界面向用户进行显示。该角色碰撞控制器用于当接收到触碰的控制指令时,控制人体与待交互物体进行人机交互。
应用本发明实施例提供的***,通过位移控制器、旋转控制器、摄像机及角色碰撞控制器之间的相互配合,实现人体在该手术室模拟场景中进行交互的过程,保证场景的真实性,进一步提高医疗教学效率。
本发明实施例提供的***中,参考图3,所述碰撞检测器220,包括:
物体配置器2201及多个物体检测器2202;
所述物体配置器2201,用于检测各个所述交互物体的物体形态,根据每个所述交互物体的物体形态增加物体刚体属性,并配置与每个所述物体形态对应的碰撞范围;
每个所述物体检测器2202设置于与其对应的交互物体上;
每个所述物体检测器2202,用于检测与其对应的当前交互物体当前是否存在所述人体进入与所述当前交互物体对应的碰撞范围;若存在所述人体进入与所述当前交互物体对应的碰撞范围,则触发所述UI界面显示与所述当前交互物体对应的物体介绍和操作方法。
本发明实施例提供的***中,在对该手术室模拟场景中,由物体配置器检测各个交互物体的形态,并为每个交互物体增加物体刚体属性。其中,该刚体属性指的是模拟我们生活中的真实物体,给予它固体属性、质量、光滑度等,若无刚体属性,该物体将可以与任何物体发生穿插,这在现实生活中是不存在的。例如,多功能麻醉机的外壳、手术床的床板、扶手、支架等,均附上刚体属性。通过人体进行人机交互时,该人体可以相当于真实用户触碰到真实物体一般,不会产生穿插。其中,由于每个交互物体对应的物体形状、姿态和组成部分不同,因此可以针对每个交互物体,设置不同的刚体属性。该物体检测器设置在每一个交互物体上,每个交互物体均有一个专门对应的物体检测器,该物体检测器用于检测与其对应的当前交互物体当前是否存在所述人体进入与所述当前交互物体对应的碰撞范围,若人体已进入碰撞范围,则由UI界面显示与当前交互物体对应的物体介绍和操作方法。
需要说明的是,该物体检测器可以针对其所检测的物体对应的碰撞范围设置碰撞范围。例如,手术床的床面对应的物体检测器可以是网格碰撞器MeshCollider,该网格碰撞器会根据对应的床面自动生成一个符合床面大小的碰撞范围;对于手术室中的多功能麻醉机、X线片阅片器等,为它们添加了比较节省资源的盒式碰撞器BoxCollider,并根据多功能麻醉机和X线片阅片器调整好碰撞器的大小以适应物体的大小。由MeshCollider或BoxCollider设置与每个交互物体对应的碰撞范围。
应用本发明实施例提供的***,由物体配置器及多个物体检测器对各个交互物体进行检测和配置,使用户能够真实体验交互过程,进一步提高医疗教学效率。
基于上述实施例提供的***,所述人体具体为在手术室模拟场景中进行人机交互的,模拟真实用户执行各种控制操作的虚拟用户。上述各个实施例的具体实施过程及其衍生方式,均在本发明的保护范围之内。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***或***实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的***及***实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,
为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种手术室场景模拟***,其特征在于,包括:
场景建模模块和场景交互模块;
所述场景建模模块,用于构建手术室模拟场景,并将所述手术室模拟场景导入所述场景交互模块,所述手术室模拟场景包含多个交互物体,所述交互物体包括手术床、无影灯、X线片阅片器、监护仪及多功能麻醉机;
所述场景交互模块,用于接收用户发送的各个控制指令,并依据每个所述控制指令对应的控制操作,模拟人体与所述手术室模拟场景中的各个所述交互物体进行人机交互;
碰撞检测器,用于检测每个所述交互物体对应的碰撞范围内是否存在所述人体进行人机交互,并确定当前进行人机交互对应的当前交互物体的物体信息,依据可交互物体特性存储设备所存储的与所述当前交互物体的物体属性,触发UI界面显示与所述当前交互物体对应的物体详情和操作方法。
2.根据权利要求1所述的***,其特征在于,所述场景建模模块,包括:
设置单元及建模单元;
所述设置单元,用于设置与每个所述交互物体对应的摆放位置;
所述建模单元,用于应用预先设置的3Ds Max软件,依据每个所述交互物体对应的摆放位置构建所述手术室模拟场景。
3.根据权利要求2所述的***,其特征在于,所述建模单元,还用于将已构建的手术室模拟场景保存为目标格式文件,并将所述目标格式文件导入所述场景交互模块对应的模块程序。
4.根据权利要求2所述的***,其特征在于,所述建模单元,包括:
手术床调节子单元、无影灯调节子单元、阅片器控制子单元、监护仪控制子单元及麻醉机控制子单元;
手术床调节子单元,用于接收所述用户发送的手术床调节指令,调节所述手术床的床高度、把手位置及靠背角度;
所述无影灯调节子单元,用于接收所述用户发送的无影灯调节指令,调节所述无影的照明位置和灯光亮度,并控制所述无影灯的开关;
所述阅片器控制子单元,用于接收所述用户发送的阅片控制指令,控制所述X线片阅片器的开关;
所述监护仪控制子单元,用于接收所述用户发送的监护仪操作指令,控制所述监护仪的开关;
所述麻醉机控制子单元,用于接收所述用户发送的麻醉机操作指令,控制所述多功能麻醉机的开关。
5.根据权利要求1所述的***,其特征在于,所述场景交互模块,包括:
角色控制器、碰撞检测器、可交互物体特性存储设备和UI界面;
所述角色控制器,用于接收所述用户通过所述UI界面发送的控制指令,并依据所述控制指令模拟所述人体在所述手术室模拟场景中与各个所述交互物体进行用户交互的行为;
所述碰撞检测器,用于检测每个所述交互物体对应的碰撞范围内是否存在所述人体进行人机交互,并确定当前进行人机交互对应的当前交互物体的物体信息,依据所述可交互物体特性存储设备所存储的与所述当前交互物体的物体属性,触发所述UI界面显示与所述当前交互物体对应的物体详情和操作方法;
所述可交互物体特性存储设备,用于设置每个所述交互物体的物体属性,并将所有所述交互物体的共同属性存储在预先设置的共性集合中,每个所述交互物体的不同属性存储在与每个所述交互物体对应的异性集合中;
所述UI界面,用于显示所述手术室模拟场景及各个所述交互物体的物体详情和操作方法,并接收所述用户在所述UI界面上选择的与每种所述操作方法对应的控制指令,将所述控制指令发送至所述角色控制器,触发接收所述角色控制器执行与每个所述控制指令对应的控制操作。
6.根据权利要求5所述的***,其特征在于,所述角色控制器,包括:
位移控制器、旋转控制器、摄像机及角色碰撞控制器;
所述位移控制器,用于当接收到所述用户通过所述UI界面发送的位移控制指令时,控制所述人体在所述手术室模拟场景中的人***移;
所述旋转控制器,用于当接收到所述用户通过所述UI界面发送的旋转控制指令时,控制所述人体在预设角度范围内进行旋转;
所述摄像机,用于按照预先设置的拍摄视角,拍摄所述人体在所述手术室模拟场景中所观看到的物体;
所述角色碰撞控制器,用于当接收到所述用户通过所述UI界面发送的触碰控制指令时,控制所述人体对待交互的交互物体进行交互。
7.根据权利要求5所述的***,其特征在于,所述碰撞检测器,包括:
物体配置器及多个物体检测器;
所述物体配置器,用于检测各个所述交互物体的物体形态,根据每个所述交互物体的物体形态增加物体刚体属性,并配置与每个所述物体形态对应的碰撞范围;
每个所述物体检测器设置于与其对应的交互物体上;
每个所述物体检测器,用于检测与其对应的当前交互物体当前是否存在所述人体进入与所述当前交互物体对应的碰撞范围;若存在所述人体进入与所述当前交互物体对应的碰撞范围,则触发所述UI界面显示与所述当前交互物体对应的物体介绍和操作方法。
CN201910666857.XA 2019-07-23 2019-07-23 手术室场景模拟*** Active CN110376922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910666857.XA CN110376922B (zh) 2019-07-23 2019-07-23 手术室场景模拟***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910666857.XA CN110376922B (zh) 2019-07-23 2019-07-23 手术室场景模拟***

Publications (2)

Publication Number Publication Date
CN110376922A CN110376922A (zh) 2019-10-25
CN110376922B true CN110376922B (zh) 2022-10-21

Family

ID=68255081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910666857.XA Active CN110376922B (zh) 2019-07-23 2019-07-23 手术室场景模拟***

Country Status (1)

Country Link
CN (1) CN110376922B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113730715B (zh) * 2021-10-15 2023-10-03 核工业总医院 一种遥控麻醉辅助控制方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441831A (zh) * 2008-11-17 2009-05-27 江苏科技大学 基于力反馈的虚拟手术仿真***
CN102254475A (zh) * 2011-07-18 2011-11-23 广州赛宝联睿信息科技有限公司 内窥镜微创手术模拟训练3d平台***的实现方法
CN105303605A (zh) * 2015-10-26 2016-02-03 哈尔滨理工大学 一种基于力反馈的骨外科手术仿真***
CN107229388A (zh) * 2017-05-02 2017-10-03 中南民族大学 一种活髓切断手术训练***及训练方法
CN108335754A (zh) * 2018-03-30 2018-07-27 赵东生 一种交互式心脏介入手术模拟器
CN108919954A (zh) * 2018-06-29 2018-11-30 蓝色智库(北京)科技发展有限公司 一种动态变化场景虚实物体碰撞交互方法
CN109002167A (zh) * 2018-08-07 2018-12-14 浙江冰峰科技有限公司 眼球追踪模拟方法、装置及头戴显示设备
CN109192030A (zh) * 2018-09-26 2019-01-11 郑州大学第附属医院 基于虚拟现实的真实腔镜微创手术仿真训练***及方法
CN109285225A (zh) * 2018-10-15 2019-01-29 东北大学 一种基于医学影像的虚拟现实辅助手术的建立方法
CN109791801A (zh) * 2017-06-29 2019-05-21 威博外科公司 机器人外科手术***中的虚拟现实训练、模拟和协作

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254476B (zh) * 2011-07-18 2014-12-10 广州赛宝联睿信息科技有限公司 内窥镜微创手术模拟训练方法及其***
CN103680279A (zh) * 2013-12-31 2014-03-26 广州赛宝联睿信息科技有限公司 膀胱镜手术模拟训练方法及***
CN105656956A (zh) * 2014-11-12 2016-06-08 梁廷洲 数字化复合手术室远程维护***
CN106200982A (zh) * 2016-07-26 2016-12-07 南京意斯伽生态科技有限公司 一种基于虚拟现实技术的医学手术训练***
CN109961682A (zh) * 2017-12-26 2019-07-02 深圳先进技术研究院 虚拟整形手术训练装置及终端设备
CN208808665U (zh) * 2018-02-11 2019-05-03 深圳市汇健医疗工程有限公司 一种人工智能手术室
CN108648548A (zh) * 2018-04-19 2018-10-12 浙江工业大学 一种脑神经外科虚拟手术训练***
CN109065147A (zh) * 2018-07-30 2018-12-21 广州狄卡视觉科技有限公司 医学数字化3d模型人体手术模拟人机互动***及方法
CN109308739A (zh) * 2018-10-11 2019-02-05 南京工程学院 一种基于虚拟现实的软组织微创手术训练方法
CN109658772B (zh) * 2019-02-11 2021-01-26 三峡大学 一种基于虚拟现实的手术培训与考核方法
CN109979600A (zh) * 2019-04-23 2019-07-05 上海交通大学医学院附属第九人民医院 基于虚拟现实的眼眶手术训练方法、***和存储介质
CN109979266A (zh) * 2019-04-30 2019-07-05 邵阳学院 一种人体解剖学3d教学***

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441831A (zh) * 2008-11-17 2009-05-27 江苏科技大学 基于力反馈的虚拟手术仿真***
CN102254475A (zh) * 2011-07-18 2011-11-23 广州赛宝联睿信息科技有限公司 内窥镜微创手术模拟训练3d平台***的实现方法
CN105303605A (zh) * 2015-10-26 2016-02-03 哈尔滨理工大学 一种基于力反馈的骨外科手术仿真***
CN107229388A (zh) * 2017-05-02 2017-10-03 中南民族大学 一种活髓切断手术训练***及训练方法
CN109791801A (zh) * 2017-06-29 2019-05-21 威博外科公司 机器人外科手术***中的虚拟现实训练、模拟和协作
CN108335754A (zh) * 2018-03-30 2018-07-27 赵东生 一种交互式心脏介入手术模拟器
CN108919954A (zh) * 2018-06-29 2018-11-30 蓝色智库(北京)科技发展有限公司 一种动态变化场景虚实物体碰撞交互方法
CN109002167A (zh) * 2018-08-07 2018-12-14 浙江冰峰科技有限公司 眼球追踪模拟方法、装置及头戴显示设备
CN109192030A (zh) * 2018-09-26 2019-01-11 郑州大学第附属医院 基于虚拟现实的真实腔镜微创手术仿真训练***及方法
CN109285225A (zh) * 2018-10-15 2019-01-29 东北大学 一种基于医学影像的虚拟现实辅助手术的建立方法

Also Published As

Publication number Publication date
CN110376922A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN108701429B (zh) 训练机器人手术***的用户的方法、***、以及存储媒体
US20200020171A1 (en) Systems and methods for mixed reality medical training
CN109432753B (zh) 动作矫正方法、装置、存储介质及电子设备
Hamrol et al. Virtual 3D atlas of a human body–development of an educational medical software application
US20120122062A1 (en) Reconfigurable platform management apparatus for virtual reality-based training simulator
CN105374251A (zh) 一种基于沉浸式输入、输出设备的矿用虚拟现实培训***
Samosky et al. BodyExplorerAR: enhancing a mannequin medical simulator with sensing and projective augmented reality for exploring dynamic anatomy and physiology
CN107993545A (zh) 基于虚拟现实技术的小儿针灸训练仿真***及仿真方法
WO2019203952A1 (en) Systems and methods for applications of augmented reality
CN110376922B (zh) 手术室场景模拟***
Dhanasree et al. Hospital emergency room training using virtual reality and leap motion sensor
Zhou et al. H-GOMS: a model for evaluating a virtual-hand interaction system in virtual environments
Mihaľov et al. Potential of low cost motion sensors compared to programming environments
CN110942519A (zh) 一种计算机组装虚拟实验***及其实现方法
KR101505174B1 (ko) 이미지를 활용하는 학습 시뮬레이션 모델 방법 및 장치
US10692401B2 (en) Devices and methods for interactive augmented reality
Chen A virtual environment system for the comparative study of dome and hmd
RU2494441C1 (ru) Интерактивный учебный комплекс
Shen et al. Immersive haptic eye tele-surgery training simulation
CN203520303U (zh) 一种交互装置
Bressler A virtual reality training tool for upper limp prostheses
König Design and evaluation of novel input devices and interaction techniques for large, high-resolution displays
Balani Investigation of Interaction Metaphors for Augmented and Virtual Reality on Multi-Platforms for Medical Applications
Sousa FUN2HELPELDERLY-COGNITIVE STIMULATION AND REHABILITATION OF HAND-EYE COORDINATION IN THE ELDERLY THROUGH SERIOUS GAMES
KR20240008474A (ko) Ar을 통한 개인화된 한의학 콘텐츠 학습이 가능한 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant