CN114512210A - 数字化手术报告生成和编辑方法、计算机设备及存储介质 - Google Patents

Abstract

本申请涉及一种数字化手术报告生成和编辑方法、计算机设备及存储介质，其包括获取手术视频，对所述手术视频进行处理，得到多个视频帧序列；将所述视频帧序列和预设的报告模板进行匹配，将匹配成功的视频帧序列导入至所述报告模板中相应的编辑区域；接收用户在所述编辑区域的操作命令，对所述编辑区域中的视频帧序列进行编辑，直至完成对所有匹配成功的视频帧序列的编辑，生成数字化手术报告。本申请具有将手术视频呈现于手术报告中，并且可以对手术报告中的手术视频进行编辑的效果。

Description

数字化手术报告生成和编辑方法、计算机设备及存储介质

技术领域

本申请涉及医疗技术领域，尤其是涉及一种数字化手术报告生成和编辑方法、计算机设备及存储介质。

背景技术

在医疗技术领域，医院基于病人患病情况制定手术方案，在手术过程中，数字化手术室内提供的医疗影像采集设备会对现场进行录像，将手术过程记录于视频中，但是这种手术视频通常不会展示给病人，使得病人不了解手术过程和病灶形态等。

因此，本申请提供一种数字化手术报告生成和编辑方法，将手术视频呈现于手术报告中，并且医护人员可以对手术报告中的手术视频进行编辑，以完善手术报告。

发明内容

为了将手术视频呈现于手术报告中，并且可以对手术报告中的手术视频进行编辑，本申请提供一种数字化手术报告生成和编辑方法、计算机设备及存储介质。

第一方面，本申请提供一种数字化手术报告生成和编辑方法，采用如下的技术方案：

一种数字化手术报告生成和编辑方法，包括：

获取手术视频，对所述手术视频进行处理，得到多个视频帧序列；

将所述视频帧序列和预设的报告模板进行匹配，将匹配成功的视频帧序列导入至所述报告模板中相应的编辑区域；

接收用户在所述编辑区域的操作命令，对所述编辑区域中的视频帧序列进行编辑，直至完成对所有匹配成功的视频帧序列的编辑，生成数字化手术报告。

通过采用上述技术方案，将手术视频进行处理后呈现于数字化手术报告中，方便病人了解手术过程和病灶形态，减少病人对手术过程的怀疑，进而减少医患矛盾和医疗纠纷，而且通过数字化手术报告能够让手术过程更加透明化，进而对医护人员产生监督作用；在生成数字化手术报告过程中，还通过用户的操作命令，对视频帧序列进行编辑，能够让生成的数字化手术报告更加完善。

优选的，所述获取手术视频，对所述手术视频进行处理，得到多个视频帧序列，包括：

对所述手术视频进行拆分，得到多个视频帧片段；

对所述多个视频帧片段进行标记，得到多个视频帧序列。

优选的，所述对所述手术视频进行拆分，得到多个视频帧片段，包括：

识别医护人员是否在手术过程中发出事件命令；

若是，则获取识别出所述事件命令的时间点，基于所述时间点在所述手术视频中增加时间戳；

基于所述时间戳，在所述手术视频中截取出多个视频帧片段。

优选的，所述对所述多个视频帧片段进行标记，得到多个视频帧序列，包括：

基于与所述视频帧片段相对应的事件命令，对所述视频帧片段进行标记，得到所述视频帧序列；

重复上述步骤，完成对所有视频帧片段的标记。

优选的，所述将所述视频帧序列和预设的报告模板进行匹配，将匹配成功的视频帧序列导入至所述报告模板中相应的编辑区域，包括：

将所述视频帧序列的标记与所述编辑区域的预设标记进行匹配，将匹配成功的视频帧序列导入至所述预设标记对应的编辑区域中。

优选的，所述接收用户在所述编辑区域的操作命令，对所述编辑区域中的视频帧序列进行编辑，包括：

所述编辑区域的第一窗口以预设播放速度对所述视频帧序列进行播放；

在所述第一窗口播放所述视频帧序列过程中，接收用户在所述编辑区域的时间轴上的操作命令，提取由用户指定的至少一个帧片段；

按照提取的顺序，将所述至少一个帧片段拼接为完整视频帧序列。

优选的，所述在所述第一窗口播放所述视频帧序列过程中，

所述编辑区域的第二窗口的预设区域同步播放所述第一窗口播放的当前视频帧，所述第二窗口的其他区域分别播放在所述当前视频帧之前的第一预设个视频帧和在所述当前视频帧之后的第二预设个视频帧。

优选的，所述直至完成对所有匹配成功的视频帧序列的编辑，生成数字化手术报告，包括：

将所述完整视频帧序列匹配至预设的手术报告模板中，生成数字化手术报告。

第二方面，本申请提供一种数字化手术报告生成和编辑装置，采用如下的技术方案：

一种数字化手术报告生成和编辑装置，包括：

处理模块，用于获取手术视频，对所述手术视频进行处理，得到多个视频帧序列；

匹配模块，用于将所述视频帧序列和预设的报告模板进行匹配，将匹配成功的视频帧序列导入至所述报告模板中相应的编辑区域；以及

编辑模块，用于接收用户在所述编辑区域的操作命令，对所述编辑区域中的视频帧序列进行编辑，直至完成对所有匹配成功的视频帧序列的编辑，生成数字化手术报告。

第三方面，本申请提供一种计算机设备，采用如下的技术方案：

一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行第一方面任一项所述的数字化手术报告生成和编辑方法的计算机程序。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，存储有能够被处理器加载并执行第一方面任一项所述的数字化手术报告生成和编辑方法的计算机程序。

附图说明

图1是本申请实施例提供的数字化手术报告生成和编辑方法的流程示意图。

图2是本申请实施例提供的报告模板的示意图。

图3是本申请实施例提供的报告模板的另一示意图。

图4是本申请实施例提供的第二窗口的示意图。

图5是本申请实施例提供的第一区域和第二区域的示意图。

图6是本申请实施例提供的数字化手术报告生成和编辑装置的结构框图。

图7是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本实施例提供一种数字化手术报告生成和编辑方法，如图1所示，该方法的主要流程描述如下（步骤S101～S103）：

步骤S101：获取手术视频，对手术视频进行处理，得到多个视频帧序列。

其中，手术视频为记录手术室内手术过程的视频。

本实施例中，与数字化手术平台进行数据交换，对每个数字化手术室进行监控，不仅对手术现场进行录像，记录手术视频，同时还实时识别医护人员是否在手术过程中发出事件命令。

识别到事件命令的方式有两种：

其一，识别手术过程中发出的语音，将语音中的第一关键字与预设的多个第二关键字进行对比，若相同，则确定第一关键字为事件命令。触发的第一关键字不同，则对应的事件类型也不相同，例如，事件类型至少包括常规事件类、控制命令、手术记录和特殊事件；其中，常规事件类包括手术开始、病人转入、麻醉开始、病人转出和手术结束等命令；控制命令指的是对路由、灯、床、塔等设备的操控命令。

其二，实时监控对设备的操作控制，进而获取第一操作命令。例如对键盘和鼠标的操作控制；将第一操作命令与预设的多个第二操作命令进行对比，若相同，则确定第一操作命令为事件命令，此类事件命令的事件类型为控制命令。

在识别到事件命令时，获取当前时间点，将该当前时间点作为识别出事件命令的时间点，同时，在录制的手术视频中增加时间戳；注意，手术视频增加时间戳的时间节点与时间点一致。

事件命令均是成对存在的，将表示事件开始的事件命令作为第一命令，将表示事件结束的事件命令作为第二命令，例如，“病人转入”这一事件命令和“病人转出”这一事件命令为一对，将“病人转入”这一事件命令作为第一命令，将“病人转出”这一事件命令作为第二命令。

可选的，事件命令具体还可以增加数量词，例如，“第一次病人转入”、“第二次病人转入”、“第一次病人转出”和“第二次病人转出”，其中，“第一次病人转入”这一事件命令和“第一次病人转出” 这一事件命令为一对，“第二次病人转入”这一事件命令和“第二次病人转出” 这一事件命令为一对。

在获取到第一命令和第二命令时，记录第一命令和第二命令出现的次数。

在增加时间戳的同时，还同时标记该时间戳对应的事件命令，还可以标记事件类型。

接下来，对手术视频进行拆分，得到多个视频帧片段。具体的，在手术视频录制完毕之后，以标记的第N次出现的第一命令对应的时间戳为开始分割点，以标记的第N次出现的第二命令对应的时间戳为结束分割点，截取开始分割点和结束分割点之间的手术视频，将截取出手术视频作为视频帧片段；其中，N为正整数。

基于与视频帧片段相对应的事件命令，对视频帧片段进行标记，得到视频帧序列；其中，事件命令与视频帧序列的标记一一对应。

步骤S102：将视频帧序列和预设的报告模板进行匹配，将匹配成功的视频帧序列导入至报告模板中相应的编辑区域。

其中，报告模板包括任务栏，任务栏包括多个任务模块，每个任务模块均至少与一个编辑区域相对应，每个编辑区域均包含一个预设标记。

参照图2，点击报告模板中左侧的手术过程视频模块，在报告模板中右侧显示与手术过程视频模块相对应的编辑区域。

将视频帧序列的标记与编辑区域的预设标记进行匹配，将匹配成功的视频帧序列导入至预设标记对应的编辑区域中。

参照图3，与任务模块相对应的编辑区域有两个时，两个编辑区域的排布方式如图（1）所示；与任务模块相对应的编辑区域有三个时，三个编辑区域的排布方式如图（2）所示；与任务模块相对应的编辑区域有四个时，四个编辑区域的排布方式如图（3）所示；此处，任务模块以手术过程视频模块为例。

当任务模块相对应的编辑区域为两个或两个以上时，可以导入手术不同时期的视频帧序列，方便用户对多个视频帧序列进行对比。

步骤S103：接收用户在编辑区域的操作命令，对编辑区域中的视频帧序列进行编辑，直至完成对所有匹配成功的视频帧序列的编辑，生成数字化手术报告。

本实施例中，编辑区域包括第一窗口和时间轴，视频帧序列导入至编辑区域之后，以预设播放速度在第一窗口中进行播放；其中，预设播放速度为预先指定的初始播放速度。编辑区域还包括播放速度选择窗口，接收用户在播放速度选择窗口中的操作命令，获取用户选择的指定播放速度，并以指定播放速度对视频帧序列进行播放。

在第一窗口播放视频帧序列过程中，接收用户在时间轴上的操作命令，获取用户在时间轴上所指定的至少一个开始时间节点和至少一个结束时间节。

以第M次获取的开始时间节点为第一分割点，以第M次获取的结束时间节为第二分割点，截取第一分割点和第二分割点之间的视频帧序列，将截取出的视频帧序列作为帧片段，从而依次提取出由用户指定的至少一个帧片段；其中，M为正整数。

按照帧片段被提取的顺序，将所有的帧片段拼接为完整视频帧序列。

可选的，接收用户指定的顺序，按照指定的顺序，将所有的帧片段拼接为完整视频帧序列。

进一步地，参照图4，编辑区域还包括第二窗口，第二窗口包括多个区域，多个区域的显示范围大小可以相同，也可以不相同。

在多个区域中选择任意一个作为预设区域，预设区域同步播放第一窗口播放的当前视频帧，第二窗口的其他区域分别播放在当前视频帧之前的第一预设个视频帧和在当前视频帧之后的第二预设个视频帧。例如，第二窗口包括5个区域，第一预设个和第二预设个均指2个，5个区域由左向右排布，将第3个区域作为预设区域，预设区域同步播放第一窗口播放的当前视频帧，第1个区域和第2个区域分别播放在当前视频帧之前的2个视频帧，第4个区域和第5个区域分别播放在当前视频帧之后的2个视频帧。

第二窗口能够显示当前视频帧，还显示当前视频帧之前和之后的视频帧，能够方便用户选择开始时间节点和结束时间节。

进一步地，接收用户在第一窗口上的操作命令，该操作命令为暂停命令，接收暂停命令之后，停止视频帧序列在第一窗口中的播放，同时暂停对应的第二窗口的多个区域的播放。

编辑区域还包括工具栏，用户能够通过工具栏在第二窗口的区域上进行相关操作。接收用户在第二窗口的区域上的操作命令，在视频帧中用户选定的位置显示标注；其中，标注可以为图标，图标可以为圆、多边形和箭头等，标注还可以为用户输入的文字，具体参照图4中左侧第一个区域。

在区域中不仅显示视频帧，还显示视频帧的当前帧数；其中，当前帧数表示视频帧在视频帧序列中为第几帧。

用户可以选择一个视频帧中的至少一个标注，然后在工具栏中输入第一帧数和第二帧数；将用户选择的标注定义为选定标注，将选定标注对应的视频帧定义为第一视频帧。

接收第一视频帧、选定标注、第一帧数和第二帧数，在选定视频帧中也显示选定标注，并且选定视频帧显示选定标注的位置与第一视频帧显示选定标注的位置相同；其中，选定视频帧为第一帧数对应的视频帧与第二帧数对应的视频帧之间的视频帧、第一帧数对应的视频帧和第二帧数对应的视频帧。例如，第一帧数为3，第二帧数为6，则选定视频帧为视频帧序列中的第3帧、第4帧、第5帧和第6帧。

在第二窗口显示标注的同时，第一窗口播放的视频帧序列也同步显示标注，因此，获取的完整视频帧序列也包含标注。

将完整视频帧序列匹配至与预设的手术报告模板中，生成数字化手术报告；具体的，完整视频帧序列的标记为对应的视频帧序列的标记，将完整视频帧序列的标记与手术报告模板的多个标记进行匹配，将匹配成功的完整视频帧序列导入至手术报告模板中，从而生成数字化手术报告；其中，手术报告模板可以为1个，也可以为多个，手术报告模板可以为预设好的视频模板，也可以为预设好的文字和视频手术报告模板。

进一步地，编辑区域还包括第三窗口，接收用户在第二窗口的区域上的操作命令，获取用户选择的待定视频帧，将待定视频帧显示在第三窗口中；接收用户的在第三窗口上的操作命令，将待定视频帧另存为图片。

进一步地，第三窗口包括第一区域和第二区域，参照图5，第二区域覆盖在第一区域上。待定视频帧显示在第一区域中，接收用户在待定视频帧上的操作命令，截取用户在待定视频帧上选取的局部图，将局部图放大T倍后显示在第二区域中；接收用户的在第三窗口上的操作命令，将局部图叠加覆盖在待定视频帧上后另存为图片。

参照图2，报告模板还包括脚本栏，点击报告模板中左侧的脚本栏，在报告模板中右侧显示相关的脚本程序。通过脚本栏，能够改变视频帧序列在第一窗口播放的初始播放速度、在第二窗口的多个区域中选择其中一个作为预设区域和设置T的值等。

为了更好地实施以上方法，本申请实施例还提供了一种数字化手术报告生成和编辑装置，该装置具体可以集成在计算机设备中，例如终端或服务器等设备中，该终端可以包括但不限于手机、平板电脑或台式电脑等设备。

图6为本申请实施例提供的一种数字化手术报告生成和编辑装置的结构框图，如图6所示，该装置主要包括：

处理模块201，用于获取手术视频，对手术视频进行处理，得到多个视频帧序列；

匹配模块202，用于将视频帧序列和预设的报告模板进行匹配，将匹配成功的视频帧序列导入至报告模板中相应的编辑区域；以及

编辑模块203，用于接收用户在编辑区域的操作命令，对编辑区域中的视频帧序列进行编辑，直至完成对所有匹配成功的视频帧序列的编辑，生成数字化手术报告。

上述实施例提供的方法中的各种变化方式和具体实例同样适用于本实施例的数字化手术报告生成和编辑装置，通过前述对数字化手术报告生成和编辑方法的详细描述，本领域技术人员可以清楚的知道本实施例中的数字化手术报告生成和编辑装置的实施方法，为了说明书的简洁，在此不再详述。

为了更好地执行上述方法的程序，本申请实施例还提供一种计算机设备，如图7所示，计算机设备300包括存储器301和处理器302。

计算机设备300可以以各种形式来实施，包括手机、平板电脑、掌上电脑、笔记本电脑和台式计算机等设备。

其中，存储器301可用于存储指令、程序、代码、代码集或指令集。存储器301可以包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如识别医护人员是否在手术过程中发出事件命令和对视频帧片段进行标记等)以及用于实现上述实施例提供的数字化手术报告生成和编辑方法的指令等；存储数据区可存储上述实施例提供的数字化手术报告生成和编辑方法中涉及到的数据等。

处理器302可以包括一个或者多个处理核心。处理器302通过运行或执行存储在存储器301内的指令、程序、代码集或指令集，调用存储在存储器301内的数据，执行本申请的各种功能和处理数据。处理器302可以为特定用途集成电路(Application SpecificIntegrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器和微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器302功能的电子器件还可以为其它，本申请实施例不作具体限定。

本申请实施例提供一种计算机可读存储介质，例如包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该计算机可读存储介质存储有能够被处理器加载并执行上述实施例的数字化手术报告生成和编辑方法的计算机程序。

本申请具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。

Claims (10)

1.一种数字化手术报告生成和编辑方法，其特征在于，包括：

获取手术视频，对所述手术视频进行处理，得到多个视频帧序列；

将所述视频帧序列和预设的报告模板进行匹配，将匹配成功的视频帧序列导入至所述报告模板中相应的编辑区域；

接收用户在所述编辑区域的操作命令，对所述编辑区域中的视频帧序列进行编辑，直至完成对所有匹配成功的视频帧序列的编辑，生成数字化手术报告。

2.根据权利要求1所述的方法，其特征在于，所述获取手术视频，对所述手术视频进行处理，得到多个视频帧序列，包括：

对所述手术视频进行拆分，得到多个视频帧片段；

对所述多个视频帧片段进行标记，得到多个视频帧序列。

3.根据权利要求2所述的方法，其特征在于，所述对所述手术视频进行拆分，得到多个视频帧片段，包括：

识别医护人员是否在手术过程中发出事件命令；

若是，则获取识别出所述事件命令的时间点，基于所述时间点在所述手术视频中增加时间戳；

基于所述时间戳，在所述手术视频中截取出多个视频帧片段。

4.根据权利要求3所述的方法，其特征在于，所述对所述多个视频帧片段进行标记，得到多个视频帧序列，包括：

基于与所述视频帧片段相对应的事件命令，对所述视频帧片段进行标记，得到所述视频帧序列；

重复上述步骤，完成对所有视频帧片段的标记。

5.根据权利要求4所述的方法，其特征在于，所述将所述视频帧序列和预设的报告模板进行匹配，将匹配成功的视频帧序列导入至所述报告模板中相应的编辑区域，包括：

将所述视频帧序列的标记与所述编辑区域的预设标记进行匹配，将匹配成功的视频帧序列导入至所述预设标记对应的编辑区域中。

6.根据权利要求5所述的方法，其特征在于，所述接收用户在所述编辑区域的操作命令，对所述编辑区域中的视频帧序列进行编辑，包括：

所述编辑区域的第一窗口以预设播放速度对所述视频帧序列进行播放；

在所述第一窗口播放所述视频帧序列过程中，接收用户在所述编辑区域的时间轴上的操作命令，提取由用户指定的至少一个帧片段；

按照提取的顺序，将所述至少一个帧片段拼接为完整视频帧序列。

7.根据权利要求6所述的方法，其特征在于，所述在所述第一窗口播放所述视频帧序列过程中，

所述编辑区域的第二窗口的预设区域同步播放所述第一窗口播放的当前视频帧，所述第二窗口的其他区域分别播放在所述当前视频帧之前的第一预设个视频帧和在所述当前视频帧之后的第二预设个视频帧。

8.根据权利要求7所述的方法，其特征在于，所述直至完成对所有匹配成功的视频帧序列的编辑，生成数字化手术报告，包括：

将所述完整视频帧序列匹配至预设的手术报告模板中，生成数字化手术报告。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被所述处理器加载并执行如权利要求1至8中任一种方法的计算机程序。

10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至8中任一种方法的计算机程序。

Images