CN114496173A - 短视频手术报告生成方法、装置、计算机设备及存储介质 - Google Patents
短视频手术报告生成方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114496173A CN114496173A CN202111679626.6A CN202111679626A CN114496173A CN 114496173 A CN114496173 A CN 114496173A CN 202111679626 A CN202111679626 A CN 202111679626A CN 114496173 A CN114496173 A CN 114496173A
- Authority
- CN
- China
- Prior art keywords
- video
- audio
- sequence
- frame sequence
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001356 surgical procedure Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 25
- 239000012634 fragment Substances 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012546 transfer Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000002980 postoperative effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 206010002091 Anaesthesia Diseases 0.000 description 1
- 230000037005 anaesthesia Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
- G11B27/029—Insert-editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本申请涉及一种短视频手术报告生成方法、装置、计算机设备及存储介质，涉及医疗技术领域，其包括获取手术数据；对所述手术数据进行处理，得到多个音视频帧序列；将所述音视频帧序列和预设的视频模板进行匹配，生成短视频手术报告。本申请具有让病人更加了解手术过程和结果的效果。
Description
技术领域
本申请涉及医疗技术领域，尤其是涉及一种短视频手术报告生成方法、装置、计算机设备及存储介质。
背景技术
在医疗技术领域，医院基于病人患病情况制定手术方案，在手术过程中，数字化手术室内提供的医疗影像采集设备会对现场进行录像，将手术过程记录于视频中，但是这种手术视频通常不会展示给病人，使得病人不了解手术过程和病灶形态等。
手术过后，将病人患病情况和手术结果等诊断信息呈现在手术报告中，但是病人基本是非专业人员，因此病人很难真正看懂手术报告，需要医生进一步讲解。
综上所述，目前，病人难以真正了解手术过程和结果，引发病人对手术过程的怀疑，进而容易引发医患矛盾，增加医疗纠纷。
发明内容
为了让病人更加了解手术过程和结果，本申请提供一种短视频手术报告生成方法、装置、计算机设备及存储介质。
第一方面，本申请提供一种短视频手术报告生成方法，采用如下的技术方案：
一种短视频手术报告生成方法，包括：
获取手术数据；对所述手术数据进行处理，得到多个音视频帧序列；
将所述音视频帧序列和预设的视频模板进行匹配，生成短视频手术报告。
通过采用上述技术方案，将手术数据转化为短视频手术报告，生动形象并客户地呈现给病人观看，让病人更加了解手术过程和结果，减少病人对手术过程的怀疑，进而减少医患矛盾和医疗纠纷，而且通过短视频手术报告能够让手术过程更加透明化，进而对医护人员产生监督作用；另外，目前市面上没有短视频手术报告，通过本申请的方法生成的足够新颖，而且相对于传统媒体，短视频更受到广大人民的喜欢，因此将手术报告以短视频的方式呈现，能够更受病人的青睐。
优选的，所述手术数据包括手术视频，所述音视频帧序列包括视频帧序列；所述对所述手术数据进行处理，得到多个音视频帧序列，包括：
对所述手术视频进行拆分，得到多个视频帧片段；
对所述多个视频帧片段进行标记，得到多个视频帧序列。
优选的，所述对所述手术视频进行拆分，得到多个视频帧片段，包括：
识别医护人员是否在手术过程中发出事件命令；
若是，则获取识别出所述事件命令的时间点，基于所述时间点在所述手术视频中增加时间戳；
基于所述时间戳，在所述手术视频中截取出多个视频帧片段。
优选的，所述对所述多个视频帧片段进行标记，得到多个视频帧序列，包括：
基于与所述视频帧片段相对应的事件命令，对所述视频帧片段进行标记，得到所述视频帧序列；
重复上述步骤，完成对所有视频帧片段的标记。
优选的，所述手术数据还包括至少一份手术文本资料，所述音视频帧序列还包括音频帧序列；所述对所述手术数据进行处理，得到多个音视频帧序列，还包括：
对所述至少一份手术文本资料进行文字转音频操作，获取至少一个音频帧片段；
根据所述至少一个手术文本资料的类型，对所述至少一个音频帧片段进行标记，得到至少一个音频帧序列。
优选的，所述将所述音视频帧序列和预设的视频模板进行匹配，生成短视频手术报告，包括：
将所述音视频帧序列的标记与所述视频模板的多个预设标记进行匹配，将匹配成功的音视频帧序列按照所述多个预设标记的顺序进行融合，生成短视频手术报告。
优选的，若所述音视频帧序列的标记与所述视频模板的多个预设标记匹配成功，则
判断所述音视频帧序列是否为音频帧序列；
若是，则判断用于获取该音频帧序列中是否包含医学术语；
若是，筛选出所述医学术语；
在基本信息库中筛选出与所述医学术语相对应的动画帧序列；
将所述动画帧序列与该音频帧序列按照预设规则进行融合；
重复上述步骤，完成所有音频帧序列和动画帧序列的融合。
第二方面，本申请提供一种短视频手术报告生成装置，采用如下的技术方案：
一种短视频手术报告生成装置，包括，
处理模块，用于获取手术数据；对所述手术数据进行处理，得到多个音视频帧序列；以及，
匹配模块，用于将所述音视频帧序列和预设的视频模板进行匹配，生成短视频手术报告。
第三方面，本申请提供一种计算机设备，采用如下的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行第一方面任一项所述的短视频手术报告生成方法的计算机程序。
第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，存储有能够被处理器加载并执行第一方面任一项所述的短视频手术报告生成方法的计算机程序。
附图说明
图1是本申请实施例提供的短视频手术报告生成方法的流程示意图。
图2是本申请实施例提供的视频模板的示意图。
图3是本申请实施例提供的短视频手术报告生成装置的结构框图。
图4是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本实施例提供一种短视频手术报告生成方法，如图1所示，该方法的主要流程描述如下（步骤S101～S102）：
步骤S101：获取手术数据；对手术数据进行处理，得到多个音视频帧序列。
其中，手术数据包括手术视频，手术视频为记录手术室内手术过程的视频，音视频帧序列包括视频帧序列。
本实施例中，与数字化手术平台进行数据交换，对每个数字化手术室进行监控，不仅对手术现场进行录像，记录手术视频，同时还实时识别医护人员是否在手术过程中发出事件命令。
识别到事件命令的方式有两种：
其一，识别手术过程中发出的语音，将语音中的第一关键字与预设的多个第二关键字进行对比，若相同，则确定第一关键字为事件命令。触发的第一关键字不同，则对应的事件类型也不相同，例如，事件类型至少包括常规事件类、控制命令、手术记录和特殊事件；其中，常规事件类包括手术开始、病人转入、麻醉开始、病人转出和手术结束等命令；控制命令指的是对路由、灯、床、塔等设备的操控命令。
其二，实时监控对设备的操作控制，进而获取第一操作命令。例如对键盘和鼠标的操作控制；将第一操作命令与预设的多个第二操作命令进行对比，若相同，则确定第一操作命令为事件命令，此类事件命令的事件类型为控制命令。
在识别到事件命令时，获取当前时间点，将该当前时间点作为识别出事件命令的时间点，同时，在录制的手术视频中增加时间戳；注意，手术视频增加时间戳的时间节点与时间点一致。
事件命令均是成对存在的，将表示事件开始的事件命令作为第一命令，将表示事件结束的事件命令作为第二命令，例如，“病人转入”这一事件命令和“病人转出”这一事件命令为一对，将“病人转入”这一事件命令作为第一命令，将“病人转出”这一事件命令作为第二命令。
可选的，事件命令具体还可以增加数量词，例如，“第一次病人转入”、“第二次病人转入”、“第一次病人转出”和“第二次病人转出”，其中，“第一次病人转入”这一事件命令和“第一次病人转出” 这一事件命令为一对，“第二次病人转入”这一事件命令和“第二次病人转出” 这一事件命令为一对。
在获取到第一命令和第二命令时，记录第一命令和第二命令出现的次数。
在增加时间戳的同时，还同时标记该时间戳对应的事件命令，还可以标记事件类型。
接下来，对手术视频进行拆分，得到多个视频帧片段。具体的，在手术视频录制完毕之后，以标记的第N次出现的第一命令对应的时间戳为开始分割点，以标记的第N次出现的第二命令对应的时间戳为结束分割点，截取开始分割点和结束分割点之间的手术视频，将截取出手术视频作为视频帧片段；其中，N为正整数。
基于与视频帧片段相对应的事件命令，对视频帧片段进行标记，得到视频帧序列；其中，事件命令与视频帧序列的标记一一对应。
其中，手术数据还包括至少一份手术文本资料，手术文本资料从HIS、PACS和LIS等***中调取；音视频帧序列还包括音频帧序列。
对获取的至少一份手术文本资料进行文字转音频操作，得到至少一个音频帧片段。
根据手术文本资料的类型，对其对应的音频帧片段进行标记，得到音频帧序列；其中，手术文本资料的类型与音频帧序列的标记一一对应。手术文本资料的类型包括病人基本信息类、检查类和医生术后评语等。其中，病人基本信息类包括病人的姓名、性别和年龄等；检查类表示手术文本资料为病人做完各项检查后的检查数据；医生术后评语表示手术文本资料为医生对手术中和手术后的对比分析，该类手术文本资料中的文字可以采用机器自主历史记忆方式，方便医护在相同或类似病情下，快速选取机器历史记忆的文字，然后直接使用该文字或在该文字的基础上进行修改，减轻医生的工作量。
可选的，还可以直接获取音频帧片段，并根据音频帧片段的类型，对音频帧片段进行标记，得到音频帧序列。例如，获取医嘱类的音频帧片段，医嘱类指的是医生在手术中通过语音录入的电子医嘱。
步骤S102：将音视频帧序列和预设的视频模板进行匹配，生成短视频手术报告。
其中，视频模板包括任务栏和标签栏，任务栏包括多个任务模块，每个任务模块均与一个标签栏相对应，每个标签栏包含至少一个预设标记。
参照图2，点击视频模板中左侧的手术过程视频模块，在视频模板中右侧显示与手术过程视频模块相对应的标签栏。
预设多个任务模块之间的第一顺序，若标签栏包含两个或两个以上预设标记，则预设两个或两个以上预设标记之间的第二顺序，基于第一顺序和第二顺序，得到视频模板的所有预设标记之间的顺序即第三顺序。
例如，有两个任务模块，分别为A和B，第一顺序为A→B；与A对应的标签栏中仅包含一个预设标记，为a，与B对应的标签栏中包含两个预设标记，分别为b和c，第二顺序为b→c；则第三顺序为a→b→c。
将音视频帧序列的标记与视频模板的多个预设标记进行匹配，将匹配成功的音视频帧序列按照第三顺序进行融合，生成短视频手术报告。
若有多个音视频帧序列的标记均与同一个预设标记匹配成功，则仅选取第一个匹配成功的音视频帧序列进行后续的融合；也可以选取其中任意一个匹配成功的音视频帧序列进行后续的融合。
若有预设标记没有和音视频帧序列的标记匹配成功，则将该预设标记在第三顺序中忽略。例如，a与一个音视频帧序列的标记匹配成功，c与一个音视频帧序列的标记匹配成功，b没有和音视频帧序列的标记匹配成功，则第三顺序变为a→c，匹配成功的两个音视频帧序列按照与a相对应的音视频帧序列在前、与b相对应的音视频帧序列在后的顺序进行融合，生成短视频手术报告。
值得注意的是，短视频手术报告可以仅由多个视频帧序列融合而成，也可以由视频帧序列和音频帧序列融合而成。
参照图2，任务栏包括病人基本信息模块、既往检测资料模块、手术过程视频模块、手术结果视频模块和医生术后评语模块；通过这些任务模块和与其对应的预设标记，生成的短视频手术报告，首先播放关于病人基本信息的音频，然后播放关于病人检查数据的音频，再播放病人手术过程中的视频，接着播放病人手术结束后的视频，最后播放关于医生术后评语的音频；其中，先播放病人手术过程中的视频，后播放病人手术结束后的视频，能够让病人对手术过程和手术结果进行对比，最后播放关于医生术后评语的音频，让病人知道医生对手术中和手术后的对比分析，从而让病人更加清晰的了解自己手术的过程和结果。
进一步地，每个标签栏还包含至少一个预设时长，预设时长与预设标记一一对应。根据预设时长，对音视频帧序列进行精化处理，对进行精化处理后的音视频帧序列融合，生成短视频手术报告。
具体的，在音视频帧序列的标记与预设标记匹配成功之后，判断音视频帧序列是否为视频帧序列；若是，则根据该预设标记对应的预设时长，对视频帧序列进行第一精化处理。
第一精化处理的方式具体如下：
获取视频帧序列的视频片段时长；其中，视频片段时长为视频帧序列的总播放时长。判断视频片段时长是否大于预设标记对应的预设时长；若是，则保留视频帧序列中的预设部分，删除其余部分；其中，预设部分根据需求自行设置，预设部分的时长等于预设时长。例如，根据需求保留视频帧序列中前预设时长的部分，删除其余部分，假设视频片段时长为20秒，预设时长为10秒，则保留视频帧序列中前10秒的部分，删除后10秒的部分。
判断视频片段时长是否等于预设标记对应的预设时长；若是，则保留整个视频帧序列。
判断视频片段时长是否小于预设标记对应的预设时长；若是，则保留整个视频帧序列；也可以重复该视频帧序列，直至重复后的时长达到预设时长，例如，将该视频帧序列重复一遍即复制一份，则两个相同的视频帧序列的总时长即重复后的时长为20秒；也可以将该视频帧序列的最后一帧定格播放，直至视频帧序列的播放总时长达到预设时长。
在音视频帧序列的标记与预设标记匹配成功之后，判断音视频帧序列是否为音频帧序列；若是，则根据该预设标记对应的预设时长，对音频帧序列进行第二精化处理。
第二精化处理的方式具体如下：
获取音频帧序列的音频片段时长，判断音频片段时长是否大于预设标记对应的预设时长；若是，则对音频帧序列进行裁剪处理；其中，音频片段时长为音频帧序列的总播放时长。
裁剪处理的方式可以有多种，其中，第一种方式具体如下：
将音频帧序列的标记与预设的多个第一片段表的表标记进行匹配；其中，音频帧序列的标记与第一片段表的表标记一一对应。若匹配成功，则识别出音频帧序列中每一个关键字片段，将识别出的关键字片段依次与匹配成功的第一片段表中的多个第一关键字片段进行对比；若相同，则将保留该关键字片段。重复上述操作，直至所有的关键字片段均比对完毕，将保留的第一关键字片段依次融合为新的音频帧序列；其中，关键字片段可以是一个词的音频片段，也可以是一句话的音频片段。
裁剪处理的第二种方式具体如下：
将音频帧序列的标记与预设的多个第二片段表的表标记进行匹配；其中，音频帧序列的标记与第二片段表的表标记一一对应。若匹配成功，则识别出音频帧序列中每一个关键字片段，将识别出的关键字片段依次与匹配成功的第二片段表中的多个第二关键字片段进行对比；若相同，则在音频帧序列中删除该关键字片段。重复上述操作，直至所有的关键字片段均比对完毕，在音频帧序列中将与第二关键字片段相同的关键字片段全部删除，全部删除完毕之后，将此时的音频帧序列作为新的音频帧序列。
裁剪处理的第三种方式具体如下：
将音频帧序列的标记与预设的多个第三片段表的表标记进行匹配；其中，音频帧序列的标记与第三片段表的表标记一一对应。若匹配成功，则识别出音频帧序列中每一个关键字片段，将识别出的关键字片段依次与匹配成功的第三片段表中的第三关键字片段进行对比；若相同，则在音频帧序列中标记该关键字片段。将识别出的关键字片段依次与匹配成功的第三片段表中的第四关键字片段进行对比；若相同，则在音频帧序列中标记该关键字片段。截取音频帧序列中两个被标记的关键字片段之间的片段，将被截取的片段作为新的音频帧序列。
若音频片段时长不大于预设标记对应的预设时长，则保留整个音频帧序列。
进一步地，对短视频手术报告中的音频帧序列增加语音播报功能和字幕显示功能，通过语音播报功能，医护人员能够预先选择对音频帧序列的朗读方式，通过字幕显示功能，医护人员能够预先选择对音频帧序列的字幕显示方式。
在播放音频帧序列时，其中可能会出现一些医学术语，病人通常是非专业人士，难以理解这些医学术语。为此，本申请做出如下解决方案：
在音视频帧序列的标记与视频模板的多个预设标记匹配成功之后，判断音视频帧序列是否为音频帧序列；若是，则判断用于获取该音频帧序列中是否包含医学术语；若是，在音频帧序列中依次筛选出医学术语；在基本信息库中筛选出与医学术语相对应的动画帧序列；将动画帧序列与该音频帧序列按照预设规则进行融合。值得注意的是，筛选出的动画帧序列可能为1个，也可能为多个。
其中，预设规则包括两种，其一，动画帧序列为无声动画，将筛选出的至少一个动画帧序列的总时长调整为与音频帧序列的音频片段时长相同，然后将至少一个动画帧序列按照其被筛选出的顺序依次与音频帧序列进行融合；融合之后的效果为：在播放音频帧序列的同时，也播放动画帧序列。
其二，动画帧序列为有声动画或者无声动画，判断筛选出的动画帧序列是否为1个；若是，则按照下述方式直接将动画帧序列与音频帧序列进行融合；若否，则将多个动画帧序列按照其被筛选出的顺序依次进行融合，生成新的动画帧序列。
接下来，将动画帧序列***至音频帧序列之前即将动画帧序列的最后一帧***之音频帧序列的第一帧之前，或者将动画帧序列***至音频帧序列之后即将动画帧序列的第一帧***之音频帧序列的最后一帧之后。
重复上述步骤，完成所有音频帧序列和动画帧序列的融合，然后结合上述的第三顺序，将视频帧序列、音频帧序列和动画帧序列进行融合，生成短视频手术报告。
可选的，除了与音频帧序列融合的动画帧序列除了是与医学术语相关的动画，还可以是其他动画，例如，医院自制的拟人动画和手术仿真动画。
若选择第二种预设规则，则播放音频帧序列时，相当于黑屏播放，因此，将手术报告中的音频帧序列与预设的图片数据库进行匹配，若匹配成功，则与匹配成功的一张或多张图片进行融合。
具体的，图片数据库中包含多个图片，图片可以为病人的头像、病灶图像或者病人检查过程中的图表等；其中，病灶图像可以通过图像识别技术，在手术视频中截取出一帧或多帧作为病灶图像。将图片的标记与音频帧序列中的标记进行匹配，或者将图片的标记与音频帧序列中的关键字片段的标记进行匹配，从而获取匹配成功的一张或多张图片。
判断获取匹配成功图片是否为一张；若是，则将图片与音频帧序列进行融合，融合之后的效果为：在音频帧序列播放的同时，该图片按照音频帧序列的音频片段时长进行定格播放；若否，则在匹配成功的多张图片中任意选取一张图片与音频帧序列进行融合，也可以根据需要设定为在匹配成功的多张图片中选取第一张图片或最后一张图片与音频帧序列进行融合；也可以将匹配成功的多张图片均与音频帧序列进行融合，例如，音频片段时长为10秒，匹配成功的图片为3张，在音频帧序列播放的同时，将第一张图片定格播放3秒，将第二张图片定格播放3秒，将第三张图片定格播放4秒。
进一步地，在生成的短视频手术报告中增加进度条。基于短视频手术报告中每个帧序列的时长，在进度条中创建时间节点，每个时间节点都处于相邻两个帧序列之间，意思就是，在相邻两个帧序列中，时间节点位于在先帧序列的最后一帧和在后帧序列的第一帧之间；其中，帧序列包括视频帧序列，还可以包括音频帧序列，还可以包括动画帧序列。
短视频手术报告生成后，点击时间节点，短视频手术报告的播放进度就跳转到该时间节点处。对每个时间节点标记与其对应的事件命令，具体的，与时间节点对应的事件命令为在该时间节点之后的帧序列对应的事件命令，获取病人在显示器上的触发操作之后，显示该时间节点对应的事件命令。
参照图2，视频模板还包括脚本栏，点击视频模板中左侧的脚本栏，在视频模板中右侧显示相关的脚本程序。通过脚本栏，能够修改视频模板的脚本，例如，修改预设标记和选择裁剪处理方式等。
视频模板还包括渲染输出栏，通过渲染输出栏，能够选择短视频手术报告的输出方式，例如，输出一个平台链接或者二维码，病人通过点击链接或者扫描二维码获取短视频手术报告，还可以输出一个html网页，或者将短视频手术报告刻录光盘中。
为了更好地实施以上方法，本申请实施例还提供了一种短视频手术报告生成装置，该装置具体可以集成在计算机设备中，例如终端或服务器等设备中，该终端可以包括但不限于手机、平板电脑或台式电脑等设备。
图3为本申请实施例提供的一种短视频手术报告生成装置的结构框图，如图3所示，该装置主要包括：
处理模块201，用于获取手术数据；对手术数据进行处理，得到多个音视频帧序列；以及，
匹配模块202，用于将音视频帧序列和预设的视频模板进行匹配，生成短视频手术报告。
上述实施例提供的方法中的各种变化方式和具体实例同样适用于本实施例的短视频手术报告生成装置，通过前述对短视频手术报告生成方法的详细描述，本领域技术人员可以清楚的知道本实施例中的短视频手术报告生成装置的实施方法，为了说明书的简洁，在此不再详述。
为了更好地执行上述方法的程序，本申请实施例还提供一种计算机设备，如图4所示，计算机设备300包括存储器301和处理器302。
计算机设备300可以以各种形式来实施，包括手机、平板电脑、掌上电脑、笔记本电脑和台式计算机等设备。
其中，存储器301可用于存储指令、程序、代码、代码集或指令集。存储器301可以包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如识别医护人员是否在手术过程中发出事件命令和在手术视频中增加时间戳等)以及用于实现上述实施例提供的短视频手术报告生成方法的指令等；存储数据区可存储上述实施例提供的短视频手术报告生成方法中涉及到的数据等。
处理器302可以包括一个或者多个处理核心。处理器302通过运行或执行存储在存储器301内的指令、程序、代码集或指令集，调用存储在存储器301内的数据，执行本申请的各种功能和处理数据。处理器302可以为特定用途集成电路(Application SpecificIntegrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器和微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器302功能的电子器件还可以为其它，本申请实施例不作具体限定。
本申请实施例提供一种计算机可读存储介质，例如包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该计算机可读存储介质存储有能够被处理器加载并执行上述实施例的短视频手术报告生成方法的计算机程序。
本申请具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
Claims (10)
1.一种短视频手术报告生成方法，其特征在于，包括：
获取手术数据；对所述手术数据进行处理，得到多个音视频帧序列；
将所述音视频帧序列和预设的视频模板进行匹配，生成短视频手术报告。
2.根据权利要求1所述的方法，其特征在于，所述手术数据包括手术视频，所述音视频帧序列包括视频帧序列；所述对所述手术数据进行处理，得到多个音视频帧序列，包括：
对所述手术视频进行拆分，得到多个视频帧片段；
对所述多个视频帧片段进行标记，得到多个视频帧序列。
3.根据权利要求2所述的方法，其特征在于，所述对所述手术视频进行拆分，得到多个视频帧片段，包括：
识别医护人员是否在手术过程中发出事件命令；
若是，则获取识别出所述事件命令的时间点，基于所述时间点在所述手术视频中增加时间戳；
基于所述时间戳，在所述手术视频中截取出多个视频帧片段。
4.根据权利要求3所述的方法，其特征在于，所述对所述多个视频帧片段进行标记，得到多个视频帧序列，包括：
基于与所述视频帧片段相对应的事件命令，对所述视频帧片段进行标记，得到所述视频帧序列；
重复上述步骤，完成对所有视频帧片段的标记。
5.根据权利要求2至4所述的方法，其特征在于，所述手术数据还包括至少一份手术文本资料，所述音视频帧序列还包括音频帧序列；所述对所述手术数据进行处理，得到多个音视频帧序列，还包括：
对所述至少一份手术文本资料进行文字转音频操作，获取至少一个音频帧片段；
根据所述至少一个手术文本资料的类型，对所述至少一个音频帧片段进行标记，得到至少一个音频帧序列。
6.根据权利要求5所述的方法，其特征在于，所述将所述音视频帧序列和预设的视频模板进行匹配，生成短视频手术报告，包括：
将所述音视频帧序列的标记与所述视频模板的多个预设标记进行匹配，将匹配成功的音视频帧序列按照所述多个预设标记的顺序进行融合，生成短视频手术报告。
7.根据权利要求6所述的方法，其特征在于，若所述音视频帧序列的标记与所述视频模板的多个预设标记匹配成功，则
判断所述音视频帧序列是否为音频帧序列；
若是，则判断用于获取该音频帧序列中是否包含医学术语；
若是，筛选出所述医学术语；
在基本信息库中筛选出与所述医学术语相对应的动画帧序列；
将所述动画帧序列与该音频帧序列按照预设规则进行融合；
重复上述步骤，完成所有音频帧序列和动画帧序列的融合。
8.一种短视频手术报告生成装置，其特征在于，包括，
处理模块，用于获取手术数据；对所述手术数据进行处理，得到多个音视频帧序列；以及，
匹配模块，用于将所述音视频帧序列和预设的视频模板进行匹配，生成短视频手术报告。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被所述处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111679626.6A CN114496173A (zh) | 2021-12-31 | 2021-12-31 | 短视频手术报告生成方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111679626.6A CN114496173A (zh) | 2021-12-31 | 2021-12-31 | 短视频手术报告生成方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114496173A true CN114496173A (zh) | 2022-05-13 |
Family
ID=81510259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111679626.6A Pending CN114496173A (zh) | 2021-12-31 | 2021-12-31 | 短视频手术报告生成方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114496173A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504304A (zh) * | 2016-09-14 | 2017-03-15 | 厦门幻世网络科技有限公司 | 一种动画合成的方法及装置 |
| CN107358023A (zh) * | 2017-06-06 | 2017-11-17 | 沈阳东软医疗***有限公司 | 生成医学报告、交互医学报告的方法、***及设备 |
| CN110517756A (zh) * | 2019-08-30 | 2019-11-29 | 上海声勤信息科技有限公司 | 一种外科手术记录自动生成***及方法 |
| CN111226288A (zh) * | 2017-10-17 | 2020-06-02 | 威里利生命科学有限责任公司 | 用于对外科手术视频分段的***和方法 |
| CN112565825A (zh) * | 2020-12-02 | 2021-03-26 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法、装置、设备以及介质 |
| CN113434733A (zh) * | 2021-06-28 | 2021-09-24 | 平安科技（深圳）有限公司 | 基于文本的视频文件生成方法、装置、设备及存储介质 |
-
2021
- 2021-12-31 CN CN202111679626.6A patent/CN114496173A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504304A (zh) * | 2016-09-14 | 2017-03-15 | 厦门幻世网络科技有限公司 | 一种动画合成的方法及装置 |
| CN107358023A (zh) * | 2017-06-06 | 2017-11-17 | 沈阳东软医疗***有限公司 | 生成医学报告、交互医学报告的方法、***及设备 |
| CN111226288A (zh) * | 2017-10-17 | 2020-06-02 | 威里利生命科学有限责任公司 | 用于对外科手术视频分段的***和方法 |
| CN110517756A (zh) * | 2019-08-30 | 2019-11-29 | 上海声勤信息科技有限公司 | 一种外科手术记录自动生成***及方法 |
| CN112565825A (zh) * | 2020-12-02 | 2021-03-26 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法、装置、设备以及介质 |
| CN113434733A (zh) * | 2021-06-28 | 2021-09-24 | 平安科技（深圳）有限公司 | 基于文本的视频文件生成方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111226288B (zh) | 用于对外科手术视频分段的***和方法 | |
| US20110150420A1 (en) | Method and device for storing medical data, method and device for viewing medical data, corresponding computer program products, signals and data medium | |
| US20180315428A1 (en) | Efficient transcription systems and methods | |
| CN109803180B (zh) | 视频预览图生成方法、装置、计算机设备及存储介质 | |
| Chang | The holy grail of content-based media analysis | |
| US20090092953A1 (en) | Encoding, Storing and Decoding Data for Teaching Radiology Diagnosis | |
| JPWO2003001421A1 (ja) | 電子的レポート作成支援装置、方法及びプログラム | |
| JP4719408B2 (ja) | 医療情報システム | |
| Williams et al. | Identifying the mechanisms underpinning recognition of structured sequences of action | |
| JP7315281B1 (ja) | 情報再現支援システム、情報再現支援方法、及びプログラム | |
| DE202017105675U1 (de) | Über natürliche Sprachbefehle bedienbare Kamera | |
| JP2013025554A (ja) | マーク情報記録装置、マーク情報提示装置、マーク情報記録方法及びマーク情報提示方法 | |
| KR102111775B1 (ko) | 진료 데이터 수집 관리 시스템 및 방법 | |
| Heley et al. | Missing the bigger picture: The need for more research on visual health misinformation | |
| US20140141397A1 (en) | Method And Apparatus For Verified Education Of Patient Medical Conditions And Procedures | |
| JP5451017B2 (ja) | 動画像記録再生装置および動画像管理装置 | |
| CN114496173A (zh) | 短视频手术报告生成方法、装置、计算机设备及存储介质 | |
| CN102346771B (zh) | 信息展现方法及装置 | |
| JP2011041164A (ja) | 映像要約方法および映像要約プログラム | |
| JP2000330467A (ja) | 手話教育装置、手話教育方法、及び、手話教育方法が記録された記録媒体 | |
| JP2019197210A (ja) | 音声認識誤り修正支援装置およびそのプログラム | |
| JP7504987B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| JP3104051U (ja) | 外科手術の記録動画の編集装置 | |
| CN114242197A (zh) | 一种结构化报告处理方法、装置及计算机可读存储介质 | |
| CN114512210A (zh) | 数字化手术报告生成和编辑方法、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220513 |
|
| RJ01 | Rejection of invention patent application after publication |