CN113259763B - 教学视频处理方法、装置和电子设备 - Google Patents

Abstract

本发明属于在线教育技术领域，提供一种教学视频处理方法、装置和电子设备，其中方法包括：将待处理的教学视频按知识点切分为视频段；判断各视频段涉及的知识点是否相同或存在关联；将知识点相同或存在关联的视频段拼接形成教学片段。本发明根据从教学视频中识别出的知识点将教学视频切分，并将相关联的视频段例如基于同一知识点的知识点讲解视频段和题目讲解视频段拼接成一个新的教学视频片段，展示给用户，可以有效的对整个教学视频的内容进行分类和归纳，方便用户根据知识点查找对应的视频和题目，提高了用户的观看教学视频的兴趣，提升了授课效率和用户的学习效率。

Description

教学视频处理方法、装置和电子设备

技术领域

本发明属于教育技术领域，特别适用于在线教育，更具体的是涉及一种教学视频处理方法、装置、电子设备和计算机可读介质。

背景技术

随着现代信息技术的发展以及教育市场的需求，在线教育作为一种新兴的教育理念，正在被不断推广和普及。在线教学给教师和学生带来了极大的便利，通过在线教育，教师可以在家里进行教学，学生也可以在家里同步进行听课和考试等。目前的在线教学主要基于APP等进行，教师可以通过网络进行直播授课、布置作业或考试，学生通过安装有相应教学APP的智能手机等智能终端听课或答题。

现有的网络授课一般为教师通过网络在APP的界面上向学生展示PPT等教学内容，同时进行解说，授课视频往往时间较长，每一个视频中包括教师讲解的多个知识点和对应的题目，老师或学生后续查看直播的视频想要回顾其中的某个知识点时，但不知道这个知识点在视频的什么位置，需要浪费时间寻找，降低了授课或学习效率，如何快速准确地从教学视频中找到自己需要的内容成为要解决的技术问题。

发明内容

(一)要解决的技术问题

本发明旨在解决如何利用教学视频提高授课或学习效率的技术问题。

(二)技术方案

为解决上述技术问题，本发明的一方面提出一种教学视频处理方法，包括：

根据所述教学视频中相邻帧图像特征的变化对所述教学视频的多帧图像进行聚合处理，以形成图像帧集合；将各所述图像帧集合对应的各段所述教学视频转化为视频文本段信息；将各视频文本段信息输入训练好的知识点识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段；

将待处理的教学视频按知识点切分为视频段；

判断各视频段涉及的知识点是否相同或存在关联；

将知识点相同或存在关联的视频段拼接形成教学片段；

其中，所述知识点识别模型包括视频类型识别模型和与视频类型对应的知识识别模型，每个知识识别模型针对对应视频类型的视频文本段信息进行了知识点识别训练；

所述将各视频文本段信息输入训练好的知识点识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段，包括：

将所述视频文本段信息输入训练好的所述视频类型识别模型，输出各视频文本段信息的类型；

根据各视频文本段信息的类型将各视频文本段信息输入训练好的对应类型的知识识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段。

根据本发明的优选实施方式，所述将各所述图像帧集合对应的各段所述教学视频转化为视频文本段信息，包括：

提取所述教学视频中的语音信息，并将所述语音信息转化为第一文本信息；

将各所述图像帧集合中的图像信息转化为第二文本信息；

将每个所述第二文本信息与对应时间段的第一文本信息相结合形成所述视频文本段信息。

根据本发明的优选实施方式，所述视频类型包括知识点讲解和题目讲解；

所述知识识别模型包括第一知识识别模型及第二知识识别模型，其中，

所述第一知识识别模型用于识别知识点讲解的视频文本段信息涉及的知识点；

所述第二知识识别模型用于识别题目讲解的视频文本段信息涉及的知识点。

根据本发明的优选实施方式，所述将待处理的教学视频按知识点切分为视频段，包括：根据每个视频文本段信息涉及的各知识点的名称和对应的时间段，将待处理的教学视频按知识点切分为视频段。

根据本发明的优选实施方式，所述判断各视频段涉及的知识点是否相同或存在关联，包括：根据所述知识点的名称判断所有视频段涉及的知识点是否相同或存在关联。

根据本发明的优选实施方式，所述教学片段包括一个知识点讲解和与该知识点相关联的题目讲解，和/或，所述教学片段包括相关联的一个以上知识点讲解和与该些知识点相关联的题目讲解。

根据本发明的优选实施方式，所述将知识点相同或存在关联的视频段拼接形成教学片段，包括：将知识点相同或存在关联的知识点视频段和题目视频段进行拼接形成教学片段；

可选地，将所述教学片段按所涉及的知识点命名。

可选地，各所述教学片段拼接成第二教学视频。

本发明第二方面提出一种教学视频处理装置，包括：

知识点识别模块，用于根据所述教学视频中相邻帧图像特征的变化对所述教学视频的多帧图像进行聚合处理，以形成图像帧集合；将各所述图像帧集合对应的各段所述教学视频转化为视频文本段信息；将各视频文本段信息输入训练好的知识点识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段；

视频切分模块，用于将待处理的教学视频按知识点切分为视频段；

判断模块，用于判断各视频段涉及的知识点是否相同或存在关联；

视频剪辑模块，用于将知识点相同或存在关联的视频段拼接形成教学片段；

其中，所述知识点识别模型包括视频类型识别模型和与视频类型对应的知识识别模型，每个知识识别模型针对对应视频类型的视频文本段信息进行了知识点识别训练；

所述将各视频文本段信息输入训练好的知识点识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段，包括：

将所述视频文本段信息输入训练好的所述视频类型识别模型，输出各视频文本段信息的类型；

根据各视频文本段信息的类型将各视频文本段信息输入训练好的对应类型的知识识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段。

本发明第三方面提出一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行上述任一项所述的教学视频处理方法。

本发明第四方面还提出一种计算机可读介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现上述任一项所述的教学视频处理方法。

本发明第五方面还提出一种计算机可执行程序，所述计算机可执行程序被执行时，实现上述任一项所述的教学视频处理方法。

(三)有益效果

本发明根据从教学视频中识别出的知识点将教学视频切分，并将相关联的视频段例如基于同一知识点的知识点讲解视频段和题目讲解视频段拼接成一个新的教学视频片段展示给用户，可以有效的对整个教学视频的内容进行分类和归纳，方便用户根据知识点查找对应的视频和题目，提高了用户的观看教学视频的兴趣，提升了授课效率和用户的学习效率。

附图说明

图1是本发明的一实施例提供的一种教学视频处理方法流程示意图；

图2是本发明的一实施例提供的另一种教学视频处理方法流程示意图；

图3是本发明的一实施例提供的一种知识点识别方法流程示意图；

图4是本发明的一实施例提供的一种知识点识别模型示意图；

图5是本发明的一实施例提供的一种教学视频处理界面示意图；

图6a是本发明的另一实施例提供的一种教学视频处理界面示意图；

图6b是本发明的另一实施例提供的一种教学视频处理界面示意图；

图7是本发明的一实施例提供的一种教学视频处理装置示意图；

图8是本发明的一实施例提供的电子设备的结构示意图；

图9是本发明的一实施例提供的计算机可读记录介质的示意图。

具体实施方式

在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。

附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。

附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。

各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。

教学视频通常为在直播的同时录的视频，老师利用客户端向用户逐一展示提前准备好的PPT教学内容，同时对每张PPT内容进行讲解。授课视频往往时间较长，每一个视频中包括老师讲解的多个知识点和对应的题目，老师或学生后续想要回顾其中的某个知识点，但不知道这个知识点在视频的什么位置，需要浪费时间寻找，降低了授课或学习效率，如何快速准确地从教学视频中找到自己需要的内容成为要解决的技术问题。

为解决上述技术问题，本发明提出一种视频处理方法，包括：将待处理的教学视频按知识点切分为视频段；判断各视频段涉及的知识点是否相同或存在关联；将知识点相同或存在关联的视频段拼接形成教学片段。教学片段可以按涉及的知识点命名，便于后续查找。

具体地，可以在后续对录制的教学视频进行剪辑，***识别视频中的图像和音频后，根据视频中图像帧的变化，通过图像聚合技术对图像帧聚合，形成多个连续的图像帧集合，利用OCR(Optical Character Recognition,光学字符识别的缩写)技术将每个图像帧集合转化为文本信息。利用语音识别技术将音频信息也转化为文本信息，并结合时间轴将图像帧集合转化的文本信息与对应时间内音频转化的文本信息进行组合，形成多个连续的视频文本段信息。然后，按照视频时间轴将每个视频文本段信息输入训练好的类型识别模型，便可得到每个视频文本段信息对应的图像帧集合的类型，根据类型将每个视频文本段信息输入不同的知识点识别模型，得到每个视频文本段信息涉及的知识点，按照知识点将教学视频切分为视频段。最后判断每个视频段涉及的知识点是否相关联，将相关联的视频段进行拼接，得到拼接后的教学片段。每个教学片段可以包含一个知识点和对应的若干个题目，也可以包含多个相关联的知识点和与这些知识点对应的题目。可以将每个教学片段单独作为一个教学视频，也可以将多个教学片段拼接成一个新的教学视频，方便用户根据知识点查找对应的视频和题目，提高了授课和学习效率。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

需要说明的是，本文虽然以在线直播课视频处理回放的应用场景为例进行说明，但本发明的应用并不限于此。

图1是本发明的一实施例提供的一种教学视频处理方法流程示意图，该方法可以实现教学视频的自动剪辑、重组。

如图1所示，本方法包括：

S101、将待处理的教学视频按知识点切分为视频段。

在一些实施例中，图2是本发明的一实施例提供的另一种教学视频处理方法流程示意图，如图2所示，在将待处理的教学视频按知识点切分为视频段之前，本方法还包括：S100、识别出该教学视频中涉及的所有知识点。

为便于理解，下面对如何识别教学视频中的知识点进行说明。

图3是本发明的一实施例提供的一种知识点识别方法流程示意图，如图3所示，知识点识别方法包括：

S1001、首先将教学视频进行切帧，将教学视频切分为多个连续帧的图像，例如，可以是一帧一帧的图像。

本步骤可以将视频通过语音中语句的长度切分，例如可以一句话对应切分成一段视频段。本步骤还可以根据帧图像是否发生变化将教学视频切分。

设备例如服务器获取录制的教学视频后，可以提取教学视频中的语音信息和视频信息，分别进行处理。S1001和S1002对纯视频(不包含语音信息)进行处理。

S1002、根据相邻帧图像特征的变化对图像进行聚合，判定其中哪些帧图像是相同或相近的，聚合后形成多个连续的图像帧集合，每个图像帧集合中的图像间都具有很高的相似度，每个图像帧集合在视频时间轴上对应一定的时间段。

在一些实施例中，教学视频多展示教学PPT，通过本步骤，可以将展示相同PPT内容的视频图像聚合在一个图像帧集合中。

S1003、利用OCR技术分别识别每个图像帧集合中的图像，获取图像中的文本信息(即第一文本信息)；

S1004、利用语音识别技术将教学视频的语音信息转化为文本信息(即第二文本信息)；

S1005、由于语音信息转化的文本信息在视频时间轴上也具有时间属性，所以将图像帧集合中的图像转化的文本信息与同一时间段内的语音信息转化的文本信息相结合，便得到多个连续的视频文本段信息。

同一时间段内的语音信息和视频图像信息多相关，少数例外情况下不相关。可以基于二者信息的综合来判断某段视频涉及的知识点。进一步，采用二者转化成的文本信息来综合判断识别知识点，计算量小而且易于实现。

S1006、在得到视频文本段信息后，将每个视频文本段信息按照视频时间轴顺序输入训练好的知识点识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段。

图4是本发明的一实施例提供的一种知识点识别模型的示例性示意图，如图4所示，知识点识别模型包括视频类型识别模型和与视频类型对应的多个知识识别模型。相应地，步骤S1006可以包括：

S10061、首先将视频文本段信息输入类型识别模型，输出每个视频文本段信息的类型，在本发明实施例中，类型为预先设置好的，例如可以包括知识点讲解、题目讲解及其他，模型根据视频文本段的信息内容判断该视频文本段信息所属的类型是知识点还是题目。

图5是本发明的一实施例提供的一种教学视频处理界面示意图。如图5所示，将该教学视频进行上述步骤处理后分成了七个视频文本段，将这七个视频文本段输入类型识别模型后得到每个视频文本段的类型，相同类型的视频片段内可能会包含不同的内容，例如第一个视频文本段可能为知识点讲解，其中可能包括一个或多个知识点，当包括多个知识点时，每个知识点所在的图像间相似度很高，因此属于同一个图像帧集合；题目讲解的视频文本段中也可能包括多个题目的讲解。这就需要通过模型识别进行区分。

关于知识点或题目的类型判断，可以预先将题库中的多个知识点和题目的文本信息分别作为训练样本对类型识别模型进行训练，最后输出的分类结果与视频实际的类型作比较，以此调整模型的参数。最后在S10061中使用训练好的类型识别模型进行识别，输出每个视频文本段信息的类型和对应的时间段。

S10062、在得到每个视频文本段的类型后，根据类型将各视频文本段信息输入训练好的知识识别模型，用于识别每个视频文本段信息涉及的知识点，该模型输出得到每个视频文本段信息涉及的各知识点(例如知识点的名称)和对应的时间段。

由于不同类型的视频文本段信息对应的特征向量也不同，为了保证识别的准确率，对于不同类型的视频文本段信息使用不同类型的知识识别模型，例如知识点讲解的视频文本段信息，需要输入训练好的第一知识识别模型，输出该知识点讲解的视频文本段信息涉及的知识点；题目讲解的视频文本段信息，需要输入训练好的第二知识识别模型，输出该题目讲解的视频文本段信息涉及的知识点。这样，模型训练和算法优化更有针对性，后续训练好的模型识别率更高、速度更快。

在将视频文本段信息输入知识识别模型之前，首先需要建立知识识别模型并训练知识识别模型(这个步骤一般在本方法实施前进行)，模型的输入为多个包含知识点标签的视频样本对应的视频文本段信息，输出为知识点的标签名称，不断调整模型的参数，直到输出的知识点标签名称与知识点实际的名称相同。

知识点的名称为预先设置的，可以根据知识点的内容总结出该知识点的名称，也可根据统一的教材中的章节名称作为知识点名称，例如，以小学数学为例，知识点名称可以设置为“用字母表示数”，“含字母式子的求值”等，凡是满足该知识点特征的视频文本段信息均可通过模型输出该知识点的名称，若一个视频文本段信息中涉及多个知识点，模型输出多个知识点的名称。

当然，也可以不对类型区分，统一采用一个知识点识别模型处理；另外还可以采用其他方法处理得到各个视频文本段信息中涉及的多个知识点，本发明对此不作限定，上述示例仅作为本方法的一种实施方式作为展示。

最后根据识别出的知识点和对应教学视频中的时间段将待处理的教学视频切分为视频段，视频段的类型包括知识点视频段和题目视频段，每个视频段涉及一个知识点。

S102、判断各视频段涉及的知识点是否相同或存在关联。

在一些实施例中，根据知识点的名称判断各个视频段涉及的知识点是否存在关联，可以预先设置每个知识点的标签名称。

本发明实施例中，以树状结构来对知识点进行管理，第一级知识点为上位的知识点，其中包含多个下位细分的二级知识点，每个二级知识点下又可划分为很多三级知识点，可以设置树状结构中的属于某一级别的知识点下的同一树枝的知识点为相关联的知识点，也可以设置树状结构中属于同一树枝的末级知识点为相关联的知识点，相关联的规则可以根据实际情况随时调整。

例如，一个树状结构包含三级知识点，其中一级知识点为“数的认识与计算”，其中包含多个二级知识点，其中一个二级知识点为“式与方程”，而此二级知识点下还包括“用字母表示数”和“含字母式子的求值”这两个三级知识点，这两个三级知识点便为相关联的知识点。知识点识别模型输出的知识点名称均为末级的知识点，便于分类管理。

每个视频段涉及的知识点名称会自动与预设的树状结构进行匹配，并将该视频段涉及的知识点划分到树状结构中相同名称的位置，若有视频段涉及的知识点被划分到树状结构中同一位置或同一树枝下，根据预设的相关联规则判断视频段涉及的知识点是否相关联。

S103、将知识点相同或存在关联的视频段拼接形成教学片段。

具体来说，教学片段包括相关联的至少一个知识点讲解和与该知识点相关联的题目，将知识点相同或存在关联的知识点视频段和题目视频段进行拼接形成教学片段；例如图5中的教学视频，若判断出前两个知识点视频段涉及的知识点以及最后一个题目视频段涉及的知识点均相关联，则将对应的视频段进行拼接。

教学片段可以按照所涉及的知识点名称进行命名，也可以将多个教学片段进行再次拼接，形成新的教学视频。新的教学视频按涉及的知识点进行了剪辑、重组处理。

图6a和图6b分别是本发明两个实施例提供的教学视频处理界面示意图。如图6a所示，在识别出教学视频的每个视频段涉及的知识点后，检测到某个知识点视频段与题目1视频段涉及的知识点均为知识点1，故将包含相同知识点1的题目1视频段与知识点视频段进行拼接形成新教学视频，并用知识点1的名称作为该视频的标签，用户播放该视频时，首先播放老师讲解的知识点，紧接着播放与知识点相关联的题目讲解，使观看的用户更容易理解前面所讲的知识点，提高了用户的观看教学视频的兴趣，提升了授课效率和用户的学习效率。

优选的，在按知识点重组形成的新的教学视频的进度条上，会设置醒目的提示点，用于用户分辨该视频涉及的知识点，进一步还可提示知识点讲解和题目讲解，若用户已经熟悉了前面的知识点，想要直接观看后面的题目讲解，则可将进度条拖到提示点位置，节省用户的观看时间。

知识点提示可以直接在该知识点对应的视频段的起始处设置提示点，可以直接显示知识点名称或其简略作为提示。用户点击该知识点或该提示点，将从该知识点视频的起始点播放。

若一个教学视频中包含多个涉及相同知识点的视频段，如图6b所示，该拼接后的教学视频涉及知识点2a和知识点2b，同时包含两个与知识点2相关联的题目2a和2b，判断得到知识点2a、知识点2b及题目2a、题目2b涉及的知识点均相关联，在拼接该教学视频时按照原教学视频的时间轴将知识点2a、知识点2b、题目2a、题目2b依次拼接到一起形成该新教学视频，同时在视频中知识点2a、知识点2b及题目2a、题目2b的分界处分别设置提示点1、提示点2及提示点3，便于用户观看视频时掌握观看进度，快速找到自己想要观看的内容。

优选的，可以将设定周期内拼接形成的多个新教学视频按照知识点进行分类，将知识点属于同一树状结构的新教学视频分为同一类，并以同一上级知识点为标签存储在数据库中，并按照用户的点击量从高到低排序。

当用户搜索视频时关键词包含知识点的名称，则将相同知识点的所有新教学视频简介和链接同时按预设的顺序展示给用户，供用户自主选择合适的视频观看，当用户选择某个视频时，客户端从服务器调用该视频进行播放。

服务器还会根据教育的教材识别出每个知识点所在教材的名称，例如100以内乘法出现在小学二年级的数学教材中，识别出所在的教材名称后，从知识点库中筛选出属于相同教材的其他知识点，并以教材名称为标签将这些知识点对应的教学视频进行分类。

当用户搜索某个教学视频时，服务器在给用户展示该教学视频的同时，会将属于相同教材的其他知识点的教学视频推荐给用户，方便用户继续学习，提升了学习效率和用户体验。

本领域技术人员可以理解，实现上述实施例的全部或部分步骤被实现为由计算机数据处理设备执行的程序(计算机程序)。在该计算机程序被执行时，可以实现本发明提供的上述方法。而且，所述的计算机程序可以存储于计算机可读存储介质中，该存储介质可以是磁盘、光盘、ROM、RAM等可读存储介质，也可以是多个存储介质组成的存储阵列，例如磁盘或磁带存储阵列。所述的存储介质不限于集中式存储，其也可以是分布式存储，例如基于云计算的云存储。

下面描述本发明的装置实施例，该装置可以用于执行本发明的方法实施例。对于本发明装置实施例中描述的细节，应视为对于上述方法实施例的补充；对于在本发明装置实施例中未披露的细节，可以参照上述方法实施例来实现。

图7是本发明一实施例提供的一种教学视频自动剪辑装置，如图7所示，该装置200包括：

视频切分模块201，用于将待处理的教学视频按知识点切分为视频段；

判断模块202，用于判断各视频段涉及的知识点是否相同或存在关联；

视频剪辑模块203，用于将知识点相同或存在关联的视频段拼接形成教学片段。

其中，装置200还包括知识点识别模块，用于识别所述教学视频中涉及的知识点。知识点识别模块还用于根据所述教学视频中相邻帧图像特征的变化对所述教学视频的多帧图像进行聚合处理，以形成图像帧集合；将各所述图像帧集合对应的所述教学视频转化为视频文本段信息；将各视频文本段信息输入训练好的识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段。知识点识别模块还用于提取所述教学视频中的语音信息，并将所述语音信息转化为第一文本信息；将各所述图像帧集合中的图像信息转化为第二文本信息；将每个所述第二文本信息与对应时间段的第一文本信息相结合形成视频文本段信息。知识点识别模块还用于将所述视频文本段信息输入训练好的类型识别模型，输出各视频文本段信息的类型；根据所述类型将各视频文本段信息输入训练好的知识点识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段。所述知识点识别模型包括第一类型识别模型及第二类型识别模型，其中，所述第一类型识别模型用于识别知识点讲解的视频文本段信息涉及的知识点；所述第二类型识别模型用于识别题目讲解的视频文本段信息涉及的知识点。

视频切分模块201还用于根据所述输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段，将待处理的教学视频按知识点切分为视频段。

视频片段分类模块202还用于根据所述知识点的名称判断所有视频段涉及的知识点是否相同或存在关联。

视频剪辑模块203还用于将知识点相同或存在关联的知识点视频段和题目视频段进行拼接形成教学片段；可选地，将所述教学片段按所涉及的知识点命名；可选地，各所述教学片段拼接成第二教学视频。教学片段包括一个知识点讲解和与该知识点相关联的题目，和/或，所述教学片段包括相关联的一个以上知识点讲解和与该些知识点相关联的题目。

图8是本发明的一实施例提供的电子设备的结构示意图，该电子设备包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行教学视频自动剪辑方法。

如图8所示，电子设备以通用计算设备的形式表现。其中处理器可以是一个，也可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的电子设备并不限于单一实体，也可以是多个实体设备的总和。

所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得电子设备能够执行本发明的方法，或者方法中的至少部分步骤。

所述存储器包括易失性存储器，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元(ROM)。

可选的，该实施例中，电子设备还包括有I/O接口，其用于电子设备与外部的设备进行数据交换。I/O接口可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

应当理解，图8显示的电子设备仅仅是本发明的一个示例，本发明的电子设备中还可以包括上述示例中未示出的元件或组件。例如，有些电子设备中还包括有显示屏等显示单元，有些电子设备还包括人机交互元件，例如按扭、键盘等。只要该电子设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的电子设备。

图9是本发明的一实施例提供的计算机可读记录介质的示意图。如图9所示，计算机可读记录介质中存储有计算机可执行程序，所述计算机可执行程序被执行时，实现本发明上述的教学视频自动剪辑方法。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：将待处理的教学视频按知识点切分为视频段；判断各视频段涉及的知识点是否相同或存在关联；将知识点相同或存在关联的视频段拼接形成教学片段。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

通过以上对实施方式的描述，本领域的技术人员易于理解，本发明可以由能够执行特定计算机程序的硬件来实现，例如本发明的***，以及***中包含的电子处理单元、服务器、客户端、手机、控制单元、处理器等。本发明也可以由执行本发明的方法的计算机软件来实现。但需要说明的是，执行本发明的方法的计算机软件并不限于由一个或特定个的硬件实体中执行，其也可以是由不特定具体硬件的以分布式的方式来实现，例如计算机程序执行的某些方法步骤可以在移动客户端执行，另一部分可以在智能表、智能识别笔等中执行。对于计算机软件，软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM，U盘，移动硬盘等)中，也可以分布式存储于网络上，只要其能使得电子设备执行根据本发明的方法。

综上所述，本发明可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种教学视频处理方法，其特征在于，包括：

根据所述教学视频中相邻帧图像特征的变化对所述教学视频的多帧图像进行聚合处理，以形成图像帧集合；将各所述图像帧集合对应的各段所述教学视频转化为视频文本段信息；将各视频文本段信息输入训练好的知识点识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段；

将待处理的教学视频按知识点切分为视频段；

判断各视频段涉及的知识点是否相同或存在关联；

将知识点相同或存在关联的视频段拼接形成教学片段；

其中，所述知识点识别模型包括视频类型识别模型和与视频类型对应的知识识别模型，每个知识识别模型针对对应视频类型的视频文本段信息进行了知识点识别训练；

所述将各视频文本段信息输入训练好的知识点识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段，包括：

将所述视频文本段信息输入训练好的所述视频类型识别模型，输出各视频文本段信息的类型；

根据各视频文本段信息的类型将各视频文本段信息输入训练好的对应类型的知识识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段。

2.根据权利要求1所述的教学视频处理方法，其特征在于，所述将各所述图像帧集合对应的各段所述教学视频转化为视频文本段信息，包括：

提取所述教学视频中的语音信息，并将所述语音信息转化为第一文本信息；

将各所述图像帧集合中的图像信息转化为第二文本信息；

将每个所述第二文本信息与对应时间段的第一文本信息相结合形成所述视频文本段信息。

3.根据权利要求1所述的教学视频处理方法，其特征在于，所述视频类型包括知识点讲解和题目讲解；

所述知识识别模型包括第一知识识别模型及第二知识识别模型，其中，

所述第一知识识别模型用于识别知识点讲解的视频文本段信息涉及的知识点；

所述第二知识识别模型用于识别题目讲解的视频文本段信息涉及的知识点。

4.根据权利要求1-3任一项所述的教学视频处理方法，其特征在于，所述将待处理的教学视频按知识点切分为视频段，包括：

根据每个视频文本段信息涉及的各知识点的名称和对应的时间段，将待处理的教学视频按知识点切分为视频段。

5.根据权利要求1-3任一项所述的教学视频处理方法，其特征在于，所述判断各视频段涉及的知识点是否相同或存在关联，包括：

根据所述知识点的名称判断所有视频段涉及的知识点是否相同或存在关联。

6.根据权利要求1-3任一项所述的教学视频处理方法，其特征在于，所述教学片段包括一个知识点讲解和与该知识点相关联的题目讲解，和/或，

所述教学片段包括相关联的一个以上知识点讲解和与该些知识点相关联的题目讲解；

可选地，所述将知识点相同或存在关联的视频段拼接形成教学片段，包括：将知识点相同或存在关联的知识点视频段和题目视频段进行拼接形成教学片段；

可选地，将所述教学片段按所涉及的知识点命名；

可选地，各所述教学片段拼接成第二教学视频。

7.一种教学视频处理装置，其特征在于，包括：

知识点识别模块，用于根据所述教学视频中相邻帧图像特征的变化对所述教学视频的多帧图像进行聚合处理，以形成图像帧集合；将各所述图像帧集合对应的各段所述教学视频转化为视频文本段信息；将各视频文本段信息输入训练好的知识点识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段；

视频切分模块，用于将待处理的教学视频按知识点切分为视频段；

判断模块，用于判断各视频段涉及的知识点是否相同或存在关联；

视频剪辑模块，用于将知识点相同或存在关联的视频段拼接形成教学片段；

其中，所述知识点识别模型包括视频类型识别模型和与视频类型对应的知识识别模型，每个知识识别模型针对对应视频类型的视频文本段信息进行了知识点识别训练；

所述将各视频文本段信息输入训练好的知识点识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段，包括：

将所述视频文本段信息输入训练好的所述视频类型识别模型，输出各视频文本段信息的类型；

根据各视频文本段信息的类型将各视频文本段信息输入训练好的对应类型的知识识别模型，输出得到每个视频文本段信息涉及的各知识点的名称和对应的时间段。

Images