CN114003769A - 一种录播视频的检索方法、装置、介质和电子设备 - Google Patents

一种录播视频的检索方法、装置、介质和电子设备 Download PDF

Info

Publication number
CN114003769A
CN114003769A CN202111298051.3A CN202111298051A CN114003769A CN 114003769 A CN114003769 A CN 114003769A CN 202111298051 A CN202111298051 A CN 202111298051A CN 114003769 A CN114003769 A CN 114003769A
Authority
CN
China
Prior art keywords
key
courseware
class
level
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111298051.3A
Other languages
English (en)
Inventor
黄劲
黄钢
王珂晟
许巧龄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oook Beijing Education Technology Co ltd
Original Assignee
Oook Beijing Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oook Beijing Education Technology Co ltd filed Critical Oook Beijing Education Technology Co ltd
Priority to CN202111298051.3A priority Critical patent/CN114003769A/zh
Publication of CN114003769A publication Critical patent/CN114003769A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种录播视频的检索方法、装置、介质和电子设备,所述检索方法包括:获取授课教师或听课学生输入的语句中的关键词组;基于所述关键词组中的关键词进行等级划分,获取第一级关键词组和第二级关键词组;基于所述第一级关键词组在包括多个第一类关键词组的检索课件信息集中执行检索,获取与所述第一级关键词组匹配的第一类关键词组所对应的影像片段标识,基于所述第二级关键词组在所述影像片段标识指示的包括多个第二类关键词组的影像信息集中执行检索,获取与所述第二级关键词组匹配的第二类关键词组所对应的匹配关键时间点,基于所述匹配关键时间点开始播放所述影像视频和/或所述课件视频。

Description

一种录播视频的检索方法、装置、介质和电子设备
技术领域
本公开涉及搜索技术领域,具体而言,涉及一种录播视频的检索方法、装置、介质和电子设备。
背景技术
随着计算机技术的发展,基于互联网的直播教学开始在兴起,而一种结合多媒体技术的全景智能黑板也随着直播教学应运而生。
全景智能黑板通常安置在教室中,学生通过远程直播的方式观看全景智能黑板中的教学内容。全景智能黑板的桌面上通常包括两个固定的显示区域,即显示授课教师的全身影像区域和显示教学文字区域(比如演示文稿的显示区域)。在直播过程中,通常采用两台摄像机分别拍摄全身影像区域和教学文字区域,并将两个视频实时制作成一个合成视频,以便在后续教学中能够反复播放。
但是,这种录播的合成视频严重影响了教学互动。学生无法直接从录播的合成视频中得到问题的答案,而是需要反复收看才能找到视频中对应的知识,或者需要安排另外的教师对问题进行解答。这种教学方式在实践中极不友好。
因此,本公开提供了一种录播视频的检索方法,以解决上述技术问题之一。
发明内容
本公开的目的在于提供一种录播视频的检索方法、装置、介质和电子设备,能够解决上述提到的至少一个技术问题。具体方案如下:
根据本公开的具体实施方式,第一方面,本公开提供一种录播视频的检索方法,包括:
获取授课教师或听课学生输入的语句中的关键词组;
基于所述关键词组中的关键词进行等级划分,获取第一级关键词组和第二级关键词组;
基于所述第一级关键词组在包括多个第一类关键词组的检索课件信息集中执行检索,获取与所述第一级关键词组匹配的第一类关键词组所对应的影像片段标识,其中,所述第一类关键词组是自课件片段中获得的关键词组,所述课件片段是将课件视频以所述课件视频中的课件页为单位划分而获得的视频片段;
基于所述第二级关键词组在所述影像片段标识指示的包括多个第二类关键词组的影像信息集中执行检索,获取与所述第二级关键词组匹配的第二类关键词组所对应的匹配关键时间点,其中,所述第二类关键词组是基于影像片段中的音频片段获得的关键词组,所述影像片段是基于所述课件片段对应的时间段划分影像视频获得的视频片段;
基于所述匹配关键时间点开始播放所述影像视频和/或所述课件视频。
根据本公开的具体实施方式,第二方面,本公开提供一种录播视频的检索装置,包括:
获取单元,用于获取授课教师或听课学生输入的语句中的关键词组;
分级单元,用于基于所述关键词组中的关键词进行等级划分,获取第一级关键词组和第二级关键词组;
一级检索单元,用于基于所述第一级关键词组在包括多个第一类关键词组的检索课件信息集中执行检索,获取与所述第一级关键词组匹配的第一类关键词组所对应的影像片段标识,其中,所述第一类关键词组是自课件片段中获得的关键词组,所述课件片段是将课件视频以所述课件视频中的课件页为单位划分而获得的视频片段;
二级检索单元,用于基于所述第二级关键词组在所述影像片段标识指示的包括多个第二类关键词组的影像信息集中执行检索,获取与所述第二级关键词组匹配的第二类关键词组所对应的匹配关键时间点,其中,所述第二类关键词组是基于影像片段中的音频片段获得的关键词组,所述影像片段是基于所述课件片段对应的时间段划分影像视频获得的视频片段;
播放单元,用于基于所述匹配关键时间点开始播放所述影像视频和/或所述课件视频。
根据本公开的具体实施方式,第三方面,本公开提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上任一项所述录播视频的检索方法。
根据本公开的具体实施方式,第四方面,本公开提供一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上任一项所述录播视频的检索方法。
本公开实施例的上述方案与现有技术相比,至少具有以下有益效果:
本公开提供了一种录播视频的检索方法、装置、介质和电子设备,本公开将授课教师或听课学生输入的语句中的关键词组按等级划分为第一级关键词组和第二级关键词组,然后通过第一级关键词组和第二级关键词组分别检索对应的两级信息集,由粗略定位到详细定位,从而找到录播视频中与输入语句相关的播放时间点。保证了录播视频检索的准确性和一致性,实现了授课教师和听课学生与录播视频的互动。
附图说明
图1示出了根据本公开实施例的录播视频的检索方法的流程图;
图2示出了根据本公开实施例的生成课件信息集的方法的流程图;
图3示出了根据本公开实施例的生成影像信息集的方法的流程图;
图4示出了根据本公开实施例的生成等级数据集中数据的方法的流程图;
图5示出了根据本公开实施例的录播视频的检索装置的单元框图;
图6示出了根据本公开实施例提供的一种电子设备连接结构示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开作进一步地详细描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本公开保护的范围。
在本公开实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本公开实施例中可能采用术语第一、第二、第三等来描述,但这些描述不应限于这些术语。这些术语仅用来将描述区分开。例如,在不脱离本公开实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
下面结合附图详细说明本公开的可选实施例。
实施例1
对本公开提供的实施例,即一种录播视频的检索方法的实施例。
下面结合图1对本公开实施例进行详细说明。
本公开实施例在录取录播视频时,提供了两个摄像头,一个摄像头用于采集全景智能黑板中授课教师的影像视频,另一个摄像头用于采集全景智能黑板中授课的课件视频。
影像视频和课件视频是同步采集的。所述同步采集的影像视频和课件视频,可以理解为,影像视频和课件视频是基于同一个时钟对时后分别采集的视频。例如,在时间点T1,全景智能黑板播放影像视频的视频图像A1,播放课件视频的视频图像B1;摄像头N1用于采集影像视频,摄像头N2用于采集课件视频;当摄像头N1和摄像头N2基于同一个时钟对时后,摄像头N1在时间点T1采集视频图像A2,且视频图像A2处标记的时间戳为TT1,摄像头N2在时间点T1采集视频图像B2,且视频图像B2处标记的时间戳同为TT1,此时,视频图像A2与视频图像A1保持一致,视频图像B2与视频图像B1保持一致。也就是在同一时间点同步采集的视频图像标记的时间点保持一致性关系。避免在检索多视频信息时,因多视频标记的时间错位,导致检索异常,同步采集视频保证了检索信息的准确性。
应用最广泛地课件包括电子演示文稿(英文全称PowerPoint,简称PPT)。PPT通过播放幻灯片的方式,能够逐页演示预先制作的教学内容。
在课件视频中,课件的每一页被称为课件页。每显示一课件页时,该课件页的内容保持不变,直至翻页,因此,本公开实施例将课件视频中显示同一页内容的视频片段称为课件片段。而课件片段中的视频图像被称为课件片段图像。在课件片段中所有的课件片段图像的显示内容相同。
如果一课件片段位于课件视频中的时间段为Ta,则在同步采集的影像视频中时间段Ta内的视频片段被称为影像片段,而该影像片段中的音频片段称为音频片段。
本公开实施例在此录播视频的基础上,提供了一种检索方法,以便授课教师或听课学生能够与录播视频进行交互。
步骤S101,获取授课教师或听课学生输入的语句中的关键词组。
语句,可以是通过输入法输入的一串文字,也可以是通过话筒输入的一段语音。本领域技术人员应当理解的是,可以采用任意可实施的方式进行输入。
例如,授课课程为讲解牛顿第二运动定律,听课学生通过输入法输入一串文字:“牛顿第二运动定律公式”。
所述关键词组中包括多个关键词。所述关键词是指语句中的多个核心词,通过该多个核心词能够表征语句的核心语义。
例如,继续上述例子,关键词为:“牛顿”、“第二”、“运动”、“定律”和“公式”,这些关键词组成关键词组。
步骤S102,基于所述关键词组中的关键词进行等级划分,获取第一级关键词组和第二级关键词组。
本公开实施例根据录播视频的特点,将检索分为二级检索,以便能够准确的找到授课教师或听课学生所需要的视频位置。为了能够配合二级检索,在检索前将关键词组分成第一级关键词组和第二级关键词组。
在一些具体实施例中,所述基于所述关键词组中的关键词进行等级划分,获取第一级关键词组和第二级关键词组,包括以下步骤:
步骤S102-1,基于所述关键词组中的关键词在等级数据集中执行检索,获取所述关键词的等级标记。
所述等级数据集包括关键词和等级标记的对应关系。
所述等级标记包括一级标记或二级标记。
所述基于所述关键词组中的关键词在等级数据集中执行检索,获取所述关键词的等级标记,可以理解为,从关键词组中获取各个关键词,将每个关键词分别检索等级数据集中的关键词,获取匹配的关键词所对应的等级标记。例如,关键词组为:“牛顿”、“第二”、“运动”、“定律”和“公式”;在等级数据集的记录如下:
关键词 等级标记
牛顿 1
第二 1
运动 1
定律 1
公式 2
其中,等级标记为1,表示一级标记;等级标记为2,表示二级标记。
步骤S102-2,组合具有第一等级标记的关键词形成第一级关键词组,组合具有第二等级标记的关键词形成第二级关键词组。
例如,继续上述例子,组合生成的第一级关键词组为:“牛顿”、“第二”、“运动”和“定律”;组合生成的第二级关键词组为“公式”。
步骤S103,基于所述第一级关键词组在包括多个第一类关键词组的检索课件信息集中执行检索,获取与所述第一级关键词组匹配的第一类关键词组所对应的影像片段标识。
其中,所述第一类关键词组是自课件片段中获得的关键词组,所述课件片段是以课件视频中的课件页为单位划分而获得的视频片段。
在课件视频中,课件的每一页被称为课件页。每显示一课件页时,该课件页的内容保持不变,直至翻页。而课件片段中的视频图像被称为课件片段图像。可以理解为,所述课件片段中所有课件片段图像均相同。
所述课件信息集包括第一类关键词组与影像片段标识的对应关系。
本步骤的目的就是要从课件信息集中找到匹配度满足预设匹配度条件的第一类关键词组,从而获取该第一类关键词组在课件信息集中对应的影像片段标识。
在本公开实施例中,每个影像片段都有对应的影像信息集。所述影像片段标识用于指示影像信息集。例如,影像片段标识是影像信息集的名称,PAGE_1_TABLE,PAGE_2_TABLE。
由于课件片段主要用于显示教学的重点内容以及知识架构,因此,第一类关键词组包括了对教学内容概括信息。本步骤实现了基于问题对教学内容概括信息的粗略定位。
第一级关键词组通过与课件信息集中的第一类关键词组进行匹配的方式获取影像片段标识,提高了检索的适应能力,保证了检索的有效性。
在一些具体实施例中,所述基于所述第一级关键词组在包括多个第一类关键词组的检索课件信息集中执行检索,获取与所述第一级关键词组匹配的第一类关键词组所对应的影像片段标识,包括以下步骤:
步骤S103-1,将所述第一级关键词组与所述课件信息集中的第一类关键词组进行匹配,获取每个第一类关键词组的第一匹配结果。
本公开实施例中,所述第一匹配结果包括第一匹配度。
所述第一匹配度是指第一匹配数与第一类关键词组中第一类关键词数量的比值。
所述第一匹配数是指第一级关键词组中的第一级关键词与第一类关键词组中的第一类关键词的相同词的数量。
例如,第一级关键词组为:“牛顿”、“第二”、“运动”和“定律”,在课件信息集中存在第一类关键词组A为:“牛顿”、“第二”、“运动”和“定律”;由于第一类关键词组A中的第一类关键词与第一级关键词组的第一级关键词相同,第一匹配数为4,而第一类关键词组A中第一类关键词数量也为4,则第一匹配度为100%。
步骤S103-2,确定所述第一匹配结果满足预设第一匹配条件的第一类关键词组为与所述第一级关键词组匹配的第一类关键词组。
例如,预设第一匹配条件为:第一匹配结果大于或等于80%;继续上述例子,则确定第一类关键词组A为匹配的第一类关键词组。
步骤S103-3,基于与所述第一级关键词组匹配的第一类关键词组检索所述课件信息集,获取对应的影像片段标识。
由于课件信息集包括第一类关键词组与影像片段标识的对应关系,因此,通过与所述第一级关键词组匹配的第一类关键词组能够从课件信息集检索到对应的影像片段标识。例如,继续上述例子,在课件信息集中,与所述第一级关键词组匹配的第一类关键词组A与影像片段标识PAGE_1_TABLE具有对应关系。
本领域技术人员应当理解的是,可以采用任意可实施的方式实现步骤103的方法。
步骤S104,基于所述第二级关键词组在所述影像片段标识指示的包括多个第二类关键词组的影像信息集中执行检索,获取与所述第二级关键词组匹配的第二类关键词组所对应的匹配关键时间点。
其中,所述第二类关键词组是基于影像片段中的音频片段获得的关键词组,所述影像片段是基于所述课件片段对应的时间段划分影像视频获得的视频片段。
所述影像片段中的音频称为音频片段。
所述课件片段对应的时间段是指课件片段的起始时间点至结束时间点的时间段。如果一课件片段位于课件视频中的时间段为Ta,则在同步采集的影像视频中时间段Ta内的视频片段被称为影像片段。可以理解为,同步采集的课件片段和影像片段的记录时间相同,由此生成的信息具有关联关系。
所述影像信息集包括第二类关键词组与关键时间点的对应关系。
所述关键时间点是指包括第二类关键词组中第二类关键词的语句音频的起始时间点。
可选的,所述第二类关键词组是基于影像片段中音频片段的关键语句音频获得的关键词组。则关键时间点为关键语句音频的起始时间点。
所述关键语句音频包括在音频片段中涉及到教学重点的语句音频。
由于影像片段主要是对课件片段中课件片段图像显示的教学内容进行详细讲解,因此,第二类关键词包括了教学内容的详细信息。本步骤实现了基于问题对教学内容详细信息的精确定位。
第二级关键词组通过与影像信息集中的第二类关键词组进行匹配的方式获取播放录播视屏的关键时间点,提高了检索的适应能力,保证了检索的有效性。
在一些具体实施例中,所述基于所述第二级关键词组在所述影像片段标识指示的包括多个第二类关键词组的影像信息集中执行检索,获取与所述第二级关键词组匹配的第二类关键词组所对应的匹配关键时间点,包括以下步骤:
步骤S104-1,将所述第二级关键词组与所述影像信息集中的第二类关键词组进行匹配,获取每个第二类关键词组的第二匹配结果。
本公开实施例中,所述第二匹配结果包括第二匹配度。
所述第二匹配度是指第二匹配数与第二类关键词组中第二类关键词数量的比值。
所述第二匹配数是指第二级关键词组中的第二级关键词与第二类关键词组中的第二类关键词的相同词的数量。
例如,第二级关键词组为“公式”,在课件信息集中存在第二类关键词组B为:“公式”;由于第二类关键词组B中的第二类关键词与第二级关键词组的第二级关键词相同,第二匹配数为1,而第二类关键词组B中第二类关键词数量也为1,则第二匹配度为100%。
步骤S104-2,确定所述第二匹配结果满足预设第二匹配条件的第一类关键词组为与所述第二级关键词组匹配的第二类关键词组。
例如,预设第二匹配条件为:第二匹配结果大于或等于80%;继续上述例子,则确定第二类关键词组B为与所述第二级关键词组匹配的第二类关键词组。
步骤S104-3,基于与所述第二级关键词组匹配的第二类关键词组检索所述影像信息集,获取对应的匹配关键时间点。
由于影像信息集包括第二类关键词组与关键时间点的对应关系,因此,通过与所述第二级关键词组匹配的第二类关键词组能够从影像信息集检索到对应的关键时间点(即匹配关键时间点)。例如,继续上述例子,在影像信息集中,与所述第二级关键词组匹配的第二类关键词组B与关键时间点“6分30秒”具有对应关系。
本领域技术人员应当理解的是,可以采用任意可实施的方式实现步骤104的方法。
步骤S105,基于所述匹配关键时间点开始播放所述影像视频和/或所述课件视频。
本公开实施例将授课教师或听课学生输入的语句中的关键词组按等级划分为第一级关键词组和第二级关键词组,然后通过第一级关键词组和第二级关键词组分别检索对应的两级信息集,由粗略定位到详细定位,从而找到录播视频中与输入语句相关的播放时间点。保证了录播视频检索的准确性和一致性,实现了授课教师和听课学生与录播视频的互动。
实施例2
由于本公开实施例是基于上述实施例进行进一步优化,基于相同方法组成以及相同名称含义的解释与上述实施例相同,此处不再赘述。
本公开实施例提供了一种生成课件信息集的方法,如图2所示,所述方法还包括以下步骤:
步骤S201,在所述课件视频中,获取每个课件片段。
本公开实施例将课件视频中显示同一课件页内容的视频片段称为课件片段。
步骤S202,根据所述课件片段生成指示所述影像信息集的影像片段标识。
在本公开实施例中,每个影像片段都有对应的影像信息集。所述影像片段标识用于指示影像信息集。例如,影像片段标识是影像信息集的名称,PAGE_1_TABLE,PAGE_2_TABLE。
步骤S203,基于每个课件片段获得对应的第一类关键词组。
由于课件片段中所有课件片段图像均相同,因此,所述基于每个课件片段获得对应的第一类关键词组,可以理解为,基于课件片段中任一课件片段图像获得对应的第一类关键词组。
基于文字语义分析模型对每个课件片段中的课件片段图像进行文字语义分析,获取对应的第一类关键词组。
文字语义分析模型是以历史课件片段图像作为训练样本,对历史课件片段图像中的文字进行语义识别训练后,生成的分析模型。文字语义分析模型能够对课件片段图像中的文字进行分析,并根据文字的语义从课件片段图像的文字中提取出第一类关键词,形成第一类关键词组。
通过文字语义分析模型对课件片段图像进行文字语义分析,提高了对图像中文字语义分析的准确性。
步骤S204,基于各个第一类关键词组和对应第一类关键词组的影像片段标识生成所述课件信息集。
由于课件信息集中第一类关键词组与影像片段标识具有对应关系,因此,将课件视频中获得的所有第一类关键词组和对应第一类关键词组的影像片段标识保存,生成课件信息集。
实施例3
由于本公开实施例是基于上述实施例进行进一步优化,基于相同方法组成以及相同名称含义的解释与上述实施例相同,此处不再赘述。
本公开实施例提供了一种生成影像信息集的方法,如图3所示,所述方法还包括以下步骤:
步骤S301,在所述影像视频中,基于每个时间段获取对应课件片段的影像片段。
所述时间段是指课件片段的起始时间点至结束时间点的时间段。
步骤S302,基于每个影像片段中的音频片段获取多个关键语句音频。
所述关键语句音频包括在音频片段中涉及到教学重点的语句音频。
步骤S303,基于每个关键语句音频获得原始关键词组和所述关键语句音频出现的关键时间点。
基于音频语义分析模型对关键语句音频进行音频语义分析,获取原始关键词组。
音频语义分析模型是以历史关键语句音频作为训练样本,对历史关键语句音频中说话人的语句音频进行语义识别训练后,生成的分析模型。音频语义分析模型能够对音频片段中的关键语句音频进行分析,并从关键语句音频中提取出原始关键词,也就是原始关键词组。
本公开实施例通过音频语义分析模型对关键语句音频进行音频语义分析,提高了对音频语义分析的准确性。
步骤S304,在每个关键语句音频的原始关键词组中去除对应课件片段的第一类关键词组中的第一类关键词,获得第二类关键词组。
获得属于同一关键语句音频的原始关键词组,将该原始关键词组中与对应课件片段的第一类关键词删除,减少了二级检索的重复信息,提高了检索的效率。
步骤S305,基于每个影像片段的各个第二类关键词组和对应第二类关键词组的关键时间点生成对应影像片段的影像信息集。
由于影像信息集中第二类关键词组与关键时间点具有对应关系,因此,将影像视频中获得的所有第二类关键词组和对应第二类关键词组的关键时间点按照对应的影像信息集进行保存,生成对应影像片段的影像信息集。也就是每个影像片段具有一个对应的影像信息集。
实施例4
由于本公开实施例是基于上述实施例进行进一步优化,基于相同方法组成以及相同名称含义的解释与上述实施例相同,此处不再赘述。
本公开实施例提供了一种生成等级数据集的方法。如图4所示,所述具体方法还包括以下步骤:
步骤S401a,基于课件信息集获取第一类关键词组中的第一类关键词。
本公开实施例在上述实施例的基础上,从课件信息集中获取第一类关键词。
步骤S402a,将所述第一类关键词存入所述等级数据集中,并采用第一级标记作为所述第一类关键词的等级标记。
例如:在课件信息集中获取第一类关键词:“牛顿”、“第二”、“运动”和“定律”,则等级数据集中存入记录如下:
关键词 等级标记
牛顿 1
第二 1
运动 1
定律 1
其中,等级标记为1,表示一级标记。
所述具体方法还包括以下步骤:
步骤S401b,基于影像信息集获取第二类关键词组中的第二类关键词。
本公开实施例在上述实施例的基础上,从影像信息集中获取第二类关键词。
步骤S402b,将所述第二类关键词存入所述等级数据集中,并采用第二级标记作为所述第二类关键词的等级标记。
例如,影像信息集中获取第二类关键词“公式”,则在等级数据集中存入记录如下:
关键词 等级标记
公式 2
其中,等级标记为2,表示二级标记。
实施例5
本公开还提供了与上述实施例承接的装置实施例,用于实现如上实施例所述的方法步骤,基于相同的名称含义的解释与如上实施例相同,具有与如上实施例相同的技术效果,此处不再赘述。
如图5所示,本公开提供一种录播视频的检索装置500,包括:
获取单元501,用于获取授课教师或听课学生输入的语句中的关键词组;
分级单元502,用于基于所述关键词组中的关键词进行等级划分,获取第一级关键词组和第二级关键词组;
一级检索单元503,用于基于所述第一级关键词组在包括多个第一类关键词组的检索课件信息集中执行检索,获取与所述第一级关键词组匹配的第一类关键词组所对应的影像片段标识,其中,所述第一类关键词组是自课件片段中获得的关键词组,所述课件片段是将课件视频以所述课件视频中的课件页为单位划分而获得的视频片段;
二级检索单元504,用于基于所述第二级关键词组在所述影像片段标识指示的包括多个第二类关键词组的影像信息集中执行检索,获取与所述第二级关键词组匹配的第二类关键词组所对应的匹配关键时间点,其中,所述第二类关键词组是基于影像片段中的音频片段获得的关键词组,所述影像片段是基于所述课件片段对应的时间段划分影像视频获得的视频片段;
播放单元505,用于基于所述匹配关键时间点开始播放所述影像视频和/或所述课件视频。
可选的,所述一级检索单元503,包括:
第一匹配子单元,用于将所述第一级关键词组与所述课件信息集中的第一类关键词组进行匹配,获取每个第一类关键词组的第一匹配结果;
第一确定子单元,用于确定所述第一匹配结果满足预设第一匹配条件的第一类关键词组为与所述第一级关键词组匹配的第一类关键词组;
第一检索子单元,用于基于与所述第一级关键词组匹配的第一类关键词组检索所述课件信息集,获取对应的影像片段标识。
可选的,所述二级检索单元504,包括:
第二匹配子单元,用于将所述第二级关键词组与所述影像信息集中的第二类关键词组进行匹配,获取每个第二类关键词组的第二匹配结果;
第二确定子单元,用于确定所述第二匹配结果满足预设第二匹配条件的第一类关键词组为与所述第二级关键词组匹配的第二类关键词组;
第二检索子单元,用于基于与所述第二级关键词组匹配的第二类关键词组检索所述影像信息集,获取对应的匹配关键时间点。
可选的,所述分级单元502,包括:
第三检索子单元,用于基于所述关键词组中的关键词在等级数据集中执行检索,获取所述关键词的等级标记;
组合子单元,用于组合具有第一等级标记的关键词形成第一级关键词组,组合具有第二等级标记的关键词形成第二级关键词组。
可选的,所述装置还包括等级划分单元;
所述等级划分单元,包括:
第一获取子单元,用于基于所述课件信息集获取第一类关键词组中的第一类关键词;
第一存入子单元,用于将所述第一类关键词存入所述等级数据集中,并采用第一级标记作为所述第一类关键词的等级标记;
和/或,
第二获取子单元,用于基于所述影像信息集获取第二类关键词组中的第二类关键词;
第二存入子单元,用于将所述第二类关键词存入所述等级数据集中,并采用第二级标记作为所述第二类关键词的等级标记。
可选的,所述装置还包括第一生成单元;
所述第一生成单元,包括:
课件片段获取子单元,用于在所述课件视频中,获取每个课件片段;
标识生成子单元,用于根据所述课件片段生成指示所述影像信息集的影像片段标识;
第一获得子单元,用于基于每个课件片段获得对应的第一类关键词组;
第一生成子单元,用于基于各个第一类关键词组和对应第一类关键词组的影像片段标识生成所述课件信息集。
可选的,所述装置还包括第二生成单元;
所述第二生成单元,包括:
影像片段获取子单元,用于在所述影像视频中,基于每个时间段获取对应课件片段的影像片段;
音频获取子单元,用于基于每个影像片段中的音频片段获取多个关键语句音频;
原始信息获取子单元,用于基于每个关键语句音频获得原始关键词组和所述关键语句音频出现的关键时间点;
第二获得子单元,用于在每个关键语句音频的原始关键词组中去除对应课件片段的第一类关键词组中的第一类关键词,获得第二类关键词组;
第二生成子单元,用于基于每个影像片段的各个第二类关键词组和对应第二类关键词组的关键时间点生成对应影像片段的影像信息集。
本公开实施例将授课教师或听课学生输入的语句中的关键词组按等级划分为第一级关键词组和第二级关键词组,然后通过第一级关键词组和第二级关键词组分别检索对应的两级信息集,由粗略定位到详细定位,从而找到录播视频中与输入语句相关的播放时间点。保证了录播视频检索的准确性和一致性,实现了授课教师和听课学生与录播视频的互动。
实施例6
如图6所示,本实施例提供一种电子设备,所述电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上实施例所述的方法步骤。
实施例7
本公开实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行如上实施例所述的方法步骤。
实施例8
下面参考图6,其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备操作所需的各种程序和数据。处理装置601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM 602被安装。在该计算机程序被处理装置601执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。

Claims (10)

1.一种录播视频的检索方法,其特征在于,包括:
获取授课教师或听课学生输入的语句中的关键词组;
基于所述关键词组中的关键词进行等级划分,获取第一级关键词组和第二级关键词组;
基于所述第一级关键词组在包括多个第一类关键词组的检索课件信息集中执行检索,获取与所述第一级关键词组匹配的第一类关键词组所对应的影像片段标识,其中,所述第一类关键词组是自课件片段中获得的关键词组,所述课件片段是将课件视频以所述课件视频中的课件页为单位划分而获得的视频片段;
基于所述第二级关键词组在所述影像片段标识指示的包括多个第二类关键词组的影像信息集中执行检索,获取与所述第二级关键词组匹配的第二类关键词组所对应的匹配关键时间点,其中,所述第二类关键词组是基于影像片段中的音频片段获得的关键词组,所述影像片段是基于所述课件片段对应的时间段划分影像视频获得的视频片段;
基于所述匹配关键时间点开始播放所述影像视频和/或所述课件视频。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一级关键词组在包括多个第一类关键词组的检索课件信息集中执行检索,获取与所述第一级关键词组匹配的第一类关键词组所对应的影像片段标识,包括:
将所述第一级关键词组与所述课件信息集中的第一类关键词组进行匹配,获取每个第一类关键词组的第一匹配结果;
确定所述第一匹配结果满足预设第一匹配条件的第一类关键词组为与所述第一级关键词组匹配的第一类关键词组;
基于与所述第一级关键词组匹配的第一类关键词组检索所述课件信息集,获取对应的影像片段标识。
3.根据权利要求1所述的方法,其特征在于,所述基于所述第二级关键词组在所述影像片段标识指示的包括多个第二类关键词组的影像信息集中执行检索,获取与所述第二级关键词组匹配的第二类关键词组所对应的匹配关键时间点,包括:
将所述第二级关键词组与所述影像信息集中的第二类关键词组进行匹配,获取每个第二类关键词组的第二匹配结果;
确定所述第二匹配结果满足预设第二匹配条件的第一类关键词组为与所述第二级关键词组匹配的第二类关键词组;
基于与所述第二级关键词组匹配的第二类关键词组检索所述影像信息集,获取对应的匹配关键时间点。
4.根据权利要求1所述的方法,其特征在于,所述基于所述关键词组中的关键词进行等级划分,获取第一级关键词组和第二级关键词组,包括:
基于所述关键词组中的关键词在等级数据集中执行检索,获取所述关键词的等级标记;
组合具有第一等级标记的关键词形成第一级关键词组,组合具有第二等级标记的关键词形成第二级关键词组。
5.根据权利要求4所述的方法,所述方法还包括:
基于所述课件信息集获取第一类关键词组中的第一类关键词;
将所述第一类关键词存入所述等级数据集中,并采用第一级标记作为所述第一类关键词的等级标记;
和/或,
基于所述影像信息集获取第二类关键词组中的第二类关键词;
将所述第二类关键词存入所述等级数据集中,并采用第二级标记作为所述第二类关键词的等级标记。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述课件视频中,获取每个课件片段;
根据所述课件片段生成指示所述影像信息集的影像片段标识;
基于每个课件片段获得对应的第一类关键词组;
基于各个第一类关键词组和对应第一类关键词组的影像片段标识生成所述课件信息集。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述影像视频中,基于每个时间段获取对应课件片段的影像片段;
基于每个影像片段中的音频片段获取多个关键语句音频;
基于每个关键语句音频获得原始关键词组和所述关键语句音频出现的关键时间点;
在每个关键语句音频的原始关键词组中去除对应课件片段的第一类关键词组中的第一类关键词,获得第二类关键词组;
基于每个影像片段的各个第二类关键词组和对应第二类关键词组的关键时间点生成对应影像片段的影像信息集。
8.一种录播视频的检索装置,其特征在于,包括:
获取单元,用于获取授课教师或听课学生输入的语句中的关键词组;
分级单元,用于基于所述关键词组中的关键词进行等级划分,获取第一级关键词组和第二级关键词组;
一级检索单元,用于基于所述第一级关键词组在包括多个第一类关键词组的检索课件信息集中执行检索,获取与所述第一级关键词组匹配的第一类关键词组所对应的影像片段标识,其中,所述第一类关键词组是自课件片段中获得的关键词组,所述课件片段是将课件视频以所述课件视频中的课件页为单位划分而获得的视频片段;
二级检索单元,用于基于所述第二级关键词组在所述影像片段标识指示的包括多个第二类关键词组的影像信息集中执行检索,获取与所述第二级关键词组匹配的第二类关键词组所对应的匹配关键时间点,其中,所述第二类关键词组是基于影像片段中的音频片段获得的关键词组,所述影像片段是基于所述课件片段对应的时间段划分影像视频获得的视频片段;
播放单元,用于基于所述匹配关键时间点开始播放所述影像视频和/或所述课件视频。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。
CN202111298051.3A 2021-11-04 2021-11-04 一种录播视频的检索方法、装置、介质和电子设备 Pending CN114003769A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111298051.3A CN114003769A (zh) 2021-11-04 2021-11-04 一种录播视频的检索方法、装置、介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111298051.3A CN114003769A (zh) 2021-11-04 2021-11-04 一种录播视频的检索方法、装置、介质和电子设备

Publications (1)

Publication Number Publication Date
CN114003769A true CN114003769A (zh) 2022-02-01

Family

ID=79927071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111298051.3A Pending CN114003769A (zh) 2021-11-04 2021-11-04 一种录播视频的检索方法、装置、介质和电子设备

Country Status (1)

Country Link
CN (1) CN114003769A (zh)

Similar Documents

Publication Publication Date Title
WO2019095446A1 (zh) 一种具有语音评价功能的跟随教学***
CN109275046B (zh) 一种基于双视频采集的教学数据标注方法
Bahrani et al. Audiovisual News, Cartoons, and Films as Sources of Authentic Language Input and Language Proficiency Enhancement.
CN111526382A (zh) 一种直播视频文本生成方法、装置、设备及存储介质
CN111462553B (zh) 一种基于视频配音和纠音训练的语言学习方法及***
US10089898B2 (en) Information processing device, control method therefor, and computer program
CN111107442B (zh) 音视频文件的获取方法、装置、服务器及存储介质
KR20220051592A (ko) 인터넷 강의 추천 시스템 및 그 동작 방법
CN111614986A (zh) 基于在线教育的弹幕生成方法、***、设备及存储介质
CN111935529A (zh) 教育类音视频资源的播放方法、设备及存储介质
CN113254708A (zh) 一种视频搜索方法、装置、计算机设备及存储介质
CN109858005B (zh) 基于语音识别的文档更新方法、装置、设备及存储介质
CN113259763B (zh) 教学视频处理方法、装置和电子设备
Rahman et al. YouTube music as an innovative teaching media to improve students’ listening mastery
CN111417014A (zh) 基于在线教育的视频生成方法、***、设备及存储介质
CN111815274A (zh) 信息处理方法、装置和电子设备
CN114095747B (zh) 直播互动***和方法
CN114003769A (zh) 一种录播视频的检索方法、装置、介质和电子设备
CN114328839A (zh) 问题解答方法、装置、介质和电子设备
CN113891026B (zh) 一种录播视频的标记方法、装置、介质和电子设备
CN113099312A (zh) 教学视频播放***
WO2006051775A1 (ja) 携帯型語学学習装置及び携帯型語学学習システム
CN113420135A (zh) 在线教学中笔记处理方法、装置、电子设备及存储介质
CN112699687A (zh) 内容编目方法、装置和电子设备
CN114003764A (zh) 一种听课效果的标记方法、装置、介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination