CN112989112A - 在线课堂内容采集方法及装置 - Google Patents

在线课堂内容采集方法及装置 Download PDF

Info

Publication number
CN112989112A
CN112989112A CN202110457016.5A CN202110457016A CN112989112A CN 112989112 A CN112989112 A CN 112989112A CN 202110457016 A CN202110457016 A CN 202110457016A CN 112989112 A CN112989112 A CN 112989112A
Authority
CN
China
Prior art keywords
image
screenshot
information
matching
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110457016.5A
Other languages
English (en)
Other versions
CN112989112B (zh
Inventor
王群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Century TAL Education Technology Co Ltd
Original Assignee
Beijing Century TAL Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Century TAL Education Technology Co Ltd filed Critical Beijing Century TAL Education Technology Co Ltd
Priority to CN202110457016.5A priority Critical patent/CN112989112B/zh
Publication of CN112989112A publication Critical patent/CN112989112A/zh
Application granted granted Critical
Publication of CN112989112B publication Critical patent/CN112989112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Library & Information Science (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种在线课堂内容采集方法及装置。该方法包括：实时从视频流中获取信息并保存到缓冲区，将获取的信息与预设规则进行匹配；在当前获取的信息与预设规则相匹配时，将当前时刻的预设时间段内缓冲区中前后连续不同的各个稳定图像唤起，并且对各个图像中至少部分区域进行截图；选择包括目标内容的截图进行保存。该装置包括信息获取单元、匹配单元、图像内容采集单元、截图选取单元和存储单元。这种方法和装置实时监控在线课堂画面和语音，根据设定规则可以在用户比如学生观看在线课程视频的同时自动触发局部画面获取并且去除“相似”画面，给学生用户更加顺滑的视频观看和体验效果，边看边积累重要课堂内容截图。

Description

在线课堂内容采集方法及装置
技术领域
本发明涉及视频通信和数据处理技术，更为具体来说，本发明涉及一种在线课堂内容采集方法及装置。
背景技术
随着互联网视频技术的发展，网络教学越来越受到欢迎。作为学生的用户在智能设备比如手机或者PC上使用网课终端参与使用直播课程页面的过程中，需要注意力集中进行在线课堂学习，如果在课堂学习过程中手动记录笔记则会影响学习效果或者会发生信息出现猝不及防、转瞬即逝却没来得及记录等问题。因此，相比于手动记录课堂笔记，观看在线课程视频进行内容采集的需求越来越强烈，在线课堂中对于表达不同语义具有上下文联系的画面能够有效的作为知识点片段笔记的用途，根据预先设置规则获取在线视频局部内容图片，通过视频中语音、图像画面能够便利地获取不重复地语义片段局部画面非常重要。
发明内容
本发明创新地提供了一种在线课堂内容采集方法及装置，解决了在手机、PC等终端中通过在线直播课堂进行课程学习的过程中用户比如学生具有及时获取重要的全局或局部图像画面需求，使得用户比如学生流畅观看课堂内容减少交互操作注意力分散，又能够根据规则及时获取并保留瞬间图像内容又不重复。
为实现上述的技术目的，一方面，本发明公开了一种在线课堂内容采集方法。所述在线课堂内容采集方法包括：实时从视频流中获取信息并保存到缓冲区，将获取的信息与预设规则进行匹配；在当前获取的信息与所述预设规则相匹配时，将当前时刻的预设时间段内缓冲区中前后连续不同的各个稳定图像唤起，并且对所述各个图像中至少部分区域进行截图；选择包括目标内容的截图进行保存。
进一步地，对于所述在线课堂内容采集方法，实时从视频流中获取信息，并将获取的信息与所述预设规则进行匹配并保存到缓冲区，包括：获取视频流并将视频流画面映射到后台视频图像画布中；在当前图像相比所保存的上一图像发生符合实质变化标准的变化时，将当前图像作为稳定图像保存到缓冲区；将所述稳定图像与所述预设规则进行匹配。
进一步地，对于所述在线课堂内容采集方法，当前图像相比所保存的上一图像发生符合实质变化标准的变化，包括：将所述视频流当前图像与所保存的上一图像进行对比；在当前图像中文字发生变化或者超过阈值数量的像素发生变化时，表示当前图像相比所保存的上一图像发生符合实质变化标准的变化。
进一步地，对于所述在线课堂内容采集方法，实时从视频流中获取信息，并将获取的信息与所述预设规则进行匹配并保存到缓冲区，包括：将视频流中音频内容映射到音频段缓冲区中；对音频段缓冲区内的音频进行段落切分并留存当前段落语音；在所留存的当前段落语音发生变化时，将所述当前段落语音与所述预设规则进行匹配。
进一步地，所述的在线课堂内容采集方法，在对所述各个图像中至少部分区域进行截图之后，还包括：对所述各个图像中至少部分区域的截图进行比较；如果截图区域内图像未发生变化则保存一张截图；如果发生变化则将保存不同截图。
进一步地，对于所述在线课堂内容采集方法，选择包括目标内容的截图进行保存，包括：对时间序列阈值区间中的截图进行挑选给出推荐图片供选择保存。
进一步地，对于所述的在线课堂内容采集方法，选择包括目标内容的截图进行保存，包括：根据当前播放时间将截图命名并存储在用户端本地。
为实现上述的技术目的，另一方面，本发明公开了一种在线课堂内容采集装置。所述在线课堂内容采集装置包括：信息获取单元，用于实时从视频流中获取信息并保存到缓冲区；匹配单元，用于将获取的信息与预设规则进行匹配；图像内容采集单元，用于在当前获取的信息与所述预设规则相匹配时，将当前时刻的预设时间段内缓冲区中前后连续不同的各个稳定图像唤起，并且对所述各个图像中至少部分区域进行截图；截图选取单元，用于选择包括目标内容的截图；存储单元，用于保存所选择的截图。
为实现上述的技术目的，又一方面，本发明公开了一种计算设备。所述计算设备包括：一个或多个处理器，以及与所述一个或多个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述方法。
为实现上述的技术目的，再一方面，本发明公开了一种机器可读存储介质。所述机器可读存储介质存储有可执行指令，所述指令当被执行时使得所述机器执行上述方法。
本发明的有益效果为：
本发明实施例提供的在线课堂内容采集方法及装置实时监控在线课堂画面和语音，根据设定规则可以在用户比如学生观看在线课程视频的同时自动触发全局或局部画面获取并且去除“相似”画面，给学生用户更加顺滑的视频观看和体验效果，边看边积累重要课堂内容截图，智能化在线课堂内容采集技术是在线课堂的一个非常重要的发展趋势。解决了在手机、PC等终端中通过在线直播课堂播放器进行课程学习的过程中用户比如学生具有及时获取重要的全局或局部图像画面需求，使得用户比如学生流畅观看课堂内容减少交互操作注意力分散，又能够根据规则及时获取并保留瞬间图像内容又不重复。
附图说明
图中，
图1为本发明一个实施例提供的在线课堂内容采集方法的流程图；
图2为本发明另一个实施例提供的在线课堂内容采集装置的结构示意图；
图3A和图3B为本发明一个示例提供的在线课堂内容采集方法和装置的应用场景效果图；
图4为根据本发明实施例的用于在线课堂内容采集处理的计算设备的结构框图。
具体实施方式
下面结合说明书附图对本发明提供的在线课堂内容采集方法及装置进行详细的解释和说明。
图1为本发明一个实施例提供的在线课堂内容采集方法的流程图。
如图1所示，在步骤S110，实时从视频流中获取信息并保存到缓冲区，将获取的信息与预设规则进行匹配。其中，预设规则可以包括全屏匹配添加词语、拼音、正则表达式和/或图像匹配，或者通过添加图像匹配区域在屏幕上绘制局部匹配区域并添加词语、拼音、正则表达式和/或图像匹配规则。预设规则还可以包括选择匹配方式比如语音和/或图像方式，可以添加多条规则。可以将预设规则存储在用户端本地，进行本地数据持久化供多次使用。
作为一种实施方式，步骤S110可以包括以下步骤：获取视频流并将视频流画面映射到后台视频图像画布中；在当前图像相比所保存的上一图像发生符合实质变化标准的变化时，将当前图像作为稳定图像保存到缓冲区；将稳定图像与预设规则进行匹配。
具体来说，可以通过端技术获取视频流并将视频流画面映射到后台视频图像画布中供后台进行图像切分使用。将视频流当前图像与所保存的上一图像进行对比，在当前图像中文字发生变化或者超过阈值数量的像素发生变化时，表示当前图像相比所保存的上一图像发生符合实质变化标准的变化。在图像发生实质变化时将当前图像作为稳定图像保存到缓冲区，防止图像消失。可以利用端智能进行神经网络在线预测匹配。端智能是指运行在用户客户端上的神经网络在线推理器，可以将传入的图像数据作为输入，将事先训练的神经网络加载到客户端并且将图像数据作为输入进入神经网络逐层计算，最终根据神经网络计算结果给出图像是否匹配的答案。
作为另一种实施方式，步骤S110可以包括以下步骤：将视频流中音频内容映射到音频段缓冲区中；对音频段缓冲区内的音频进行段落切分并留存当前段落语音；在所留存的当前段落语音发生变化时，将当前段落语音与预设规则进行匹配。
具体来说，可以将视频流中音频内容映射到音频段缓冲区中，对音频段缓冲区域内的音频进行切分，按照当前语音进行段落区分，仅仅留存当前段落语音，并在所留存的当前段落语音变化时，将当前段落语音与预设规则进行匹配。
在步骤S120，在当前获取的信息与预设规则相匹配时，将当前时刻的预设时间段内缓冲区中前后连续不同的各个稳定图像唤起，并且对各个图像中至少部分区域进行截图。
具体来说，通过匹配区域匹配成功将会触发截图区域截图，截图原理是将视频中的当前帧图像内容投影到canvas画布中，根据画布提供的方法将图像数据根据指定格式比如png格式或jpg格式存储到本地或者将图像二进制存储到内存。
可以在局部匹配过程中设置匹配区域，其中图像文字会被端智能提取成文字，将这部分的图像区域识别出的文字与规则正则进行匹配，如果匹配符合正则规则将截图区域图像保存入图像缓存。在设置过程中，如果设置了截图区域，则在触发截图动作时会根据截图区域在整体图像中的坐标定位进行截图，如果没有设定截图区域则默认为全局截图整个图像。
对各个图像中至少部分区域的截图进行比较，如果截图区域图像未发生变化则保存一张，如果发生变化例如截图区域内文字变化则将不同截图保存，以保证不同截图仅一张，留作后续存入本地。在匹配区域内容未发生变化的时间区间内，在端智能下可能有多张图像进入缓存，这时可以考虑仅将截图区域内图像中文字变化巨大的图像存入，而截图区域内未产生文字变化的仅保存第一张图像。
在步骤S130，选择包括目标内容的截图进行保存。
作为一个具体例子，可以在截图后对时间序列阈值区间中的图像进行自动化挑选给出推荐图片供选择保存使用，也就是说可以将步骤S120的几张截图显示在图像保存面板中，人工交互选择最优截图进行保存。还可以根据当前播放时间将图像命名并存储在用户端本地。
图2为本发明另一个实施例提供的在线课堂内容采集装置的结构示意图。如图2所示，该实施例提供的在线课堂内容采集装置200包括信息获取单元210、匹配单元220、图像内容采集单元230、截图选取单元240、以及存储单元250。
信息获取单元210用于实时从视频流中获取信息并保存到缓冲区。信息获取单元210的操作可以参照上面参考图1描述的步骤S110的操作。
信息获取单元210可以包括视频获取模块和音频获取模块。视频获取模块用于通过端技术获取视频流并将视频流画面映射到后台视频图像画布中。音频获取模块用于将视频流中音频内容映射到音频段缓冲区中。
信息获取单元210还可以包括图像切分模块和音频切分模块。图像切分模块用于根据图像变化获取稳定图像，通过图像对比，仅在图像发生本质变化时例如图像中文字或者大部分像素发声变化时，进行图像获取。音频切分模块用于将音频段缓冲区域内的音频进行切分，按照当前语音进行段落区分，仅仅留存当前段落语音，并将当前语音发声段落变化时将音频与预设规则进行匹配。
匹配单元220用于将获取的信息与预设规则进行匹配。匹配单元220的操作可以参照上面参考图1描述的步骤S120的操作。
匹配单元220可以包括图像匹配模块和音频匹配模块。图像匹配模块用于通过读取预设规则内容将匹配区域图像与预设规则进行匹配，可以利用端智能进行神经网络在线预测匹配。输入匹配区域图像和预设规则，通过神经网络得到是否匹配的结果。音频匹配模块用于通过读取预设规则内容将语音内容与预设规则进行匹配，可以利用端智能进行神经网络在线预测匹配。输入语音和预设规则，通过神经网络得到是否匹配的结果。
图像内容采集单元230用于在当前获取的信息与预设规则相匹配时，将当前时刻的预设时间段内缓冲区中前后连续不同的各个稳定图像唤起，并且对所述各个图像中至少部分区域进行截图。图像内容采集单元230的操作可以参照上面参考图1描述的步骤S130的操作。
具体来说，图像内容采集模块230可以进一步用于根据匹配步骤的结果，进行缓冲区域图像唤起，从而可以将前后连续不同稳定图像唤起并且根据设定的规则将这几张图像的局部区域图像内容获取到并显示在面板中。
截图选取单元240用于选择包括目标内容的截图。截图选取单元240的操作可以参照上面参考图1描述的步骤S140的操作。进一步来说，截图选取单元240的主要作用是去重，将图像内容采集模块230得到的多张截图显示在图像保存面板中，人工交互选择最优图像进行触发图像保存。
存储单元250用于保存所选择的截图。存储单元250的操作可以参照上面参考图1描述的步骤S150的操作。
该实施例的在线课堂内容采集装置还可以包括规则设置单元，用于设置截图规则，满足匹配时使用。通过交互触发添加规则面板，在面板中新增规则。具体来说，规则设置单元可以用于设置全屏匹配添加词语、拼音、正则表达式和/或图像匹配，或者通过添加图像匹配区域在屏幕上绘制局部匹配区域并添加词语、拼音、正则表达式和/或图像匹配规则；而且对于这两种方式都可以设置目标截图区域例如通过屏幕绘制选定方式设置。还可以设置匹配方式比如语音和/或图像方式，还可以添加多条规则。该实施例的在线课堂内容采集装置还可以包括规则存储单元，用于将设置的规则存储在用户端本地，进行本地数据持久化供多次使用。
该实施例的在线课堂内容采集装置可以位于视频播放器上。该视频播放器的输入部分可以包括视频流和匹配的多个规则，规则可以对当前视频流语音或者图像进行匹配。作为一种实施方式，可以通过视频中语音匹配自动进行局部截图。作为另一种实施方式，如图3A和图3B所示，也可以通过视频中局部区域A的内容匹配而在局部区域B内进行截图。截图后可以对时间序列阈值区间中的图像进行自动化挑选给出推荐图片供选择保存使用。
本发明实施例提供的在线课堂内容采集方法及装置是一种智能化的在线课堂内容采集技术，用户比如学生在手机或者PC上使用网课终端参与使用直播课程页面的过程中，学生高度注意力进行在线课堂学习，为了不因为交互操作影响学习效果或者信息出现猝不及防、转瞬即逝却没来得及记录，学生在观看课程前可以预先设置规则，当在线视频中语音或图像画面相应区域命中规则将会触发图像获取，将图像进行“内容去重”后进行保存。既获得信息，又减少学生对此产生注意力分散。
本发明实施例提供的在线课堂内容采集方法及装置实时监控在线课堂画面和语音，根据设定规则可以在用户比如学生观看在线课程视频的同时自动触发局部画面获取并且去除“相似”画面，给学生用户更加顺滑的视频观看和体验效果，边看边积累重要课堂内容截图，智能化在线课堂内容采集技术是在线课堂的一个非常重要的发展趋势。解决了在手机、PC等终端中通过在线直播课堂播放器进行课程学习的过程中用户比如学生具有及时获取重要的全局或局部图像画面需求，使得用户比如学生流畅观看课堂内容减少交互操作注意力分散，又能够根据规则及时获取并保留瞬间图像内容又不重复。
图4为根据本发明实施例的用于在线课堂内容采集处理的计算设备的结构框图。
如图4所示，计算设备400可以包括至少一个处理器410、存储器420、内存430、通信接口440以及内部总线450，并且至少一个处理器410、存储器420、内存430和通信接口440经由总线450连接在一起。该至少一个处理器410执行在计算机可读存储介质（即，存储器420）中存储或编码的至少一个计算机可读指令（即，上述以软件形式实现的元素）。
在一个实施例中，在存储器420中存储有计算机可执行指令，当其执行时使得至少一个处理器410执行：实时从视频流中获取信息并保存到缓冲区，将获取的信息与预设规则进行匹配；在当前获取的信息与所述预设规则相匹配时，将当前时刻的预设时间段内缓冲区中前后连续不同的各个稳定图像唤起，并且对所述各个图像中至少部分区域进行截图；选择包括目标内容的截图进行保存。
应该理解的是，在存储器420中存储的计算机可执行指令当执行时使得至少一个处理器410进行本公开的各个实施例中以上结合图1-3描述的各种操作和功能。
在本公开中，计算设备400可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理（PDA）、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。
根据一个实施例，提供了一种例如非暂时性机器可读介质的程序产品。非暂时性机器可读介质可以具有指令（即，上述以软件形式实现的元素），该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图1-3描述的各种操作和功能。
具体地，可以提供配有可读存储介质的***或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该***或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘（如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW）、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。
以上所述仅为本发明的实施例，并非因此限制本发明的权利要求保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明权利要求的保护范围内。

Claims (10)

1.一种在线课堂内容采集方法，其特征在于，包括：
实时从视频流中获取信息并保存到缓冲区，将获取的信息与预设规则进行匹配；
在当前获取的信息与所述预设规则相匹配时，将当前时刻的预设时间段内缓冲区中前后连续不同的各个稳定图像唤起，并且对所述各个图像中至少部分区域进行截图；
选择包括目标内容的截图进行保存。
2.根据权利要求1所述的在线课堂内容采集方法，其特征在于，实时从视频流中获取信息，并将获取的信息与所述预设规则进行匹配并保存到缓冲区，包括：
获取视频流并将视频流画面映射到后台视频图像画布中；
在当前图像相比所保存的上一图像发生符合实质变化标准的变化时，将当前图像作为稳定图像保存到缓冲区；
将所述稳定图像与所述预设规则进行匹配。
3.根据权利要求2所述的在线课堂内容采集方法，其特征在于，当前图像相比所保存的上一图像发生符合实质变化标准的变化，包括：
将所述视频流当前图像与所保存的上一图像进行对比；
在当前图像中文字发生变化或者超过阈值数量的像素发生变化时，表示当前图像相比所保存的上一图像发生符合实质变化标准的变化。
4.根据权利要求1所述的在线课堂内容采集方法，其特征在于，实时从视频流中获取信息，并将获取的信息与所述预设规则进行匹配并保存到缓冲区，包括：
将视频流中音频内容映射到音频段缓冲区中；
对音频段缓冲区内的音频进行段落切分并留存当前段落语音；
在所留存的当前段落语音发生变化时，将所述当前段落语音与所述预设规则进行匹配。
5.根据权利要求1所述的在线课堂内容采集方法，其特征在于，在对所述各个图像中至少部分区域进行截图之后，还包括：
对所述各个图像中至少部分区域的截图进行比较；
如果截图区域内图像未发生变化则保存一张截图；
如果发生变化则将保存不同截图。
6.根据权利要求1所述的在线课堂内容采集方法，其特征在于，选择包括目标内容的截图进行保存，包括：对时间序列阈值区间中的截图进行挑选给出推荐图片供选择保存。
7.根据权利要求1所述的在线课堂内容采集方法，其特征在于，选择包括目标内容的截图进行保存，包括：根据当前播放时间将截图命名并存储在用户端本地。
8.一种在线课堂内容采集装置，其特征在于，包括：
信息获取单元，用于实时从视频流中获取信息并保存到缓冲区；
匹配单元，用于将获取的信息与预设规则进行匹配；
图像内容采集单元，用于在当前获取的信息与所述预设规则相匹配时，将当前时刻的预设时间段内缓冲区中前后连续不同的各个稳定图像唤起，并且对所述各个图像中至少部分区域进行截图；
截图选取单元，用于选择包括目标内容的截图；
存储单元，用于保存所选择的截图。
9.一种计算设备，其特征在于，包括：
一个或多个处理器，以及
与所述一个或多个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1到7中任一项所述的方法。
10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求1到7中任一项所述的方法。
CN202110457016.5A 2021-04-27 2021-04-27 在线课堂内容采集方法及装置 Active CN112989112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110457016.5A CN112989112B (zh) 2021-04-27 2021-04-27 在线课堂内容采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110457016.5A CN112989112B (zh) 2021-04-27 2021-04-27 在线课堂内容采集方法及装置

Publications (2)

Publication Number Publication Date
CN112989112A true CN112989112A (zh) 2021-06-18
CN112989112B CN112989112B (zh) 2021-09-07

Family

ID=76340276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110457016.5A Active CN112989112B (zh) 2021-04-27 2021-04-27 在线课堂内容采集方法及装置

Country Status (1)

Country Link
CN (1) CN112989112B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114554133A (zh) * 2022-02-22 2022-05-27 联想(北京)有限公司 一种信息处理方法、装置和电子设备
CN115344787A (zh) * 2022-08-23 2022-11-15 华南师范大学 一种多粒度推荐方法、***、装置及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101600118A (zh) * 2008-06-06 2009-12-09 株式会社日立制作所 音视频内容信息抽取装置和方法
CN102270139A (zh) * 2011-08-16 2011-12-07 潘天华 一种屏幕截图的方法
CN103092524A (zh) * 2013-01-31 2013-05-08 广东欧珀移动通信有限公司 一种通过触摸屏实现截图的方法及移动终端
CN103607457A (zh) * 2013-11-20 2014-02-26 广州华多网络科技有限公司 笔记处理方法、装置、终端、服务器及***
CN103810711A (zh) * 2014-03-03 2014-05-21 郑州日兴电子科技有限公司 一种用于监控***视频的关键帧提取方法及其***
CN104883583A (zh) * 2015-06-05 2015-09-02 广东欧珀移动通信有限公司 一种获取在线视频截图的方法及装置
CN104915202A (zh) * 2015-06-05 2015-09-16 广东欧珀移动通信有限公司 一种截图方法及装置
US20160019597A1 (en) * 2014-07-16 2016-01-21 Turn Inc. Advertisement snapshot recorder
US20170280200A1 (en) * 2016-03-24 2017-09-28 Echostar Technologies L.L.C. Direct capture and sharing of screenshots from video programming
CN107357926A (zh) * 2017-07-26 2017-11-17 成都三零盛安信息***有限公司 网页处理方法、装置及电子设备
CN107483729A (zh) * 2017-08-08 2017-12-15 陕西银河景天电子有限责任公司 一种多画面显示选择截取画面的方法及***
CN107920220A (zh) * 2017-11-28 2018-04-17 甜新科技（上海）有限公司 一种在线实时交互式取证方法
CN208141637U (zh) * 2018-01-11 2018-11-23 冯倩 基于慕课教学环境的计算机教学平台***
CN109819267A (zh) * 2018-12-30 2019-05-28 广东彼雍德云教育科技有限公司 一种在线云直、录播***
US10664358B1 (en) * 2017-04-28 2020-05-26 EMC IP Holding Company LLC Ensure volume consistency for online system checkpoint
CN111881901A (zh) * 2020-07-28 2020-11-03 平安科技（深圳）有限公司 截图内容检测方法、设备及计算机可读存储介质
CN112529004A (zh) * 2020-12-08 2021-03-19 平安科技（深圳）有限公司 智能图像识别方法、装置、计算机设备及存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101600118A (zh) * 2008-06-06 2009-12-09 株式会社日立制作所 音视频内容信息抽取装置和方法
CN102270139A (zh) * 2011-08-16 2011-12-07 潘天华 一种屏幕截图的方法
CN103092524A (zh) * 2013-01-31 2013-05-08 广东欧珀移动通信有限公司 一种通过触摸屏实现截图的方法及移动终端
CN103607457A (zh) * 2013-11-20 2014-02-26 广州华多网络科技有限公司 笔记处理方法、装置、终端、服务器及***
CN103810711A (zh) * 2014-03-03 2014-05-21 郑州日兴电子科技有限公司 一种用于监控***视频的关键帧提取方法及其***
US20160019597A1 (en) * 2014-07-16 2016-01-21 Turn Inc. Advertisement snapshot recorder
CN104883583A (zh) * 2015-06-05 2015-09-02 广东欧珀移动通信有限公司 一种获取在线视频截图的方法及装置
CN104915202A (zh) * 2015-06-05 2015-09-16 广东欧珀移动通信有限公司 一种截图方法及装置
US20170280200A1 (en) * 2016-03-24 2017-09-28 Echostar Technologies L.L.C. Direct capture and sharing of screenshots from video programming
US10664358B1 (en) * 2017-04-28 2020-05-26 EMC IP Holding Company LLC Ensure volume consistency for online system checkpoint
CN107357926A (zh) * 2017-07-26 2017-11-17 成都三零盛安信息***有限公司 网页处理方法、装置及电子设备
CN107483729A (zh) * 2017-08-08 2017-12-15 陕西银河景天电子有限责任公司 一种多画面显示选择截取画面的方法及***
CN107920220A (zh) * 2017-11-28 2018-04-17 甜新科技（上海）有限公司 一种在线实时交互式取证方法
CN208141637U (zh) * 2018-01-11 2018-11-23 冯倩 基于慕课教学环境的计算机教学平台***
CN109819267A (zh) * 2018-12-30 2019-05-28 广东彼雍德云教育科技有限公司 一种在线云直、录播***
CN111881901A (zh) * 2020-07-28 2020-11-03 平安科技（深圳）有限公司 截图内容检测方法、设备及计算机可读存储介质
CN112529004A (zh) * 2020-12-08 2021-03-19 平安科技（深圳）有限公司 智能图像识别方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TRAVIS K. HUANG: "《Investigating User Acceptance of a Screenshot-Based Interaction System in the Context of Advanced Computer Software Learning》", 《IEEE》 *
田朝阳: "基于CNN的在线教学视频课件内容提取***的设计与实现", 《中国优秀硕士学位论文全文数据库 社会科学Ⅱ辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114554133A (zh) * 2022-02-22 2022-05-27 联想(北京)有限公司 一种信息处理方法、装置和电子设备
CN115344787A (zh) * 2022-08-23 2022-11-15 华南师范大学 一种多粒度推荐方法、***、装置及存储介质
CN115344787B (zh) * 2022-08-23 2023-07-04 华南师范大学 一种多粒度推荐方法、***、装置及存储介质

Also Published As

Publication number Publication date
CN112989112B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN111078070B (zh) Ppt视频弹幕的播放控制方法、装置、终端及介质
US20170109339A1 (en) Application program activation method, user terminal, and server
CN111131876B (zh) 视频直播的控制方法、装置、终端及计算机可读存储介质
CN112989112B (zh) 在线课堂内容采集方法及装置
US11641445B2 (en) Personalized automatic video cropping
CN112367551A (zh) 视频编辑的方法及装置、电子设备和可读存储介质
CN112437353A (zh) 视频处理方法、视频处理装置、电子设备和可读存储介质
US20230291978A1 (en) Subtitle processing method and apparatus of multimedia file, electronic device, and computer-readable storage medium
US20210051122A1 (en) Systems and methods for pushing content
CN113806570A (zh) 图像生成方法和生成装置、电子设备和存储介质
US12001442B2 (en) Systems and methods for pushing content
CN112235632A (zh) 视频处理方法、装置及服务器
CN111629222A (zh) 一种视频处理方法、设备及存储介质
CN112866577B (zh) 图像的处理方法、装置、计算机可读介质及电子设备
CN114125498A (zh) 视频数据处理方法、装置、设备以及存储介质
WO2019146466A1 (ja) 情報処理装置、動画検索方法、生成方法及びプログラム
US10943380B1 (en) Systems and methods for pushing content
CN114564952A (zh) 一种文本标题生成方法、装置、设备及介质
CN114584824A (zh) 数据处理方法、***、电子设备、服务端及客户端设备
US20220147739A1 (en) Video annotating method, client, server, and system
CN114494951B (zh) 视频处理方法、装置、电子设备和存储介质
WO2023029924A1 (zh) 评论信息的显示方法、装置、设备、存储介质及程序产品
US20230410394A1 (en) Image display method and apparatus, device, and medium
CN107609018B (zh) 搜索结果的呈现方法、装置和终端设备
CN113792182A (zh) 图像进度的提示方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant