CN113569700A - 一种通过外语视频生成配音素材的方法和*** - Google Patents

一种通过外语视频生成配音素材的方法和*** Download PDF

Info

Publication number
CN113569700A
CN113569700A CN202110833978.6A CN202110833978A CN113569700A CN 113569700 A CN113569700 A CN 113569700A CN 202110833978 A CN202110833978 A CN 202110833978A CN 113569700 A CN113569700 A CN 113569700A
Authority
CN
China
Prior art keywords
video
foreign language
generating
user
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110833978.6A
Other languages
English (en)
Inventor
洪来君
陈晓燕
谭红平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Feizhu Technology Co ltd
Original Assignee
Hangzhou Feizhu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Feizhu Technology Co ltd filed Critical Hangzhou Feizhu Technology Co ltd
Priority to CN202110833978.6A priority Critical patent/CN113569700A/zh
Publication of CN113569700A publication Critical patent/CN113569700A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种通过外语视频生成配音素材的方法，包括步骤：(1)用户向网站服务器上传原始视频；(2)用户在网站服务器上对原始视频进行在线剪辑，保留需要的视频片段；(3)网站服务器从视频片段中分离出人声和背景，并对人声自动识别出字幕；(4)用户对识别出的字幕进行在线编辑；(5)用户在网站服务器上保存得到的配音素材。

Description

一种通过外语视频生成配音素材的方法和***
技术领域
本发明涉及计算机视频处理，尤其涉及通过外语视频生成配音素材的方法和***。
背景技术
作为一种创新的外语学习方式，外语教学软件和网站会向学习者提供一种特殊的视频片段，这种视频片段一般取自经典的外语原版电影或电视剧等，该视频片段已经预先分离了人声和背景，同时还可提供中外语字幕。外语学习者可亲自为这种视频片段配音，并通过这种方式对配音内容进行学习。相对于被动的、以听为主的传统外语学习方式，这种主动的、身临其境的外语学习方式可有效提高学习者的参与感，使学习者更有效地掌握配音内容包含的外语材料。
但是准备这种教学用的配音素材需要精通外语和视频处理技术的专业人员消耗大量的时间用于视频材料的剪辑、原声的分离、外语字幕的生成等，成本较高，需时较长，难以大量生成。
因此，本领域的技术人员致力于开发一种能以较低成本、较快地得到大量的这种配音素材的技术。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种能以较低成本、较快地得到大量的外语配音素材的技术。
为实现上述目的，本发明首先提供了一种通过外语视频生成配音素材的方法，包括步骤：(1)用户向网站服务器上传原始视频；(2)用户在网站服务器上对原始视频进行在线剪辑，保留需要的视频片段；(3)网站服务器从视频片段中分离出人声和背景，并对人声自动识别出字幕；(4)用户对识别出的字幕进行在线编辑；(5)用户在网站服务器上保存得到的配音素材。
进一步地，网站服务器调用ffmpeg工具对原始视频进行剪辑。
进一步地，还包括去除视频水印的步骤。
进一步地，网站服务器调用ffmpeg工具去除视频水印。
进一步地，网站服务器调用spleeter工具从视频片段中分离出人声和背景，并对人声自动识别出字幕。
本发明其次提供了一种通过外语视频生成配音素材的***，包括网站服务器和客户端，其中客户端用于供用户上传原始视频至网站服务器；网站服务器包括视频剪辑模块、字幕生成模块以及字幕编辑模块，其中视频剪辑模块用于供用户对原始视频进行在线剪辑，以得到需要的视频片段；字幕生成模块用于从视频片段中分离出人声和背景，并对人声自动识别出字幕；字幕编辑模块用于供用户对识别出的字幕进行在线编辑。
进一步地，视频剪辑模块调用ffmpeg工具对原始视频进行剪辑。
进一步地，还包括水印去除模块，用于去除视频水印。
进一步地，水印去除模块调用ffmpeg工具去除视频水印。
进一步地，字幕生成模块调用spleeter工具从视频片段中分离出人声和背景，并对人声自动识别出字幕。
本发明采用开源的ffmpeg和spleeter工具，可自动分离人声和识别出字幕，可使用户在线对视频和字幕进行编辑，无需专业的外语教师和视频处理专业技术人员，成本低廉，且可在短期内获得大量可用的视频素材。
即，本申请最重要的地方在于构建该方案的思路：令用户能够自行制作配音素材，于用户而言，增加了趣味性，使得学习外语变成一件充满娱乐性的事情，更为积极主动，同时也在素材制作的过程中潜移默化的学习了外语，寓教于乐；而于开发者而言，无需自行制作素材，大大节约了人工成本和时间成本，且素材更为多样化，也更能满足不同用户的不同需求，一举多得。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例中的流程图；
图2是本发明的一个较佳实施例中的用户上传视频的操作界面示意图；
图3是本发明的一个较佳实施例中的用户通过网站服务器在线剪辑视频的操作界面示意图；
图4是本发明的一个较佳实施例中的用户通过网站服务器去除视频水印的操作界面示意图
图5-6是本发明的一个较佳实施例中的网站服务自动识别字幕及用户对字幕进行在线编辑的操作的示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
如图1的流程图所示，首先，本发明采用了UGC(User Generated Content，也就是用户生成内容)，即用户原创内容的方式，由用户上传素材。网站提供视频上传功能，供用户自行将原始视频上传至网站服务器，如图2所示。
用户可通过网站服务器，采用ffmpeg工具，对上传素材进行在线剪辑，从而得到所需的视频片段，如图3所示。且进一步地，可用ffmpeg工具，根据相应的时间区间去除及固定位置的视频水印，如图4所示。
采用spleeter工具，分离出人声和背景，并对人声自动识别出字幕，用户可对识别出的字幕进行在线编辑，如图5-6所示。经网站审核后，最终得到可应用的完整的配音素材。
本发明通过UGC方式，由用户自行上传视频，对网站而言，可获得大量的视频素材，对用户而言，可获得定制化的视频素材。
本发明采用开源的ffmpeg和spleeter工具，可自动分离人声和识别出字幕，可使用户在线对视频和字幕进行编辑，无需专业的外语教师和视频处理专业技术人员，成本低廉，且可在短期内获得大量可用的视频素材。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种通过外语视频生成配音素材的方法，其特征在于，包括步骤：
(1)用户向网站服务器上传原始视频；
(2)用户在网站服务器上对原始视频进行在线剪辑，保留需要的视频片段；
(3)网站服务器从视频片段中分离出人声和背景，并对人声自动识别出字幕；
(4)用户对识别出的字幕进行在线编辑；
(5)用户在网站服务器上保存得到的配音素材。
2.如权利要求1所述的通过外语视频生成配音素材的方法，其中，网站服务器调用ffmpeg工具对原始视频进行剪辑。
3.如权利要求2所述的通过外语视频生成配音素材的方法，其中，还包括去除视频水印的步骤。
4.如权利要求3所述的通过外语视频生成配音素材的方法，其中，网站服务器调用ffmpeg工具去除视频水印。
5.如权利要求4所述的通过外语视频生成配音素材的方法，其中，网站服务器调用spleeter工具从视频片段中分离出人声和背景，并对人声自动识别出字幕。
6.一种通过外语视频生成配音素材的***，其特征在于，包括网站服务器和客户端，其中客户端用于供用户上传原始视频至网站服务器；网站服务器包括视频剪辑模块、字幕生成模块以及字幕编辑模块，其中视频剪辑模块用于供用户对原始视频进行在线剪辑，以得到需要的视频片段；字幕生成模块用于从视频片段中分离出人声和背景，并对人声自动识别出字幕；字幕编辑模块用于供用户对识别出的字幕进行在线编辑。
7.如权利要求6所述的通过外语视频生成配音素材的***，其中，视频剪辑模块调用ffmpeg工具对原始视频进行剪辑。
8.如权利要求7所述的通过外语视频生成配音素材的***，其中，还包括水印去除模块，用于去除视频水印。
9.如权利要求8所述的通过外语视频生成配音素材的***，其中，水印去除模块调用ffmpeg工具去除视频水印。
10.如权利要求9所述的通过外语视频生成配音素材的***，其中，字幕生成模块调用spleeter工具从视频片段中分离出人声和背景，并对人声自动识别出字幕。
CN202110833978.6A 2021-07-23 2021-07-23 一种通过外语视频生成配音素材的方法和*** Pending CN113569700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110833978.6A CN113569700A (zh) 2021-07-23 2021-07-23 一种通过外语视频生成配音素材的方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110833978.6A CN113569700A (zh) 2021-07-23 2021-07-23 一种通过外语视频生成配音素材的方法和***

Publications (1)

Publication Number Publication Date
CN113569700A true CN113569700A (zh) 2021-10-29

Family

ID=78166531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110833978.6A Pending CN113569700A (zh) 2021-07-23 2021-07-23 一种通过外语视频生成配音素材的方法和***

Country Status (1)

Country Link
CN (1) CN113569700A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071512A (zh) * 2017-01-16 2017-08-18 腾讯科技（深圳）有限公司 一种配音方法、装置及***
CN107682739A (zh) * 2017-09-20 2018-02-09 成都视达科信息技术有限公司 一种视频的语种字幕的生成方法和***
WO2019164535A1 (en) * 2018-02-26 2019-08-29 Google Llc Automated voice translation dubbing for prerecorded videos
CN112702659A (zh) * 2020-12-24 2021-04-23 成都新希望金融信息有限公司 视频字幕处理方法、装置、电子设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071512A (zh) * 2017-01-16 2017-08-18 腾讯科技（深圳）有限公司 一种配音方法、装置及***
CN107682739A (zh) * 2017-09-20 2018-02-09 成都视达科信息技术有限公司 一种视频的语种字幕的生成方法和***
WO2019164535A1 (en) * 2018-02-26 2019-08-29 Google Llc Automated voice translation dubbing for prerecorded videos
CN112702659A (zh) * 2020-12-24 2021-04-23 成都新希望金融信息有限公司 视频字幕处理方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN111582241B (zh) 视频字幕识别方法、装置、设备及存储介质
CN110166818B (zh) 待配音视频的生成方法、计算机设备及存储介质
CN107968959B (zh) 一种教学视频的知识点分割方法
WO2018227761A1 (zh) 一种教学录播数据修正装置
CN113014732B (zh) 会议记录处理方法、装置、计算机设备和存储介质
CN113691836B (zh) 视频模板生成方法、视频生成方法、装置和电子设备
CN106331893A (zh) 实时字幕显示方法及***
CN110505498A (zh) 视频的处理、播放方法、装置及计算机可读介质
CN109324811B (zh) 一种用于更新教学录播数据的装置
CN104598644A (zh) 用户喜好标签挖掘方法和装置
CN112511818B (zh) 视频播放质量检测方法、装置
CN104484420A (zh) 一种用于制作智慧教学***课件的方法及装置
CN113392273A (zh) 视频播放方法、装置、计算机设备及存储介质
CN112289347A (zh) 一种基于机器学习的风格化智能视频剪辑方法
CN112800263A (zh) 一种基于人工智能的视频合成***、方法及介质
CN117596433B (zh) 一种基于时间轴微调的国际中文教学视听课件编辑***
CN114064968A (zh) 一种新闻字幕摘要生成方法和***
CN111353439A (zh) 一种教学行为的分析方法、装置、***及设备
CN104469543A (zh) 一种基于语音技术的视频标记装置
Dawson Interlingual live subtitling: a research-informed training model for interlingual respeakers to improve access for a wide audience
KR20190108467A (ko) 전자문서의 이미지 자동변환을 통한 강의영상 컨텐츠 제작시스템
Matamala The ALST project: technologies for audio description
CN110555117B (zh) 一种数据处理方法、装置及电子设备
CN113569700A (zh) 一种通过外语视频生成配音素材的方法和***
Ohnishi et al. Prototype design of playback and search system for lecture video content using *** cloud api

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211029

RJ01 Rejection of invention patent application after publication