CN114860995B - 视频脚本生成方法、装置、电子设备及介质 - Google Patents

视频脚本生成方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN114860995B
CN114860995B CN202210781581.1A CN202210781581A CN114860995B CN 114860995 B CN114860995 B CN 114860995B CN 202210781581 A CN202210781581 A CN 202210781581A CN 114860995 B CN114860995 B CN 114860995B
Authority
CN
China
Prior art keywords
text
structural
video
video script
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210781581.1A
Other languages
English (en)
Other versions
CN114860995A (zh
Inventor
刘家辰
肖欣延
李伟
佘俏俏
吴甜
吕雅娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210781581.1A priority Critical patent/CN114860995B/zh
Publication of CN114860995A publication Critical patent/CN114860995A/zh
Application granted granted Critical
Publication of CN114860995B publication Critical patent/CN114860995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/258Heading extraction; Automatic titling; Numbering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种视频脚本生成方法、装置、电子设备及介质,涉及计算机视觉、自然语言处理、深度学习等人工智能技术领域,尤其涉及人机交互、智能创作等场景。实现方案为:响应于确定至少一个原始文本,从至少一个原始文本中提取多个文本单元,其中,每个文本单元中的文本内容均具有连贯的语义;基于多个文本单元之间的逻辑关系,确定视频脚本的结构框架,其中,结构框架包括具有时序关系的多个结构单元,每个结构单元对应于至少一个文本单元;以及基于结构框架,生成视频脚本。

Description

视频脚本生成方法、装置、电子设备及介质
技术领域
本公开涉及计算机视觉、自然语言处理、深度学习等人工智能技术领域,尤其涉及人机交互、智能创作等场景,具体涉及一种视频脚本的生成方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开提供了一种视频脚本的生成方法、装置、电子设备和计算机可读存储介质和计算机程序产品。
根据本公开的一方面,提供了一种视频脚本生成方法,包括:响应于确定至少一个原始文本,从至少一个原始文本中提取多个文本单元,其中,每个文本单元中的文本内容均具有连贯的语义;基于多个文本单元之间的逻辑关系,确定视频脚本的结构框架,其中,结构框架包括具有时序关系的多个结构单元,每个结构单元对应于至少一个文本单元;以及基于结构框架,生成视频脚本。
根据本公开的一方面,提供了一种视频脚本生成装置,包括:提取模块,被配置用于响应于确定至少一个原始文本,从至少一个原始文本中提取多个文本单元,其中,每个文本单元中的文本内容均具有连贯的语义;第一确定模块,被配置用于基于多个文本单元之间的逻辑关系,确定视频脚本的结构框架,其中,结构框架包括具有时序关系的多个结构单元,每个结构单元对应于至少一个文本单元;以及生成模块,被配置用于基于结构框架,生成视频脚本。
根据本公开的一方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述的方法。
根据本公开的一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行上述的方法。
根据本公开的一方面,提供了一种计算机程序产品,包括计算机程序,其中,计算机程序在被处理器执行时实现上述的方法。
根据本公开的一个或多个实施例,能够使得来自原始文本的多个文本单元能够被自动地组织在一起,以得到最终的视频脚本,实现了视频脚本的自动化生成,能够支持大规模、高质量的视频生产。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分,与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的,并不限制权利要求的范围。在所有附图中,相同的附图标记指代类似但不一定相同的要素。
图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性***的示意图;
图2示出了根据本公开的实施例的视频脚本生成方法的流程图;
图3示出了根据本公开的实施例的确定至少一个原始文本的方法示意图;
图4A~4D示出了根据本公开的实施例的视频脚本的结构框架的示意图;
图5示出了根据本公开的实施例的视频脚本生成装置的结构框图;以及
图6示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在本公开中,除非另有说明,否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系,这种术语只是用于将一个要素与另一要素区分开。在一些示例中,第一要素和第二要素可以指向该要素的同一实例,而在某些情况下,基于上下文的描述,它们也可以指代不同实例。
在本公开中对各种示例的描述中所使用的术语只是为了描述特定示例的目的,而并非旨在进行限制。除非上下文另外明确地表明,如果不特意限定要素的数量,则该要素可以是一个也可以是多个。此外,本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
在当前互联网环境下,视频内容是用户消费内容的主流,特别是在短视频兴起后,对视频内容的消费占据了互联网用户内容消费的多数时间。因此,如何在保证视频质量的同时提升视频生成的效率,是视频创作的核心难点。
一般而言,视频生产需要首先生成视频脚本,视频脚本在视频生产中所起到的作用类似于电影的“剧本”。以视频脚本为依据,执行视觉素材设计、摄像、配音、视频合成等步骤,能够最终生成视频。
在当前主流视频生产技术中,视频脚本大多数需要创作者投入精力自行完成设计。这种方式无法释放人力,极大制约了视频生产的效率,无法支持大规模的高效视频生产。
基于此,本公开提供一种视频脚本生成方法,基于从至少一个原始文本中提取的多个文本单元之间的逻辑关系,确定视频脚本的结构框架,并基于该结构框架,生成视频脚本。由此,使得原始文本中的多个文本单元能够被自动地组织在一起,以生成最终的视频脚本,实现了视频脚本的自动化生成,能够支持大规模、高质量的视频生产。
下面将结合附图详细描述本公开的实施例。
图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性***100的示意图。参考图1,该***100包括一个或多个客户端设备101、102、103、104、105和106、服务器120以及将一个或多个客户端设备耦接到服务器120的一个或多个通信网络110。客户端设备101、102、103、104、105和106可以被配置为执行一个或多个应用程序。
在本公开的实施例中,服务器120可以运行使得能够执行视频脚本生成的方法的一个或多个服务或软件应用。
在某些实施例中,服务器120还可以提供其他服务或软件应用,这些服务或软件应用可以包括非虚拟环境和虚拟环境。在某些实施例中,这些服务可以作为基于web的服务或云服务提供,例如在软件即服务(SaaS)模型下提供给客户端设备101、102、103、104、105和/或106的用户。
在图1所示的配置中,服务器120可以包括实现由服务器120执行的功能的一个或多个组件。这些组件可以包括可由一个或多个处理器执行的软件组件、硬件组件或其组合。操作客户端设备101、102、103、104、105和/或106的用户可以依次利用一个或多个客户端应用程序来与服务器120进行交互以利用这些组件提供的服务。应当理解,各种不同的***配置是可能的,其可以与***100不同。因此,图1是用于实施本文所描述的各种方法的***的一个示例,并且不旨在进行限制。
用户可以使用客户端设备101、102、103、104、105和/或106来获取至少一个原始文本。客户端设备可以提供使客户端设备的用户能够与客户端设备进行交互的接口。客户端设备还可以经由该接口向用户输出信息。尽管图1仅描绘了六种客户端设备,但是本领域技术人员将能够理解,本公开可以支持任何数量的客户端设备。
客户端设备101、102、103、104、105和/或106可以包括各种类型的计算机设备,例如便携式手持设备、通用计算机(诸如个人计算机和膝上型计算机)、工作站计算机、可穿戴设备、智能屏设备、自助服务终端设备、服务机器人、游戏***、瘦客户端、各种消息收发设备、传感器或其他感测设备等。这些计算机设备可以运行各种类型和版本的软件应用程序和操作***,例如MICROSOFT Windows、APPLE iOS、类UNIX操作***、Linux或类Linux操作***(例如GOOGLE Chrome OS);或包括各种移动操作***,例如MICROSOFT WindowsMobile OS、iOS、Windows Phone、Android。便携式手持设备可以包括蜂窝电话、智能电话、平板电脑、个人数字助理(PDA)等。可穿戴设备可以包括头戴式显示器(诸如智能眼镜)和其他设备。游戏***可以包括各种手持式游戏设备、支持互联网的游戏设备等。客户端设备能够执行各种不同的应用程序,例如各种与Internet相关的应用程序、通信应用程序(例如电子邮件应用程序)、短消息服务(SMS)应用程序,并且可以使用各种通信协议。
网络110可以是本领域技术人员熟知的任何类型的网络,其可以使用多种可用协议中的任何一种(包括但不限于TCP/IP、SNA、IPX等)来支持数据通信。仅作为示例,一个或多个网络110可以是局域网(LAN)、基于以太网的网络、令牌环、广域网(WAN)、因特网、虚拟网络、虚拟专用网络(VPN)、内部网、外部网、区块链网络、公共交换电话网(PSTN)、红外网络、无线网络(例如蓝牙、WIFI)和/或这些和/或其他网络的任意组合。
服务器120可以包括一个或多个通用计算机、专用服务器计算机(例如PC(个人计算机)服务器、UNIX服务器、中端服务器)、刀片式服务器、大型计算机、服务器群集或任何其他适当的布置和/或组合。服务器120可以包括运行虚拟操作***的一个或多个虚拟机,或者涉及虚拟化的其他计算架构(例如可以被虚拟化以维护服务器的虚拟存储设备的逻辑存储设备的一个或多个灵活池)。在各种实施例中,服务器120可以运行提供下文所描述的功能的一个或多个服务或软件应用。
服务器120中的计算单元可以运行包括上述任何操作***以及任何商业上可用的服务器操作***的一个或多个操作***。服务器120还可以运行各种附加服务器应用程序和/或中间层应用程序中的任何一个,包括HTTP服务器、FTP服务器、CGI服务器、JAVA服务器、数据库服务器等。
在一些实施方式中,服务器120可以包括一个或多个应用程序,以分析和合并从客户端设备101、102、103、104、105和/或106的用户接收的数据馈送和/或事件更新。服务器120还可以包括一个或多个应用程序,以经由客户端设备101、102、103、104、105和/或106的一个或多个显示设备来显示数据馈送和/或实时事件。
在一些实施方式中,服务器120可以为分布式***的服务器,或者是结合了区块链的服务器。服务器120也可以是云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。云服务器是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS,Virtual Private Server)服务中存在的管理难度大、业务扩展性弱的缺陷。
***100还可以包括一个或多个数据库130。在某些实施例中,这些数据库可以用于存储数据和其他信息。例如,数据库130中的一个或多个可用于存储诸如音频文件和视频文件的信息。数据库130可以驻留在各种位置。例如,由服务器120使用的数据库可以在服务器120本地,或者可以远离服务器120且可以经由基于网络或专用的连接与服务器120通信。数据库130可以是不同的类型。在某些实施例中,由服务器120使用的数据库例如可以是关系数据库。这些数据库中的一个或多个可以响应于命令而存储、更新和检索到数据库以及来自数据库的数据。
在某些实施例中,数据库130中的一个或多个还可以由应用程序使用来存储应用程序数据。由应用程序使用的数据库可以是不同类型的数据库,例如键值存储库,对象存储库或由文件***支持的常规存储库。
图1的***100可以以各种方式配置和操作,以使得能够应用根据本公开所描述的各种方法和装置。
图2示出了根据本公开示例性实施例的一种视频脚本生成方法的流程图,如图2所示,该方法200包括:步骤S201、响应于确定至少一个原始文本,从至少一个原始文本中提取多个文本单元,其中,每个文本单元中的文本内容均具有连贯的语义;步骤S202、基于多个文本单元之间的逻辑关系,确定视频脚本的结构框架,其中,结构框架包括具有时序关系的多个结构单元,每个结构单元对应于至少一个文本单元;以及步骤S203、基于结构框架,生成视频脚本。
由此,使得原始文本中的多个文本单元能够被自动地组织在一起,以得到最终的视频脚本,实现了视频脚本的自动化生成,能够支持大规模、高质量的视频生产。
其中,本公开中的“视频”可以为互联网内容消费平台上由用户、专业用户或专业机构创作的相对较短的视频,本公开中的“视频脚本”为专门用于生成上述“视频”的脚本,“视频脚本”中的内容可以不仅限于文本,也可以包括图像、视频等内容。
其中,原始文本可以为句子、段落或图文篇章等。提取的每个文本单元均具有连贯的语义,能够作为最小的可执行单元执行后续的视频脚本的生成过程,进而保证视频脚本内容的连贯性。
根据一些实施例,至少一个原始文本为用户输入的用于生成视频脚本的文本内容。
根据另一些实施例,至少一个原始文本为基于视频主题而搜索得到的。由此,可以降低对用户输入内容的要求,同时,提升视频脚本的内容丰富性。
例如,基于用户输入而确定的视频主题为“甲午战争”。基于“甲午战争”可以构建成多个检索语句,如“甲午战争的历史背景”、“甲午战争的过程”、“甲午战争的影响”和“甲午战争的评论”等。利用生成的多个检索语句在预先设定的素材库中搜索,以得到用于生成视频脚本的至少一个原始文本。
其中,是否需要执行对原始文本的搜索可以预先确定,也可以根据用户的输入内容而确定的。
图3示出了根据本公开示例性实施例的一种确定至少一个原始文本的方法示意图,具体步骤如下所述:
步骤S310、用户输入文本内容301和设置参数302,其中,设置参数302中包含用户对视频脚本所对应的视频时长要求。根据设置参数302确定是否需要在用户输入的文本内容301的基础上进行内容扩展。例如,文本内容301为完整的图文,预期能够生成基于文本内容301的视频脚本,则确定不需要进行内容扩展。又如,文本内容301不足以支持满足设置参数302的视频时长要求的视频脚本,则确定需要进行内容扩展。在需要进行内容扩展的情况下,进一步执行步骤S320,在不需要进行内容扩展的情况下,则直接将文本内容301作为用于生成视频脚本的至少一个原始文本303。
步骤S320、基于用户输入的文本内容301所确定的视频主题,构建多个检索语句。
步骤S330、利用构建的多个检索语句分别在素材库中进行搜索,以得到用于生成视频脚本的至少一个原始文本303。其中,素材库基于视频脚本生成过程中的内容扩展需求而预先建立,素材库包括百科、书籍、网页等多种形式。
由此,能够在文本内容301不足的情况下,通过在素材库中的搜索而得到足以支持视频脚本生成的至少一个原始文本303,降低了对用户输入的文本内容301的要求,同时,提升了视频脚本的内容丰富性。
根据一些实施例,从至少一个原始文本中提取多个文本单元包括:识别至少一个原始文本中的冗余内容;以及从至少一个原始文本中除冗余内容之外的文本内容中,提取多个文本单元。由此,能够提前将不适合用于视频脚本的冗余内容过滤掉,减小视频脚本生成过程中的数据处理量,提升视频脚本的质量。
其中,冗余内容为不适合用于视频脚本的内容,例如,广告、求关注等不包括有价值信息的内容;重复表义的内容;图片的图注等内容。
示例性地,原始文本中所包含的图片的图注例如可以是“X月X号XX新闻记者XXX拍摄于XXX”,图注文本不适用于视频脚本中。在一种实施方式中,可以通过构建的规则(如没有标点符号、具有日期并且具有“拍摄”字眼的句子)来识别图注;在另一种实施方式中,也可以通过经过训练的模型来识别原始文本图注。
可以理解,其他类型的冗余内容也可以通过类似于上述两种实施方式的方法来识别,在此不再赘述。
根据一些实施例,多个文本单元之间的逻辑关系能够通过以下任意一种方式确定:针对多个文本单元中来自同一原始文本的至少两个文本单元,基于至少两个文本单元中的每一者在该原始文本中所对应的章节,确定至少两个文本单元之间的逻辑关系;和基于多个文本单元中的每一者所对应的语用类型,确定多个文本单元之间的逻辑关系。由此,能够自动化地确定多个文本单元之间的逻辑关系。
其中,原始文本本身的篇章结构具有语义上的逻辑性。通过识别每个文本单元在原始文本中所对应的标题、编号等,可以确定该文本单元在该原始文本中所对应的章节,进而可以借由原始文本本身的篇章结构所具有的逻辑性,来确定至少两个文本单元之间的逻辑关系。
例如,文本单元1和文本单元2来自原始文本的第二章,文本单元3来自原始文本的第三章,由此可以推断文本单元3对文本单元1和文本单元2存在逻辑上的依赖关系。在视频脚本中,文本单元3的内容应该在文本单元1和文本单元2的内容之后出现。
语用类型是比语义类型更高抽象层次的用于语言理解的分类方法。在视频脚本生成过程中,语用类型指每个文本单元在视频脚本中扮演的“角色”。
其中,不同的语用类型分类方式与不同的视频脚本类型相关,例如,“事件”、“背景”、“评论”、“引用”、“数据”等语用类型可以用来规划事件类型的视频脚本,“引入”、“内容”、“过渡”、“转折”、“结尾”等语用类型可以用来规划故事类型的视频脚本。
可以理解,语用类型可以认为是文本单元的一种标签。比如,在针对某一历史事件的5个原始文本中,有2个原始文本涉及到该历史事件的背景,有3个原始文本涉及到对该历史事件的评论。根据这5个原始文本中的每个文本单元的语用类型标签,可以方便地确定涉及背景的是哪一个原始文本的哪一个文本单元,涉及评论的是哪一个原始文本的哪一个文本单元,进而有效地支持后续视频脚本的结构框架的确定。
根据一些实施例,针对多个文本单元中的每一者,将该文本单元输入语用分类模型,可以得到该文本单元所对应的语用类型,其中,语用分类模型为通过具有语用标签的文本训练得到。
可以理解,在确定了多个文本单元之间的逻辑关系之后,可以依据该逻辑关系将多个文本单元进行组合和排序,以构成视频脚本的结构框架,使得视频脚本能够依据多个文本单元之间的逻辑关系,将多个文本单元中的文本内容依次呈现,避免了自动生成的视频脚本逻辑混乱、不连贯等情况。
根据一些实施例,结构框架包括以下至少一种结构类型:平行结构;分层结构;或递进结构。
图4A~4D示出了根据本公开示例性实施例的视频脚本的结构框架的示意图。
图4A所示为平行结构的结构框架,其中,结构单元411、结构单元412和结构单元413可以根据任意一种时序关系依次在视频脚本中呈现。例如,在确定了不具有逻辑上的依赖关系的三个文本单元的情况下,可以令这三个文本单元分别对应结构单元411、结构单元412和结构单元413。示例性地,平行结构可以用于新闻播报类的视频脚本中,其中的每个结构单元分别对应一则新闻内容。
图4B所示为分层结构的结构框架,其中,结构单元421在结构单元422和结构单元423之前呈现于视频脚本中。结构单元422和结构单元423所对应的文本单元对结构单元421所对应的文本单元具有逻辑上的依赖性。示例性地,分层结构可以用于总分结构的视频脚本中。
图4C所示为递进结构的结构框架,其中,在视频脚本中,结构单元431、结构单元432和结构单元433依次呈现于视频脚本中。结构单元432所对应的文本单元对结构单元431所对应的文本单元具有逻辑上的依赖性,结构单元433所对应的文本单元对结构单元432所对应的文本单元具有逻辑上的依赖性。示例性地,递进结构可以用于叙事类的视频脚本中,以表达层层递减的逻辑关系。
图4D所示为同时包括多种结构类型的结构框架,其中,结构单元441和结构单元442之间为平行结构;结构单元441、结构单元443和结构单元444之间为分层结构;结构单元443、结构单元445和结构单元446之间为递进结构。通过如图4D所示的混合多种结构类型的结构框架,使得视频脚本能够表达复杂的逻辑关系。
在一种实施方式中,基于不同文本单元在同一原始文本中所对应的章节而确定的逻辑关系,可以用于构建平行结构和分层结构的结构框架;基于不同文本单元的语用类型而确定的逻辑关系,可以用于构建递进结构的结构框架。
根据一些实施例,基于多个文本单元之间的逻辑关系,确定视频脚本的结构框架包括:响应于确定多个文本单元之间的逻辑关系能够匹配至少两种结构框架,根据预设的视频时长,从至少两种结构框架中选择视频脚本的结构框架。由此,能够在预设的视频时长的限制下,选择出具有更好的适配性的结构框架,保证视频脚本的内容均衡性和完整性。
例如,在图4D所示第一种结构框架中,由于预设的视频时长有限,在依次呈现结构单元441、结构单元443、结构单元445、结构单元446和结构单元444之后,没有剩余时间呈现结构单元442。在第二种结构框架中,可以将图4D中的结构单元443、结构单元445和结构单元446合并为一个结构单元(图4D的其他结构单元保持不变),并通过摘要提取的方式,简化该合并结构单元所对应的文本单元的文本内容,以使每个结构单元中的内容均能够呈现。由此,可以确定在预设的视频时长的限制下,应该选择上述第二种结构框架,以保证视频脚本内容的均衡性和完整性。
根据一些实施例,基于结构框架,生成视频脚本包括:针对结构框架中的每个结构单元,从该结构单元所对应的至少一个文本单元的文本内容中提取该结构单元所对应的摘要信息;以及基于结构框架中的每个结构单元所对应的摘要信息,生成视频脚本。
用户对视频长度往往存在预期,特别是考虑到当前视频逐渐简短化、碎片化的消费趋势,即使用户提供和***富集的文本单元足以支持较长的视频,用户也可能指定较短的视频长度。在这种情况下,有必要对视频脚本的内容进行精简,提炼核心信息,从而满足用户的需求。
在一种实施方式中,针对结构框架中的每个结构单元,基于该结构单元所对应的至少一个文本单元中的每个句子的重要性、冗余度和连贯性,确定一个或多个句子作为该结构单元所对应的摘要信息。
在另一种实施方式中,针对结构框架中的每个结构单元,基于该结构单元所对应的至少一个文本单元中的每个文本单元的重要性、冗余度和连贯性,确定一个或多个文本单元作为该结构单元所对应的摘要信息。
在另一种实施方式中,针对结构框架中的每个结构单元,将该结构单元所对应的至少一个文本单元输入摘要提取模型,以得到该结构单元所对应的摘要信息。
根据一些实施例,视频脚本包括转场信息,并且其中,基于结构框架,生成视频脚本包括:针对结构框架中在时序上相邻的任意两个结构单元,在该两个结构单元之间***转场信息。由此,在依据视频脚本制作视频时,能够依据视频脚本中的转场信息来实现不同结构单元之间的转场设置,提升不同结构单元在视频呈现时的连贯性。
根据一些实施例,转场信息包括提示板信息,提示板信息用于指示在视频中的静态画面上呈现下一结构单元所对应的子标题;和推进式信息,推进式信息用于指示在视频中增加上一结构单元所对应的画面切出且下一结构单元所对应的画面切入的设置。
示例性地,针对平行结构和分层结构,可以采用提示板信息作为转场信息;针对递进结构,可以采用推进式信息作为转场信息。
根据一些实施例,可以从下一结构单元所对应的至少一个文本单元中提取适合转场的关键词生成转场台词,例如对于历史事件的“历史意义”和“史学家评论”等,可根据模板生成简短的转场台词。
根据一些实施例,视频脚本包括数字人信息,并且其中,基于结构框架,生成视频脚本包括:针对结构框架中的任意一个结构单元,基于该结构单元所对应的至少一个文本单元中的文本内容,确定该结构单元所对应的数字人信息。如此,可以通过在结构单元中设置数字人,提升视频脚本所对应的视频在呈现时的表现力。
在自动、大规模的视频生产中,无法像传统的视频生产一样依赖于人类演出(例如新闻主播、新闻记者、演播评述等)提升亲和度。对此,可以使用数字人替代人类出演者。通过在视频脚本中对数字人进行相关设置,控制数字人的表现,使得数字人能够与视频脚本内容相配合,提升视频的表现力。
根据一些实施例,数字人信息包括以下至少一种:数字人的台词;数字人的动作;数字人的姿态;或数字人的表情。
其中,数字人的台词可以是该结构单元所对应的至少一个文本单元中的文本内容。换言之,通过数字人来实现类似于“主播”的角色,通过口述该结构单元所对应的文本内容,来生动地呈现该结构单元的内容。
数字人的动作可以进一步包括自然讲述、指示介绍(例如抬起手臂指向视频内容)、转换位置等。数字人的姿态可以包括半身、全身、不出镜等。数字人的表情可以包括严肃、喜悦、激动、悲伤等。
在一种实施方式中,数字人的动作、姿态和表情可以通过预设的规则决定。例如,针对数字人的姿态,在开头部分采用全身的姿态,在文本内容丰富的部分采用不出镜的方式等。
在另一种实施方式中,可以利用经过训练的分类模型,来确定数字人的动作、姿态和表情。例如,将结构单元所对应的至少一个文本单元中的文本内容输入分类模型,以得到该结构单元所对应的数字人的表情。
根据一些实施例,视频脚本包括视频标题,并且其中,基于结构框架,生成视频脚本包括:将结构框架中每个结构单元所对应的至少一个文本单元输入标题提取模型,以得到视频标题。由此,能够方便地实现视频标题的自动化提取。
其中,标题提取模型可以通过多个具有视频标题的历史视频脚本而训练得到。优选地,历史视频脚本所对应的视频的播放量、评论量、转发量、完播率中的任意一者大于预设阈值。由此,训练得到的标题提取模型能够自动地为视频脚本确定高质量的视频标题。
根据一些实施例,视频脚本包括***性信息,并且其中,基于结构框架,生成视频脚本包括:识别结构框架中至少一个***点;以及确定至少一个***点中的每一者所对应的***性信息,其中,***性信息来自至少一个具有高关注度的历史视频脚本。由此,能够利用高关注度的历史视频脚本中的内容来补充当前生成的视频脚本的内容,使得当前生成的视频脚本能够具有更强的用户吸引力。
其中,有高关注度的历史视频脚本所对应的视频的播放量、评论量、转发量、完播率中的任意一者大于预设阈值。
根据一些实施例,***性信息包括以下至少一种类型:***语信息;或特效信息。其中,***语信息又可以进一步包括一些梗、歇后语、比喻等,特效信息又可以进一步包括音频、视频、贴图等特效信息。
根据一些实施例,视频脚本可以包括非文本元素,并且其中,基于所述结构框架,生成所述视频脚本可以包括:针对结构框架中的任意一个结构单元,基于该结构单元所对应的至少一个文本单元中的文本内容,确定该结构单元所对应的非文本元素。由此,通过在视频脚本中添加非文本元素,能够补充文本在内容表现上的不足,提升视频脚本的内容丰富性,为后续的视频制作提供更加充实的素材。
其中,非文本元素可以与至少一个原始文本一同确定为用于生成视频脚本的“素材”。与至少一个原始文本类似,非文本元素可以由用户输入,也可以通过在素材库中的搜索而得到。在确定了视频脚本的结构框架后,可以基于每个结构单元所对应的至少一个文本单元中的文本内容,确定该结构单元所对应的非文本元素,进而将输入的非文本元素纳入视频脚本之中,并使得同一个结构单元中的文本和非文本元素在内容上相统一。
根据一些实施例,所述非文本元素包括图像、音频或视频中的至少一种。
根据一些实施例,该方法还包括:响应于确定将视频脚本设定为目标语言风格,确定与目标语言风格相对应的转换模型,其中,转换模型能够将输入的文本转换为目标语言风格的文本;以及将视频脚本输入转换模型,以得到更新后的视频脚本。
其中,目标语言风格可以为严肃、普通、活泼、接地气等。
在生成视频脚本的过程中,用于生成视频脚本的至少一个原始文本的语言风格和设定的目标语言风格可能不一致,或者至少一个原始文本之间的语言风格本身不统一,因此需要根据内容特点和用户需求,采用转换模型,将视频脚本转换为统一地、符合目标语言风格的视频脚本。
根据一些实施例,该方法还包括:针对更新后的视频脚本中的任意一个更新句,响应于该更新句在更新前的视频脚本中所对应的原始句的语义与更新句的语义不一致,将该更新句还原为原始句。
在执行诸如上述视频脚本更新的过程中,可能使得视频脚本中的某些语句在更新的过程中偏离原始的语义,导致视频脚本内容的错误。通过检查更新后的视频脚本中的更新句与原始句的语义一致性,能够及时修正错误的改写,提升视频脚本的表意准确性。
在一种实施方式中,确定更新句的第一语义特征向量和原始句的第二语义特征向量;以及基于第一语义特征向量和第二语义特征向量之间的相似度,确定更新句与原始句的语义是否一致。
根据一些实施例,该方法还包括:针对视频脚本中的任意一个语句,响应于该语句中存在敏感信息,向用户反馈针对该语句的提示信息。
在视频脚本的生成过程中可能引入某些敏感、不合适的内容,通过向用户反馈针对该语句的提示信息,能够提示用户进行针对性地核查,避免视频脚本中出现不合适的文本内容。
图5示出了根据本公开示例性实施例的一种视频脚本生成装置的结构框图,该装置500包括:提取模块501,被配置用于响应于确定至少一个原始文本,从至少一个原始文本中提取多个文本单元,其中,每个文本单元中的文本内容均具有连贯的语义;第一确定模块502,被配置用于基于多个文本单元之间的逻辑关系,确定视频脚本的结构框架,其中,结构框架包括具有时序关系的多个结构单元,每个结构单元对应于至少一个文本单元;以及生成模块503,被配置用于基于结构框架,生成视频脚本。
根据一些实施例,多个文本单元之间的逻辑关系能够通过以下任意一种模块确定:第二确定模块,被配置用于针对多个文本单元中来自同一原始文本的至少两个文本单元,基于至少两个文本单元中的每一者在该原始文本中所对应的章节,确定至少两个文本单元之间的逻辑关系;和第三确定模块,被配置用于基于多个文本单元中的每一者所对应的语用类型,确定多个文本单元之间的逻辑关系。
根据一些实施例,结构框架包括以下至少一种结构类型:平行结构;分层结构;或递进结构。
根据一些实施例,第一确定模块包括:用于响应于确定多个文本单元之间的逻辑关系能够匹配至少两种结构框架,根据预设的视频时长,从至少两种结构框架中选择视频脚本的结构框架的子模块。
根据一些实施例,生成模块包括:用于针对结构框架中的每个结构单元,从该结构单元所对应的至少一个文本单元的文本内容中提取该结构单元所对应的摘要信息的子模块;以及用于基于结构框架中的每个结构单元所对应的摘要信息,生成视频脚本的子模块。
根据一些实施例,视频脚本包括转场信息,并且其中,生成模块包括:用于针对结构框架中在时序上相邻的任意两个结构单元,在该两个结构单元之间***转场信息的子模块。
根据一些实施例,视频脚本包括数字人信息,并且其中,生成模块包括:用于针对结构框架中的任意一个结构单元,基于该结构单元所对应的至少一个文本单元中的文本内容,确定该结构单元所对应的数字人信息的子模块。
根据一些实施例,数字人信息包括以下至少一种:数字人的台词;数字人的动作;数字人的姿态;或数字人的表情。
根据一些实施例,视频脚本包括视频标题,并且其中,生成模块包括:用于将结构框架中每个结构单元所对应的至少一个文本单元输入标题提取模型,以得到视频标题的子模块。
根据一些实施例,视频脚本包括***性信息,并且其中,生成模块包括:用于识别结构框架中至少一个***点的子模块;以及用于确定至少一个***点中的每一者所对应的***性信息的子模块,其中,***性信息来自至少一个具有高关注度的历史视频脚本。
根据一些实施例,***性信息包括以下至少一种类型:***语信息;或特效信息。
根据一些实施例,所述视频脚本包括非文本元素,并且其中,所述生成模块包括:用于针对所述结构框架中的任意一个结构单元,基于该结构单元所对应的至少一个文本单元中的文本内容,确定该结构单元所对应的非文本元素的子模块。
根据一些实施例,所述非文本元素包括图像、音频或视频中的至少一种。
根据一些实施例,至少一个原始文本为基于视频主题而搜索得到的。
根据一些实施例,提取模块包括:用于识别至少一个原始文本中的冗余内容的子模块;以及用于从至少一个原始文本中除冗余内容之外的文本内容中,提取多个文本单元的子模块。
根据一些实施例,该装置还包括:第四确定模块,被配置用于响应于确定将视频脚本设定为目标语言风格,确定与目标语言风格相对应的转换模型,其中,转换模型能够将输入的文本转换为目标语言风格的文本;以及获取模块,被配置用于将视频脚本输入转换模型,以得到更新后的视频脚本。
根据一些实施例,该装置还包括:还原模块,被配置用于针对更新后的视频脚本中的任意一个更新句,响应于该更新句在更新前的视频脚本中所对应的原始句的语义与更新句的语义不一致,将该更新句还原为原始句。
根据本公开的实施例,还提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述任意一种方法。
根据本公开的实施例,还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行上述任意一种方法。
根据本公开的实施例,还提供了一种计算机程序产品,包括计算机程序,其中,计算机程序在被处理器执行时实现上述任意一种方法。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
参考图6,现将描述可以作为本公开的服务器或客户端的电子设备600的结构框图,其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,电子设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605,包括:输入单元606、输出单元607、存储单元608以及通信单元609。输入单元606可以是能向电子设备600输入信息的任何类型的设备,输入单元606可以接收输入的数字或字符信息,以及产生与电子设备的用户设置和/或功能控制有关的键信号输入,并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元607可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元608可以包括但不限于磁盘、光盘。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组,例如蓝牙TM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如视频脚本生成方法。例如,在一些实施例中,视频脚本生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的视频脚本生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行视频脚本生成方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式***的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
虽然已经参照附图描述了本公开的实施例或示例,但应理解,上述的方法、***和设备仅仅是示例性的实施例或示例,本发明的范围并不由这些实施例或示例限制,而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外,可以通过不同于本公开中描述的次序来执行各步骤。进一步地,可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进,在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (32)

1.一种视频脚本生成方法,其特征在于,所述方法包括:
响应于确定至少一个原始文本,从所述至少一个原始文本中提取多个文本单元,其中,每个文本单元中的文本内容均具有连贯的语义,并且每个文本单元作为最小的可执行单元执行后续的视频脚本的生成过程;
通过执行下述操作,确定所述多个文本单元之间的逻辑关系:
针对所述多个文本单元中来自同一原始文本的至少两个文本单元,基于所述至少两个文本单元中的每一者在该原始文本中所对应的章节,确定所述至少两个文本单元之间的逻辑关系;或
基于所述多个文本单元中的每一者所对应的语用类型,确定所述多个文本单元之间的逻辑关系,所述语用类型是相应的文本单元的标签;
响应于确定所述多个文本单元之间的逻辑关系能够匹配至少两种结构框架,根据预设的视频时长,从所述至少两种结构框架中选择所述视频脚本的结构框架,其中,所述结构框架包括具有时序关系的多个结构单元,每个结构单元对应于至少一个文本单元;以及
基于所述结构框架,生成所述视频脚本。
2.根据权利要求1所述的方法,其特征在于,所述结构框架包括以下至少一种结构类型:
平行结构;
分层结构;或
递进结构。
3.根据权利要求1或2所述的方法,其特征在于,所述基于所述结构框架,生成所述视频脚本包括:
针对所述结构框架中的每个结构单元,从该结构单元所对应的至少一个文本单元的文本内容中提取该结构单元所对应的摘要信息;以及
基于所述结构框架中的每个结构单元所对应的摘要信息,生成所述视频脚本。
4.根据权利要求1或2所述的方法,其特征在于,所述视频脚本包括转场信息,并且其中,所述基于所述结构框架,生成所述视频脚本包括:
针对所述结构框架中在时序上相邻的任意两个结构单元,在该两个结构单元之间***转场信息。
5.根据权利要求1或2所述的方法,其特征在于,所述视频脚本包括数字人信息,并且其中,所述基于所述结构框架,生成所述视频脚本包括:
针对所述结构框架中的任意一个结构单元,基于该结构单元所对应的至少一个文本单元中的文本内容,确定该结构单元所对应的数字人信息。
6.根据权利要求5所述的方法,其特征在于,所述数字人信息包括以下至少一种:
数字人的台词;
数字人的动作;
数字人的姿态;或
数字人的表情。
7.根据权利要求1或2所述的方法,其特征在于,所述视频脚本包括视频标题,并且其中,所述基于所述结构框架,生成所述视频脚本包括:
将所述结构框架中每个结构单元所对应的至少一个文本单元输入标题提取模型,以得到所述视频标题。
8.根据权利要求1或2所述的方法,其特征在于,所述视频脚本包括***性信息,并且其中,所述基于所述结构框架,生成所述视频脚本包括:
识别所述结构框架中至少一个***点;以及
确定所述至少一个***点中的每一者所对应的***性信息,其中,所述***性信息来自至少一个具有高关注度的历史视频脚本。
9.根据权利要求8所述的方法,其特征在于,所述***性信息包括以下至少一种类型:
***语信息;或
特效信息。
10.根据权利要求1或2所述的方法,其特征在于,所述视频脚本包括非文本元素,并且其中,所述基于所述结构框架,生成所述视频脚本包括:
针对所述结构框架中的任意一个结构单元,基于该结构单元所对应的至少一个文本单元中的文本内容,确定该结构单元所对应的非文本元素。
11.根据权利要求10所述的方法,其特征在于,所述非文本元素包括图像、音频或视频中的至少一种。
12.根据权利要求1或2所述的方法,其特征在于,所述至少一个原始文本为基于视频主题而搜索得到的。
13.根据权利要求1或2所述的方法,其特征在于,所述从所述至少一个原始文本中提取多个文本单元包括:
识别所述至少一个原始文本中的冗余内容;以及
从所述至少一个原始文本中除所述冗余内容之外的文本内容中,提取所述多个文本单元。
14.根据权利要求1或2所述的方法,其特征在于,还包括:
响应于确定将所述视频脚本设定为目标语言风格,确定与所述目标语言风格相对应的转换模型,其中,所述转换模型能够将输入的文本转换为所述目标语言风格的文本;以及
将所述视频脚本输入所述转换模型,以得到更新后的视频脚本。
15.根据权利要求14所述的方法,其特征在于,还包括:
针对更新后的视频脚本中的任意一个更新句,响应于该更新句在更新前的视频脚本中所对应的原始句的语义与所述更新句的语义不一致,将该更新句还原为所述原始句。
16.一种视频脚本生成装置,其特征在于,所述装置包括:
提取模块,被配置用于响应于确定至少一个原始文本,从所述至少一个原始文本中提取多个文本单元,其中,每个文本单元中的文本内容均具有连贯的语义,并且每个文本单元作为最小的可执行单元执行后续的视频脚本的生成过程;
第一确定模块,被配置用于通过执行下述操作,确定所述多个文本单元之间的逻辑关系:针对所述多个文本单元中来自同一原始文本的至少两个文本单元,基于所述至少两个文本单元中的每一者在该原始文本中所对应的章节,确定所述至少两个文本单元之间的逻辑关系;或基于所述多个文本单元中的每一者所对应的语用类型,确定所述多个文本单元之间的逻辑关系,所述语用类型是相应的文本单元的标签;响应于确定所述多个文本单元之间的逻辑关系能够匹配至少两种结构框架,根据预设的视频时长,从所述至少两种结构框架中选择所述视频脚本的结构框架,其中,所述结构框架包括具有时序关系的多个结构单元,每个结构单元对应于至少一个文本单元;以及
生成模块,被配置用于基于所述结构框架,生成所述视频脚本。
17.根据权利要求16所述的装置,其特征在于,所述结构框架包括以下至少一种结构类型:
平行结构;
分层结构;或
递进结构。
18.根据权利要求16或17所述的装置,其特征在于,所述生成模块包括:
用于针对所述结构框架中的每个结构单元,从该结构单元所对应的至少一个文本单元的文本内容中提取该结构单元所对应的摘要信息的子模块;以及
用于基于所述结构框架中的每个结构单元所对应的摘要信息,生成所述视频脚本的子模块。
19.根据权利要求16或17所述的装置,其特征在于,所述视频脚本包括转场信息,并且其中,所述生成模块包括:
用于针对所述结构框架中在时序上相邻的任意两个结构单元,在该两个结构单元之间***转场信息的子模块。
20.根据权利要求16或17所述的装置,其特征在于,所述视频脚本包括数字人信息,并且其中,所述生成模块包括:
用于针对所述结构框架中的任意一个结构单元,基于该结构单元所对应的至少一个文本单元中的文本内容,确定该结构单元所对应的数字人信息的子模块。
21.根据权利要求20所述的装置,其特征在于,所述数字人信息包括以下至少一种:
数字人的台词;
数字人的动作;
数字人的姿态;或
数字人的表情。
22.根据权利要求16或17所述的装置,其特征在于,所述视频脚本包括视频标题,并且其中,所述生成模块包括:
用于将所述结构框架中每个结构单元所对应的至少一个文本单元输入标题提取模型,以得到所述视频标题的子模块。
23.根据权利要求16或17所述的装置,其特征在于,所述视频脚本包括***性信息,并且其中,所述生成模块包括:
用于识别所述结构框架中至少一个***点的子模块;以及
用于确定所述至少一个***点中的每一者所对应的***性信息的子模块,其中,所述***性信息来自至少一个具有高关注度的历史视频脚本。
24.根据权利要求23所述的装置,其特征在于,所述***性信息包括以下至少一种类型:
***语信息;或
特效信息。
25.根据权利要求16或17所述的装置,其特征在于,所述视频脚本包括非文本元素,并且其中,所述生成模块包括:
用于针对所述结构框架中的任意一个结构单元,基于该结构单元所对应的至少一个文本单元中的文本内容,确定该结构单元所对应的非文本元素的子模块。
26.根据权利要求25所述的装置,其特征在于,所述非文本元素包括图像、音频或视频中的至少一种。
27.根据权利要求16或17所述的装置,其特征在于,所述至少一个原始文本为基于视频主题而搜索得到的。
28.根据权利要求16或17所述的装置,其特征在于,所述提取模块包括:
用于识别所述至少一个原始文本中的冗余内容的子模块;以及
用于从所述至少一个原始文本中除所述冗余内容之外的文本内容中,提取所述多个文本单元的子模块。
29.根据权利要求16或17所述的装置,其特征在于,还包括:
第四确定模块,被配置用于响应于确定将所述视频脚本设定为目标语言风格,确定与所述目标语言风格相对应的转换模型,其中,所述转换模型能够将输入的文本转换为所述目标语言风格的文本;以及
获取模块,被配置用于将所述视频脚本输入所述转换模型,以得到更新后的视频脚本。
30.根据权利要求29所述的装置,其特征在于,还包括:
还原模块,被配置用于针对更新后的视频脚本中的任意一个更新句,响应于该更新句在更新前的视频脚本中所对应的原始句的语义与所述更新句的语义不一致,将该更新句还原为所述原始句。
31.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-15中任一项所述的方法。
32.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1-15中任一项所述的方法。
CN202210781581.1A 2022-07-05 2022-07-05 视频脚本生成方法、装置、电子设备及介质 Active CN114860995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210781581.1A CN114860995B (zh) 2022-07-05 2022-07-05 视频脚本生成方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210781581.1A CN114860995B (zh) 2022-07-05 2022-07-05 视频脚本生成方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN114860995A CN114860995A (zh) 2022-08-05
CN114860995B true CN114860995B (zh) 2022-09-06

Family

ID=82625844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210781581.1A Active CN114860995B (zh) 2022-07-05 2022-07-05 视频脚本生成方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN114860995B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117336539B (zh) * 2023-09-28 2024-05-14 北京风平智能科技有限公司 一种用于短视频ip打造的视频脚本生产方法及***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101652009B1 (ko) * 2009-03-17 2016-08-29 삼성전자주식회사 웹 텍스트의 영상화 장치 및 방법
CN107832382A (zh) * 2017-10-30 2018-03-23 百度在线网络技术(北京)有限公司 基于文字生成视频的方法、装置、设备及存储介质
US11158349B2 (en) * 2019-04-29 2021-10-26 Vineet Gandhi Methods and systems of automatically generating video content from scripts/text
CN113590247B (zh) * 2021-07-21 2024-04-05 杭州阿里云飞天信息技术有限公司 文本创作方法及计算机程序产品
CN113660526B (zh) * 2021-10-18 2022-03-11 阿里巴巴达摩院(杭州)科技有限公司 脚本生成方法、***、计算机存储介质及计算机程序产品
CN114297440A (zh) * 2021-12-30 2022-04-08 深圳市富之富信息科技有限公司 视频自动生成方法、装置、计算机设备及存储介质
CN114638232A (zh) * 2022-03-22 2022-06-17 北京美通互动数字科技股份有限公司 一种文本转换成视频的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114860995A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN115082602B (zh) 生成数字人的方法、模型的训练方法、装置、设备和介质
US11308940B2 (en) Counterfactual annotated dialogues for conversational computing
CN114254158B (zh) 视频生成方法及其装置、神经网络的训练方法及其装置
CN112541120B (zh) 推荐评论生成方法、装置、设备和介质
CN116303962B (zh) 对话生成方法、深度学习模型的训练方法、装置和设备
JP7093397B2 (ja) 質問応答ロボットの生成方法および装置
CN114595686B (zh) 知识抽取方法、知识抽取模型的训练方法及装置
KR102561951B1 (ko) 모델링 매개 변수의 설정 방법, 장치, 전자 기기 및 기록 매체
US20220237376A1 (en) Method, apparatus, electronic device and storage medium for text classification
CN114860995B (zh) 视频脚本生成方法、装置、电子设备及介质
CN112988100A (zh) 视频的播放方法和装置
CN115470381A (zh) 信息交互方法、装置、设备及介质
US20210074265A1 (en) Voice skill creation method, electronic device and medium
CN115879469B (zh) 文本数据处理方法、模型训练方法、装置及介质
CN115631251B (zh) 基于文本生成图像的方法、装置、电子设备和介质
CN114238745A (zh) 一种提供搜索结果的方法及装置、电子设备和介质
CN113641718B (zh) 模型生成方法、搜索推荐方法、装置、设备和介质
US20230122202A1 (en) Grounded multimodal agent interactions
US20220329922A1 (en) Method and platform of generating a short video, electronic device, and storage medium
CN117853624A (zh) 虚拟对象面部表情的控制方法和装置、存储介质及电子装置
CN118278361A (zh) 文档的生成方法、装置、电子设备和介质
CN117215440A (zh) 文字作品的音频制作方法、装置及计算机可读存储介质
CN115906762A (zh) 文本标注方法、装置、电子设备和存储介质
CN118277670A (zh) 内容推荐方法、装置、电子设备、介质
CN113609370A (zh) 数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant