CN115529378A - 一种视频处理方法及相关装置 - Google Patents

一种视频处理方法及相关装置 Download PDF

Info

Publication number
CN115529378A
CN115529378A CN202210193721.3A CN202210193721A CN115529378A CN 115529378 A CN115529378 A CN 115529378A CN 202210193721 A CN202210193721 A CN 202210193721A CN 115529378 A CN115529378 A CN 115529378A
Authority
CN
China
Prior art keywords
video
segment
highlight
electronic device
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210193721.3A
Other languages
English (en)
Inventor
董振
朱世宇
侯伟龙
杜远超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210193721.3A priority Critical patent/CN115529378A/zh
Publication of CN115529378A publication Critical patent/CN115529378A/zh
Priority to EP22908855.4A priority patent/EP4258632A1/en
Priority to PCT/CN2022/143814 priority patent/WO2023160241A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请提供了一种视频处理方法及相关装置,可以通过对用户录制的视频中场景分析和转场分析,删除录制的视频中无效片段,剪辑出录制的视频中的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频。这样,可以提高用户录制视频的观赏性。

Description

一种视频处理方法及相关装置
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种视频处理方法及相关装置。
背景技术
智能手机发展至今,拍照和摄像已成为最为重要的特性之一。随着智能手机等电子设备的拍照和录像功能越来越强大,使用智能手机等电子设备替代专业摄像机拍照的人也越来越多。
用户在使用智能手机等电子设备录像时,电子设备需要通过将一段时间内连续获取到的图像流和音频流合成视频流。由于用户录像的视频中内容比较多,在用户在回头看已录好的视频时,容易因视频中包括过多不感兴趣的内容而感到疲倦,用户观赏体验差。
发明内容
本申请提供了一种视频处理方法及相关装置,实现了通过对用户录制的视频中场景分析和转场分析,删除录制的视频中无意义片段,剪辑出录制的视频中的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频。提高用户录制视频的观赏性。
第一方面,本申请提供了一种视频处理方法,包括:电子设备显示拍摄界面,该拍摄界面包括预览框和录制开始控件,该预览框中显示该电子设备的摄像头实时采集得到的画面;该电子设备检测到对该录制开始控件的第一输入;响应于该第一输入,该电子设备开始录制第一视频;该电子设备显示录制界面,该录制界面包括录制结束控件和该电子设备实时录制的该第一视频的视频画面;该电子设备检测到对该录制结束控件的第二输入;响应于该第二输入,该电子设备结束录制第一视频;该电子设备保存第一视频和第二视频;其中,该第一视频包括第一视频片段、第二视频片段和第三视频片段,第一视频片段的结束时刻早于或等于该第二视频片段的开始时刻,第二视频片段的结束时刻早于或等于第三视频片段的开始时刻;该第二视频包括第一视频片段和第三视频片段,不包括第二视频片段。
通过本申请提供了一种视频处理方法,可以通过对用户录制的视频中场景分析,删除录制的视频中无效片段(例如,场景切换、画面缩放、画面快速运镜、画面严重抖动,等等),剪辑出录制的视频中指定拍摄场景(例如,人物、春节、圣诞节、古建筑、沙滩、烟花、植物或雪景,等等)的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频。这样,可以提高用户录制视频的观赏性。
在一种可能的实现方式中,该第一视频的时长大于该第二视频的时长;或,该第一视频的时长小于该第二视频的时长;或,该第二视频的时长等于该第二视频的时长。
在一种可能的实现方式中,在该电子设备保存第二视频之前,该方法还包括:该电子设备将该第一视频中的该第一视频片段和该第三视频片段拼接在一起,得到该第二视频。
在一种可能的实现方式中,该电子设备将该第一视频中的该第一视频片段和该第三视频片段拼接在一起,得到该第一视频,具体包括:该电子设备将该第一视频片段的结束位置和该第三视频片段的开始位置,拼接在一起,得到该第二视频;或,该电子设备将该第一视频片段的结束位置和第一特效片段的开始位置拼接在一起,将该第一特效片段的结束位置和该第三视频片段的开始位置拼接在一起,得到该第二视频。
在一种可能的实现方式中,该第一视频片段和该第三视频片段为精彩视频片段,该第二视频片段为无效视频片段。
在一种可能的实现方式中,该第一视频还包括第四视频片段;若该第四视频片段为精彩视频片段,则该第二视频包括该第四视频片段;若该第四视频片段为无效视频片段,则该第二视频不包括该第四视频片段。
在一种可能的实现方式中,该精彩视频片段包括该第一视频中拍摄场景为精彩场景且不包括转场片段的视频片段。
在一种可能的实现方式中,该精彩视频片段包括该第一视频中拍摄场景为指定精彩场景且不包括有噪音或无声音的转场片段的视频片段。
其中,该精彩场景包括人物、风景、美食、春节、圣诞节、建筑、沙滩、烟花、植物、雪景或旅行,等等中的一个或多个场景。
在一种可能的实现方式中,该录制界面还包括抓拍控件,在该电子设备显示该录制界面时,该方法还包括:该电子设备接收用户针对该抓拍控件的第三输入;响应于该第三输入,该电子设备将在接收该第三输入时该第一视频的第一视频画面保存为第一图片。
在一种可能的实现方式中,在该电子设备结束录制第一视频后,该方法还包括:该电子设备保存第三视频,其中,该第一视频包括第五视频片段和第六视频片段;该第五视频片段的结束时刻早于或等于该第六视频片段的开始时刻,该第三视频包括该第五视频片段和该第六视频片段,该第五视频片段和该第六视频片段中都包括有相同的拍摄主体。
在一种可能的实现方式中,在该电子设备保存第一视频和第二视频后,该方法还包括:该电子设备显示视频相册界面,该视频相册界面包括该第一视频对应的第一选项;该电子设备检测到针对该第一选项的第四输入后,显示该第一视频的第一视频展示界面,该第一视频的第一视频展示界面包括该第一视频的第一展示区域和该第二视频的第二展示区域,该第一展示区域用于显示该第一视频的视频画面,该第二展示区域用于显示该第二视频的视频画面。这样,将第一视频和第二视频归类在一个视频展示界面中,方便用户查找第一视频和第二视频。
在一种可能的实现方式中,在该电子设备保存该第一视频和该第二视频后,该方法还包括:该电子设备显示视频相册界面,该视频相册界面包括该第一视频对应的第一选项和该第二视频对应的第二选项;当该电子设备检测到针对该第一选项的第四输入后,显示该第一视频的第一视频展示界面,该第一视频的第一展示界面包括该第一视频的第一展示区域,该第一展示区域用于显示该第一视频的视频画面;当该电子设备检测到针对该第二选项的第五输入后,显示该第二视频的第二视频展示界面,该第二视频的第二展示界面包括该第二视频的第二展示区域,该第二展示区域用于显示该第二视频的视频画面。这样,将第一视频的选项和第二视频的选项并行显示在在一个视频相册中,可以方便用户快速打开第一视频的展示界面或第二视频的展示界面。
在一种可能的实现方式中,在该电子设备保存该第一视频和该第二视频后,该方法还包括:该电子设备显示该拍摄界面,并在该拍摄界面上显示第一提示,该第一提示用于提示用户该电子设备已从录制的该第一视频中生成并保存了该第二视频。这样,可以让用户及时看到生成的第二视频。
在一种可能的实现方式中,在该检测到针对该录制开始控件的第一输入后,该方法还包括:该电子设备通过摄像头实时采集该第一视频的图像流,通过麦克风实时采集该第一视频的音频流;该电子设备对该第一视频的图像流进行场景检测,确定出该第一视频的图像流中每个画面帧的场景类别;该电子设备对该第一视频的图像流进行转场检测,确定出该第一视频的图像流中发生场景转换的转场位置和转场类别;该电子设备基于该第一视频的图像流中每个画面帧的场景类别以及该第一视频的图像流中发生场景转换的转场位置和转场类别,将该第一视频的图像流划分为多个画面片段,并确定该多个画面片段中每个画面片段的片段主题;该电子设备基于该多个画面片段的片段主题,从该画面片段中确定出精彩主题下的多个精彩画面片段,并记录该多个精彩画面片段在该第一视频中图像流中的位置;在该电子设备检测到针对该录制结束控件的第二输入后,该电子设备将该第一视频的图像流和该第一视频的音频流混流成该第一视频;该电子设备基于该多个精彩画面片段在该第一视频中图像流中的位置,从该原视频中截取出该第一视频片段和该第三视频片段;该电子设备基于该第一视频片段和该第三视频片段,生成该第二视频。
这样,可以通过在用户录制视频过程中对录制的视频中进行场景分析和转场分析,删除录制的视频中无效片段(例如,场景切换、画面缩放、画面快速运镜、画面严重抖动,等等),剪辑出录制的视频中的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频。这样,可以提高用户录制视频的观赏性。
在一种可能的实现方式中,在该检测到针对该录制开始控件的第一输入后,该方法还包括:该电子设备通过摄像头实时采集该第一视频的图像流,通过麦克风实时采集该第一视频的音频流;该电子设备对该第一视频的图像流进行场景检测,确定出该第一视频的图像流中每个画面帧的场景类别;该电子设备对该第一视频的图像流进行转场检测,确定出该第一视频的图像流中发生场景转换的转场位置和转场类别;该电子设备对该第一视频的音频流进行声音激活检测,识别该第一视频的音频流中语音信号的起止时间点,并基于该语音信号的起止时间点,将该第一视频的音频流划分成多个音频片段;该电子设备对该第一视频的音频流中多个音频片段进行音频事件分类,确定该多个音频片段中每个音频片段的音频事件类型;该电子设备基于该第一视频的图像流中每个画面帧的场景类别以及该第一视频的图像流中发生场景转换的转场位置和转场类别,将该第一视频的图像流划分为多个画面片段,并确定该多个画面片段中每个画面片段的片段主题;该电子设备基于该多个音频片段的起止时间点和该多个画面片段中每个画面片段的片段主题,确定出该多个音频片段在该第一视频的图像流中对应的多个音频事件图像片段,以及每个音频事件图像片段对应的音频事件类型;该电子设备基于该第一视频的图像流中每个画面帧的场景类别、该第一视频的图像流中发生场景转换的转场位置和转场类别、以及该多个音频事件图像片段的音频事件类别,将该第一视频的图像流划分为多个画面片段,并确定该多个画面片段中每个画面片段的片段主题;在该电子设备检测到针对该录像结束控件的第二输入后,该电子设备将该第一视频的图像流和该第一视频的音频流混流成该第一视频;该电子设备基于该多个精彩画面片段在该第一视频中图像流中的位置,从该第一视频中截取出该第一视频片段和该第三视频片段;该电子设备基于该第一视频片段和该第三视频片段,生成该第二视频。
这样,可以在用户录制视频过程中对录制的视频进行场景分析、转场分析和音频事件分析,删除录制的视频中无意义片段,剪辑出录制的视频中的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频。这样,可以提高用户录制视频的观赏性。
在一种可能的实现方式中,在该电子设备生成该第二视频后,该方法还包括:该电子设备在该第二视频中添加背景音乐;该电子设备保存第二视频,具体包括:该电子设备保存添加背景音乐后的该第二视频。
在一种可能的实现方式中,该第一输入的包括以下一种或多种:手势输入、点击输入和双击输入,等等。
第二方面,本申请提供了一种电子设备,包括显示屏、摄像头、一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得通信装置执行上述任一方面任一项可能的实现方式中的视频处理方法。
第三方面,本申请提供了一种芯片***,应用于电子设备,该芯片***包括一个或多个处理器,一个或多个处理器用于调用计算机指令以使得电子设备执行上述任一方面任一项可能的实现方式中的视频处理方法。
第四方面,本申请提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述任一方面任一项可能的实现方式中的视频处理方法。
第五方面,本申请提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述任一方面任一项可能的实现方式中的视频处理方法。
附图说明
图1为本申请实施例提供的一种电子设备的硬件结构示意图;
图2为本申请实施例提供的一种电子设备的软件架构示意图;
图3A-图3I为本申请实施例提供的一组录像界面示意图;
图3J为本申请实施例提供的精彩视频拼接示意图;
图4A-图4G为本申请实施例提供的一组精彩视频展示界面示意图;
图5A-图5E为本申请实施例提供的一组精彩录像设置界面示意图;
图6A-图6F为本申请实施例提供的一组生成精彩视频界面示意图;
图7A-图7H为本申请实施例提供的另一组生成精彩视频界面示意图;
图8A-图8C为本申请实施例提供的一组视频通话场景生成精彩视频的界面示意图;
图9为本申请实施例提供的一种视频处理方法流程示意图;
图10为本申请实施例提供的一种生成精彩视频的时序示意图;
图11为本申请实施例提供的一种精彩视频的拼接示意图;
图12为本申请实施例提供的一种视频处理***的模块示意图;
图13为本申请另一实施例提供的一种视频处理方法流程示意图;
图14为本申请另一实施例提供的一种生成精彩视频的时序示意图;
图15为本申请另一实施例提供的一种视频处理***的模块示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请以下实施例中的术语“用户界面(user interface,UI)”,是应用程序或操作***与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面是通过java、可扩展标记语言(extensible markuplanguage,XML)等特定计算机语言编写的源代码,界面源代码在电子设备上经过解析,渲染,最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面(graphicuser interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
图1示出了电子设备100的结构示意图。
下面以电子设备100为例对实施例进行具体说明。应该理解的是,图1所示电子设备100仅是一个范例,并且电子设备100可以具有比图1中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)。显示屏面板还可以采用有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED),柔性发光二极管(flexlight-emitting diode,FLED),miniled,microled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,QLED)等制造。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
图2示例性的示出了本申请实施例的电子设备的软件架构示意图。
如图2所示,分层架构将***分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将***分为五层,从上至下分别为应用程序层,应用程序框架层、硬件抽象层、内核层以及硬件层。
应用程序层可以包括一系列应用程序包。
应用程序包可以包括相机、图库等。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
在一些实施例中,应用程序框架层可以包括相机访问接口,其中,相机访问接口可以包括相机管理以及相机设备。相机访问接口用于为相机应用提供应用编程接口和编程框架。
硬件抽象层为位于应用程序框架层以及内核层之间的接口层,为操作***提供虚拟硬件平台。
本申请实施例中,硬件抽象层可以包括相机硬件抽象层以及相机算法库。
其中,相机硬件抽象层可以提供相机设备1(第一摄像头)以及相机设备2(第二摄像头)的虚拟硬件。其还可以获取姿态数据并传输给相机算法库。相机硬件抽象层还可以用于计算待拼接图像数量N。以及,从相机算法库中获取信息。
相机算法库中可以包括算法模块以及运行检测模块。
其中,算法模块中包括若干对图像进行处理的算法,可以用于实现对N帧待拼接图像的拼接以及其他处理。
运动检测模块可以用于计算电子设备的当前的拍摄场景是否运动。
内核层为硬件和软件之间的层。内核层包括各种硬件的驱动。
在一些实施例中,内核层可以包括相机设备驱动、数字信号处理器驱动以及图像处理器驱动等。
其中,相机设备驱动用于驱动摄像头的传感器采集图像以及驱动图像信号处理器对图像进行预处理。
数字信号处理器驱动用于驱动数字信号处理器处理图像。
图像处理器驱动用于驱动图形处理器处理图像。
下面结合上述硬件结构以及***结构,对本申请实施例中方法进行具体描述:
1.电子设备100启动录像功能,获取图像流和音频流。
该步骤1是持续进行的。响应于用户在拍摄界面上针对录像开始控件的操作(例如点击操作),相机应用调用应用框架层的相机访问接口,启动相机应用,进而通过调用相机硬件抽象层中的相机设备1(第一摄像头)发送启动录像的指令,相机硬件抽象层将该指令发送到内核层的相机设备驱动,该相机设备驱动可以启动摄像头的第一摄像头的传感器(传感器1),通过传感器1采集图像光信号。并将该图像光信号传输到图像信号处理器进行预处理,得到图像流(至少2帧原始图像帧构成图像序列),然后将该原始流通过相机设备驱动传输至相机硬件抽象层。相机应用,还通过音频硬件抽象层中的音频输入单元发送启动录像的指令,音频硬件抽象层将该指令发送到内核层的音频驱动,该音频驱动可以启动麦克风采集音频信号,得到音频流。
2.电子设备100根据图像流获取处理流。
该步骤2是持续进行的。相机硬件抽象层可将原始流发送的相机算法库。基于数字信号处理器、图像处理器的支持,相机算法库可首先对原始流进行下采样,得到低分辨率的处理流。
3.电子设备100对处理流中的图像帧进行场景检测和转场检测,确定精彩画面片段。
该步骤3是持续进行的。基于数字信号处理器、图像处理器的支持,相机算法库可调用场景检测算法、转场检测算法等检测图像流中的每一帧画面的场景类别和发生场景转换的转场位置和转场类别等,进而确定精彩画面片段。
4.电子设备100将图像流和音频流混流成原视频。
基于数字信号处理器、图像处理器的支持,可以将图像流和音频流基于同一时间轨,混流成原视频。
5.电子设备100可以基于精彩画面片段的位置从原视频中截取出多个精彩视频片段,并将多个精彩视频片段融合成一个精彩视频。
相机算法库可以调用剪辑算法和融合算法基于精彩画面片段的位置从视频流中截取出多个精彩视频片段,并将多个精彩视频片段融合成一个精彩视频。其中,精彩视频片段可以包括原视频中拍摄场景为精彩场景且不包括转场片段的视频片段。或者,精彩视频片段可以包括原视频中拍摄场景为精彩场景且不包括有噪音或无声音的转场片段的视频片段。其中,精彩场景包括人物、风景、美食、春节、圣诞节、建筑、沙滩、烟花、植物、雪景或旅行等等中的一个或多个场景。
6.电子设备100可以保存精彩视频和原视频。
相机算法库可以将精彩视频发送到相机硬件抽象层。然后,相机硬件抽象层可以将其进行保存。
本申请实施例中提供了一种视频处理方法,可以通过对用户录制的视频中场景分析,删除录制的视频中无效片段(例如,场景切换、画面缩放、画面快速运镜、画面严重抖动,等等),剪辑出录制的视频中指定拍摄场景(例如,人物、春节、圣诞节、古建筑、沙滩、烟花、植物或雪景,等等)的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频。这样,可以提高用户录制视频的观赏性。
下面结合应用场景介绍本申请实施例提供的一种视频处理方法。
在一些应用场景中,用户可以在使用电子设备100的相机应用中普通录像模式录制视频。在电子设备100录制视频的过程中,电子设备100可以识别并剪辑出录制的原视频中精彩场景的多个精彩视频片段,并将这多个精彩频段融合成一个精彩视频。电子设备100在录制视频结束后,可以保存原视频和精彩视频。这样,可以提高用户录制的视频的观赏性。
示例性的,如图3A所示,电子设备100可以显示有桌面310,该桌面310中显示了一个放置有应用图标的页面,该页面包括多个应用图标(例如,天气应用图标、股票应用图标、计算器应用图标、设置应用图标、邮件应用图标、图库应用图标312、音乐应用图标、视频应用图标、浏览器应用图标等等)。多个应用图标下方还显示包括有页面指示符,以表明当前显示的页面与其他页面的位置关系。页面指示符的下方有多个托盘图标(例如拨号应用图标、信息应用图标、联系人应用图标、相机应用图标311),托盘图标在页面切换时保持显示。在一些实施例中,上述页面也可以包括多个应用图标和页面指示符,页面指示符可以不是页面的一部分,单独存在,上述托盘图标也是可选的,本申请实施例对此不作限制。
电子设备100可以接收用户作用于相机应用图标311的输入操作(例如单击),响应于该输入操作,电子设备100可以显示如图3B所示的拍摄界面320。
如图3B所示,该拍摄界面320可以包括有回显控件321、拍摄控件322、摄像头转换控件323、预览框、设置控件325、变焦倍率控件326、一个或多个拍摄模式控件(例如,“夜景模式”控件327A、“人像拍照模式”控件327B、“大光圈模式”控件327C、“普通拍照模式”控件327D、“录像模式”控件327E、“专业模式”控件327F、更多模式控件327G)。其中,预览框中显示有预览画面324。该回显控件321可用于显示已拍摄的图像。该拍摄控件322用于触发保存摄像头拍摄到的图像。该摄像头转换控件323可用于切换拍照的摄像头。该设置控件325可用于设置拍照功能。该变焦倍率控件326可用于设置摄像头的变焦倍数。该拍摄模式控件可用于触发开启该拍摄模式对应的图像处理流程。例如,“夜景模式”控件327A可用于触发增加拍摄图像中的亮度和色彩丰富度等。“人像模式”控件327B可用于触发对拍摄图像中人像的美化处理。如图3B所示,当前用户选择的拍摄模式为“普通拍照模式”。
电子设备100可以接收用户选择“录像模式”控件327E的输入(例如单击),如图3C所示,响应于该输入,电子设备100可以从“普通拍照模式”切换至“录像模式”,并将上述拍摄控件322替换成录制开始控件331。电子设备100还可以显示出录像时间信息332。
如图3C所示,电子设备100在录像时,电子设备100的摄像头对准的方向上有人物A、人物B和摩天轮。电子设备100可以接收用户作用于录制开始控件331的第一输入(例如单击),响应于该第一输入,电子设备100可以开始录制视频。例如,在开始录制视频后,用户可以在开始录制后的0~3s时间段内拍摄人物A。在开始录制后的3s~5s时间段内从人物A转场拍摄人物B。在开始录制后的5s~7s时间段内拍摄人物B。在开始录制后的7s~9s时间段内从人物B转场拍摄摩天轮。在开始录制后的9s~11s时间段内拍摄摩天轮。在开始录制后的11s~13s时间段内画面缩放拍摄摩天轮细节,但是画面模糊。在开始录制后的13s~15s时间段内继续拍摄摩天轮。在开始录制后的15s~17s时间段内从摩天轮转场拍摄包括有人物A、人物B和摩天轮的全景。在开始录制后的17s~20s时间段内拍摄包括有人物A、人物B和摩天轮的全景。
如图3D所示,电子设备100在开始录制视频后,可以显示出录像界面330。其中,该录像界面330包括有录制结束控件333、拍摄控件334、录像时间信息332和录像画面。该录制结束控件333可用于触发电子设备100结束录制视频。该拍摄控件334可用于响应于用户的第三输入,触发电子设备100将在接收所述第三输入时电子设备100的摄像头采集到第一视频的第一视频画面保存为第一图片。
其中,电子设备100录制的原视频中可以包括有精彩场景的多个精彩视频片段,其中,该精彩场景可以包括人物、风景、美食、春节、圣诞节、建筑、沙滩、烟花、植物、雪景或旅行等等中的一个或多个场景。
例如,如图3D所示,在电子设备100录制的原视频中第4秒左右的视频画面341中包括有人物A,电子设备100可以确定原视频中第4秒左右的视频片段的场景类别为“人物”。如图3E所示,在电子设备100录制的原视频中第9秒左右的视频画面342中包括有人物B,电子设备100可以确定原视频中第9秒左右的视频片段的场景类别为“人物”。如图3F所示,在电子设备100录制的原视频中第12秒左右的视频画面343中包括有建筑(例如,摩天轮),电子设备100可以确定原视频中第12秒左右的视频片段的场景类别为“建筑”。如图3G所示,在电子设备100录制的原视频中第16秒左右的视频画面344正在变焦使变焦倍率变大,因此,视频画面344中的建筑(例如,摩天轮)比较模糊,电子设备100可以确定原视频中第16秒左右的视频片段为无效片段。如图3H所示,在电子设备100录制的原视频中第20秒左右的视频画面345中包括有建筑物、人物A和人物B的全景,电子设备100可以确定原视频中第20秒左右的视频片段的场景类别为“旅行”。可选的,在每段拍摄场景之间的转场部分可以认为是无效的,例如,在开始录制后的3s~5s时间段内从人物A转场拍摄人物B、在开始录制后的7s~9s时间段内从人物B转场拍摄摩天轮、在开始录制后的11s~13s时间段内画面缩放拍摄摩天轮细节(例如增加变焦倍率)、以及在开始录制后的15s~17s时间段内从摩天轮转场拍摄包括有人物A、人物B和摩天轮的全景都可以被认为是无效的片段。
如图3H所示,电子设备100可以接收用户作用于录制结束控件333的第二输入(例如,在开始录像的第20秒,单击录像结束控件333),响应于该第二输入,电子设备100可以结束录像,并保存录制的原视频和原视频中裁剪出来的精彩视频。
其中,电子设备100可以在录制原视频的过程中,持续识别并裁剪出原视频中处于上述指定场景的多个精彩视频片段。在电子设备100结束录制原视频后,电子设备100可以将原视频中的多个精彩视频片段融合成一个精彩视频。电子设备100可以保存原视频和精彩视频。
可选的,如图3I所示,电子设备100在结束录像后,可以显示出拍摄界面340。其中,针对拍摄界面340中的文字说明可以参考前述图3C所示的文字说明,在此不再赘述。在电子设备100生成和保存精彩视频之后,电子设备100可以在拍摄界面340上显示提示信息335(本申请实施例中可以被称为第一提示),该提示信息335用于提示用户,电子设备100已经从录制的原视频中生成并保存了精彩视频。其中,该提示信息335可以是文字提示(例如,“已对您拍摄的视频,生成精彩视频,请在图库中查看”)、图案提示、动画提示,等等。
在一种可能的实现方式中,电子设备100可以在结束录制原视频后,保存原视频,再识别并裁剪出原视频中处于上述指定场景的多个精彩视频片段。在裁剪出多个精彩视频片段后,电子设备100可以将这多个精彩视频片段融合成一个精彩视频。在生成精彩视频后,电子设备100可以保存精彩视频。
示例性的,如图3J所示,原视频中的第0~3s的片段在拍摄人物A,第3s~5s的片段从人物A转场拍摄人物B,第5s~7s的片段在拍摄人物B,第7s~9s的片段从人物B转场拍摄摩天轮,第9s~11s的片段在拍摄摩天轮,第11s~13s的片段在画面缩放拍摄摩天轮细节,但是画面模糊,第13s~15s的片段在拍摄摩天轮,第15s~17s的片段从摩天轮转场拍摄包括有人物A、人物B和摩天轮的全景。第17s~20s的片段在拍摄包括有人物A、人物B和摩天轮的全景。其中,第3s~5s的片段、第7s~9s的片段、第11s~13s的片段和第15s~17s的片段由于都是在转场或画面缩放,因此,都可以被确定为是无效片段。剩下的第0~3s的片段、第5s~7s的片段、第9s~11s的片段、第13s~15s的片段和第17s~20s的片段都可以被确定为精彩视频片段。其中,第0~3s的片段为精彩视频片段1,第5s~7s的片段为精彩视频片段2,第9s~11s的片段为精彩视频片段3,第13s~15s的片段为精彩视频片段4,第17s~20s的片段为精彩视频片段5。电子设备100可以将精彩视频片段1、精彩视频片段2、精彩视频片段3、精彩视频片段4和精彩视频片段5按照时间顺序首尾拼接在一起,得到精彩视频。例如,精彩视频片段1的尾部和精彩视频2的头部可以拼接在一起,精彩视频片段2的尾部和精彩视频3的头部可以拼接在一起,精彩视频片段3的尾部和精彩视频4的头部可以拼接在一起,精彩视频片段4的尾部和精彩视频片段5的头部可以拼接在一起。
可选的,若图3J中精彩视频片段4为无效片段,例如模糊画面或者没有拍摄对象,或者用户的手抖或者路人路过遮挡或者其他障碍物遮挡,导致该精彩视频片段4为无效片段;则,精彩视频是精彩视频片段1、精彩视频片段2、精彩视频片段3和精彩视频片段5拼接在一起。其中,电子设备100识别并裁剪出原视频中多个精彩视频片段、以及将多个精彩视频片段融合成一个精彩视频的具体过程,可以参考本申请的后续实施例,在此不再赘述。
在本申请实施例中上述第一输入、第二输入以及其他的输入,包括但不限于手势输入、点击操作输入、语音输入等等。
在一些实施例中,电子设备100在保存上述原视频和从原视频中生成的精彩视频后,可以在原视频的展示界面中同时显示精彩视频的展示区域。当电子设备100接收到用户针对该精彩视频的展示区域的输入(例如单击)时,电子设备100可以播放该精彩视频。
示例性的,如图4A所示,电子设备100可以显示桌面310。其中,针对该桌面310的文字说明可以参考前述图3A所示实施例,在此不再赘述。
电子设备100可以接收用户作用于图库应用图标312的输入(例如单击),响应于该输入,电子设备100可以显示如图4B所示的图库应用界面410。
如图4B所示,该图库应用界面410可以显示包括有一个或多个相册(例如,所有照片相册、视频相册416、相机相册、人像相册、微信相册、微博相册等等)。电子设备100可以在该图库应用界面410的下方显示有图库菜单411。其中,该图库菜单411中包括有照片控件412、相册控件413、时刻控件414、发现控件415。其中,该照片控件412用于触发电子设备100以图片缩略图的形式显示本地所有的图片。该相册控件413用于触发电子设备100显示本地图片归属的相册。如图4B所示,当前相册控件413处于选中状态,电子设备100显示该图库应用界面410。该时刻控件414可用于触发电子设备100显示本地存储的精选图片。该发现控件415可用于触发电子设备100显示图片的分类相册。
电子设备100可以接收用户针对视频相册416的输入(例如单击),响应于该输入,电子设备100可以显示如图4C所示的视频相册界面420。
如图4C所示,该视频相册界面420中可以包括有一个或多个视频文件的选项,例如上述实施例中用户录制的原视频对应的选项421(本申请实施例中可以被称为第一选项)。视频文件的选项上可以显示有视频文件中指定帧画面的缩略图和视频时间长度信息,例如,该选项421中可以显示有上述用户录制的原视频中首个画面帧的缩略图和视频时间长度信息(例如,20秒)。
电子设备100可以接收用户作用于上述选项421的第四输入(例如单击),响应于该第四输入,电子设备100可以显示如图4D所示的视频展示界面430。
在一种可能的实现方式中,电子设备100也可以接收并响应于用户针对上述图3I所示中的回显控件321的输入(例如单击),显示上述图4D所示的视频展示界面430(本申请实施例中可以被称为第一视频展示界面)。
如图4D所示,该视频展示界面430可以包括有原视频的展示区域431(本申请实施例中可以被称为第一展示区域)、从该原视频中生成的精彩视频的展示区域433(本申请实施例中可以被称为第二展示区域)、菜单436,等等。其中,该原视频的展示区域431上可以显示有原视频中的帧画面和时间信息432(例如时间长度为20秒)。当该原视频的展示区域431接收用户的输入(例如,单击)时,电子设备100可以播放或暂停该原视频。该精彩视频的展示区域433上可以显示有精彩视频中的帧画面和精彩视频的时间信息435(例如,时间长度为12秒)。可选的,精彩视频的展示区域433上可以显示有精彩标记434,该精彩标记434可用于提示用户该展示区域433中展示的是从该原视频中生成的精彩视频。该菜单436可以包括分享按钮、收藏按钮、编辑按钮、删除按钮、更多按钮。分享按钮可用于触发对该原视频和/或精彩视频的分享。该收藏按钮可用于触发收藏该原视频和/或精彩视频到收藏文件夹。编辑按钮可用于触发对该原视频和/或精彩视频的旋转、修剪、增加滤镜、虚化等编辑功能。删除按钮可用于触发删除该原视频和/或精彩视频。更多按钮可用于触发打开更多与该原视频和/或精彩视频相关的功能。
电子设备100可以接收用户针对该精彩视频的展示区域433的输入(例如单击),响应于该输入,如图4E所示,电子设备100可以在视频展示界面430中将原视频的展示区域431缩小显示,并将精彩视频的展示区域433放大显示。在精彩视频的展示区域433放大显示后,电子设备100可以接收并响应于用户针对该精彩视频的展示区域433的输入(例如单击),响应于该输入,电子设备100可以播放该精彩视频。
在一些实施例中,电子设备100在保存上述原视频和从原视频中生成的精彩视频后,可以在视频相册中并列显示原视频的选项和精彩视频的选项。当电子设备100接收到用户针对该原视频的选项的输入时,电子设备100可以显示该原视频的展示界面。当电子设备100接收到用户针对该精彩视频的选项的输入时,电子设备100可以显示该精彩视频的展示界面。
示例性的,当电子设备100可以接收用户针对上述图4B所示的视频相册416的输入(例如单击)后,电子设备100可以显示如图4F所示的视频相册界面440。
如图4F所示,该视频相册界面440中可以包括有多个视频文件的选项,其中,该多个视频文件的选项包括上述原视频的选项421(本申请实施例中可以被称为第一选项)和基于该原视频生成的精彩视频的选项423(本申请实施例中可以被称为第二选项)。其中,该选项421上可以显示有上述用户录制的原视频中指定画面帧的缩略图和视频时间长度信息(例如,20秒)。该选项423上可以显示有精彩视频中指定画面帧的缩略图、视频时间长度信息(例如,12秒)和精彩标记425。其中,该精彩标记425用于指示该精彩标记434可用于提示用户该选项423对应的视频文件为从原视频中生成的精彩视频。
电子设备100可以接收用户针对该精彩视频的选项423的第五输入(例如单击),响应于该第五输入,电子设备100可以显示如图4G所示的视频展示界面450(本申请实施例中可以被称为第二视频展示界面)。
如图4G所示,该视频展示界面450中可以包括有精彩视频的展示区域451,展示区域451中可以展示有精彩视频的帧画面、时间信息452(例如,时间长度为12秒)和。可选的,精彩视频的展示区域451上可以显示有精彩标记453,该精彩标记453可用于提示用户该展示区域451中展示的是从原视频中生成的精彩视频。该菜单454可以包括分享按钮、收藏按钮、编辑按钮、删除按钮、更多按钮。分享按钮可用于触发对精彩视频的分享。该收藏按钮可用于触发收藏该精彩视频到收藏文件夹。编辑按钮可用于触发对精彩视频的旋转、修剪、增加滤镜、虚化等编辑功能。删除按钮可用于触发删除精彩视频。更多按钮可用于触发打开更多与精彩视频相关的功能。当该精彩视频的展示区域451接收用户的输入(例如,单击)时,电子设备100可以播放或暂停该精彩视频。
在一些应用场景中,用户可以在使用电子设备100的相机应用中特殊的录像模式(例如精彩录像)录制视频。在电子设备100录制视频的过程中,电子设备100可以识别并剪辑出录制的原视频中指定拍摄场景的多个精彩视频片段,并将这多个精彩频段融合成一个精彩视频。电子设备100在录制视频结束后,可以保存精彩视频。可选的,电子设备100还可以保存原视频。这样,可以提高用户录制的视频的观赏性。
示例性的,如图5A所示,电子设备100可以该拍摄界面510。该拍摄界面510可以包括有回显控件511、拍摄控件512、摄像头转换控件513、预览框、设置控件515、变焦倍率控件516、一个或多个拍摄模式控件(例如,“夜景模式”控件517A、“人像拍照模式”控件517B、“大光圈模式”控件517C、“普通拍照模式”控件517D、“录像模式”控件517E、“精彩录像模式”控件517H、“专业模式”控件517F、“更多模式”控件,等等)。电子设备100可以接收用户选项精彩录像模式控件517H的输入(例如单击),响应于该输入,电子设备100可以从“普通拍照模式”切换至“精彩录像模式”。针对拍摄界面510中控件的文字说明可以参考前述图3B中所示的拍摄界面320,在此不再赘述。
如图5B所示,在切换至“精彩录像模式”后,电子设备100可以将上述拍摄控件322替换成录像开始控件521。电子设备100还可以显示出录像时间信息522。
电子设备100可以接收用户作用于录像开始控件521的输入(例如单击),响应于该输入,电子设备100可以开始录制视频。其中,在精彩录像模式下,电子设备100可以在录制原视频的过程中,持续识别并裁剪出原视频中处于上述指定场景的多个精彩视频片段。在电子设备100结束录制原视频后,电子设备100可以将原视频中的多个精彩视频片段融合成一个精彩视频。电子设备100可以保存精彩视频。可选的,电子设备100还可以保存原视频。
在一种可能的实现方式中,如图5C所示,电子设备100可以在切换至精彩录像模式时,在拍摄界面上显示提示信息523。其中,该提示信息523可用于提示用户该精彩录像模式的模式简介(例如,将识别出您录像过程中的精彩视频片段,并生成精彩视频)。
在一种可能的实现方式中,电子设备100可以预先设置用户在录像过程中需要的精彩场景。在用户设置完精彩场景后,电子设备100在录像过程中,电子设备100可以从原视频中识别出用户的设置的精彩场景对应的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频。
示例性的,如图5C所示,电子设备100可以接收用户针对该设置控件515的输入(例如单击),响应于该输入,电子设备100可以显示在拍摄界面510上如图5D所示的设置窗口530。
如图5D所示,该设置窗口530可以显示包括有窗口关闭控件531、一个或多个设置项,例如,分辨率设置栏532和精彩场景设置栏。其中,精彩场景设置栏可以包括一个或多个精彩场景的设置项,例如,“人物场景”设置项533、“风景场景”设置项534、“建筑场景”设置项535、“美食场景”设置项536和“旅行场景”设置项537,等等。
如图5E所示,电子设备100可以接收用户的针对精彩场景设置栏的输入,选择人物场景、风景场景、美食场景和旅行场景等等作为生成精彩视频时的精彩场景。在用户设置完精彩场景后,电子设备100在录像过程中,电子设备100可以从原视频中识别出用户的设置的精彩场景对应的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频。
在一些应用场景中,电子设备100可以在录制完原视频并将原视频保存至视频相册后,用户可以在视频相册中原视频的展示界面,触发从原视频中生成精彩视频。在用户触发从原视频中生成精彩视频后,电子设备100可以识别并剪辑出原视频中有精彩场景的多个精彩视频片段,并将这多个精彩频段融合成一个精彩视频。电子设备100在录制视频结束后,可以保存精彩视频。这样,可以提高用户录制的视频的观赏性。
示例性的,如图6A所示,电子设备100可以显示出图库应用界面410。其中,针对该图库应用界面410的文字说明可以参考前述图4B所示实施例的文字部分,在此不再赘述。
电子设备100可以接收用户针对视频相册416的输入(例如单击),响应于该输入,电子设备100可以显示如图6B所示的视频相册界面420。
如图6B所示,该视频相册界面420中可以包括有一个或多个视频文件的选项,例如上述实施例中用户录制的原视频对应的选项421。针对视频相册界面420的详细文字说明可以参考前述图4C所示实施例的文字部分,在此不再赘述。
电子设备100可以接收用户作用于原视频的选项421的输入(例如单击),响应于该输入,电子设备100可以显示如图6C所示的视频展示界面610。
如图6C所示,该视频展示界面610可以包括有原视频的展示区域611、菜单613和精彩视频生成控件614,等等。其中,该原视频的展示区域611上可以显示有原视频中的帧画面和时间信息612(例如时间长度为20秒)。当该原视频的展示区域611接收用户的输入(例如,单击)时,电子设备100可以播放或暂停该原视频。该精彩视频生成控件614,可用于触发电子设备100从展示区域611展示的原视频中生成精彩视频。该菜单613可以包括分享按钮、收藏按钮、编辑按钮、删除按钮、更多按钮。分享按钮可用于触发对该原视频的分享。该收藏按钮可用于触发收藏该原视频到收藏文件夹。编辑按钮可用于触发对该原视频的旋转、修剪、增加滤镜、虚化等编辑功能。删除按钮可用于触发删除该原视频。更多按钮可用于触发打开更多与该原视频相关的功能。
电子设备100可以接收用户针对该精彩视频生成控件614的输入(例如单击),响应于该输入,电子设备100可以识别并裁剪出原视频中在精彩场景下的多个精彩视频片段,并将这个多个精彩视频片段融合成一个精彩视频。
可选的,如图6D所示,在电子设备100生成精彩视频的过程中,电子设备100可以在原视频的视频展示界面610上显示精彩视频的生成进度615。其中,电子设备100识别并裁剪出原视频中多个精彩视频片段、以及将多个精彩视频片段融合成一个精彩视频的具体过程,可以参考本申请的后续实施例,在此不再赘述。
如图6E所示,在电子设备100生成完精彩视频后,电子设备100可以在原视频的视频展示界面610上显示出从原视频中生成的精彩视频对应的展示区域616。其中,该精彩视频的展示区域616上可以显示有精彩视频中的帧画面和精彩视频的时间信息618(例如,时间长度为12秒)。可选的,精彩视频的展示区域616上可以显示有精彩标记617,该精彩标记617可用于提示用户该展示区域616中展示的是从该原视频中生成的精彩视频。
电子设备100可以接收用户针对该精彩视频的展示区域616的输入(例如单击),响应于该输入,如图6F所示,电子设备100可以在视频展示界面610中将原视频的展示区域611缩小显示,并将精彩视频的展示区域616放大显示。在精彩视频的展示区域616放大显示后,电子设备100可以接收并响应于用户针对该精彩视频的展示区域616的输入(例如单击),响应于该输入,电子设备100可以播放该精彩视频。
在一种可能的实现方式中,用户在电子设备100上显示的原视频的展示界面中确认从原视频中生成精彩视频时,电子设备100可以接收用户设置的精彩场景。电子设备100可以基于用户设置的精彩场景,识别并剪辑出原视频中精彩场景下的多个精彩视频片段,并将这多个精彩频段融合成一个精彩视频。其中,针对同一个原视频,用户选择不同的精彩场景时,电子设备100可以生成不同的精彩视频。
示例性的,如图7A所示,电子设备100可以显示出视频展示界面610。其中,针对视频展示界面610的文字说明,可以参考前述图6C所示实施例,在此不再赘述。
电子设备100可以接收用户针对该精彩视频生成控件614的输入(例如单击),响应于该输入,电子设备100可以显示如图7B所示的场景设置窗口710。
如图7B所示,该场景设置窗口710可以显示包括有确定控件716、取消控件717以及一个或多个精彩场景的设置项,例如,“人物场景”设置项711、“风景场景”设置项712、“建筑场景”设置项713、“美食场景”设置项714和“旅行场景”设置项715,等等。
如图7C所示,电子设备100可以接收用户的针对精彩场景的设置项的输入,选择人物场景、风景场景、美食场景和旅行场景等等作为生成精彩视频时的精彩场景。在用户设置完精彩场景后,电子设备100可以用户针对确定控件716的输入(例如单击),响应于该输入,电子设备100可以从原视频中识别出用户的设置的精彩场景类型集合a对应的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频(例如,精彩视频a)。
可选的,如图7D所示,在电子设备100生成精彩视频的过程中,电子设备100可以在原视频的视频展示界面610上显示精彩视频a的生成进度615和精彩视频a的场景类型。其中,电子设备100识别并裁剪出原视频中多个精彩视频片段、以及将多个精彩视频片段融合成一个精彩视频的具体过程,可以参考本申请的后续实施例,在此不再赘述。
如图7E所示,在电子设备100生成完精彩视频a后,电子设备100可以在原视频的视频展示界面610上显示出从原视频中生成的精彩视频a对应的展示区域616。其中,该精彩视频a的展示区域616上可以显示有精彩视频a中的帧画面、精彩视频a的时间信息618(例如,时间长度为12秒)和精彩视频a的场景信息619(例如,人物、风景、美食和旅行)。可选的,精彩视频的展示区域616上可以显示有精彩标记617,该精彩标记617可用于提示用户该展示区域616中展示的是从该原视频中生成的精彩视频a。
其中,针对同一个原视频,用户选择不同的精彩场景时,电子设备100可以生成不同的精彩视频。因此,在电子设备100从原视频中生成精彩视频a的同时和之后,电子设备100还可以在上述视频展示界面610上继续显示精彩视频生成控件614。
电子设备100可以在从原视频中生成精彩视频a后,继续接收用户针对该精彩视频生成控件614的输入(例如单击),响应于该输入,电子设备100可以显示出如图7F所示的场景设置窗口710。针对该场景设置窗口710的文字说明,可以参考前述图7B所示实施例的文字部分,在此不再赘述。
如图7F所示,当用户在场景设置窗口710中选择的精彩场景类型集合b,与已生成精彩视频a的精彩场景类型集合a相同时,电子设备100可以输出提示718并去使能确定控件716。其中,在该确定控件716去使能后,确定控件716无法响应用户的输入执行相应的精彩视频生成功能。该提示718可用于提示用户,用户选择的精彩场景类型与已生成精彩视频a的精彩场景相同。例如,该提示718可以为文字提示“您已生成过相同精彩场景的精彩视频,请重新选择”。
如图7G所示,当用户在场景设置窗口710中选择的精彩场景类型集合b,与已生成精彩视频a的精彩场景类型集合a不相同时,电子设备100可以使能确定控件716。
电子设备100可以接收用户针对该确定控件716的输入(例如单击),响应于该输入,电子设备100可以从原视频中识别出用户的设置的精彩场景集合b对应的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频(例如,精彩视频b)。
如图7H所示,在电子设备100生成完精彩视频b后,电子设备100可以在原视频的视频展示界面610上显示出从原视频中生成的精彩视频b对应的展示区域721。其中,该精彩视频b的展示区域721上可以显示有精彩视频b中的帧画面、精彩视频b的时间信息723(例如,时间长度为8秒)和精彩视频b的场景信息724(例如,人物、风景、美食和旅行)。可选的,精彩视频的展示区域721上可以显示有精彩标记722,该精彩标记722可用于提示用户该展示区域721中展示的是从该原视频中生成的精彩视频b。
在一些应用场景中,电子设备100可以在视频通话的过程中,识别并裁剪出视频通话过程中视频流中有精彩场景的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频。电子设备100在视频通话结束后,可以保存精彩视频。可选的,电子设备100也可以将生成的精彩视频分享给视频通话的对方。这样,可以在视频通话的过程中,将视频流中的多个精彩视频片段融合成一个精彩视频,方便用户回看视频通话的内容。
示例性的,如图8A所示,电子设备100可以显示出视频通话接听界面810。该视频通话接听界面810可以包括拒绝控件811、视频转语音控件812、接听控件813。
电子设备100可以接收用户针对接听控件813的输入(例如单击),响应于该输入,电子设备100可以显示如图8B所示的视频通话界面820,并接收通话对方发过来的视频流,同时实时通过摄像头和麦克风拍摄的视频流。
如图8B所示,视频通话界面820中可以包括电子设备100实时通过摄像头和麦克风拍摄的视频流中的画面821、通话对方发过来的视频流中的画面822、挂断控件823、视频转语音控件824、镜头切换控件825、精彩录制控件826、画面切换控件827。其中,挂断控件823可用于触发电子设备100挂断与对方的视频通话。视频转语音控件824可以用于触发电子设备100将视频通话转换为语音通话。镜头切换控件825可用于触发电子设备100实时拍摄视频画面的摄像头(例如前置摄像头切换至后置摄像头或后置摄像头切换至前置摄像头)。精彩录制控件826可用于触发电子设备100基于通话视频流,生成精彩视频。画面切换控件827可用于触发电子设备100切换画面821和画面822的显示位置。
电子设备100可以接收用户针对该精彩录制控件826的输入(例如单击),响应于该输入,电子设备100可以识别电子设备100实时通过摄像头和麦克风拍摄的视频流和/或通话对方发过来的视频流中有精彩场景的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频。电子设备100在录制结束或视频通话结束后,可以保存精彩视频。
如图8C所示,当电子设备100开始精彩录制后,电子设备100可以将精彩录制控件826替换为结束录制控件828。该结束录制控件828可用于触发电子设备100结束对精彩视频的录制。
在一些应用场景中,电子设备100可以在视频直播的过程中,识别并裁剪出视频直播过程中视频流中有精彩场景的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频。电子设备100在直播结束后,可以保存精彩视频。可选的,电子设备100也可以将生成的精彩视频同步到直播应用的服务器上与直播账号绑定,并分享至公共观赏区域,供关注该直播账号的其他账户观看。这样,可以在视频直播的过程中,可以将视频直播中的多个精彩视频片段融合成一个精彩视频,方便用户和关注该直播账户的其他用户回看视频通话的内容。
在一种可能的实现方式中,电子设备100可以在视频直播的过程中,直播服务器可以获取到电子设备100直播的视频流,直播服务器可以识别电子设备100直播的视频流中的多个精彩视频片段,并将多个精彩视频片段融合成一个精彩视频,保存至该电子设备100登录的视频直播的账户关联的存储空间中。用户也可以使用电子设备100通过直播服务器将该精彩视频分享给其他用户观看。这样,方便用户和关注该直播账户的其他用户回看视频通话的内容。
在本申请实施例中,原视频可以被称为第一视频,精彩视频可以被称为第二视频。第二视频中可以包括有第一视频中的部分视频片段,例如,第一视频中包括有第一视频片段、第二视频片段(精彩视频片段)、第二视频片段(无效视频片段)和第三视频片段(精彩视频片段)。其中,第一视频片段的结束时刻早于或等于所述第二视频片段的开始时刻,所述第二视频片段的结束时刻早于或等于第三视频片段的开始时刻。由于第二视频片段为无效片段,第二视频包括第一视频片段和第三视频片段,不包括第二视频片段。
其中,第一视频还包括第四视频片段,若第四视频片段为精彩视频片段,则第二视频包括第四视频片段;若第四视频片段为无效视频片段,则第二视频不包括第四视频片段。
该第一视频的时长大于该第二视频的时长;或,该第一视频的时长小于该第二视频的时长;或,该第二视频的时长等于该第二视频的时长。
该精彩视频片段包括该第一视频中拍摄场景为精彩场景且不包括转场片段的视频片段。或者,该精彩视频片段包括该第一视频中拍摄场景为指定精彩场景且不包括有噪音或无声音的转场片段的视频片段。其中,该精彩场景包括人物、风景、美食、春节、圣诞节、建筑、沙滩、烟花、植物、雪景或旅行,等等中的一个或多个场景。
下面结合流程图和功能模块图介绍本申请实施例中提供的一种视频处理方法。
图9示出了本申请实施例中提供的一种视频处理方法的流程示意图。
如图9所示,该方法可以包括如下步骤:
S901、电子设备100获取录像过程中实时采集的音频流和图像流。
在录像过程中,电子设备100可以通过摄像头实时采集图像流,通过麦克风和音频电路实时采集音频流。其中,实时采集的音频流的时间戳和图像流的时间戳相同。
其中,针对录像过程的界面可以参考前述图3A-图3I所示实施例或图5A-图5E所示实施例,在此不再赘述。
S902、电子设备100对图像流进行场景检测,确定出图像流中每个画面帧的场景类别。
其中,场景类别可以包括人物、春节、圣诞节、古建筑、沙滩、烟花、植物、雪景、美食和旅行,等等。
电子设备100可以使用训练好的场景分类模型识别图像流中每个画面帧的场景类别。其中,对场景分类模型的训练,可以预先通过大量标注好场景类别的图像数据,建立数据集。然后,将数据集输入到分类模型中对神经网络分类模型进行训练。其中,该场景分类模型所使用的神经网络不作限定,例如,可以是卷积神经网络,全卷积神经网络、深度神经网络、BP神经网络等等。
在一种可能的实现方式中,为了提高图像流中画面帧的场景类别的识别速度,电子设备100可以在将图像流输入到场景分类模型中之前,可以先将实时采集的图像流进行间隔采样(例如,每3帧取1帧),得到采样图像流,并记录下采样图像流中的采样图像帧在实时的图像流中的画面帧号,并将采样图像流输入到神经网络分类模型中,识别采样图像流中每个采样图像帧的场景类别。在识别出采样图像流中每个采样图像帧的场景类别后,电子设备100可以将基于采样图像帧的场景类别和画面帧号,将图像流中与采样图像帧的画面帧号相同以及相邻的多个画面帧都标注成该采样图像帧对应场景类别。例如,电子设备100可以从图像流的每3帧画面帧中取1帧画面帧作为采样图像帧。其中,图像流中第77号画面帧为采样图像帧,其中,该帧号为77的采样图像帧的场景类别为“人物”。那么,电子设备100可以将图像流中第77号画面帧以及第76号画面帧和第78号画面帧的场景类别都标注为“人物”。
在一种可能的实现方式中,为了提高图像流中画面帧的场景类别的识别速度,还可以降低图像流的分辨率(例如,从4K降低到640*480分辨率)后再输入到场景分类模型中。
在一种可能的实现方式中,为了提高图像流中画面帧的场景类别的识别速度,还可以降低图像流的分辨率(例如,从4K降低到640*480分辨率)并间隔采样后再输入到场景分类模型中。
S903、电子设备100对图像流进行转场检测,确定图像流中发生场景转换的转场位置和转场类别。
其中,场景转换的转换类别可以包括视频主体转换(例如可具体划分为视频主体由风景变为人、人转风景、人转美食、美食转人、人转古建筑、古建筑转风景,等等),画面缩放、快速运镜,等等。
电子设备100可以使用训练好的转场识别模型对识别图像流中发生场景转换的转场位置和转场类别。其中,对转场识别模型的训练,可以预先通过大量标注好转场位置和转场类别的图像流,建立数据集。然后,将数据集输入到转场识别模型中对转场识别模型进行训练。其中,该转场识别模型所使用的神经网络不作限定,例如,可以是3D卷积神经网络,等等。
在一种可能的实现方式中,为了提高图像流中发生场景转换的转场位置和转场类别的识别速度。电子设备100在将图像流输入到转场识别模型中之前,可以先将实时采集的图像流进行降分辨率处理(例如,从4K降低到640*480分辨率),得到低清图像流。然后,再将低清图像流输入到转场识别模型中,进行转场检测,识别出低清图像流中的转场位置和转场类别。电子设备100可以将低清图像流中转场位置和转场类别,确定实时获取到的图像流中对应的转场位置和转场类别。
在本本申请实施例中,上述步骤S902和步骤S903的执行顺序,不作限定,可以先执行步骤S902,也可以先执行步骤S903,也可以并行执行步骤S902和步骤S903。
S904、电子设备100基于图像流中每个画面帧的场景类别以及图像流中发生场景转换的转场位置和转场类别,将图像流划分为多个画面片段,并确定每个画面片段的片段主题。
S905、电子设备100基于多个画面片段的片段主题,从多个画面片段中确定出精彩主题下的多个精彩画面片段,并记录多个精彩画面片段在图像流中的位置。
示例性的,如图10所示,图像流的时间长度可以为0~t14。其中,图像流中场景类别的识别结果可以为:图像流中0~t2片段的场景类别为“人物(人物A)”、图像流中t2~t5片段的场景类别为“人物(人物B)”、图像流中t5~t10片段的场景类别为“美食”、图像流中t10~t14片段的场景类别为“风景”。
图像流中转场的识别结果可以为:图像流中t1~t3片段的转场类别为“人物转人物”、图像流中t4~t6片段的转场类别为“人物转美食”、图像流中t7~t8片段的转场类别为“快速运镜”、图像流中t9~t11片段的转场类别为“画面缩放”。
图像流中画面片段的划分以及片段主题可以为:图像流中可以划分有t0~t1画面片段、t1~t3画面片段、t3~t4画面片段、t4~t6画面片段、t6~t7画面片段、t7~t8画面片段、t8~t9画面片段、t9~t11画面片段、t11~t12画面片段、t12~t13画面片段、t13~t14画面片段。其中,t0~t1画面片段的片段主题为“人物”、t1~t3画面片段的片段主题为“无效”、t3~t4画面片段的片段主题为“人物”、t4~t6画面片段的片段主题为“无效”、t6~t7画面片段的片段主题为“美食”、t7~t8画面片段的片段主题为“无效”、t8~t9画面片段的片段主题为“美食”、t9~t11画面片段的片段主题为“无效”、t11~t12画面片段的片段主题为“风景”、t12~t13画面片段的片段主题为“无效”、t13~t14画面片段的片段主题为“风景”。
电子设备100可以剔除多个画面片段中的无效主题片段,保留剩下的精彩画面片段。例如,如图10所示,剩下的精彩画面片段可以包括有t0~t1画面片段、t3~t4画面片段、t6~t7画面片段、t8~t9画面片段、t11~t12画面片段和t13~t14画面片段。
S906、在录制结束时,电子设备100将图像流和音频流混流成原视频。
其中,在录制结束时,电子设备100可以基于图像流的时间轴和音频流的时间轴,将图像流和音频流混流成原视频。其中,电子设备100可以接收用户的输入,触发录制结束视频,也可以是电子设备100在录制指定时长时,自动结束录制。
S907、电子设备100基于图像流中多个精彩画面片段的位置,从原视频中截取出多个精彩视频片段。
例如,多个精彩画面片段可以包括有t0~t1画面片段、t3~t4画面片段、t6~t7画面片段、t8~t9画面片段、t11~t12画面片段和t13~t14画面片段。电子设备100可以将原视频中时间线为t0~t1的视频片段截取出来作为精彩视频片段1,将时间线为t3~t4的视频片段截取出来作为精彩视频片段2,将时间线为t6~t7的视频片段截取出来作为精彩视频片段3,将时间线为t8~t9的视频片段截取出来作为精彩视频片段4、将时间线为t11~t12的视频片段截取出来作为精彩视频片段5,将时间线为t13~t14的视频片段截取出来作为精彩视频片段6。
S908、电子设备100将多个精彩视频片段融合成一个精彩视频。
其中,电子设备100可以直接将多个精彩视频片段按照时间先后顺序拼接在一起作为一个精彩视频。例如,当原视频中包括有第一视频片段、第二视频片段和第三视频片段,精彩视频片段中包括第一视频片段和第三视频片段时,电子设备可以将第一视频片段的结束位置和第三视频片段的开始位置,拼接在一起,得到精彩视频。
在一种可能的实现方式中,电子设备100可以在拼接的过程中,可以在精彩视频片段的拼接区添加视频特效,用于对视频进行过渡。其中,视频特效可以包括画面特效。可选的,视频特效还可以包括音频特效。例如,当原视频中包括有第一视频片段、第二视频片段和第三视频片段,精彩视频片段中包括第一视频片段和第三视频片段时,电子设备可以将第一视频片段的结束位置和第一特效片段的开始位置拼接在一起,将第一特效片段的结束位置和第三视频片段的开始位置拼接在一起,得到所述第二视频。
其中,拼接区可以在两个精彩视频片段中前一个精彩视频片段的结束位置和后一个精彩视频片段的开始位置之间增加一段的时间区域。例如,如图10所示,精彩视频片段1的结束位置和精彩视频片段2的开始位置之间可以有拼接区1、精彩视频片段2的结束位置和精彩视频片段3的开始位置之间可以有拼接区2、精彩视频片段3的结束位置和精彩视频片段4的开始位置之间可以有拼接区3、精彩视频片段5的结束位置和精彩视频片段6的开始位置之间可以有拼接区4、精彩视频片段5的结束位置和精彩视频片段6的开始位置之间可以有拼接区5。
在一种可能的实现方式中,拼接区可以是两个精彩视频片段中前一个精彩视频片段的末尾部分区域(例如,末尾500ms部分)和后一个精彩视频片段的开始部分区域(例如,开始500ms部分)组成的区域。例如,如图11所示,精彩视频片段1的末尾部分区域和精彩视频片段2的开始部分区域可以为拼接区1、精彩视频片段2的末尾部分区域和精彩视频片段3的开始部分区域可以为拼接区2、精彩视频片段3的末尾部分区域和精彩视频片段4的开始部分区域可以为拼接区3、精彩视频片段4的末尾部分区域和精彩视频片段5的开始部分区域可以为拼接区4、精彩视频片段5的末尾部分区域和精彩视频片段6的开始部分区域可以为拼接区5。
其中,拼接区的画面特效可以包括飞入、飞出、前后两个精彩视频片段的画面融合,等等。例如,在两个精彩视频片段的拼接区中,可以将前面一个精彩视频片段的画面从左侧渐渐飞出视频显示窗口,并同时将后面一个精彩视频片段的画面从右侧渐渐飞入视频显示窗口。
其中,拼接区的音频特效可以包括纯音乐、歌曲,等等。可能的实现方式中,当拼接区可以是两个精彩视频片段中前一个精彩视频片段的末尾部分区域和后一个精彩视频片段的开始部分区域(例如,开始500ms部分)组成的区域时,电子设备100可以在拼接区将前一个精彩视频片段的音频音量逐渐减小,并将后一个精彩视频片段的音频音量从小逐渐增大。
在一种可能的实现方式中,电子设备100可以基于拼接区前后两个精彩视频片段对应的片段主题,选择该拼接区使用的视频特效。例如,拼接区1之前精彩视频片段1对应的片段主题为“人物”,拼接区1之后精彩视频片段2对应的片段主题为“人物”,拼接区1中可以用视频特效1。拼接区2之前精彩视频片段2对应的片段主题为“人物”,拼接区2之后精彩视频片段3对应的片段主题为“美食”,拼接区2中可以用视频特效2。拼接区3之前精彩视频片段3对应的片段主题为“美食”,拼接区3之后精彩视频片段4对应的片段主题为“美食”,拼接区1中可以用视频特效3。拼接区4之前精彩视频片段4对应的片段主题为“美食”,拼接区4之后精彩视频片段5对应的片段主题为“风景”,拼接区4中可以用视频特效4。拼接区5之前精彩视频片段5对应的片段主题为“风景”,拼接区5之后精彩视频片段6对应的片段主题为“风景”,拼接区5中可以用视频特效5。
在一种可能的实现方式中,电子设备100可以在将多个精彩视频片段按照时间先后顺序拼接在一起作为一个精彩视频后,可以在精彩视频中进行添加背景音乐。可选的,电子设备100可以基于这多个精彩视频片段中的片段主题,选择背景音乐。例如,电子设备100可以选择这多个精彩视频片段中的片段主题中,出现时间最长的片段主题作为精彩视频的主题,并基于精彩视频的主题,选择该精彩视频的主题对应的音乐作为背景音乐,添加到精彩视频中。
在一种可能的实现方式中,电子设备100可以基于多个精彩视频片段的片段主题分别对多个精彩视频片段进行配乐。然后,在将配乐之后的多个精彩视频片段按照时间先后顺序拼接在一起作为一个精彩视频。例如,精彩视频片段1对应的片段主题为“人物”,因此,精彩视频片段1的片段主题可以为音乐1。精彩视频片段2对应的片段主题为“人物”,因此,精彩视频片段1的片段主题可以为音乐1。精彩视频片段3对应的片段主题为“美食”,因此,精彩视频片段1的片段主题可以为音乐2。精彩视频片段4对应的片段主题为“美食”,因此,精彩视频片段1的片段主题可以为音乐2。精彩视频片段5对应的片段主题为“风景”,因此,精彩视频片段1的片段主题可以为音乐3。精彩视频片段6对应的片段主题为“风景”,因此,精彩视频片段1的片段主题可以为音乐3。
S909、电子设备100保存原视频和精彩视频。
其中,电子设备100保存的原视频和精彩视频后,展示保存的原视频和精彩视频的界面示意图可以参考前述图4A-图4G所示实施例,在此不再赘述。
在一些实施例中,电子设备100可以在图库应用中对已拍摄好的原视频生成精彩视频。此时,电子设备100可以先从原视频中拆分出图像流和音频流。然后,基于图像流进行上述步骤S902至步骤S905、以及步骤S907至步骤S908,生成精彩视频。
在一种可能的实现方式中,电子设备100可以保存第三视频,其中,原视频可以包括第五视频片段和第六视频片段。第五视频片段的结束时刻早于或等于第六视频片段的开始时刻,第三视频包括第五视频片段和第六视频片段,第五视频片段和第六视频片段中都包括有相同的拍摄主体。例如,第五视频片段和第六视频片段中都包括有人物拍摄主体,等等。这样,可以将原视频中同一类拍摄主体的片段提取出来生成精彩视频,提高了用户录制的视频的观赏体验。
通过本申请实施例提供的一种视频处理方法,可以通过对用户录制的视频中场景分析和转场分析,删除录制的视频中无效片段(例如,场景切换、画面缩放、画面快速运镜、画面严重抖动,等等),剪辑出录制的视频中的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频。这样,可以提高用户录制视频的观赏性。
图12示出了本申请实施例中提供的一种视频处理***的功能模块图。
如图12所示,视频处理***1200可以包括:数据模块1201、感知模块1202、融合模块1203、视频处理模块1204。其中,
数据模块1201用于获取录制视频时的图像流和音频流。数据模块1201可以将图像流传递给感知模块1202,将图像流和音频流传递给视频处理模块1204。
感知模块1202可以对图像流进行视频理解,其中,视频理解包括转场检测和场景检测。具体的,感知模块1202可以对图像流进行场景检测,识别图像流中的每个画面帧的场景类别。感知模块1202可以对图像流进行转场检测,识别图像流中发生场景转换的转场位置和转场类型。其中,针对图像流的转场检测和场景检测的具体内容,可以参考前述图9所示实施例中的步骤S902和步骤S903,在此不再赘述。
感知模块1202可以将每个画面帧的场景类别以及图像流中发生场景转换的转场位置和转场类别传递给融合模块1203。
融合模块1203可以基于图像流中发生场景转换的转场位置,将图像流划分为多个画面片段。融合模块1203可以基于发生场景转换的转场位置和转场类型以及每个画面帧的场景类别、确定多个画面片段中每个画面片段的片段主题。具体内容,可以参考前述图9所示实施例中的步骤S905,在此不再赘述。
融合模块1203可以将多个画面片段的位置和片段主题呈递给视频处理模块1204。
视频处理模块1204可以将音频流和图像流混流成原视频。视频处理模块1204可以基于多个画面片段的位置和片段主题,将原视频中无效主题的画面片段移除,从而截取出多个精彩视频片段。具体内容,可以参考前述图9所示实施例中的步骤S906至步骤S907,在此不再赘述。
视频处理模块1204可以将多个精彩视频片段融合成一个精彩视频,其中,融合过程包括:对精彩视频片段的拼接、增加特效、添加配乐等等。具体内容,可以参考前述图9所示实施例中的步骤S908,在此不再赘述。
视频处理模块1204可以输出原视频和精彩视频。
图13示出了本申请另一实施例中提供的一种视频处理方法的流程示意图。
如图13所示,该视频处理方法包括:
S1301、电子设备100获取录像过程中实时采集的音频流和图像流。
具体内容,可以参考前述图9所示实施例中的步骤S901,在此不再赘述。
S1302、电子设备100对图像流进行场景检测,确定出图像流中每个画面帧的场景类别。
具体内容,可以参考前述图9所示实施例中的步骤S902,在此不再赘述。
S1303、电子设备100对图像流进行转场检测,确定图像流中发生场景转换的转场位置和转场类别。
具体内容,可以参考前述图9所示实施例中的步骤S903,在此不再赘述。
在本本申请实施例中,上述步骤S1302和步骤S1303的执行顺序,不作限定,可以先执行步骤S1302,也可以先执行步骤S1303,也可以并行执行步骤S1302和步骤S1303。
S1304、电子设备100对音频流进行声音激活检测,识别音频流中语音信号的起止时间点,并将音频流划分成多个音频片段。
其中,电子设备100可以对语音信号进行滑窗切片,检测滑窗内的音频信号语音信号的音频特征。电子设备100可以基于图像流中的音频特征,识别图像流中的语音信号的起止时间点。电子设备100可以基于音频流中语音信号的起止时间点,将音频流划分为多个音频片段。其中,音频特征可以包括光谱斜率(spectralslope)、相关系数(correlationcoefficiens)、对数似然比(loglikelihoodratio)、倒谱系数(cepstral)、加权倒谱系数(weightedcepstral)等特征。
S1305、电子设备100对音频流中的多个音频片段进行音频事件分类。
其中,电子设备100可以使用训练号的音频事件分类模型识别音频片段的音频事件类别。其中,对音频事件分类模型的训练,可以预先通过大量标注好音频信号和音频事件类别,建立数据集。然后,将数据集输入到音频事件分类模型中对音频事件分类模型进行训练。其中,该转场识别模型所使用的神经网络不作限定,例如,可以是循环神经网络(recurrent neural network,RNN)分类模型、长短期记忆(long short-term memory,LSTM)人工神经网络分类模型,等等。
其中,音频事件类型可以包括说话声、笑声、音乐声、噪声,等等。可选的,噪声可以细分包括车辆行驶声、动物叫声、鸟叫声、狗吠声、风声,等等。
S1306、电子设备100基于多个音频片段的起止时间点确定出多个音频片段在图像流中对应的多个音频事件图像片段,以及每个音频事件图像片段对应的音频事件类别。
S1307、电子设备100基于图像流中每个画面帧的场景类别、图像流中发生场景转换的转场位置和转场类别、以及多个音频事件图像片段的位置和音频事件类别,将图像流划分为多个画面片段,并确定每个画面片段的片段主题。
具体的,电子设备100可以基于音频事件图像片段的位置和图像流中发生场景转换的转场位置,将图像流划分为多个画面片段。其中,可以将音频事件图像片段的位置和转场位置取并集,将图像流划分为多个画面片段。
然后,电子设备100可以基于每个画面片段对应的场景类别、转场类别以及音频事件类型,确定每个画面片段的主题。
示例性的,如图14所示,原视频的时间长度可以为0~t20。其中,图像流中场景类别的识别结果可以为:图像流中0~t3片段的场景类别为“人物(人物A)”、图像流中t3~t7片段的场景类别为“人物(人物B)”、图像流中t7~t13片段的场景类别为“美食”、图像流中t13~t16片段的场景类别为“无场景”。图像流中t16~t20片段的场景类别为“风景”。
图像流中转场的识别结果可以为:图像流中t2~t4片段的转场类别为“人物转人物”、图像流中t6~t8片段的转场类别为“人物转美食”、图像流中t10~t11片段的转场类别为“快速运镜”、图像流中t12~t14片段的转场类别为“美食转无场景”、图像流中t17~t19片段的转场类别为“画面缩放”。
图像流中音频事件图像片段的位置以及音频事件类别识别结果可以为:图像流中t0~t1片段的音频事件类别为“说话”、图像流中t1~t5片段的音频事件类别为“笑声”、图像流中t5~t9片段的音频事件类别为“音乐”、图像流中t9~t11片段的音频事件类别为“无声音”、图像流中t11~t18片段的音频事件类别为“噪音”、图像流中t18~t20片段的音频事件类别为“无声音”。
图像流中画面片段的划分以及片段主题可以为:图像流中可以划分有t0~t1画面片段、t1~t2画面片段、t2~t4画面片段、t4~t5画面片段、t5~t6画面片段、t6~t8画面片段、t8~t9画面片段、t9~t10画面片段、t10~t11画面片段、t11~t12画面片段、t12~t14画面片段、t14~t16画面片段、t16~t17画面片段、t17~t18画面片段、t18~t19画面片段和t19~t20画面片段。其中,t0~t1画面片段的片段主题为“人物”、t1~t2画面片段的片段主题为“人物”、t2~t4画面片段的片段主题为“人物转人物+笑声”、t4~t5画面片段的片段主题为“人物”、t5~t6画面片段的片段主题为“人物”、t6~t8画面片段的片段主题为“人物转美食+音乐”、t8~t9画面片段的片段主题为“美食”、t9~t10画面片段的片段主题为“美食”、t10~t11画面片段的片段主题为“快速运镜”、t11~t12画面片段的片段主题为“美食”、t12~t14画面片段的片段主题为“美食转无场景+噪声”、t14~t16画面片段的片段主题为“噪音”、t16~t17画面片段的片段主题为“风景”、t17~t18画面片段的片段主题为“画面缩放+噪音”、t18~t19画面片段的片段主题为“画面缩放”和t19~t20画面片段的片段主题为“风景”。
S1308、电子设备100基于多个画面片段的片段主题,从多个画面片段中确定出精彩主题下的多个精彩画面片段,并记录多个精彩画面片段在图像流中的位置。
其中,电子设备100可以将多个画面片段中预设的精彩主题下的画面片段确定为精彩画面片段。
电子设备100可以将只有转场但无有效声音(例如说话、笑声,音乐等等)的画面片段,以及无有效声音无转场也无场景类别的画面片段,确定为无效片段。将多个画面片段中除无效片段之外的画面片段,确定为精彩画面片段。
例如,如图14所示,电子设备100可以将t0~t1画面片段、t1~t2画面片段、t2~t4画面片段、t4~t5画面片段、t5~t6画面片段、t6~t8画面片段、t8~t9画面片段、t9~t10画面片段,都确定为精彩画面片段,将t10~t11画面片段确定为无效片段、将t11~t12画面片段确定为精彩画面片段,将t12~t14画面片段和t14~t16画面片段确定为无效片段,将t16~t17画面片段确定为精彩画面片段,将t17~t18画面片段和t18~t19画面片段确定为无效片段,将t19~t20画面片段确定为精彩画面片段。
S1309、在录制结束时,电子设备100将图像流和音频流混流成原视频。
S1310、电子设备100基于图像流中多个精彩画面片段的位置,从原视频中截取出多个精彩视频片段。
如图14所示,由于t0~t1画面片段、t1~t2画面片段、t2~t4画面片段、t4~t5画面片段、t5~t6画面片段、t6~t8画面片段、t8~t9画面片段和t9~t10画面片段连续且都为精彩画面片段,电子设备100可以将原视频中的t0~t10视频片段,确定为精彩视频片段1。由于t11~t12画面片段为精彩画面片段,电子设备100将原视频中t11~t12视频片段,确定为精彩视频片段2。由于t16~t17画面片段为精彩画面片段,电子设备100将原视频中t16~t17视频片段,确定为精彩视频片段3。由于t19~t20画面片段为精彩画面片段,电子设备100将原视频中t19~t20视频片段,确定为精彩视频片段4。
S1311、电子设备100将多个精彩视频片段融合成一个精彩视频。
S1312、电子设备100保存原视频和精彩视频。
其中,电子设备100可以直接将多个精彩视频片段按照时间先后顺序拼接在一起作为一个精彩视频。
在一种可能的实现方式中,电子设备100可以在拼接的过程中,可以在精彩视频片段的拼接区添加视频特效,用于对视频进行过渡。其中,视频特效可以包括画面特效。可选的,视频特效还可以包括音频特效。
其中,拼接区可以在两个精彩视频片段中前一个精彩视频片段的结束位置和后一个精彩视频片段的开始位置之间增加一段的时间区域。例如,如图14所示,精彩视频片段1的结束位置和精彩视频片段2的开始位置之间可以有拼接区1、精彩视频片段2的结束位置和精彩视频片段3的开始位置之间可以有拼接区2、精彩视频片段3的结束位置和精彩视频片段4的开始位置之间可以有拼接区3。
在一种可能的实现方式中,拼接区可以是两个精彩视频片段中前一个精彩视频片段的末尾部分区域(例如,末尾500ms部分)和后一个精彩视频片段的开始部分区域(例如,开始500ms部分)组成的区域。具体可以参考前述图11所示实施例,在此不再赘述。
其中,拼接区的画面特效可以包括飞入、飞出、前后两个精彩视频片段的画面融合,等等。例如,在两个精彩视频片段的拼接区中,可以将前面一个精彩视频片段的画面从左侧渐渐飞出视频显示窗口,并同时将后面一个精彩视频片段的画面从右侧渐渐飞入视频显示窗口。
其中,拼接区的音频特效可以包括纯音乐、歌曲,等等。可能的实现方式中,当拼接区可以是两个精彩视频片段中前一个精彩视频片段的末尾部分区域和后一个精彩视频片段的开始部分区域(例如,开始500ms部分)组成的区域时,电子设备100可以在拼接区将前一个精彩视频片段的音频音量逐渐减小,并将后一个精彩视频片段的音频音量从小逐渐增大。
在一种可能的实现方式中,电子设备100可以基于拼接区前后两个精彩视频片段对应的片段主题,选择该拼接区使用的视频特效。
在一种可能的实现方式中,电子设备100可以在将多个精彩视频片段按照时间先后顺序拼接在一起作为一个精彩视频后,可以在精彩视频中进行添加背景音乐。可选的,电子设备100可以基于这多个精彩视频片段中的片段主题,选择背景音乐。例如,电子设备100可以选择这多个精彩视频片段中的片段主题中,出现时间最长的片段主题作为精彩视频的主题,并基于精彩视频的主题,选择该精彩视频的主题对应的音乐作为背景音乐,添加到精彩视频中。
在一种可能的实现方式中,电子设备100可以基于多个精彩视频片段的片段主题分别对多个精彩视频片段进行配乐。然后,在将配乐之后的多个精彩视频片段按照时间先后顺序拼接在一起作为一个精彩视频。
通过本申请实施例提供的一种视频处理方法,可以通过对用户录制的视频中场景分析、转场分析和音频事件分析,删除录制的视频中无效片段,剪辑出录制的视频中的多个精彩视频片段,并将这多个精彩视频片段融合成一个精彩视频。这样,可以提高用户录制视频的观赏性。
图15示出了本申请实施例中提供的一种视频处理***的功能模块图。
如图15所示,视频处理***1500可以包括:数据模块1501、感知模块1502、融合模块1503、视频处理模块1504。其中,
数据模块1501用于获取录制视频时的图像流和音频流。数据模块1501可以将图像流和音频流传递给感知模块1502,将图像流和音频流传递给视频处理模块1504。
感知模块1502可以对图像流进行视频理解,其中,视频理解包括转场检测和场景检测。具体的,感知模块1502可以对图像流进行场景检测,识别图像流中的每个画面帧的场景类别。感知模块1502可以对图像流进行转场检测,识别图像流中发生场景转换的转场位置和转场类型。其中,针对图像流的转场检测和场景检测的具体内容,可以参考前述图13所示实施例中的步骤S1302和步骤S1303,在此不再赘述。
感知模块1502还可以对音频流进行音频理解。其中,音频理解包括声音激活检测和音频事件分类。具体的,感知模块1502可以对音频流进行声音激活检测,识别音频流中语音信号的起止时间点,并将音频流划分成多个音频片段。感知模块1502可以对音频流中的多个音频片段进行音频事件分类。其中,针对音频流的声音激活检测和音频事件分类的具体内容,可以参考前述图13所示实施例中的步骤S1304和步骤S1305,在此不再赘述。
感知模块1502可以将每个画面帧的场景类别以及图像流中发生场景转换的转场位置和转场类别、音频片段的位置和音频事件类型传递给融合模块1503。
融合模块1503可以基于音频片段对应的音频事件图像片段的位置和图像流中发生场景转换的转场位置,将图像流划分为多个画面片段。融合模块1503可以基于每个画面片段对应的场景类别、转场类别以及音频事件类型,确定每个画面片段的主题。具体内容,可以参考前述图13所示实施例中的步骤S1307,在此不再赘述。
融合模块1503可以将多个画面片段的位置和片段主题呈递给视频处理模块1504。
视频处理模块1504可以将音频流和图像流混流成原视频。视频处理模块1504可以基于多个画面片段的位置和片段主题,将原视频中无效主题的画面片段移除,从而截取出多个精彩视频片段。具体内容,可以参考前述图13所示实施例中的步骤S1308至步骤S1310,在此不再赘述。
视频处理模块1504可以将多个精彩视频片段融合成一个精彩视频,其中,融合过程包括:对精彩视频片段的拼接、增加特效、添加配乐等等。具体内容,可以参考前述图13所示实施例中的步骤S1311,在此不再赘述。
视频处理模块1504可以输出原视频和精彩视频。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (21)

1.一种视频处理方法,其特征在于,包括:
电子设备显示拍摄界面,所述拍摄界面包括预览框和录制开始控件,所述预览框中显示所述电子设备的摄像头实时采集得到的画面;
所述电子设备检测到对所述录制开始控件的第一输入;
响应于所述第一输入,所述电子设备开始录制第一视频;
所述电子设备显示录制界面,所述录制界面包括录制结束控件和所述电子设备实时录制的所述第一视频的视频画面;
所述电子设备检测到对所述录制结束控件的第二输入;
响应于所述第二输入,所述电子设备结束录制所述第一视频;
所述电子设备保存所述第一视频和所述第二视频;其中,
所述第一视频包括第一视频片段、第二视频片段和第三视频片段,所述第一视频片段的结束时刻早于或等于所述第二视频片段的开始时刻,所述第二视频片段的结束时刻早于或等于所述第三视频片段的开始时刻;
所述第二视频包括所述第一视频片段和所述第三视频片段,不包括所述第二视频片段。
2.根据权利要求1所述的方法,其特征在于,所述第一视频的时长大于所述第二视频的时长;或,所述第一视频的时长小于所述第二视频的时长;或,所述第二视频的时长等于所述第二视频的时长。
3.根据权利要求1所述的方法,其特征在于,在所述电子设备保存第二视频之前,所述方法还包括:
所述电子设备将所述第一视频中的所述第一视频片段和所述第三视频片段拼接在一起,得到所述第二视频。
4.根据权利要求3所述的方法,其特征在于,所述电子设备将所述第一视频中的所述第一视频片段和所述第三视频片段拼接在一起,得到所述第一视频,具体包括:
所述电子设备将所述第一视频片段的结束位置和所述第三视频片段的开始位置,拼接在一起,得到所述第二视频;或,
所述电子设备将所述第一视频片段的结束位置和第一特效片段的开始位置拼接在一起,将所述第一特效片段的结束位置和所述第三视频片段的开始位置拼接在一起,得到所述第二视频。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述第一视频片段和所述第三视频片段为精彩视频片段,所述第二视频片段为无效视频片段。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述第一视频还包括第四视频片段;
若所述第四视频片段为精彩视频片段,则所述第二视频包括所述第四视频片段;
若所述第四视频片段为无效视频片段,则所述第二视频不包括所述第四视频片段。
7.根据权利要求4或5中任一项所述的方法,其特征在于,所述精彩视频片段包括所述第一视频中拍摄场景为精彩场景且不包括转场片段的视频片段。
8.根据权利要求4或5中任一项所述的方法,其特征在于,所述精彩视频片段包括所述第一视频中拍摄场景为精彩场景且不包括有噪音或无声音的转场片段的视频片段。
9.根据权利要求6或7所述的方法,其特征在于,所述精彩场景包括人物、风景、美食、春节、圣诞节、建筑、沙滩、烟花、植物、雪景或旅行中的一个或多个场景。
10.根据权利要求1-9中任一项所述的方法,其特征在于,所述录制界面还包括抓拍控件,在所述电子设备显示所述录制界面时,所述方法还包括:
所述电子设备接收用户针对所述抓拍控件的第三输入;
响应于所述第三输入,所述电子设备将在接收所述第三输入时所述电子设备的摄像头采集到所述第一视频的第一视频画面保存为第一图片。
11.根据权利要求1-10中任一项所述的方法,其特征在于,在所述电子设备结束录制第一视频后,所述方法还包括:
所述电子设备保存第三视频,其中,所述第一视频包括第五视频片段和第六视频片段;所述第五视频片段的结束时刻早于或等于所述第六视频片段的开始时刻,所述第三视频包括所述第五视频片段和所述第六视频片段,所述第五视频片段和所述第六视频片段中都包括有相同的拍摄主体。
12.根据权利要求1-11中任一项所述的方法,其特征在于,在所述电子设备保存第一视频和第二视频后,所述方法还包括:
所述电子设备显示视频相册界面,所述视频相册界面包括所述第一视频对应的第一选项;
所述电子设备检测到针对所述第一选项的第四输入后,显示所述第一视频的第一视频展示界面,所述第一视频的第一视频展示界面包括所述第一视频的第一展示区域和所述第二视频的第二展示区域,所述第一展示区域用于显示所述第一视频的视频画面,所述第二展示区域用于显示所述第二视频的视频画面。
13.根据权利要求1-11中任一项所述的方法,其特征在于,在所述电子设备保存所述第一视频和所述第二视频后,所述方法还包括:
所述电子设备显示视频相册界面,所述视频相册界面包括所述第一视频对应的第一选项和所述第二视频对应的第二选项;
当所述电子设备检测到针对所述第一选项的第四输入后,显示所述第一视频的第一视频展示界面,所述第一视频的第一展示界面包括所述第一视频的第一展示区域,所述第一展示区域用于显示所述第一视频的视频画面;
当所述电子设备检测到针对所述第二选项的第五输入后,显示所述第二视频的第二视频展示界面,所述第二视频的第二展示界面包括所述第二视频的第二展示区域,所述第二展示区域用于显示所述第二视频的视频画面。
14.根据权利要求1-13中任一项所述的方法,其特征在于,在所述电子设备保存所述第一视频和所述第二视频后,所述方法还包括:
所述电子设备显示所述拍摄界面,并在所述拍摄界面上显示第一提示,所述第一提示用于提示用户所述电子设备已从录制的所述第一视频中生成并保存了所述第二视频。
15.根据权利要求1-14中任一项所述的方法,其特征在于,在所述检测到针对所述录制开始控件的第一输入后,所述方法还包括:
所述电子设备通过摄像头实时采集所述第一视频的图像流,通过麦克风实时采集所述第一视频的音频流;
所述电子设备对所述第一视频的图像流进行场景检测,确定出所述第一视频的图像流中每个画面帧的场景类别;
所述电子设备对所述第一视频的图像流进行转场检测,确定出所述第一视频的图像流中发生场景转换的转场位置和转场类别;
所述电子设备基于所述第一视频的图像流中每个画面帧的场景类别以及所述第一视频的图像流中发生场景转换的转场位置和转场类别,将所述第一视频的图像流划分为多个画面片段,并确定所述多个画面片段中每个画面片段的片段主题;
所述电子设备基于所述多个画面片段的片段主题,从所述画面片段中确定出精彩主题下的多个精彩画面片段,并记录所述多个精彩画面片段在所述第一视频中图像流中的位置;
在所述电子设备检测到针对所述录制结束控件的第二输入后,所述电子设备将所述第一视频的图像流和所述第一视频的音频流混流成所述第一视频;
所述电子设备基于所述多个精彩画面片段在所述第一视频中图像流中的位置,从所述原视频中截取出所述第一视频片段和所述第三视频片段;
所述电子设备基于所述第一视频片段和所述第三视频片段,生成所述第二视频。
16.根据权利要求1-14中任一项所述的方法,其特征在于,在所述检测到针对所述录制开始控件的第一输入后,所述方法还包括:
所述电子设备通过摄像头实时采集所述第一视频的图像流,通过麦克风实时采集所述第一视频的音频流;
所述电子设备对所述第一视频的图像流进行场景检测,确定出所述第一视频的图像流中每个画面帧的场景类别;
所述电子设备对所述第一视频的图像流进行转场检测,确定出所述第一视频的图像流中发生场景转换的转场位置和转场类别;
所述电子设备对所述第一视频的音频流进行声音激活检测,识别所述第一视频的音频流中语音信号的起止时间点,并基于所述语音信号的起止时间点,将所述第一视频的音频流划分成多个音频片段;
所述电子设备对所述第一视频的音频流中多个音频片段进行音频事件分类,确定所述多个音频片段中每个音频片段的音频事件类型;
所述电子设备基于所述第一视频的图像流中每个画面帧的场景类别以及所述第一视频的图像流中发生场景转换的转场位置和转场类别,将所述第一视频的图像流划分为多个画面片段,并确定所述多个画面片段中每个画面片段的片段主题;
所述电子设备基于所述多个音频片段的起止时间点和所述多个画面片段中每个画面片段的片段主题,确定出所述多个音频片段在所述第一视频的图像流中对应的多个音频事件图像片段,以及每个音频事件图像片段对应的音频事件类型;
所述电子设备基于所述第一视频的图像流中每个画面帧的场景类别、所述第一视频的图像流中发生场景转换的转场位置和转场类别、以及所述多个音频事件图像片段的音频事件类别,将所述第一视频的图像流划分为多个画面片段,并确定所述多个画面片段中每个画面片段的片段主题;
在所述电子设备检测到针对所述录像结束控件的第二输入后,所述电子设备将所述第一视频的图像流和所述第一视频的音频流混流成所述第一视频;
所述电子设备基于所述多个精彩画面片段在所述第一视频中图像流中的位置,从所述第一视频中截取出所述第一视频片段和所述第三视频片段;
所述电子设备基于所述第一视频片段和所述第三视频片段,生成所述第二视频。
17.根据权利要求15或16所述的方法,其特征在于,在所述电子设备生成所述第二视频后,所述方法还包括:
所述电子设备在所述第二视频中添加背景音乐;
所述电子设备保存第二视频,具体包括:
所述电子设备保存添加背景音乐后的所述第二视频。
18.根据权利要求1-17中任一项所述的方法,其特征在于,所述第一输入的包括以下一种或多种:手势输入、点击输入和双击输入。
19.一种电子设备,其特征在于,包括摄像头、显示屏、一个或多个处理器和一个或多个存储器;其中,所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-18中任一项所述的方法。
20.一种芯片***,所述芯片***应用于电子设备,所述芯片***包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1-18中任一项所述的方法。
21.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-18中任一项所述的方法。
CN202210193721.3A 2022-02-28 2022-02-28 一种视频处理方法及相关装置 Pending CN115529378A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210193721.3A CN115529378A (zh) 2022-02-28 2022-02-28 一种视频处理方法及相关装置
EP22908855.4A EP4258632A1 (en) 2022-02-28 2022-12-30 Video processing method and related device
PCT/CN2022/143814 WO2023160241A1 (zh) 2022-02-28 2022-12-30 一种视频处理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210193721.3A CN115529378A (zh) 2022-02-28 2022-02-28 一种视频处理方法及相关装置

Publications (1)

Publication Number Publication Date
CN115529378A true CN115529378A (zh) 2022-12-27

Family

ID=84693559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210193721.3A Pending CN115529378A (zh) 2022-02-28 2022-02-28 一种视频处理方法及相关装置

Country Status (3)

Country Link
EP (1) EP4258632A1 (zh)
CN (1) CN115529378A (zh)
WO (1) WO2023160241A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160241A1 (zh) * 2022-02-28 2023-08-31 荣耀终端有限公司 一种视频处理方法及相关装置
CN116761035A (zh) * 2023-05-26 2023-09-15 武汉星巡智能科技有限公司 基于母婴喂食行为识别的视频智能剪辑方法、装置及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030237091A1 (en) * 2002-06-19 2003-12-25 Kentaro Toyama Computer user interface for viewing video compositions generated from a video composition authoring system using video cliplets
CN105979188A (zh) * 2016-05-31 2016-09-28 北京疯景科技有限公司 一种视频录制方法及装置
CN106803987A (zh) * 2015-11-26 2017-06-06 腾讯科技(深圳)有限公司 视频数据的获取方法、装置和***
CN111061912A (zh) * 2018-10-16 2020-04-24 华为技术有限公司 一种处理视频文件的方法及电子设备
CN112738557A (zh) * 2020-12-22 2021-04-30 上海哔哩哔哩科技有限公司 视频处理方法及装置
CN112822563A (zh) * 2019-11-15 2021-05-18 北京字节跳动网络技术有限公司 生成视频的方法、装置、电子设备和计算机可读介质
CN113709561A (zh) * 2021-04-14 2021-11-26 腾讯科技(深圳)有限公司 视频剪辑方法、装置、设备及存储介质
CN113766314A (zh) * 2021-11-09 2021-12-07 北京中科闻歌科技股份有限公司 视频切分方法、装置、设备、***及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140328570A1 (en) * 2013-01-09 2014-11-06 Sri International Identifying, describing, and sharing salient events in images and videos
WO2022007545A1 (zh) * 2020-07-06 2022-01-13 聚好看科技股份有限公司 一种视频集锦的生成方法及显示设备
CN115529378A (zh) * 2022-02-28 2022-12-27 荣耀终端有限公司 一种视频处理方法及相关装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030237091A1 (en) * 2002-06-19 2003-12-25 Kentaro Toyama Computer user interface for viewing video compositions generated from a video composition authoring system using video cliplets
CN106803987A (zh) * 2015-11-26 2017-06-06 腾讯科技(深圳)有限公司 视频数据的获取方法、装置和***
CN105979188A (zh) * 2016-05-31 2016-09-28 北京疯景科技有限公司 一种视频录制方法及装置
CN111061912A (zh) * 2018-10-16 2020-04-24 华为技术有限公司 一种处理视频文件的方法及电子设备
CN112822563A (zh) * 2019-11-15 2021-05-18 北京字节跳动网络技术有限公司 生成视频的方法、装置、电子设备和计算机可读介质
CN112738557A (zh) * 2020-12-22 2021-04-30 上海哔哩哔哩科技有限公司 视频处理方法及装置
CN113709561A (zh) * 2021-04-14 2021-11-26 腾讯科技(深圳)有限公司 视频剪辑方法、装置、设备及存储介质
CN113766314A (zh) * 2021-11-09 2021-12-07 北京中科闻歌科技股份有限公司 视频切分方法、装置、设备、***及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160241A1 (zh) * 2022-02-28 2023-08-31 荣耀终端有限公司 一种视频处理方法及相关装置
CN116761035A (zh) * 2023-05-26 2023-09-15 武汉星巡智能科技有限公司 基于母婴喂食行为识别的视频智能剪辑方法、装置及设备
CN116761035B (zh) * 2023-05-26 2024-05-07 武汉星巡智能科技有限公司 基于母婴喂食行为识别的视频智能剪辑方法、装置及设备

Also Published As

Publication number Publication date
WO2023160241A1 (zh) 2023-08-31
EP4258632A1 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
CN113475092B (zh) 一种视频处理方法和移动设备
CN111866404B (zh) 一种视频编辑方法及电子设备
CN115002340B (zh) 一种视频处理方法和电子设备
CN112887583B (zh) 一种拍摄方法及电子设备
CN113727017B (zh) 拍摄方法、图形界面及相关装置
WO2023160241A1 (zh) 一种视频处理方法及相关装置
CN113099146B (zh) 一种视频生成方法、装置及相关设备
WO2022252660A1 (zh) 一种视频拍摄方法及电子设备
EP4273684A1 (en) Photographing method and electronic device
CN115484380A (zh) 拍摄方法、图形用户界面及电子设备
CN114866860A (zh) 一种播放视频的方法及电子设备
CN115689963A (zh) 一种图像处理方法及电子设备
CN113395441A (zh) 图像留色方法及设备
CN115883958A (zh) 一种人像拍摄方法
CN115484423A (zh) 一种转场特效添加方法及电子设备
CN115484387A (zh) 一种提示方法及电子设备
CN115225756A (zh) 确定目标对象的方法、拍摄方法和装置
CN114285963B (zh) 多镜头视频录制方法及相关设备
CN116055861B (zh) 一种视频编辑方法和电子设备
CN116033261B (zh) 一种视频处理方法、电子设备、存储介质和芯片
WO2023231696A1 (zh) 一种拍摄方法及相关设备
WO2023231616A9 (zh) 一种拍摄方法和电子设备
CN112804440B (zh) 一种处理图像的方法、装置及介质
CN115484392A (zh) 一种拍摄视频的方法及电子设备
CN115811656A (zh) 一种拍摄视频的方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination