CN115119045A - 基于车载多摄像头的视频生成方法、装置及车载设备 - Google Patents

基于车载多摄像头的视频生成方法、装置及车载设备 Download PDF

Info

Publication number
CN115119045A
CN115119045A CN202210055793.1A CN202210055793A CN115119045A CN 115119045 A CN115119045 A CN 115119045A CN 202210055793 A CN202210055793 A CN 202210055793A CN 115119045 A CN115119045 A CN 115119045A
Authority
CN
China
Prior art keywords
video
vehicle
video data
camera
sequences
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210055793.1A
Other languages
English (en)
Inventor
魏建军
罗远庆
陈现岭
赵龙
涂慧勋
颉毅
王光甫
叶年进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Motor Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN202210055793.1A priority Critical patent/CN115119045A/zh
Publication of CN115119045A publication Critical patent/CN115119045A/zh
Priority to PCT/CN2023/072528 priority patent/WO2023138556A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请实施例适用于智能汽车技术领域，提供了一种基于车载多摄像头的视频生成方法、装置及车载设备，所述方法包括：获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据；分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列；确定每个方位的所述视频数据在待生成的目标视频中的显示区域；基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。采用上述方法，可以对多个车载摄像头采集的视频数据进行处理，实现一键成片技术在车载场景的应用。

Description

基于车载多摄像头的视频生成方法、装置及车载设备
技术领域
本申请实施例属于智能汽车技术领域，特别是涉及一种基于车载多摄像头的视频生成方法、装置及车载设备。
背景技术
在智能汽车领域，汽车上安装的摄像头可以实现视频采集功能，这就为一键成片技术在智能汽车领域的应用提供了可能。但是，现有技术中的一键成片主要是针对单个摄像头采集的视频数据来进行的，而汽车上可能安装有多个摄像头，每个摄像头均可以采集到不同的视频数据。因此，现有技术中的一键成片并不适用于车载场景。
发明内容
有鉴于此，本申请实施例提供了一种基于车载多摄像头的视频生成方法、装置及车载设备，用以对多个车载摄像头采集的视频数据进行处理，生成新的视频，实现一键成片技术在车载场景的应用。
本申请实施例的第一方面提供了一种基于车载多摄像头的视频生成方法，包括：
获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据；
分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列；
确定每个方位的所述视频数据在待生成的目标视频中的显示区域；
基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。
本申请实施例的第二方面提供了一种基于车载多摄像头的视频生成装置，包括：
视频数据获取模块，用于获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据；
视频序列提取模块，用于分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列；
显示区域确定模块，用于确定每个方位的所述视频数据在待生成的目标视频中的显示区域；
目标视频生成模块，用于基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。
本申请实施例的第三方面提供了一种车载设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于车载多摄像头的视频生成方法。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的基于车载多摄像头的视频生成方法。
本申请实施例的第五方面提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面所述的基于车载多摄像头的视频生成方法。
与现有技术相比，本申请实施例具有以下优点：
本申请实施例，车载设备通过获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据，可以分别从每个方位的视频数据中提取待处理的一段或多段视频序列。在确定每个方位的视频数据在待生成的目标视频中的显示区域后，车载设备可以基于上述显示区域对多个方位的多段视频序列进行组合，以生成目标视频。本申请实施例基于车载摄像头的位置关系，可以将多个车载摄像头采集的视频数据组合成一个新的目标视频，解决了现有的一键成片技术无法应用于车载多摄像头场景的问题，实现了车载场景下的多个车载摄像头的视频数据的一键成片。同时，基于多个车载摄像头的不同方位，最终生成的目标视频可以具有更多的视角，可以形成更多的组合方案以及特效，能够让一键成片得到的目标视频更具吸引力。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术中的一种一键成片的处理流程示意图；
图2是本申请实施例提供的一种基于车载多摄像头的视频生成方法的示意图；
图3是本申请实施例提供的一种基于车载多摄像头的视频生成方法的处理流程示意图；
图4是本申请实施例提供的一种基于车载多摄像头的视频生成方法中S202的一种实现方式的示意图；
图5是本申请实施例提供的一种基于车载多摄像头的视频生成方法中S2021的一种实现方式的示意图；
图6是本申请实施例提供的一种确定主摄像头的示意图；
图7是本申请实施例提供的一种主视频序列的示意图；
图8是本申请实施例提供的一种基于车载多摄像头的视频生成方法中S2023的一种实现方式的示意图；
图9是本申请实施例提供的一种标记有时间戳序列的视频数据的示意图；
图10是本申请实施例提供的一种视频模板的示意图；
图11是本申请实施例提供的一种基于车载多摄像头的视频生成装置的示意图；
图12是本申请实施例提供的一种车载设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
一键成片是指将待剪辑的视频或图片一键导入，由算法根据预先设定的模板提取视频中的关键帧或选取关键图片，并结合特效、转场、滤镜、音乐等条件合成新视频的一种技术。一键成片无需用户操作，可以自动完成视频或图片的剪辑包装，极大地节省了视频及图片的剪辑时间。
如图1所示，是现有技术中的一种一键成片的处理流程示意图。按照图1所示的处理流程，对于输入视频，车机主要采用视觉算法来实现内容理解，从而提取视频中的关键帧。例如，对视频中涉及的场景进行分类、完成美学评价、对显著区域进行检测、发现精彩片段并提取等等。在此基础上，通过贴纸素材、风格迁移、天空替换等处理实现特效添加，并生成最终的新视频。但是，上述方法并不适用于安装有多个摄像头的汽车。因此，本申请实施例提供了一种基于车载多摄像头的视频生成方法，可以针对多个车载摄像头分别采集到的视频数据执行一键成片操作，提高视频生成的效率。
下面通过具体实施例来说明本申请的技术方案。
参照图2，示出了本申请实施例提供的一种基于车载多摄像头的视频生成方法的示意图，该方法具体可以包括如下步骤：
S201、获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据。
本方法可以应用于车载设备，该车载设备可以是配备于各种类型或型号的汽车上、能够实现对视频数据进行处理的电子设备。例如，车载设备可以是车载计算机、车载视频处理装置等等，本申请实施例对车载设备的具体类型不作限定。
在本申请实施例中，汽车上可以安装有多个车载摄像头，每个车载摄像头可以安装于汽车的不同方位。每个车载摄像头可以对该方位进行视频拍摄，得到汽车行驶过程中该方位上的视频数据。具体地，多个车载摄像头可以包括安装于汽车外部的车载摄像头，也可以包括安装于汽车内部的车载摄像头。其中，安装于汽车外部的车载摄像头可以对行驶过程中汽车外部的景象进行拍摄；安装于汽车内部的车载摄像头可以对汽车中的驾乘人员进行拍摄，得到相应的视频数据。
示例性地，多个车载摄像头可以分别安装于汽车的正前方、左前方、右前方、正后方、左后方、右后方、左侧、右侧等方位。其中，安装于汽车正前方的车载摄像头可以拍摄得到行驶过程中汽车前方的视频，该视频可以是与驾乘人员实际看到的景象相同的视频；安装于汽车右侧的车载摄像头可以拍摄得到行驶过程中汽车右侧的视频，该视频可以是与驾乘人员向右看到的景象相同的视频。
在本申请实施例中，汽车在行驶过程中，各个方位的车载摄像头均可以处于工作状态，对相应方位的景象进行视频拍摄，得到该方位上的视频数据。车载设备在将多个车载摄像头分别采集得到的视频数据处理成一段视频时，可以首先从这些车载摄像头获取到相应的视频数据。
S202、分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列。
在本申请实施例中，车载设备将多个车载摄像头拍摄得到的视频数据处理成一段视频时，可以仅保留各个方位上的视频数据中较为关键的视频内容，这些视频内容可以是由该方位上的关键视频帧组合而成的。因此，车载设备获取到各个方位的视频数据后，可以从每个方位的视频数据中提取出视频序列，这些视频序列即是待处理成一段新视频的视频序列。
需要说明的是，对于每个方位上的车载摄像头采集到的视频数据，车载设备在从中提取视频序列时，可以仅从该视频数据中提取一段视频序列，也可以从该视频数据中提取多段视频序列；并且，车载设备从各个方位上的车载摄像头采集的视频数据中提取出的视频序列的段数可以是相等的，也可以是不等的，本申请实施例对此均不作限定。
在本申请实施例的一种可能的实现方式中，S202中车载设备分别从每个方位的视频数据中提取待处理的一段或多段视频序列时，可以首先对视频数据进行内容理解。
如图3所示，是本申请实施例提供的一种基于车载多摄像头的视频生成方法的处理流程示意图。相较于图1中所示的现有技术中一键成片的处理流程，本方法中的输入视频即是车载设备从各个车载摄像头获取到的汽车不同方位上的视频数据。对于输入视频的内容理解，车载设备可以采用于现有技术中相同的方式来进行。例如，对视频中涉及的场景进行分类、完成美学评价、对显著区域进行检测、发现精彩片段等等。然后，车载设备可以对多个车载摄像头采集的视频数据进行处理，提取各个视频数据中的关键帧或精彩片段，作为待处理的视频序列。
在本申请实施例的另一种可能的实现方式中，如图4所示，S202中车载设备分别从每个方位的视频数据中提取待处理的一段或多段视频序列可以包括如下子步骤S2021-S2023：
S2021、确定不同方位的多个所述车载摄像头中的主摄像头。
在本申请实施例中，车载设备从多个车载摄像头中确定主摄像头可以是基于驾乘人员的选择来确定的。示例性地，驾乘人员可以在车载设备中进行操作，预先选定安装于汽车正前方的车载摄像头作为主摄像头。这样，车载设备可以基于驾乘人员的选择操作，对应地将正前方的车载摄像头作为主摄像头。
或者，车载设备也可以基于各个车载摄像头实际拍摄得到的视频内容，动态地确定主摄像头。通过动态地确定主摄像头，使得在一段连续的时间内，主摄像头可以是车载摄像头中的不同摄像头。由于各个车载摄像头拍摄视频的方位不同，从主摄像头采集到的视频数据中提取出的主视频序列也将是不同方位上的视频内容。这样，进一步地增加了一键成片最终生成的目标视频的多样性，提升了目标视频的趣味性。
在本申请实施例的一种可能的实现方式中，如图5所示，S2021中车载设备确定不同方位的多个车载摄像头中的主摄像头具体可以包括如下子步骤S211-S213：
S211、获取所述汽车在行驶过程中的地图导航信息。
在本申请实施例中，地图导航信息可以是汽车在行驶过程中用于指示该汽车的行驶路径和方向的信息。
S212、根据所述地图导航信息，识别所述行驶过程中途径的关键位置点。
通常，地图导航信息中除了包括汽车的行驶路径和方向等信息外，还可以包括在行驶路径中途径的多个关键位置点。车载设备可以根据地图导航信息，识别出上述各种类型的关键位置点。
在本申请实施例中，上述关键位置点可以是著名景点、商圈、标志性建筑物的所在位置。在这些关键位置点及其附近，车载摄像头可以对该关键位置点进行拍摄，得到一些精彩的视频片段。
S213、基于所述汽车的行驶方向和所述关键位置点，从多个所述车载摄像头中确定所述主摄像头；其中，所述主摄像头采集的视频数据为所述主摄像头针对所述关键位置点进行拍摄得到的视频数据。
如图3所示，车载设备可以利用多个车载摄像头的位置关系以及地图导航信息来对多个车载摄像头采集的视频数据进行处理。示例性地，车载设备可以基于汽车的行驶方向和根据地图导航信息识别出的关键位置点，从多个车载摄像头中确定出主摄像头。由于地图导航信息中可以标示有关键位置点，结合地图导航信息确定主摄像头，可以提高确定主摄像头的准确性，最大可能地保证主摄像头采集到的视频数据是与关键位置点相关的视频数据，有助于最终生成的目标视频能够最大限度地保留汽车行驶过程中有趣的内容，增强目标视频的可观赏性。
如图6所示，是本申请实施例提供的一种确定主摄像头的示意图。图6中汽车600上安装的车载摄像头可以包括车载摄像头601、车载摄像头602和车载摄像头603；其中，车载摄像头601安装于汽车的右前方，车载摄像头602安装于汽车的右侧，车载摄像头603安装于汽车的右后方。该汽车600在道路上行驶，将依次经过图6中的A、B、C三个位置点，即汽车600的行驶方向为由位置点A向位置点C行驶。图6中的位置点S为某一关键位置点。例如，位置点S为某著名景点所在位置。
车载设备可以基于汽车600的行驶方向和关键位置点S，动态地从多个车载摄像头中确定主摄像头。示例性地，当汽车600行驶于位置点A时，车载设备可以根据地图导航信息识别出前方的关键位置点S。此时，安装于汽车600的右前方的车载摄像头601拍摄到的视频数据中可以包括关键位置点S的相关内容。因此，车载设备可以将车载摄像头601确定为当前的主摄像头。随着汽车600继续的行驶，汽车600在行驶至位置点B时，关键位置点S位于汽车600的右侧。此时，安装于汽车600的右侧的车载摄像头602拍摄到的视频数据中可以包括关键位置点S的相关内容。因此，车载设备可以将车载摄像头602确定为当前的主摄像头。然后，待汽车600在行驶至位置点C时，关键位置点S位于汽车600的右后方。此时，安装于汽车600的右后方的车载摄像头603拍摄到的视频数据中可以包括关键位置点S的相关内容。因此，车载设备可以将车载摄像头603确定为当前的主摄像头。这样，通过动态地确定主摄像头，可以保证主摄像头采集的视频数据均是针对关键位置点进行拍摄得到的视频数据。
S2022、从所述主摄像头采集的视频数据中提取一段或多段主视频序列；其中，每段所述主视频序列具有相应的时间信息。
在确定出主摄像头后，可以通过识别主摄像头采集的视频数据中的精彩片段，从主摄像头的视频数据中提取出一段或多段主视频序列。每段主视频序列可以具有相应的时间信息。
如图7所示，是本申请实施例提供的一种主视频序列的示意图。图7中所示的视频数据可以是主摄像头采集的视频数据，该段视频数据的时长为60分钟(min)，即3600秒(s)。其中，第0-5s、13-27s、……、3527-3600s为该段视频数据中的精彩片段。这些精彩片段共同组成了主摄像头采集的视频数据的多段主视频序列。视频数据中的精彩片段可以作为后续一键成片所生成的目标视频中的片段。主摄像头采集到的视频数据中的精彩片段可以是多段时间上不连续的视频序列，通过提取精彩片段对应的这些视频序列，可以减少非精彩片段在目标视频中存在的比例，降低目标视频的数据量，减少存储目标视频所需的存储空间，有助于对目标视频进行传播、分享。
S2023、分别从除所述主摄像头外的其他各个所述车载摄像头采集的视频数据中提取出具有所述时间信息的一段或多段视频序列。
对于除主摄像头外的其他各个车载摄像头，车载设备可以从其他各个车载摄像头中提取出具有上述图7中的时间信息的一段或多段视频序列。
通常，在汽车行驶过程中，各个车载摄像头均同时开始工作，每个车载摄像头采集得到的视频数据的时长应当是相等或大致相等的。例如，包括主摄像头在内的各个车载摄像头采集的视频数据的时长均为60min。
这样，在从主摄像头采集的视频数据中提取一段或多段具有时间信息的主视频序列后，对于其他各个摄像头采集的视频数据，车载设备也可以从中提取出具有相同的时间信息的视频序列。根据主视频序列的时间信息，可以快速、准确地从其他车载摄像头采集到的视频数据中提取出与主视频序列相匹配的视频序列，保证一键成片所形成的目标视频的每一帧图像的时间同步，增强目标视频的真实性。
在本申请实施例的一种可能的实现方式中，如图8所示，S2023中分别从除主摄像头外的其他各个车载摄像头采集的视频数据中提取出具有该时间信息的一段或多段视频序列具体可以包括如下子步骤S231-S233：
S231、根据所述时间信息，分别确定每段所述主视频序列的开始视频帧以及结束视频帧的时间戳，得到时间戳序列。
在本申请实施例中，可以根据主视频序列的时间信息，确定每段主视频序列的开始视频帧以及结束视频帧的时间戳。例如，可以首先处理图7中所示的第0-5s对应的一段主视频序列，其开始视频帧为0s处的一帧视频帧，假设该视频帧对应的时间戳为Time1；该段主视频序列的结束视频帧为5s处的一帧视频帧，假设该视频帧对应的时间戳为Time2。然后，车载设备可以处理图7中所示的第13-27s对应的一段主视频序列，其开始视频帧为13s处的一帧视频帧，假设该视频帧对应的时间戳为Time3；该段主视频序列的结束视频帧为27s处的一帧视频帧，假设该视频帧对应的时间戳为Time4。通过对全部各段主视频序列的处理，可以得到时间戳序列，即：{Time1、Time2、Time3、Time4、……、TimeN}
S232、在除所述主摄像头外的其他各个所述车载摄像头采集的视频数据中标记出所述时间戳序列。
然后，可以在其他各个车载摄像头采集的视频数据中标记出上述时间戳序列，即，在其他各个车载摄像头采集的视频数据中对时间戳序列{Time1、Time2、Time3、Time4、……、TimeN}中各个时间戳对应的视频帧进行标记。
S233、从被标记有所述时间戳序列的视频数据中，依次确定待提取视频序列并对所述待提取视频序列进行提取，得到具有所述时间信息的一段或多段视频序列。
如图9所示，是本申请实施例提供的一种标记有时间戳序列的视频数据的示意图。其中，Time1与Time2各自对应的视频帧之间的各个视频帧所组成的视频序列的时间信息与图7中所示的第0-5s的主视频序列的时间信息相同；Time3与Time4各自对应的视频帧之间的各个视频帧所组成的视频序列的时间信息与图7中所示的第13-27s的主视频序列的时间信息相同。因此，在从图9所示的视频数据中提取出视频序列时，可以依次提取Time1与Time2各自对应的视频帧之间的各个视频帧所组成的视频序列，提取Time3与Time4各自对应的视频帧之间的各个视频帧所组成的视频序列，直到从该视频数据中提取出全部的视频序列。由于时间戳序列是根据主视频序列的时间信息生成的，本申请实施例按照时间戳序列依次对其他车载摄像头采集的视频数据进行视频序列的提取，可以保证所提取出的视频序列与主视频序列在时间上的一致性。并且，车载设备可以直接按照提取视频序列的顺序对其进行存储，降低了存储这些视频序列的处理难度。
S203、确定每个方位的所述视频数据在待生成的目标视频中的显示区域。
在本申请实施例中，待生成的目标视频可以是指一键成片所最终生成的视频。确定每个方位的视频数据在待生成的目标视频中的显示区域即是确定从各个车载摄像头的视频数据中提取出的视频序列，应当在目标视频画面中哪个位置进行播放。
在本申请实施例的一种可能的实现方式中，可以根据视频模板来确定每个方位的视频数据在待生成的目标视频中的显示区域。具体地，车载设备可以接收针对待生成的目标视频选定的视频模板。即，驾乘人员可以根据实际需求或偏好从多个视频模板中选定任意一个视频模板。每个视频模板中均可以包括多个模板区域，任一模板区域与汽车不同方位的车载摄像头具有绑定关系。车载设备可以根据每个方位的车载摄像头与模板区域之间的绑定关系，确定每个方位的视频数据在待生成的目标视频中的显示区域。
示例性地，如图10所示，是本申请实施例提供的一种视频模板的示意图。驾乘人员选定的该视频模板可以包括区域一、区域二、区域三和区域四共四个模板区域。其中，区域一可以与汽车左侧车载摄像头具有绑定关系；区域二可以与汽车右侧车载摄像头具有绑定关系；区域三可以与汽车正前方的车载摄像头具有绑定关系；区域四可以与汽车正后方的车载摄像头具有绑定关系。这样，在选定图10所示的视频模板后，在最终一键成片生成的新视频中，也将包括有四个显示区域，这四个显示区域与图10中的视频模板中的四个模板区域的位置相同。每个显示区域分别用于显示具有绑定关系的车载摄像头所拍摄的视频数据。
S204、基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。
在本申请实施例中，车载设备可以对从不同方位的车载摄像头采集的视频数据中所提取出的视频序列进行组合，从而生成目标视频。具体地，车载设备可以在各个显示区域中，分别播放从对应方位的车载摄像头采集的视频数据中提取的一段或多段视频序列，从而生成目标视频。该目标视频在播放时，即可在一个视频画面中向驾乘人员或其他用户呈现多个不同方位的车载摄像头所采集的视频数据，实现对车载场景中的多个车载摄像头采集的视频数据的一键成片。
在本申请实施例的一种可能的实现方式中，车载设备在执行一键成片时，还可以在目标视频中添加视频特效。示例性地，在目标视频中添加背景音乐、变换视频风格、添加贴纸素材、对视频图像进行滤镜处理、进行天气替换等等，本申请实施例对如何添加视频特效不作限定。
在本申请实施例中，车载设备通过获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据，可以分别从每个方位的视频数据中提取待处理的一段或多段视频序列。在确定每个方位的视频数据在待生成的目标视频中的显示区域后，车载设备可以基于上述显示区域对多个方位的多段视频序列进行组合，以生成目标视频。本申请实施例基于车载摄像头的位置关系，可以将多个车载摄像头采集的视频数据组合成一个新的目标视频，解决了现有的一键成片技术无法应用于车载多摄像头场景的问题，实现了车载场景下的多个车载摄像头的视频数据的一键成片。同时，基于多个车载摄像头的不同方位，最终生成的目标视频可以具有更多的视角，可以形成更多的组合方案以及特效，能够让一键成片得到的目标视频更具吸引力。
在上述实施例中对多段视频进行组合展示的基础上，还可以对多段展示视频的清晰度进行调整，确保展示给用户的是清晰度高的视频。具体过程如下：
在利用时间戳信息获取到相同时间内的待显示的视频序列后，可以对选中的多段视频序列的视频清晰度进行识别比对，然后依据识别比对结果，结合特定车辆信息对视频序列进行去模糊处理，确保待显示视频的视频清晰度满足要求。其中，该特定车辆信息会对车载摄像头拍摄的视频清晰度产生影响，本申请实施例对该特定车辆信息的具体参数种类不作限定，可根据车型不同，车辆行驶状态不同等原因进行调整。例如，特定车辆信息可以包括：车速信息、车辆位置信息和/或用于播放目标视频的车机或终端设备的界面显示大小等。
其中，将选中的多段视频序列的每一段视频与预设清晰度的视频进行清晰度比对，若选中的某段视频的清晰度小于用于进行比对的视频的预设清晰度，此时可以判断影响视频清晰度的原因。若确定影响视频清晰度的原因包括车速信息、车辆位置信息等，此时可以将车速信息、车辆位置信息以及清晰度比对结果作为输入，利用预先训练的去模糊模型对待显示视频进行去模糊处理，当待显示视频的视频清晰度与上述用于进行比对的视频的预设清晰度之间的差值保持在第一预设范围内时，停止去模糊处理，得到满足清晰度要求的待显示视频。
此种方式中，将待显示视频与预设清晰度的视频进行清晰度比对，将不满足清晰度要求的待显示视频结合影响清晰度的原因，利用去模糊模型进行去模糊处理，以此确保待显示视频的视频清晰度能够满足预设要求，确保为用户展示高清视频，提高视频清晰度及用户观看体验。
更进一步地，对待显示视频进行清晰度比对时，在将每一段待显示视频与预设清晰度的视频进行清晰度比对时，还可以对不同显示区域内的待显示视频之间的视频清晰度进行比对。具体如下：
选取不同显示区域，相同时间戳序列的多个视频段，对多个视频段之间的视频清晰度进行一一比对，然后将一一比对后的比对结果及特定车辆信息作为输入，利用预先训练的去模糊模型进行去模糊处理，当去模糊处理的视频之间的清晰度保持在第二预设范围内时，停止去模糊处理，得到满足视频间清晰度要求的待显示视频。
此处在进行视频显示前，在将待显示视频的视频清晰度与预设清晰度的视频进行清晰度比对处理后，对选取的每个显示区域内的待显示视频之间的视频清晰度进行比对，利用去模糊模型将每一个显示区域内的待显示视频的视频清晰度进行一致性调整，使不同显示区域内的显示视频处于同一清晰度，确保最终展示给用户的整体视频处于相同的清晰度，以此能确保显示屏播放的视频的清晰度的一致性，进而确保播放的视频的稳定性。
为了更详细介绍本申请中视频去模糊处理过程，现以特定车辆信息包括：车速信息、车辆位置信息和界面显示大小为例，对视频去模糊过程进行介绍。
本申请实施例中，车机可以预先存储有不同车速、不同车辆位置信息、不同界面显示大小与不同视频去模糊模型之间的匹配关系。因此，车机在获取到待处理图像在拍摄时对应摄像头的目标移动速度、不同车辆位置信息、不同界面显示大小之后，可以根据该目标移动速度以及预先存储的不同移动速度与不同视频去模糊模型之间的匹配关系，不同位置信息与不同视频去模糊模型之间的匹配关系，界面显示大小以及预先存储的不同界面显示大小与不同视频去模糊模型之间的匹配关系，得到与该车速、车辆位置信息及界面显示大小匹配的目标视频去模糊模型。
在本申请的一个实施例中，车机可以预先构建一个用于存储多个视频去模糊模型的模型库，且每个视频去模糊模型都有其对应的预设速度范围区间、预设位置区域区间及界面显示大小区间。因此，车机可以在该预先构建的模型库中查找与待处理图像在拍摄时对应摄像头的目标移动速度、位置信息及界面显示大小匹配的目标视频去模糊模型。其中，预设速度范围区间可以根据实际需要设置，此处不作限制。示例性的，预设速度范围区间可以设置为：(0,30)、[30,40]、(40,50]、(50,60]、(60,70]、(70,80]、(80,90]及(90,+∞)等，上述速度范围区间中的任一速度的单位均为km/h。预设位置区域区间可以以城市街道为单位，也可以以城市景点为单位设置，例如A城市中的a街道，或是A城市内的景点b。界面显示大小可根据当前车内显示屏的尺寸大小进行设置。
具体地，车机可以根据上述目标移动速度确定其所处的目标速度范围区间，再根据该目标速度范围区间从预先构建的模型库中查找待处理视频对应的第一目标视频去模糊模型。然后再根据车辆位置信息确定其所处的预设位置区域区间，再根据该预设位置区域区间从预先构建的模型库中查找待处理视频对应的第二目标视频去模糊模型。最后车机可以根据界面显示大小确定其所处的界面显示大小区间，再根据该界面显示大小区间从预先构建的模型库中查找待处理视频对应的第三目标视频去模糊模型。然后分别利用第一目标视频去模糊模型、第二目标视频去模糊模型和第三目标视频去模糊模型对待显示视频进行去模糊处理，分别得到三种处理后的视频，再对该三种处理后的视频间进行清晰度比对，选取清晰度最高的视频作为最终的待显示视频。
或者，根据预先训练的预设速度范围区间、预设位置区域区间及界面显示大小区间之间的对应关系，选取视频去模糊模型。具体的：
根据当前的车辆位置信息，结合当前车速，确定目标车速-位置对应区间，再根据该车速-位置对应区间从预先构建的模型库中查找待处理视频对应的初级去模糊模型，在初级去模糊模型的基础上查找对应界面显示大小对应的目标显示缩放比例，依据初级去模糊模型和目标显示缩放比例从预先构建的模型库中查找目标视频去模糊模型。然后利用该目标视频去模糊模型对待显示视频进行去模糊处理，得到最终的清晰视频。
此实施例中利用训练好的视频去模糊模型结合车速信息、车辆位置信息和界面显示大小对待显示视频进行去模糊处理，以此针对不同车速，不同位置及不同显示大小的情况进行视频去模糊处理。可对多种不同车况下的视频进行显示，提高了视频去模糊处理的适用性。
为了更详细地介绍本实施例中视频去模糊模型的训练过程，现以车速为训练参数，对视频去模糊模型的训练过程进行论述。本实施例中采用基于图像的视频去模糊方案。
本实施例提供的视频去模糊的方法中，针对每个预设速度范围区间，车机具体可以通过以下操作得到该预设速度范围区间对应的视频去模糊模型，详述如下：
获取预设速度范围区间对应的原始样本视频的每帧图像作为原始样本图像；
将所述原始样本图像输入预设的原始图像去模糊模型进行处理，得到预处理样本图像。
使用边缘检测算法对所述原始样本图像以及所述预处理样本图像进行处理，得到所述原始样本图像对应的第一算子以及所述预处理样本图像对应的第二算子。
根据所述第一算子和所述第二算子计算其对应的原始样本图像的损失函数。
基于所述损失函数对所述原始图像去模糊模型进行参数优化处理，得到与所述预设速度范围区间对应的图像去模糊模型。
本实施例中，针对每个预设速度范围区间，终端设备可以将与该预设速度范围区间对应的原始样本图像输入预设的原始图像去模糊模型进行处理，得到该原始样本图像对应的预处理样本图像。其中，原始图像去模糊模型可以是预先构建的深度学习模型，如生成对抗网络(DeblurGAN)模型。
终端设备在得到预处理样本图像之后，可以使用边缘检测算法分别对上述原始样本图像和上述预处理样本图像进行处理，从而得到该原始样本图像对应的第一算子和该预处理样本图像对应的第二算子。其中，对应边缘检测算法包括但不限于索贝尔(Sobel)边缘检测算法、Canny边缘检测算法或拉普拉斯(Laplacian)边缘检测算法。
在本申请的一个实施例中，以边缘检测算法为Sobel边缘检测算法为例，终端设备具体可以根据以下公式计算得到损失函数：
Lsobel＝Y_sobel-Predict_sobel；
其中，Lsobel表示上述损失函数，Predict_sobel表示上述原始样本图像对应的第一算子，Y_sobel表示上述预处理样本图像对应的第二算子。
本实施例中，终端设备在得到损失函数后，可以将该损失函数作为反向传播误差，以对原始图像去模糊模型中的网络权重进行更新，即，根据该损失函数对原始图像去模糊模型进行参数优化处理，从而得到上述预设速度范围区间对应的图像去模糊模型。
以上可以看出，本实施例提供的图像去模糊的方法，在对每个预设速度范围区间对应的原始图像去模糊模型进行训练时，都是通过将其对应的原始样本图像输入预设的原始图像去模糊模型进行处理，得到预处理样本图像，之后可以根据边缘检测算法分别对预处理样本图像和原始样本图像进行处理，从而得到原始样本图像对应的第一算子和预处理样本图像对应的第二算子，并根据第一算子和第二算子得到损失函数，并将该损失函数作为反向传播误差原始图像去模糊模型进行参数优化处理，达到原始去模糊模型对原始样本图像中的边缘部分的强化的目的，从而得到已训练的图像去模糊模型。通过上述方法得到的图像去模糊模型可以让图像清晰度更高，进一步提高去模糊图像的图像质量。需要说明的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
参照图11，示出了本申请实施例提供的一种基于车载多摄像头的视频生成装置的示意图，该装置具体可以包括视频数据获取模块1101、视频序列提取模块1102、显示区域确定模块1103和目标视频生成模块1104，其中：
视频数据获取模块1101，用于获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据；
视频序列提取模块1102，用于分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列；
显示区域确定模块1103，用于确定每个方位的所述视频数据在待生成的目标视频中的显示区域；
目标视频生成模块1104，用于基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。
在本申请实施例中，所述视频序列提取模块1102具体可以用于：确定不同方位的多个所述车载摄像头中的主摄像头；从所述主摄像头采集的视频数据中提取一段或多段主视频序列；其中，每段所述主视频序列具有相应的时间信息；分别从除所述主摄像头外的其他各个所述车载摄像头采集的视频数据中提取出具有所述时间信息的一段或多段视频序列。
在本申请实施例中，所述视频序列提取模块1102还可以用于：获取所述汽车在行驶过程中的地图导航信息；根据所述地图导航信息，识别所述行驶过程中途径的关键位置点；基于所述汽车的行驶方向和所述关键位置点，从多个所述车载摄像头中确定所述主摄像头；其中，所述主摄像头采集的视频数据为所述主摄像头针对所述关键位置点进行拍摄得到的视频数据。
在本申请实施例中，所述视频序列提取模块1102还可以用于：根据所述时间信息，分别确定每段所述主视频序列的开始视频帧以及结束视频帧的时间戳，得到时间戳序列；在除所述主摄像头外的其他各个所述车载摄像头采集的视频数据中标记出所述时间戳序列；从被标记有所述时间戳序列的视频数据中，依次确定待提取视频序列并对所述待提取视频序列进行提取，得到具有所述时间信息的一段或多段视频序列。
在本申请实施例中，所述显示区域确定模块1103具体可以用于：接收针对待生成的所述目标视频选定的视频模板；其中，所述视频模板中包括多个模板区域，任一所述模板区域与所述汽车不同方位的所述车载摄像头具有绑定关系；根据每个方位的所述车载摄像头与所述模板区域之间的绑定关系，确定每个方位的所述视频数据在待生成的所述目标视频中的显示区域。
在本申请实施例中，所述目标视频生成模块1104具体可以用于：在各个所述显示区域中，分别播放从对应方位的所述车载摄像头采集的视频数据中提取的一段或多段视频序列，以生成所述目标视频。
在本申请实施例中，所述装置还包括视频特效添加模块，所述视频特效添加模块具体可以用于：在所述目标视频中添加视频特效；其中，所述视频特效包括如下处理方式中的至少一种：
添加背景音乐、变换视频风格、添加贴纸素材、对视频图像进行滤镜处理、天气替换。
在本申请实施例中，所述装置还包括视频清晰度处理模块，所述视频清晰度处理模块具体可以用于：对多段所述视频序列的视频清晰度进行识别比对；依据识别比对结果，结合特定车辆信息对所述视频序列进行去模糊处理，使多段所述视频序列的视频清晰度满足预设条件。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例部分的说明即可。
参照图12，示出了本申请实施例提供的一种车载设备的示意图。如图12所示，本申请实施例中的车载设备1200包括：处理器1210、存储器1220以及存储在所述存储器1220中并可在所述处理器1210上运行的计算机程序1221。所述处理器1210执行所述计算机程序1221时实现上述基于车载多摄像头的视频生成方法各个实施例中的步骤，例如图2所示的步骤S201至S204。或者，所述处理器1210执行所述计算机程序1221时实现上述各装置实施例中各模块/单元的功能，例如图11所示模块1101至1104的功能。
示例性的，所述计算机程序1221可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器1220中，并由所述处理器1210执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段可以用于描述所述计算机程序1221在所述车载设备1200中的执行过程。例如，所述计算机程序1221可以被分割成视频数据获取模块、视频序列提取模块、显示区域确定模块和目标视频生成模块，各模块具体功能如下：
视频数据获取模块，用于获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据；
视频序列提取模块，用于分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列；
显示区域确定模块，用于确定每个方位的所述视频数据在待生成的目标视频中的显示区域；
目标视频生成模块，用于基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。
所述车载设备1200可以是前述各个实施例中的车载计算机、车载视频处理装置等设备。所述车载设备1200可包括，但不仅限于，处理器1210、存储器1220。本领域技术人员可以理解，图12仅仅是车载设备1200的一种示例，并不构成对车载设备1200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述车载设备1200还可以包括输入输出设备、网络接入设备、总线等。
所述处理器1210可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器1220可以是所述车载设备1200的内部存储单元，例如车载设备1200的硬盘或内存。所述存储器1220也可以是所述车载设备1200的外部存储设备，例如所述车载设备1200上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等等。进一步地，所述存储器1220还可以既包括所述车载设备1200的内部存储单元也包括外部存储设备。所述存储器1220用于存储所述计算机程序1221以及所述车载设备1200所需的其他程序和数据。所述存储器1220还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还公开了一种车载设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述各个实施例所述的基于车载多摄像头的视频生成方法。
本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前述各个实施例所述的基于车载多摄像头的视频生成方法。
本申请实施例还公开了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行前述各个实施例所述的基于车载多摄像头的视频生成方法。
本申请实施例中车载设备所实现的各项功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述方法实施例中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到基于车载多摄像头的视频生成装置/车载设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/车载设备和方法，可以通过其他的方式实现。例如，以上所描述的装置/车载设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于车载多摄像头的视频生成方法，其特征在于，包括：
获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据；
分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列；
确定每个方位的所述视频数据在待生成的目标视频中的显示区域；
基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。
2.根据权利要求1所述的方法，其特征在于，所述分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列，包括：
确定不同方位的多个所述车载摄像头中的主摄像头；
从所述主摄像头采集的视频数据中提取一段或多段主视频序列；其中，每段所述主视频序列具有相应的时间信息；
分别从除所述主摄像头外的其他各个所述车载摄像头采集的视频数据中提取出具有所述时间信息的一段或多段视频序列。
3.根据权利要求2所述的方法，其特征在于，所述确定不同方位的多个所述车载摄像头中的主摄像头，包括：
获取所述汽车在行驶过程中的地图导航信息；
根据所述地图导航信息，识别所述行驶过程中途径的关键位置点；
基于所述汽车的行驶方向和所述关键位置点，从多个所述车载摄像头中确定所述主摄像头；其中，所述主摄像头采集的视频数据为所述主摄像头针对所述关键位置点进行拍摄得到的视频数据。
4.根据权利要求2所述的方法，其特征在于，所述分别从除所述主摄像头外的其他各个所述车载摄像头采集的视频数据中提取出具有所述时间信息的一段或多段视频序列，包括：
根据所述时间信息，分别确定每段所述主视频序列的开始视频帧以及结束视频帧的时间戳，得到时间戳序列；
在除所述主摄像头外的其他各个所述车载摄像头采集的视频数据中标记出所述时间戳序列；
从被标记有所述时间戳序列的视频数据中，依次确定待提取视频序列并对所述待提取视频序列进行提取，得到具有所述时间信息的一段或多段视频序列。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述确定每个方位的所述视频数据在待生成的目标视频中的显示区域，包括：
接收针对待生成的所述目标视频选定的视频模板；其中，所述视频模板中包括多个模板区域，任一所述模板区域与所述汽车不同方位的所述车载摄像头具有绑定关系；
根据每个方位的所述车载摄像头与所述模板区域之间的绑定关系，确定每个方位的所述视频数据在待生成的所述目标视频中的显示区域。
6.根据权利要求5所述的方法，其特征在于，所述基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频，包括：
在各个所述显示区域中，分别播放从对应方位的所述车载摄像头采集的视频数据中提取的一段或多段视频序列，以生成所述目标视频。
7.根据权利要求1-4或6任一项所述的方法，其特征在于，在基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频之后，所述方法还包括：
在所述目标视频中添加视频特效；
其中，所述视频特效包括如下处理方式中的至少一种：
添加背景音乐、变换视频风格、添加贴纸素材、对视频图像进行滤镜处理、天气替换。
8.根据权利要求1所述的方法，其特征在于，在基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频之前，所述方法还包括：
对多段所述视频序列的视频清晰度进行识别比对；
依据识别比对结果，结合特定车辆信息对所述视频序列进行去模糊处理，使多段所述视频序列的视频清晰度满足预设条件。
9.一种基于车载多摄像头的视频生成装置，其特征在于，包括：
视频数据获取模块，用于获取安装于汽车不同方位的多个车载摄像头分别采集的视频数据；其中，每个所述车载摄像头用于采集一个对应方位的视频数据；
视频序列提取模块，用于分别从每个方位的所述视频数据中提取待处理的一段或多段视频序列；
显示区域确定模块，用于确定每个方位的所述视频数据在待生成的目标视频中的显示区域；
目标视频生成模块，用于基于所述显示区域对多个方位的多段所述视频序列进行组合，以生成所述目标视频。
10.一种车载设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的基于车载多摄像头的视频生成方法。
CN202210055793.1A 2022-01-18 2022-01-18 基于车载多摄像头的视频生成方法、装置及车载设备 Pending CN115119045A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210055793.1A CN115119045A (zh) 2022-01-18 2022-01-18 基于车载多摄像头的视频生成方法、装置及车载设备
PCT/CN2023/072528 WO2023138556A1 (zh) 2022-01-18 2023-01-17 基于车载多摄像头的视频生成方法、装置及车载设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210055793.1A CN115119045A (zh) 2022-01-18 2022-01-18 基于车载多摄像头的视频生成方法、装置及车载设备

Publications (1)

Publication Number Publication Date
CN115119045A true CN115119045A (zh) 2022-09-27

Family

ID=83325348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210055793.1A Pending CN115119045A (zh) 2022-01-18 2022-01-18 基于车载多摄像头的视频生成方法、装置及车载设备

Country Status (2)

Country Link
CN (1) CN115119045A (zh)
WO (1) WO2023138556A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023138556A1 (zh) * 2022-01-18 2023-07-27 长城汽车股份有限公司 基于车载多摄像头的视频生成方法、装置及车载设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117201748B (zh) * 2023-11-06 2024-01-26 博泰车联网(南京)有限公司 视频流显示方法、装置、设备及存储介质
CN117274781B (zh) * 2023-11-21 2024-04-16 成都合能创越软件有限公司 基于双管道信息交错车载实时检测方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0484573A (ja) * 1990-07-27 1992-03-17 Toshiba Corp 移動物体観察装置
CN105163085A (zh) * 2015-09-14 2015-12-16 北京远特科技股份有限公司 一种视频监控方法、控制装置和移动终端
WO2017048581A1 (en) * 2015-09-14 2017-03-23 Cobra Electronics Corporation Vehicle camera system
CN107197207A (zh) * 2017-06-26 2017-09-22 上海赫千电子科技有限公司 一种车载多摄像头***及其拍摄方法
CN109461131A (zh) * 2018-11-20 2019-03-12 中山大学深圳研究院 一种基于神经网络算法的智能内后视镜实时去模糊方法
JP2019087909A (ja) * 2017-11-08 2019-06-06 クラリオン株式会社 画像表示装置、及び画像表示システム
WO2019111307A1 (ja) * 2017-12-05 2019-06-13 三菱電機株式会社 表示制御装置及び表示制御方法
CN110060215A (zh) * 2019-04-16 2019-07-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
US11127119B1 (en) * 2020-03-17 2021-09-21 GM Global Technology Operations LLC Systems and methods for image deblurring in a vehicle

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5825323B2 (ja) * 2013-11-01 2015-12-02 アイシン精機株式会社 車両周辺監視装置
CN103986918A (zh) * 2014-06-06 2014-08-13 深圳市众鸿科技股份有限公司 车载视频监控***及其监视画面输出方法
CN110493542A (zh) * 2019-08-20 2019-11-22 深圳市瑞联高科通讯有限公司 一种可多角度长距离布线的模数转换车载监控***
CN113727073A (zh) * 2021-08-31 2021-11-30 深圳市同进视讯技术有限公司 一种基于云计算实现车载视频监控的方法及***
CN115119045A (zh) * 2022-01-18 2022-09-27 长城汽车股份有限公司 基于车载多摄像头的视频生成方法、装置及车载设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0484573A (ja) * 1990-07-27 1992-03-17 Toshiba Corp 移動物体観察装置
CN105163085A (zh) * 2015-09-14 2015-12-16 北京远特科技股份有限公司 一种视频监控方法、控制装置和移动终端
WO2017048581A1 (en) * 2015-09-14 2017-03-23 Cobra Electronics Corporation Vehicle camera system
CN107197207A (zh) * 2017-06-26 2017-09-22 上海赫千电子科技有限公司 一种车载多摄像头***及其拍摄方法
JP2019087909A (ja) * 2017-11-08 2019-06-06 クラリオン株式会社 画像表示装置、及び画像表示システム
WO2019111307A1 (ja) * 2017-12-05 2019-06-13 三菱電機株式会社 表示制御装置及び表示制御方法
CN109461131A (zh) * 2018-11-20 2019-03-12 中山大学深圳研究院 一种基于神经网络算法的智能内后视镜实时去模糊方法
CN110060215A (zh) * 2019-04-16 2019-07-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
US11127119B1 (en) * 2020-03-17 2021-09-21 GM Global Technology Operations LLC Systems and methods for image deblurring in a vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023138556A1 (zh) * 2022-01-18 2023-07-27 长城汽车股份有限公司 基于车载多摄像头的视频生成方法、装置及车载设备

Also Published As

Publication number Publication date
WO2023138556A1 (zh) 2023-07-27

Similar Documents

Publication Publication Date Title
US11967109B2 (en) Vehicle localization using cameras
CN115119045A (zh) 基于车载多摄像头的视频生成方法、装置及车载设备
JP2021508027A (ja) 不十分な照明条件下で車両を測位するシステムおよび方法
Abdi et al. In-vehicle augmented reality traffic information system: a new type of communication between driver and vehicle
CN110188482B (zh) 一种基于智能驾驶的测试场景创建方法及装置
US9336630B2 (en) Method and apparatus for providing augmented reality
JP2016538665A (ja) 交通標識認識方法と装置
JP2008187347A (ja) 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法
CN110926487A (zh) 辅助驾驶方法、辅助驾驶***、计算设备及存储介质
WO2021237471A1 (en) Depth-guided video inpainting for autonomous driving
CN114750696A (zh) 车辆视觉呈现的方法、车载设备及车辆
JP4826355B2 (ja) 車両周囲表示装置
JP2014106740A (ja) 車載用駐車枠認識装置
JP6064510B2 (ja) 情報提供装置および情報提供方法
US20230316789A1 (en) Object labeling in images using dense depth maps
CN115965935A (zh) 目标检测方法、装置、电子设备、存储介质和程序产品
JP7505596B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN114584839A (zh) 拍摄车载视频的剪辑方法、装置、电子设备及存储介质
JP6786635B2 (ja) 車両認識装置および車両認識方法
JP7103346B2 (ja) 制御装置、撮像装置、制御方法及びプログラム
CN114495481A (zh) 路况确定方法、装置、电子设备及计算机可读存储介质
CN105704438B (zh) 基于视频预览车辆前方道路区段的方法和设备及基于视频记录车辆的道路区段的方法和设备
JP7367709B2 (ja) 情報処理装置、情報処理システム、及び情報処理プログラム
CN113255609B (zh) 基于神经网络模型的交通标识识别方法及装置
CN118229845A (zh) 生成交通事件动态图像的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination