CN113014817B - 高清高帧视频的获取方法、装置及电子设备 - Google Patents

高清高帧视频的获取方法、装置及电子设备 Download PDF

Info

Publication number
CN113014817B
CN113014817B CN202110241209.7A CN202110241209A CN113014817B CN 113014817 B CN113014817 B CN 113014817B CN 202110241209 A CN202110241209 A CN 202110241209A CN 113014817 B CN113014817 B CN 113014817B
Authority
CN
China
Prior art keywords
video
frame
target
entity object
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110241209.7A
Other languages
English (en)
Other versions
CN113014817A (zh
Inventor
林挺裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202110241209.7A priority Critical patent/CN113014817B/zh
Publication of CN113014817A publication Critical patent/CN113014817A/zh
Application granted granted Critical
Publication of CN113014817B publication Critical patent/CN113014817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种高清高帧视频的获取方法、装置及电子设备，属于视频处理技术领域。包括：获取第一摄像模块拍摄的第一视频和第二摄像模块拍摄的第二视频；确定第一视频中的目标实体对象，并根据第二视频，确定目标实体对象在视频帧中的相对位置信息；根据目标实体对象和相对位置信息，合成待填充帧，得到高清高帧视频，本申请中，通过高清低帧的第一视频获取分辨率较高的目标实体对象，通过低清高帧的第二视频获取待填充帧中目标实体对象的位置信息，最终得到高清高帧视频，避免使用高像素高帧率的一个摄像模块以获取高清高帧视频，从而降低了单个摄像模块的工作负荷或输出图像数量，降低了摄像模块的发热量。

Description

高清高帧视频的获取方法、装置及电子设备
技术领域
本申请属于视频处理技术领域，具体涉及一种高清高帧视频的获取方法、装置及电子设备。
背景技术
随着集成在手机中的摄像头的技术突破，用户对手机中摄像头的使用需求越来越高，因而，现有技术趋向于在手机中集成高性能的，如高像素高帧率的摄像头，从而获取高清高帧的视频帧，使得最终得到的视频为高清高帧录像。
但是，在现有技术中，由于高性能摄像头的工作负荷和输出图像数量较大，使得摄像头发热严重，而较大的热量不易耗散，不仅影响手机的整机性能，同时还会导致摄像头获取到的视频帧的图像质量变差。
发明内容
本申请实施例的目的是提供一种高清高帧视频的获取方法、装置及电子设备，能够解决现有技术中在获取高清高帧视频时，摄像头发热严重的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种高清高帧视频的获取方法，应用于电子设备，所述电子设备具有第一摄像模块和第二摄像模块，该方法包括：
获取所述第一摄像模块拍摄的第一视频和所述第二摄像模块拍摄的第二视频，所述第一视频的帧率小于所述第二视频的帧率，所述第一视频的分辨率大于所述第二视频的分辨率；
确定所述第一视频中的目标实体对象，并根据所述第二视频，确定所述目标实体对象在视频帧中的相对位置信息；
根据所述目标实体对象和所述相对位置信息，合成待填充帧，并利用所述待填充帧对所述第一视频进行补帧处理，得到高清高帧视频。
第二方面，本申请实施例还提供了一种高清高帧视频的获取方法，应用于电子设备，所述电子设备具有目标摄像模块和多个其他摄像模块，该方法包括：
获取所述目标摄像模块拍摄的目标视频和所述其他摄像模块拍摄的多个其他视频，所述目标视频的帧率小于所述其他视频的帧率，所述目标视频的分辨率大于所述其他视频的分辨率；
确定所述目标视频中的目标实体对象，并根据所述其他视频，确定所述目标实体对象在视频帧中的相对位置信息；
根据所述目标实体对象和所述相对位置信息，合成待填充帧，并利用所述待填充帧对所述目标视频进行补帧处理，得到高清高帧视频。
第三方面，本申请实施例提供了一种高清高帧视频的获取装置，应用于电子设备，所述电子设备具有第一摄像模块和第二摄像模块，该装置包括：
第一获取模块，用于获取所述第一摄像模块拍摄的第一视频和所述第二摄像模块拍摄的第二视频，所述第一视频的帧率小于所述第二视频的帧率，所述第一视频的分辨率大于所述第二视频的分辨率；
第一确定模块，用于确定所述第一视频中的目标实体对象，并根据所述第二视频，确定所述目标实体对象在视频帧中的相对位置信息；
第一合成模块，用于根据所述目标实体对象和所述相对位置信息，合成待填充帧，并利用所述待填充帧对所述第一视频进行补帧处理，得到高清高帧视频。
第四方面，本申请实施例还提供了一种高清高帧视频的获取装置，应用于电子设备，所述电子设备具有目标摄像模块和多个其他摄像模块，该装置包括：
第二获取模块，用于获取所述目标摄像模块拍摄的目标视频和所述其他摄像模块拍摄的多个其他视频，所述目标视频的帧率小于所述其他视频的帧率，所述目标视频的分辨率大于所述其他视频的分辨率；
第三确定模块，用于确定所述目标视频中的目标实体对象，并根据所述其他视频，确定所述目标实体对象在视频帧中的相对位置信息；
第二合成模块，用于根据所述目标实体对象和所述相对位置信息，合成待填充帧，并利用所述待填充帧对所述目标视频进行补帧处理，得到高清高帧视频。
第五方面，本申请实施例还提供了一种电子设备，该电子设备包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第六方面，本申请实施例还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
在本申请实施例中，获取第一摄像模块拍摄的第一视频和第二摄像模块拍摄的第二视频，第一视频的帧率小于第二视频的帧率，第一视频的分辨率大于第二视频的分辨率；确定第一视频中的目标实体对象，并根据第二视频，确定目标实体对象在视频帧中的相对位置信息；根据目标实体对象和相对位置信息，合成待填充帧，并利用待填充帧对第一视频进行补帧处理，得到高清高帧视频，本申请中，采用两个摄像模块分别获取高清低帧的第一视频和低清高帧的第二视频，通过高清低帧的第一视频获取分辨率较高的目标实体对象，通过低清高帧的第二视频获取待填充帧中目标实体对象的位置信息，从而合成待填充帧，并利用待填充帧对第一视频进行补帧处理，最终得到高清高帧视频，避免使用高像素高帧率的一个摄像模块以获取高清高帧视频，从而降低了单个摄像模块的工作负荷或输出图像数量，降低了摄像模块的发热量，降低了摄像模块的发热量对整机性能的影响，提高了最终获得的视频的图像质量。
附图说明
图1是本申请实施例提供的一种高清高帧视频的获取方法的步骤流程图；
图2是本申请实施例提供的一种获取高清高帧视频的硬件组成示意图；
图3是本申请实施例提供的一种合成待填充帧的过程示意图；
图4是本申请实施例提供的一种高清高帧视频的获取方法的具体步骤流程图；
图5是本申请实施例提供的另一种合成待填充帧的过程示意图；
图6是本申请实施例提供的一种平均位置信息的确定过程示意图；
图7是本申请实施例提供的一种位置校准过程的示意图；
图8是本申请实施例提供的另一种高清高帧视频的获取方法的步骤流程图；
图9是本申请实施例提供的又一种合成待填充帧的过程示意图；
图10是本申请实施例提供的一种视频帧的分块处理示意图；
图11是本申请实施例提供的一种高清高帧视频的获取装置的框图；
图12是本申请实施例提供的另一种高清高帧视频的获取装置的框图；
图13是本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的高清高帧视频的获取进行详细地说明。
图1是本申请实施例提供的一种高清高帧视频的获取方法的步骤流程图，如图1所示，该方法可以包括：
步骤101、获取所述第一摄像模块拍摄的第一视频和所述第二摄像模块拍摄的第二视频，所述第一视频的帧率小于所述第二视频的帧率，所述第一视频的分辨率大于所述第二视频的分辨率。
在该步骤中，在合成得到高清高帧视频之前，首先需要分别获取针对同一段画面进行视频录制得到的高清低帧视频和低清高帧视频。
具体的，可以利用第一摄像模块拍摄得到第一视频，利用第二摄像模块拍摄得到第二视频，使得第一视频的帧率小于第二视频的帧率，第一视频的分辨率大于第二视频的分辨率，即第一视频为高清低帧视频，第二视频为低清高帧视频。
图2是本申请实施例提供的一种获取高清高帧视频的硬件组成示意图，如图2所示，获取高清高帧视频的硬件可以为电子设备，该硬件组成可以包括第一摄像模块10和第二摄像模块20，第一摄像模块10可以为设置在电子设备中的一个能够采集高清低帧视频的摄像装置，第二摄像模块20可以为设置在电子设备中的一个能够采集低清高帧视频的摄像装置。此外，第一摄像模块10和第二摄像模块20也可以为设置在电子设备中的能够采集高清低帧视频或低清高帧视频的摄像装置，即第一摄像模块10可以在一种模式下工作时，拍摄得到高清低帧视频，也可以在另外一种模式下工作时，拍摄得到低清高帧视频；第二摄像模块20可以在一种模式下工作时，拍摄得到低清高帧视频，也可以在另外一种模式下工作时，拍摄得到高清低帧视频。
例如，第一视频可以为帧率为30帧/秒，即每秒钟包含30帧视频帧，分辨率为4K，即每一帧视频帧中每英寸包含3840×2160个像素；第二视频可以为帧率为60帧/秒，即每秒钟包含60帧视频帧，分辨率为1080p，即每一帧视频帧中每英寸包含1280×720个像素。由此可知，相比较第一视频为高清低帧视频，即视频的清晰度较高，但流畅度较低，第二视频为低清高帧视频，即视频的清晰度较低，但流畅度较高，在根据第一视频和第二视频进行补帧处理之后，可以获得帧率为60帧/秒，分辨率为4K的高清高帧视频。
需要说明的是，在摄像模块获取视频之后，可以进一步通过图像处理模块(ImageSignal Processing，ISP)，对视频中的视频帧进行图像数据的基础处理，将处理后的视频帧再进行增强分辨率或提升帧率的处理。
其中，ISP对视频帧进行基础处理的过程，可以包括通过图像前端(Image Front-end，IFE)和图像处理引擎(Image Process Engine，IPE)对视频帧图像进行自动对焦(Automatic Focus，AF)、自动曝光(Automatic Exposure，AE)和自动白平衡(AutomaticWhite Balance，AWB)处理。
步骤102、确定所述第一视频中的目标实体对象，并根据所述第二视频，确定所述目标实体对象在视频帧中的相对位置信息。
在该步骤中，可以根据第一视频确定目标实体对象。所述实体对象可以为位于拍摄画面前景中、随时间的变化在画面中的相对位置发生变化的实体，而由于拍摄画面中除实体对象之外的背景部分随时间的变化较小，因此，视频中相邻的视频帧(时间间隔最小的视频帧)之间最大的差别，即为实体对象的位置的变化。
例如，若拍摄的一段画面为人物在马路上行走的过程，则在拍摄得到的视频中，该人物为前景中的实体对象，马路以及其他环境特征为背景。由于相邻视频帧(时间间隔最小的视频帧)之间的时间间隔较短，因此，时间间隔最小的视频帧之间，背景的差异较小，人物的具体形态差异也较小，即时间间隔最小的视频帧之间的相似度较高，最大的差别为人物位置的偏移。
在本申请实施例中，由于高清低帧的第一视频中的视频帧的分辨率较高，因此，可以根据第一视频获取第一视频中的目标实体对象，该目标实体对象的清晰度较高。同时，由于低清高帧的第二视频中的视频帧的帧率较高，因此，第二视频中记录了更多实体对象的位置信息，因此，可以根据第二视频获取第二视频中目标实体对象在视频帧中的相对位置信息。
图3是本申请实施例提供的一种合成待填充帧的过程示意图，如图3所示，第一视频和第二视频为分别针对同一画面拍摄得到的视频，第一视频为高清低帧视频，第二视频为低清高帧视频，第一视频中包含分辨率较高的A1和A3视频帧，第二视频中包含分辨率较低的B1、B2和B3视频帧，由此可见，为得到高清高帧的视频，需要合成A2视频帧，即与第二视频中的B2视频帧对应的时间相同的视频帧为待填充帧。
因此，待填充帧为A2视频帧，由于A1和A3视频帧为第一视频中与待填充帧A2之间的时间间隔最小的视频帧，A1和A3视频帧与待填充帧A2的相似度较高，即待填充帧A2中的目标实体对象可以根据A1和A3视频帧来确定，具体的，可以从第一视频中的A1或A3视频帧中识别目标实体对象T，为避免A1或A3视频帧中并未包含完整的目标实体对象T，也可以同时从A1和A3视频帧中识别目标实体对象T。
进一步的，由于需要合成的待填充帧A2与第二视频中的B2视频帧对应的时间相同，因此，待填充帧A2中目标实体对象的相对位置信息与B2视频帧中目标实体对象的相对位置信息相同，因此，可以根据第二视频中的B2视频帧，确定目标实体对象在视频中的相对位置信息。
步骤103、根据所述目标实体对象和所述相对位置信息，合成待填充帧，并利用所述待填充帧对所述第一视频进行补帧处理，得到高清高帧视频。
在该步骤中，在根据第一视频确定了待填充帧中的目标实体对象，根据第二视频确定了待填充帧中目标实体对象的相对位置信息之后，可以根据所述目标实体对象和所述相对位置信息合成待填充帧，从而利用待填充帧对高清低帧的第一视频进行补帧处理，从而最终得到高清高帧的视频。
具体的，参照图3，首先可以根据第一视频和第二视频确定待填充帧A2，待填充帧A2可以为与低清高帧的第二视频相比较，高清低帧的第一视频中缺失的视频帧；然后根据第一视频中与待填充帧A2之间的时间间隔最小的A1或A3视频帧确定待填充帧A2中包含的目标实体对象T；根据第二视频中与待填充帧A2对应的时间相同的B2视频帧确定待填充帧A2中包含的目标实体对象T的相对位置信息为(x2，y2)。因此，最终合成的待填充帧A2中包含从A3视频帧中提取出的高分辨率的目标实体对象T，且目标实体对象T在待填充帧A2中所处的位置(xT，yT)为根据B2视频帧确定的(x2，y2)。
进一步的，在确定了待填充帧A2之后，由于高清低帧的第一视频中分辨率较高的视频帧的帧数较少，因此，可以利用待填充帧A2对高清低帧的第一视频进行补帧处理，从而最终得到包含A1、A2和A3视频帧的高清高帧的视频，使得高清高帧视频中包含的视频帧的分辨率较高，且包含的视频帧的帧数较多，从而同时确保视频帧的流畅性和清晰度。
需要说明的是，在根据从A1或A3视频帧中确定的目标实体对象T，以及从B2视频帧确定的相对位置信息(x2，y2)合成待填充帧A2的具体过程，在一种实现方式中，可以直接将B2视频帧中的实体对象直接替换为确定的目标实体对象T；在另一种实现方式中，可以将A1或A3视频帧中的实体对象进行删除，从而在删除后的A1或A3视频的背景图像中，在相对位置信息(x2，y2)对应的位置***目标实体对象T。两种实现方式均可以获得高分辨率的带填充视频帧A2。
综上所述，本申请实施例提供的一种高清高帧视频的获取方法，包括：获取第一摄像模块拍摄的第一视频和第二摄像模块拍摄的第二视频，第一视频的帧率小于第二视频的帧率，第一视频的分辨率大于第二视频的分辨率；确定第一视频中的目标实体对象，并根据第二视频，确定目标实体对象在视频帧中的相对位置信息；根据目标实体对象和相对位置信息，合成待填充帧，并利用待填充帧对第一视频进行补帧处理，得到高清高帧视频，本申请中，采用两个摄像模块分别获取高清低帧的第一视频和低清高帧的第二视频，通过高清低帧的第一视频获取分辨率较高的目标实体对象，通过低清高帧的第二视频获取待填充帧中目标实体对象的位置信息，从而合成待填充帧，并利用待填充帧对第一视频进行补帧处理，最终得到高清高帧视频，避免使用高像素高帧率的一个摄像模块以获取高清高帧视频，从而降低了单个摄像模块的工作负荷或输出图像数量，降低了摄像模块的发热量，降低了摄像模块的发热量对整机性能的影响，提高了最终获得的视频的图像质量。
图4本申请实施例提供的一种高清高帧视频的获取方法的具体步骤流程图，如图4示，该方法可以包括：
步骤201、获取所述第一摄像模块拍摄的第一视频和所述第二摄像模块拍摄的第二视频。
本步骤的实现方式与上述步骤101实现过程类似，此处不再赘述。
步骤202、确定所述第一视频中的第一目标视频帧，所述第一目标视频帧是所述第一视频的所有视频帧中，与所述待填充帧之间的时间间隔最小的视频帧。
在该步骤中，可以根据第一视频和第二视频，确定第一视频中相比于帧数较多的第二视频确实的视频帧，将该确实的视频帧确定为待填充帧，进而可以在第一视频中确定与待填充帧之间的时间间隔最小的视频帧，将其作为第一视频中的第一目标视频帧。
参照图3，首先可以根据第一视频和第二视频确定待填充帧A2，第一视频中与待填充帧A2之间的时间间隔最小的视频帧为A1或A3视频帧，因此，可以将A1或A3视频帧确定为第一目标视频帧。
同时，由于第一目标视频帧用于确定视频帧中包含的目标实体对象T，而A1视频帧中没有包含完整的目标实体对象T，因此，可以将A3视频帧确定为第一目标视频帧。
步骤203、确定所述第一目标视频帧中的目标实体对象。
在该步骤中，可以根据第一视频中的第一目标视频帧，确定目标实体对象。
可选的，步骤203具体可以包括：
子步骤2031、确定所述第二目标视频帧中实体对象对应的位置信息。
在该步骤中，由于需要从第一目标视频帧中确定目标实体对象，并将该确定的目标实体对象确定为待填充帧中包含的实体对象，因此，可以首先根据第二视频中的第二目标视频帧中实体对象对应的位置信息，确定第一目标视频帧中目标实体对象所处的位置变化范围，进而在该位置变化范围对应的区域内确定目标实体对象。
具体的，参照图3，第二目标视频帧可以为第二视频中与待填充帧A2对应的时间相同的视频帧B2，即目标实体对象T在待填充帧A2的位置与第二目标视频帧B2中实体对象的位置相同，同时，待填充帧A2与第一目标视频帧A3为时间间隔最小的视频帧，即待填充帧A2和第一目标视频帧A3中实体对象所处的位置的偏差较小，因此，可以根据第二目标视频帧B2中实体对象的位置信息(x2，y2)，确定第一目标视频帧A3中目标实体对象T所处的位置变化范围。
子步骤2032、根据所述位置信息和预设位置变化值，确定所述实体对象在所述第一目标视频帧中的位置变化范围。
在该步骤中，可以根据第二目标视频帧中实体对象对应的位置信息和预先设置的预设位置变化值，确定实体对象在第一目标视频帧中的位置变化范围。
参照图3，第二目标视频帧B2中实体对象对应的位置信息为(x2，y2)，若预设位置变化值为(△x，△y)，则可以确定实体对象在所述第一目标视频帧A3中的位置变化范围为(x2±△x，y2±△y)。
其中，所述预设位置变化值可以为根据第一视频的帧率和第一视频记录的画面的具体场景确定，例如，若第一视频的帧率较小，相邻视频帧(间隔时间最小的视频帧)之间的间隔时间较长，说明间隔时间最小的视频帧之间实体对象的位置变化可能较大，则可以设置较大的预设位置变化值；若第一视频记录的画面为人物跑步的场景，说明间隔时间最小的视频帧之间实体对象的位置变化可能较大，则可以设置较大的预设位置变化值，若第一视频记录的画面为人物散步的场景，说明间隔时间最小的视频帧之间实体对象之间的位置变化可能较小，则可以设置较小的预设位置变化值。
子步骤2033、在所述第一目标视频帧中与所述位置变化范围对应的区域内，确定所述目标实体对象。
在该步骤中，在确定了实体对象在第一目标视频帧中的位置变化范围之后，可以在第一目标视频帧中与位置变化范围对应的区域内，确定目标实体对象。
参照图3，若实体对象在所述第一目标视频帧A3中的位置变化范围为(x2±△x，y2±△y)，则可以直接在第一目标视频帧A3中(x2±△x，y2±△y)对应的区域内确定第一目标视频帧包含的目标实体对象T。
步骤204、确定所述第二视频中与所述待填充帧对应的时间相同的第二目标视频帧。
具体的，在步骤203之后，可以通过步骤204至205确定所述相对位置信息，也可以通过步骤206至207确定所述相对位置信息。
在该步骤中，在根据第一视频确定了待填充帧中包含的目标实体对象之后，可以进一步根据第二视频，确定待填充帧中目标实体对象的相对位置信息。
具体的，可以首先从第二视频中确定与待填充帧对应的时间相同的第二目标视频帧，由于待填充帧和第二目标视频帧对应的时间相同，因此，待填充帧和第二目标视频帧中实体对象的位置信息也相同。
步骤205、将所述第二目标视频帧中实体对象对应的位置信息，确定为所述相对位置信息。
在该步骤中，可以首先确定第二目标视频帧中包含的实体对象，进而直接将第二目标视频帧中包含的实体对象的位置信息，确定为待填充帧中目标实体对象对应的相对位置信息。
步骤206、确定所述第一视频中的第一目标视频帧和第三目标视频帧，所述第一目标视频帧和第三目标视频帧是所述第一视频中，与所述待填充帧之间的时间间隔最小的两个视频帧，并确定所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息。
在该步骤中，在根据第一视频确定了待填充帧中包含的目标实体对象之后，可以进一步根据第一视频和第二视频，共同确定待填充帧中目标实体对象的相对位置信息。
具体的，可以首先确定第一视频帧中与待填充帧之间的时间间隔最小的两个视频帧，将其作为第一视频中的第一目标视频帧和第三视频帧，从而进一步根据第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息，确定待填充帧中目标实体对象对应的相对位置信息。
图5是本申请实施例提供的另一种合成待填充帧的过程示意图，如图5所示，首先可以根据第一视频和第二视频确定待填充帧为A2，进而确定第一视频中与待填充帧A2之间的时间间隔最小的第一目标视频帧和第三目标视频帧分别为A1和A3，确定第一目标视频帧A1和第三目标视频帧A3中包含的目标实体对象的位置信息分别为(x1,y1)和(x3,y3)。
步骤207、根据所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息，确定所述相对位置信息。
在该步骤中，可以进一步根据第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息，确定待填充帧中目标实体对象对应的相对位置信息。
参照图5，第一目标视频帧A1和第三目标视频帧A3中包含的目标实体对象T的位置信息分别为(x1,y1)和(x3,y3)，由于待填充帧A2为位于第一目标视频帧A1和第三目标视频帧A3中间的视频帧，目标实体对象T在连续的A1、A2、A3视频帧中是沿一定的运动轨迹移动的，因此，可以将第一目标视频帧A1和第三目标视频帧A3中包含的目标实体对象T的位置信息的平均位置信息
Figure BDA0002962254040000131
直接确定为待填充帧A2中目标实体对象T对应的相对位置信息。
进一步的，可以根据所述平均位置信息和目标实体对象T合成待填充帧A2`。
可选的，若目标实体对象T在连续的A1、A2、A3视频帧中的移动是匀速的过程，则可以直接将上述平均位置信息确定为待填充帧A2`中目标实体对象T对应的相对位置信息。若目标实体对象T在连续的A1、A2、A3视频帧中的移动是非匀速的过程，则需要对上述确定的平均位置信息进行补偿，对A2`中的目标实体对象的位置进行调整，得到最终的待填充帧A2。相应的，步骤207具体可以包括：
子步骤2071、计算所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息的平均位置信息。
在该步骤中，可以首先计算第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息的平均位置信息。
在本申请实施例中，视频帧中可以包含多个实体对象，因此，可以基于每一个实体对象进行处理。图6是本申请实施例提供的一种平均位置信息的确定过程示意图，如图6所示，视频帧中包含两个实体对象P和J，其中第一目标视频帧A1中实体对象P的位置信息为(xp1,yp1)，实体对象J的位置信息为(xJ1,yJ1)，第三目标视频帧A3中实体对象P的位置信息为(xp3,yp3)，实体对象J的位置信息为(xJ3,yJ3)。
相应的，可以确定实体对象P的平均位置信息为
Figure BDA0002962254040000141
并将其作为实体对象P在待填充帧A2中的位置信息(xp2,yp2)，确定实体对象J的平均位置信息为
Figure BDA0002962254040000142
并将其作为实体对象P在待填充帧A2中的位置信息(xJ2,yJ2)。
子步骤2072、确定所述第二视频中与所述待填充帧对应的时间相同的第二目标视频帧，并确定所述第二目标视频帧中实体对象的位置信息。
在该步骤中，在确定了上述平均位置信息之后，可以进一步根据第二视频中的第二目标视频帧对上述确定的平均位置信息进行补偿。
其中，所述第二目标视频帧为第二视频中与待填充帧对应的时间相同的视频帧，参照图5，目标实体对象T在待填充帧A2的位置与第二目标视频帧B2中实体对象的位置相同，因而，可以确定第二目标视频帧B2中实体对象的位置信息(x2，y2)。
子步骤2073、根据所述第二目标视频帧中实体对象的位置信息，校准所述平均位置信息，得到所述相对位置信息。
在该步骤中，可以根据第二目标视频帧中实体对象的位置信息，校准上述平均位置信息，从而得到待填充帧中目标实体对象对应的相对位置信息。
参照图5，可以对根据平均位置信息的得到的A2`中的目标实体对象的位置，按照第二目标视频帧B2中实体对象的位置信息(x2，y2)进行校准，从而得到最终的待填充帧A2。
图7是本申请实施例提供的一种位置校准过程的示意图，如图7所示，视频帧中包含两个实体对象L和K，可以分别根据实体对象L和K和平均位置信息，基于第一视频帧中的其他视频帧合成视频帧A2`，进一步可以根据第二目标视频帧中实体对象L和K的位置信息对视频帧A2`的实体对象L和K的位置进行校准，从而最终的待填充帧A2。
步骤208、删除所述第二目标视频帧中的实体对象。
在该步骤中，在确定了待填充帧中包含的目标实体对象和该目标实体对象在待填充帧中的相对位置信息之后，可以根据目标实体对象和对应的相对位置信息合成待填充帧。
具体的，可以首先删除第二目标视频帧中的实体对象。
步骤209、在所述第二目标视频帧中的相对位置信息对应的位置***所述目标实体对象，合成所述待填充帧，并利用所述待填充帧对所述第一视频进行补帧处理，得到高清高帧视频。
在该步骤中，在删除第二目标视频帧中的实体对象之后，在第二目标视频帧中的相对位置信息对应的位置***目标实体对象，从而合成所述待填充帧，并进一步利用待填充帧对高清低帧的第一视频进行补帧处理，从而最终得到高清高帧的视频。
在本申请实施例中，由于第二目标视频帧为第二视频中与待填充帧对应的时间相同的视频帧，即第二目标视频帧中的实体对象的位置与待填充帧中目标实体对象的位置相同，因此，可以直接将第二目标视频帧中的实体对象替换为所述目标实体对象，从而得到待填充帧。
在本申请实施例中，还可以基于第一视频中与待填充帧之间的时间间隔最小的第一目标视频帧或第三目标视频帧合成待填充帧。具体的，可以将第一目标视频帧或第三目标视频帧中包含的实体对象进行删除，并在第一目标视频帧或第三目标视频帧中的相对位置信息对应的位置***目标实体对象，从而合成所述待填充帧。
可选的，在根据第一摄像模块拍摄得到的第一视频和第二摄像模块拍摄得到的第二视频获取高清高帧视频的过程中，可以实时检测第一摄像模块和第二摄像模块的发热量，从而可以根据第一摄像模块和第二摄像模块的发热量，调整两个摄像模块的工作模式，具体的，可以包括以下步骤：
步骤210、检测所述第一摄像模块和所述第二摄像模块的发热量。
在该步骤中，可以实时检测第一摄像模块和第二摄像模块的发热量。
具体的，由于第一摄像模块采集高清低帧的第一视频，第二摄像模块采集低清高帧的第二视频，即两个摄像模块的工作负荷存在差异，因此，第一摄像模块与第二摄像模块工作产生的发热量不同，即第一摄像模块和第二摄像模块中一个摄像模块的发热量较高，一个摄像模块的发热量较低。
步骤211、确定所述第一摄像模块和所述第二摄像模块的发热量的差值。
在该步骤中，可以根据第一摄像模块和所述第二摄像模块的发热量，确定第一摄像模块和第二摄像模块之间的发热量的差值。
步骤212、在所述差值大于或等于预设发热量的情况下，控制所述第一摄像模块拍摄得到所述第二视频，所述第二摄像模块拍摄得到所述第一视频。
在该步骤中，若第一摄像模块和第二摄像模块之间的发热量的差值大于或等于预设发热量，说明第一摄像模块和第二摄像模块之间的工作负荷的差异较大，导致两个摄像模块产生的发热量相差较大，则可以控制两个摄像模块相互调整工作模式，将工作负荷较小、发热量较小的摄像模块调整为工作负荷较大的工作模块，加重该摄像模块的工作负荷，将工作负荷较大、发热量较大的摄像模块调整为工作负荷较小的工作模式，减轻该摄像模块的工作负荷，从而均衡两个摄像模块之间的工作负荷，平衡两个摄像模块之间的发热量，避免其中一个摄像模块的发热量过大而导致其工作性能降低。
综上所述，本申请实施例提供的一种高清高帧视频的获取方法，包括：获取第一摄像模块拍摄的第一视频和第二摄像模块拍摄的第二视频，第一视频的帧率小于第二视频的帧率，第一视频的分辨率大于第二视频的分辨率；确定第一视频中的目标实体对象，并根据第二视频，确定目标实体对象在视频帧中的相对位置信息；根据目标实体对象和相对位置信息，合成待填充帧，并利用待填充帧对第一视频进行补帧处理，得到高清高帧视频，本申请中，采用两个摄像模块分别获取高清低帧的第一视频和低清高帧的第二视频，通过高清低帧的第一视频获取分辨率较高的目标实体对象，通过低清高帧的第二视频获取待填充帧中目标实体对象的位置信息，从而合成待填充帧，并利用待填充帧对第一视频进行补帧处理，最终得到高清高帧视频，避免使用高像素高帧率的一个摄像模块以获取高清高帧视频，从而降低了单个摄像模块的工作负荷或输出图像数量，降低了摄像模块的发热量，降低了摄像模块的发热量对整机性能的影响，提高了最终获得的视频的图像质量。
此外，可以根据两个摄像模块的实际发热量，控制两个摄像模块相互调整工作模式，从而均衡两个摄像模块之间的工作负荷，平衡两个摄像模块之间的发热量，避免其中一个摄像模块的发热量过大而导致其工作性能降低。
图8是本申请实施例提供的另一种高清高帧视频的获取方法的步骤流程图，如图8所示，该方法可以包括：
步骤301、获取所述目标摄像模块拍摄的目标视频和所述其他摄像模块拍摄的多个其他视频，所述目标视频的帧率小于所述其他视频的帧率，所述目标视频的分辨率大于所述其他视频的分辨率。
在本申请实施例中，获取高清高帧视频的电子设备可以包括多个摄像模块，包括一个能够采集高清低帧视频的目标摄像模块，以及多个能够采集低清高帧视频的其他摄像模块。
步骤302、确定所述目标视频中的目标实体对象，并根据所述其他视频，确定所述目标实体对象在视频帧中的相对位置信息。
在该步骤中，可以根据目标视频确定目标实体对象。由于高清低帧的目标视频中的视频帧的分辨率较高，因此，可以根据目标视频获取目标视频中的目标实体对象，该目标实体对象的清晰度较高。同时，由于低清高帧的其他视频中的视频帧的帧率较高，因此，其他视频中记录了更多实体对象的位置信息，因此，可以根据其他视频获取其他视频中目标实体对象在视频帧中的相对位置信息。
在本申请实施例中，可以包含多个其他摄像模块，即可以通过多个其他摄像模块获取多个低清高帧的其他视频，不同其他视频的帧数可以相同，也可以不同，图9是本申请实施例提供的又一种合成待填充帧的过程示意图，如图9所示，第一视频、第二视频和第三视频均为针对同一画面拍摄得到的视频，第一视频为高清低帧的目标视频，第一视频中包含分辨率较高的A1和A4和A7视频帧，第二视频和第三视频为低清高帧的其他视频，第二视频和第三视频的帧率相同，且均为第一视频帧率的两倍，第二视频中包含分辨率较低的B2、B4和B6视频帧，第三视屏中包含分辨率较低的C1、C3、C5和C7视频帧。由此可见，为得到高清高帧的视频，需要合成A2、A3、A5和A6视频帧，其中，A2视频帧为与第二视频中的B2视频帧对应的时间相同的待填充帧；A3视频帧为与第三视频中的C3视频帧对应的时间相同的待填充帧；A5视频帧为与第三视频中的C5视频帧对应的时间相同的待填充帧；A6视频帧为与第二视频中的B6视频帧对应的时间相同的待填充帧。
步骤303、根据所述目标实体对象和所述相对位置信息，合成待填充帧，并利用所述待填充帧对所述目标视频进行补帧处理，得到高清高帧视频。
在该步骤中，在根据目标视频确定了待填充帧中的目标实体对象，根据其他视频确定了待填充帧中目标实体对象的相对位置信息之后，可以根据所述目标实体对象和所述相对位置信息合成待填充帧，从而利用待填充帧对高清低帧的目标视频进行补帧处理，从而最终得到高清高帧的视频。
具体的，参照图9，首先可以根据作为目标视频的第一视频，以及作为其他视频的第二视频和第三视频确定待填充帧A2、A3、A5和A6，待填充帧A2、A3、A5和A6可以为与低清高帧的第二视频和第三视频相比较，高清低帧的第一视频中缺失的视频帧；然后根据第一视频中与待填充帧A2之间的时间间隔最小的A1视频帧确定待填充帧A2中包含的目标实体对象；根据第二视频中与待填充帧A2对应的时间相同的B2视频帧确定待填充帧A2中包含的目标实体对象的相对位置信息，从而确定待填充帧A2中包含的高分辨率的目标实体对象，以及目标实体对象在待填充帧A2中的相对位置信息，从而合成待填充帧A2。进而依次确定待填充帧A3、A5和A6中包含的高分辨率的目标实体对象，以及目标实体对象在待填充帧A3、A5和A6中的相对位置信息，从而合成待填充帧A3、A5和A6。
进一步的，在确定了待填充帧A2、A3、A5和A6之后，由于高清低帧的第一视频中分辨率较高的视频帧的帧数较少，因此，可以利用待填充帧A2、A3、A5和A6对高清低帧的第一视频进行补帧处理，从而最终得到包含A1、A2、A3、A4、A5、A6和A7视频帧的高清高帧的视频，使得高清高帧视频中包含的视频帧的分辨率较高，且包含的视频帧的帧数较多，从而同时确保视频帧的流畅性和清晰度。
此外，需要说明的是，由于在获取高清高帧视频的过程中，仅针对视频帧中的实体对象进行识别和确定实体对象的位置信息，而并未对视频帧中的背景部分做任何处理。因此，在对视频帧中的实体对象进行识别和确定实体对象的位置信息的过程中，可以预先对视频帧进行分块处理，确定视频帧中实体对象所处的目标分块，进而仅在视频帧中目标分块对应的区域进行实体对象进行识别和确定实体对象的位置信息，从而减少整个过程中的数据处理量。
图10是本申请实施例提供的一种视频帧的分块处理示意图，如图10所示，可以将分辨率为4K，即一帧中每英寸包含3840×2160个像素的视频帧划分为8×6的分块，每个分块中包含480×360个像素；可以将分辨率为720P，即一帧中每英寸包含1280×720个像素的视频帧划分为8×6的分块，每个分块中包含160×120个像素。例如，若第一视频中的第一目标视频帧为如图10所示的分辨率为4K的视频帧，则在第一目标视频帧中识别实体对象的过程中，需要对第一目标视频帧中包含的全部3840×2160像素进行识别和处理。若对视频帧进行分块处理，确定第一目标视频帧中的实体对象仅位于其中的部分目标分块，如10个分块，则可以仅对第一目标视频帧中的目标分块包含的4800×3600像素进行识别和处理，从而降低数据处理量。
此外，在本申请实施例中，由于一幅图像能够在非常苛刻的条件下由它的一组稀疏表示系数在关系式字典上得到精确重建，因此，可以通过获取到的样本低分辨率图像块和样本高分辨率图像块对低分辨率图像块字典和高分辨率图像块字典进行联合训练，得到低分辨率图像块字典和高分辨率图像块字典，进而结合获取到的低分辨率图像块对应的稀疏表示，以及训练得到的低分辨率图像块字典和高分辨率图像块字典，重建出高分辨率图像块，以完成视频分辨率的提升。
进一步的，可以利用采集到的训练数据集(前、后两帧视频帧)，训练得到前后两帧的关系式字典集合，利用学习得到的关系式字典集合，可以得到前、后；两帧的稀疏表示形式。再利用非线性回归建立一种函数映射，其输入是根据前一帧的稀疏表示，得到后一帧的稀疏表示，其输出是函数映射系数。最后，利用学习得到的关系式字典集合和函数映射关系，对获取到的低帧率的视频进行插帧处理，以完成视频帧的率提升。
需要说明的是，本申请实施例提供的高清高帧视频的获取方法，执行主体可以为高清高帧视频的获取装置，或者该高清高帧视频的获取装置中的用于执行加载高清高帧视频的获取方法的控制模块。本申请实施例中以高清高帧视频的获取装置执行加载高清高帧视频的获取方法为例，说明本申请实施例提供的高清高帧视频的获取方法。
图11是本申请实施例提供的一种高清高帧视频的获取装置的框图，如图11所示，该装置400包括：
第一获取模块401，用于获取所述第一摄像模块拍摄的第一视频和所述第二摄像模块拍摄的第二视频，所述第一视频的帧率小于所述第二视频的帧率，所述第一视频的分辨率大于所述第二视频的分辨率；
第一确定模块402，用于确定所述第一视频中的目标实体对象，并根据所述第二视频，确定所述目标实体对象在视频帧中的相对位置信息；
第一合成模块403，用于根据所述目标实体对象和所述相对位置信息，合成待填充帧，并利用所述待填充帧对所述第一视频进行补帧处理，得到高清高帧视频。
可选的，所述第一确定模块402，具体包括：
第一确定子模块，用于确定所述第一视频中的第一目标视频帧，所述第一目标视频帧是所述第一视频的所有视频帧中，与所述待填充帧之间的时间间隔最小的视频帧；
第二确定子模块，用于确定所述第一目标视频帧中的目标实体对象；
所述第一确定模块402，还包括：
第三确定子模块，用于确定所述第二视频中与所述待填充帧对应的时间相同的第二目标视频帧；
第四确定子模块，用于将所述第二目标视频帧中实体对象对应的位置信息，确定为所述相对位置信息。
可选的，所述第一合成模块403，具体包括：
删除子模块，用于删除所述第二目标视频帧中的实体对象；
合成子模块，用于在所述第二目标视频帧中的相对位置信息对应的位置***所述目标实体对象，合成所述待填充帧。
可选的，所述第二确定子模块，具体包括：
第一确定单元，用于确定所述第二目标视频帧中实体对象对应的位置信息；
第二确定单元，用于根据所述位置信息和预设位置变化值，确定所述实体对象在所述第一目标视频帧中的位置变化范围；
第三确定单元，用于在所述第一目标视频帧中与所述位置变化范围对应的区域内，确定所述目标实体对象。
可选的，所述第一确定模块402，具体包括：
第五确定子模块，用于确定所述第一视频中的第一目标视频帧和第三目标视频帧，所述第一目标视频帧和第三目标视频帧是所述第一视频中，与所述待填充帧之间的时间间隔最小的两个视频帧，并确定所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息；
第六确定子模块，用于根据所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息，确定所述相对位置信息。
可选的，所述第六确定子模块，具体包括：
计算单元，用于计算所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息的平均位置信息；
第四确定单元，用于确定所述第二视频中与所述待填充帧对应的时间相同的第二目标视频帧，并确定所述第二目标视频帧中实体对象的位置信息；
校准单元，用于根据所述第二目标视频帧中实体对象的位置信息，校准所述平均位置信息，得到所述相对位置信息。
可选的，所述装置还包括：
检测模块，用于检测所述第一摄像模块和所述第二摄像模块的发热量；
第二确定模块，用于确定所述第一摄像模块和所述第二摄像模块的发热量的差值；
控制模块，用于在所述差值大于或等于预设发热量的情况下，控制所述第一摄像模块拍摄得到所述第二视频，所述第二摄像模块拍摄得到所述第一视频。
图12是本申请实施例提供的另一种高清高帧视频的获取装置的框图，如图12所示，该装置500包括：
第二获取模块501，用于获取所述目标摄像模块拍摄的目标视频和所述其他摄像模块拍摄的多个其他视频，所述目标视频的帧率小于所述其他视频的帧率，所述目标视频的分辨率大于所述其他视频的分辨率；
第三确定模块502，用于确定所述目标视频中的目标实体对象，并根据所述其他视频，确定所述目标实体对象在视频帧中的相对位置信息；
第二合成模块503，用于根据所述目标实体对象和所述相对位置信息，合成待填充帧，并利用所述待填充帧对所述目标视频进行补帧处理，得到高清高帧视频。
本申请实施例中的高清高帧视频的获取装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的高清高帧视频的获取装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。
本申请实施例提供的高清高帧视频的获取装置能够实现图1、图4和图8的方法实施例中高清高帧视频的获取装置实现的各个过程，为避免重复，这里不再赘述。
综上所述，本申请实施例提供的一种高清高帧视频的获取装置，包括：获取第一摄像模块拍摄的第一视频和第二摄像模块拍摄的第二视频，第一视频的帧率小于第二视频的帧率，第一视频的分辨率大于第二视频的分辨率；确定第一视频中的目标实体对象，并根据第二视频，确定目标实体对象在视频帧中的相对位置信息；根据目标实体对象和相对位置信息，合成待填充帧，并利用待填充帧对第一视频进行补帧处理，得到高清高帧视频，本申请中，采用两个摄像模块分别获取高清低帧的第一视频和低清高帧的第二视频，通过高清低帧的第一视频获取分辨率较高的目标实体对象，通过低清高帧的第二视频获取待填充帧中目标实体对象的位置信息，从而合成待填充帧，并利用待填充帧对第一视频进行补帧处理，最终得到高清高帧视频，避免使用高像素高帧率的一个摄像模块以获取高清高帧视频，从而降低了单个摄像模块的工作负荷或输出图像数量，降低了摄像模块的发热量，降低了摄像模块的发热量对整机性能的影响，提高了最终获得的视频的图像质量。
可选的，本申请实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的程序或指令，该程序或指令被处理器执行时实现上述高清高帧视频的获取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图13为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备600包括但不限于：射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、以及处理器610等部件。
本领域技术人员可以理解，电子设备600还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器610逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图13中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器610，用于获取所述第一摄像模块拍摄的第一视频和所述第二摄像模块拍摄的第二视频，所述第一视频的帧率小于所述第二视频的帧率，所述第一视频的分辨率大于所述第二视频的分辨率；
确定所述第一视频中的目标实体对象，并根据所述第二视频，确定所述目标实体对象在视频帧中的相对位置信息；
根据所述目标实体对象和所述相对位置信息，合成待填充帧，并利用所述待填充帧对所述第一视频进行补帧处理，得到高清高帧视频。
本申请中，采用两个摄像模块分别获取高清低帧的第一视频和低清高帧的第二视频，通过高清低帧的第一视频获取分辨率较高的目标实体对象，通过低清高帧的第二视频获取待填充帧中目标实体对象的位置信息，从而合成待填充帧，并利用待填充帧对第一视频进行补帧处理，最终得到高清高帧视频，避免使用高像素高帧率的一个摄像模块以获取高清高帧视频，从而降低了单个摄像模块的工作负荷或输出图像数量，降低了摄像模块的发热量，降低了摄像模块的发热量对整机性能的影响，提高了最终获得的视频的图像质量。
可选的，处理器610，还用于确定所述第一视频中的第一目标视频帧，所述第一目标视频帧是所述第一视频的所有视频帧中，与所述待填充帧之间的时间间隔最小的视频帧；
确定所述第一目标视频帧中的目标实体对象；
确定所述第二视频中与所述待填充帧对应的时间相同的第二目标视频帧；
将所述第二目标视频帧中实体对象对应的位置信息，确定为所述相对位置信息。
可选的，处理器610，还用于删除所述第二目标视频帧中的实体对象；
在所述第二目标视频帧中的相对位置信息对应的位置***所述目标实体对象，合成所述待填充帧。
可选的，处理器610，还用于确定所述第二目标视频帧中实体对象对应的位置信息；
根据所述位置信息和预设位置变化值，确定所述实体对象在所述第一目标视频帧中的位置变化范围；
在所述第一目标视频帧中与所述位置变化范围对应的区域内，确定所述目标实体对象。
可选的，处理器610，还用于确定所述第一视频中的第一目标视频帧和第三目标视频帧，所述第一目标视频帧和第三目标视频帧是所述第一视频中，与所述待填充帧之间的时间间隔最小的两个视频帧，并确定所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息；
根据所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息，确定所述相对位置信息。
可选的，处理器610，还用于计算所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息的平均位置信息；
确定所述第二视频中与所述待填充帧对应的时间相同的第二目标视频帧，并确定所述第二目标视频帧中实体对象的位置信息；
根据所述第二目标视频帧中实体对象的位置信息，校准所述平均位置信息，得到所述相对位置信息。
可选的，处理器610，还用于检测所述第一摄像模块和所述第二摄像模块的发热量；
确定所述第一摄像模块和所述第二摄像模块的发热量的差值；
在所述差值大于或等于预设发热量的情况下，控制所述第一摄像模块拍摄得到所述第二视频，所述第二摄像模块拍摄得到所述第一视频。
可选的，处理器610，还用于获取所述目标摄像模块拍摄的目标视频和所述其他摄像模块拍摄的多个其他视频，所述目标视频的帧率小于所述其他视频的帧率，所述目标视频的分辨率大于所述其他视频的分辨率；
确定所述目标视频中的目标实体对象，并根据所述其他视频，确定所述目标实体对象在视频帧中的相对位置信息；
根据所述目标实体对象和所述相对位置信息，合成待填充帧，并利用所述待填充帧对所述目标视频进行补帧处理，得到高清高帧视频。
本申请中，采用两个摄像模块分别获取高清低帧的第一视频和低清高帧的第二视频，通过高清低帧的第一视频获取分辨率较高的目标实体对象，通过低清高帧的第二视频获取待填充帧中目标实体对象的位置信息，从而合成待填充帧，并利用待填充帧对第一视频进行补帧处理，最终得到高清高帧视频，避免使用高像素高帧率的一个摄像模块以获取高清高帧视频，从而降低了单个摄像模块的工作负荷或输出图像数量，降低了摄像模块的发热量，降低了摄像模块的发热量对整机性能的影响，提高了最终获得的视频的图像质量。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述高清高帧视频的获取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述高清高帧视频的获取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (18)

1.一种高清高帧视频的获取方法，应用于电子设备，所述电子设备具有第一摄像模块和第二摄像模块，其特征在于，所述方法包括：
获取所述第一摄像模块拍摄的第一视频和所述第二摄像模块拍摄的第二视频，所述第一视频的帧率小于所述第二视频的帧率，所述第一视频的分辨率大于所述第二视频的分辨率；
确定所述第一视频中的目标实体对象，并根据所述第二视频，确定所述目标实体对象在视频帧中的相对位置信息；
根据所述目标实体对象和所述相对位置信息，合成待填充帧，并利用所述待填充帧对所述第一视频进行补帧处理，得到高清高帧视频；所述目标实体对象为位于拍摄画面前景中、随时间的变化在画面中的相对位置发生变化的实体。
2.根据权利要求1所述的方法，其特征在于，所述确定所述第一视频中的目标实体对象的步骤，具体包括：
确定所述第一视频中的第一目标视频帧，所述第一目标视频帧是所述第一视频的所有视频帧中，与所述待填充帧之间的时间间隔最小的视频帧；
确定所述第一目标视频帧中的目标实体对象；
所述确定所述目标实体对象在视频帧中的相对位置信息的步骤，具体包括：
确定所述第二视频中与所述待填充帧对应的时间相同的第二目标视频帧；
将所述第二目标视频帧中实体对象对应的位置信息，确定为所述相对位置信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标实体对象和所述相对位置信息，合成待填充帧的步骤，具体包括：
删除所述第二目标视频帧中的实体对象；
在所述第二目标视频帧中的相对位置信息对应的位置***所述目标实体对象，合成所述待填充帧。
4.根据权利要求2所述的方法，其特征在于，所述确定所述第一目标视频帧中的目标实体对象的步骤，具体包括：
确定所述第二目标视频帧中实体对象对应的位置信息；
根据所述位置信息和预设位置变化值，确定所述实体对象在所述第一目标视频帧中的位置变化范围；
在所述第一目标视频帧中与所述位置变化范围对应的区域内，确定所述目标实体对象。
5.根据权利要求1所述的方法，其特征在于，所述确定所述目标实体对象在视频帧中的相对位置信息的步骤，具体包括：
确定所述第一视频中的第一目标视频帧和第三目标视频帧，所述第一目标视频帧和第三目标视频帧是所述第一视频中，与所述待填充帧之间的时间间隔最小的两个视频帧，并确定所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息；
根据所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息，确定所述相对位置信息。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息，确定所述相对位置信息的步骤，具体包括：
计算所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息的平均位置信息；
确定所述第二视频中与所述待填充帧对应的时间相同的第二目标视频帧，并确定所述第二目标视频帧中实体对象的位置信息；
根据所述第二目标视频帧中实体对象的位置信息，校准所述平均位置信息，得到所述相对位置信息。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
检测所述第一摄像模块和所述第二摄像模块的发热量；
确定所述第一摄像模块和所述第二摄像模块的发热量的差值；
在所述差值大于或等于预设发热量的情况下，控制所述第一摄像模块拍摄得到所述第二视频，所述第二摄像模块拍摄得到所述第一视频。
8.一种高清高帧视频的获取方法，应用于电子设备，所述电子设备具有目标摄像模块和多个其他摄像模块，其特征在于，所述方法包括：
获取所述目标摄像模块拍摄的目标视频和所述其他摄像模块拍摄的多个其他视频，所述目标视频的帧率小于所述其他视频的帧率，所述目标视频的分辨率大于所述其他视频的分辨率；
确定所述目标视频中的目标实体对象，并根据所述其他视频，确定所述目标实体对象在视频帧中的相对位置信息；
根据所述目标实体对象和所述相对位置信息，合成待填充帧，并利用所述待填充帧对所述目标视频进行补帧处理，得到高清高帧视频；所述目标实体对象为位于拍摄画面前景中、随时间的变化在画面中的相对位置发生变化的实体。
9.一种高清高帧视频的获取装置，应用于电子设备，所述电子设备具有第一摄像模块和第二摄像模块，其特征在于，所述装置包括：
第一获取模块，用于获取所述第一摄像模块拍摄的第一视频和所述第二摄像模块拍摄的第二视频，所述第一视频的帧率小于所述第二视频的帧率，所述第一视频的分辨率大于所述第二视频的分辨率；
第一确定模块，用于确定所述第一视频中的目标实体对象，并根据所述第二视频，确定所述目标实体对象在视频帧中的相对位置信息；所述目标实体对象为位于拍摄画面前景中、随时间的变化在画面中的相对位置发生变化的实体；
第一合成模块，用于根据所述目标实体对象和所述相对位置信息，合成待填充帧，并利用所述待填充帧对所述第一视频进行补帧处理，得到高清高帧视频。
10.根据权利要求9所述的装置，其特征在于，所述第一确定模块，具体包括：
第一确定子模块，用于确定所述第一视频中的第一目标视频帧，所述第一目标视频帧是所述第一视频的所有视频帧中，与所述待填充帧之间的时间间隔最小的视频帧；
第二确定子模块，用于确定所述第一目标视频帧中的目标实体对象；
所述第一确定模块，还包括：
第三确定子模块，用于确定所述第二视频中与所述待填充帧对应的时间相同的第二目标视频帧；
第四确定子模块，用于将所述第二目标视频帧中实体对象对应的位置信息，确定为所述相对位置信息。
11.根据权利要求10所述的装置，其特征在于，所述第一合成模块，具体包括：
删除子模块，用于删除所述第二目标视频帧中的实体对象；
合成子模块，用于在所述第二目标视频帧中的相对位置信息对应的位置***所述目标实体对象，合成所述待填充帧。
12.根据权利要求10所述的装置，其特征在于，所述第二确定子模块，具体包括：
第一确定单元，用于确定所述第二目标视频帧中实体对象对应的位置信息；
第二确定单元，用于根据所述位置信息和预设位置变化值，确定所述实体对象在所述第一目标视频帧中的位置变化范围；
第三确定单元，用于在所述第一目标视频帧中与所述位置变化范围对应的区域内，确定所述目标实体对象。
13.根据权利要求9所述的装置，其特征在于，所述第一确定模块，具体包括：
第五确定子模块，用于确定所述第一视频中的第一目标视频帧和第三目标视频帧，所述第一目标视频帧和第三目标视频帧是所述第一视频中，与所述待填充帧之间的时间间隔最小的两个视频帧，并确定所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息；
第六确定子模块，用于根据所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息，确定所述相对位置信息。
14.根据权利要求13所述的装置，其特征在于，所述第六确定子模块，具体包括：
计算单元，用于计算所述第一目标视频帧和第三目标视频帧中包含的目标实体对象的位置信息的平均位置信息；
第四确定单元，用于确定所述第二视频中与所述待填充帧对应的时间相同的第二目标视频帧，并确定所述第二目标视频帧中实体对象的位置信息；
校准单元，用于根据所述第二目标视频帧中实体对象的位置信息，校准所述平均位置信息，得到所述相对位置信息。
15.根据权利要求9所述的装置，其特征在于，所述装置还包括：
检测模块，用于检测所述第一摄像模块和所述第二摄像模块的发热量；
第二确定模块，用于确定所述第一摄像模块和所述第二摄像模块的发热量的差值；
控制模块，用于在所述差值大于或等于预设发热量的情况下，控制所述第一摄像模块拍摄得到所述第二视频，所述第二摄像模块拍摄得到所述第一视频。
16.一种高清高帧视频的获取装置，应用于电子设备，所述电子设备具有目标摄像模块和多个其他摄像模块，其特征在于，所述装置包括：
第二获取模块，用于获取所述目标摄像模块拍摄的目标视频和所述其他摄像模块拍摄的多个其他视频，所述目标视频的帧率小于所述其他视频的帧率，所述目标视频的分辨率大于所述其他视频的分辨率；
第三确定模块，用于确定所述目标视频中的目标实体对象，并根据所述其他视频，确定所述目标实体对象在视频帧中的相对位置信息；所述目标实体对象为位于拍摄画面前景中、随时间的变化在画面中的相对位置发生变化的实体；
第二合成模块，用于根据所述目标实体对象和所述相对位置信息，合成待填充帧，并利用所述待填充帧对所述目标视频进行补帧处理，得到高清高帧视频。
17.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-8中任一项所述的高清高帧视频的获取方法的步骤。
18.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-8中任一项所述的高清高帧视频的获取方法的步骤。
CN202110241209.7A 2021-03-04 2021-03-04 高清高帧视频的获取方法、装置及电子设备 Active CN113014817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110241209.7A CN113014817B (zh) 2021-03-04 2021-03-04 高清高帧视频的获取方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110241209.7A CN113014817B (zh) 2021-03-04 2021-03-04 高清高帧视频的获取方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113014817A CN113014817A (zh) 2021-06-22
CN113014817B true CN113014817B (zh) 2022-11-29

Family

ID=76405555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110241209.7A Active CN113014817B (zh) 2021-03-04 2021-03-04 高清高帧视频的获取方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113014817B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313075B (zh) * 2021-06-29 2024-02-02 杭州海康威视***技术有限公司 目标对象位置关系分析方法、装置、存储介质及电子设备
CN113852757B (zh) * 2021-09-03 2023-05-26 维沃移动通信（杭州）有限公司 视频处理方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110198412A (zh) * 2019-05-31 2019-09-03 维沃移动通信有限公司 一种视频录制方法及电子设备
CN111698553A (zh) * 2020-05-29 2020-09-22 维沃移动通信有限公司 视频处理方法、装置、电子设备及可读存储介质
CN111784570A (zh) * 2019-04-04 2020-10-16 Tcl集团股份有限公司 一种视频图像超分辨率重建方法及设备
WO2020253103A1 (zh) * 2019-06-17 2020-12-24 睿魔智能科技（深圳）有限公司 视频图像处理方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8385422B2 (en) * 2008-08-04 2013-02-26 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
EP2823461A1 (en) * 2012-03-05 2015-01-14 Thomson Licensing Method and apparatus for performing super-resolution
CN104574343B (zh) * 2013-10-16 2017-11-17 华为技术有限公司 一种视频中提取图像的方法及设备
WO2018020638A1 (ja) * 2016-07-28 2018-02-01 富士機械製造株式会社 撮像装置、撮像システム及び撮像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784570A (zh) * 2019-04-04 2020-10-16 Tcl集团股份有限公司 一种视频图像超分辨率重建方法及设备
CN110198412A (zh) * 2019-05-31 2019-09-03 维沃移动通信有限公司 一种视频录制方法及电子设备
WO2020253103A1 (zh) * 2019-06-17 2020-12-24 睿魔智能科技（深圳）有限公司 视频图像处理方法、装置、设备及存储介质
CN111698553A (zh) * 2020-05-29 2020-09-22 维沃移动通信有限公司 视频处理方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN113014817A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
US10600157B2 (en) Motion blur simulation
CN103428427B (zh) 影像尺寸重新调整方法以及影像尺寸重新调整装置
US7154541B2 (en) Image processing device
CN111028189A (zh) 图像处理方法、装置、存储介质及电子设备
WO2020114251A1 (zh) 视频拼接方法、装置、电子设备及计算机存储介质
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
CN113014817B (zh) 高清高帧视频的获取方法、装置及电子设备
CN111835982B (zh) 图像获取方法、图像获取装置、电子设备及存储介质
US20080212888A1 (en) Frame Region Filters
US7024050B2 (en) Image processing apparatus
CN112672060A (zh) 拍摄方法、装置和电子设备
WO2021148057A1 (zh) 低比特位宽hdr图像的生成方法及装置、存储介质、终端
WO2023160496A1 (zh) 拍摄方法、拍摄装置、电子设备和可读存储介质
CN112422798A (zh) 拍照方法、装置、电子设备和存储介质
CN113132695A (zh) 镜头阴影校正方法、装置及电子设备
CN111479059A (zh) 拍照处理方法、装置、电子设备及存储介质
CN110351508A (zh) 基于录像模式的防抖处理方法和装置、电子设备
CN113744139A (zh) 图像处理方法、装置、电子设备及存储介质
CN115278047A (zh) 拍摄方法、装置、电子设备和存储介质
CN112637496B (zh) 图像矫正方法及装置
CN115439386A (zh) 图像融合方法、装置、电子设备和存储介质
CN115514860A (zh) 动态帧率补偿方法、图像处理电路和电子设备
CN114782280A (zh) 图像处理方法和装置
CN114785957A (zh) 拍摄方法及其装置
CN114862734A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant