CN112584234A - 视频图像的补帧方法及相关装置 - Google Patents

视频图像的补帧方法及相关装置 Download PDF

Info

Publication number
CN112584234A
CN112584234A CN202011449788.6A CN202011449788A CN112584234A CN 112584234 A CN112584234 A CN 112584234A CN 202011449788 A CN202011449788 A CN 202011449788A CN 112584234 A CN112584234 A CN 112584234A
Authority
CN
China
Prior art keywords
frame
preset target
image data
video image
supplementing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011449788.6A
Other languages
English (en)
Other versions
CN112584234B (zh
Inventor
周济
黄浩填
罗先桂
张建
孟冬伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202011449788.6A priority Critical patent/CN112584234B/zh
Publication of CN112584234A publication Critical patent/CN112584234A/zh
Application granted granted Critical
Publication of CN112584234B publication Critical patent/CN112584234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

本申请公开一种视频图像的处理方法及相关装置。视频图像的处理方法包括：获取到待处理的视频图像数据，并确定视频图像数据的补帧位置；在视频图像数据的帧图像中通过双向搜索的方式，检测各预设目标的位置；其中，双向搜索的方式为按照视频帧的时间顺序从前往后以及从后往前两个方向搜索；基于各预设目标在帧图像中的位置得到各预设目标的运动轨迹；根据运动轨迹确定各预设目标在补帧位置对应的待插帧中的位置，以形成待插帧图像数据；将待插帧图像数据插设于补帧位置，形成补帧后的视频图像数据。通过上述方案可以提高视频图像数据形成的视频图像的流畅度。

Description

视频图像的补帧方法及相关装置
技术领域
本申请属于图像处理术领域，尤其涉及一种视频图像的补帧方法及相关装置。
背景技术
在在线视频播放或者在线直播中，用户的终端通常需要接收云端服务器传输的视频流数据，通过对视频流数据进行解码处理，然后可以在终端上显示对应的图像信息。其中，帧率(Frame rate)是图像信息的显示质量的重要指标。帧率是以帧称为单位的位图图像连续出现在显示器上的频率(速率)。当帧率越高，则可以表示为单位时间内刷新的图像帧数越多，对于运动图像而言，其运动显示将会更加流畅。
然而现有技术中，当视频流数据中的图像信息帧率不高或者出现丢帧问题时，通常需要通过对图像中的预设目标进行运动搜索，而计算到该预设目标的运动矢量，进而通过该运动矢量在待补帧图像上确定该预设目标的位置，以对视频流数据进行补帧。然而在进行补帧时，当在预设帧图像出现搜索目标突然出现或者消失，则可能导致补帧图像中的搜索目标的位置不准确，从而可能导致补帧后的视频流数据形成的视频图像出现显示流畅度不够，或者出现运动显示模糊或者卡顿的问题。
发明内容
本申请提供一种视频图像的补帧方法及相关装置，以解决上述的技术问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种视频图像的处理方法，所述视频图像的处理方法包括：
获取到待处理的视频图像数据，并确定所述视频图像数据的补帧位置；
在所述视频图像数据的帧图像中通过双向搜索的方式，检测各预设目标的位置；其中，所述双向搜索的方式为按照所述视频帧的时间顺序从前往后以及从后往前两个方向搜索；
基于所述各预设目标在所述帧图像中的位置得到所述各预设目标的运动轨迹；
根据所述运动轨迹确定所述各预设目标在所述补帧位置对应的待插帧中的位置，以形成待插帧图像数据；
将所述待插帧图像数据插设于所述补帧位置，形成补帧后的视频图像数据。
可选地，所述在所述视频图像数据的帧图像中通过双向搜索的方式，检测各预设目标的位置的步骤，包括：
检测各预设目标在所述补帧位置的前后各至少两幅帧图像中的位置；
所述基于所述各预设目标在所述帧图像中的位置得到所述各预设目标的运动轨迹的步骤，包括：
基于所述各检测目标在所述补帧位置的前后各至少两幅帧图像中的位置，确定所述各预设目标对应所述补帧位置的运动轨迹。
可选地，所述在所述视频图像数据的帧图像中通过双向搜索的方式，检测各预设目标的位置的步骤，包括：
将所述帧图像划分为多个非正方形的第一匹配块；
分别在每一个所述第一匹配块中对所述预设目标进行搜索，确定所述预设目标的位置。
可选地，所述多个非正方形的第一匹配块的形状不同；
所述分别在每一个所述第一匹配块中对所述预设目标进行搜索，确定所述预设目标的位置的步骤，包括：
如果在多个所述第一匹配块中搜索到所述预设目标，将所述预设目标在所述多个第一匹配块中的位置进行合并，得到所述预设目标的位置。
可选地，所述分别在每一个所述第一匹配块中对所述预设目标进行搜索，确定所述预设目标的位置的步骤，包括：
对所述帧图像再次进行划分为多个非正方形的第二匹配块；其中，所述第二匹配块的面积小于所述第一匹配块的面积；
基于所述预设目标在所述第一匹配块的位置，在所述第二匹配块中对所述预设目标进行搜索，确定所述预设目标的位置。
可选地，所述将所述待插帧图像数据插设于所述补帧位置，形成补帧后的视频图像数据的步骤之后，包括：
将所述补帧后的视频图像数据发送给显示装置，以通过所述显示装置播放所述视频图像数据。
可选地，所述根据所述运动轨迹确定所述各预设目标在所述补帧位置对应的待插帧中的位置，以形成待插帧图像数据的步骤包括：
确定所述图像中的多个预设目标的运动轨迹，根据所述多个预设目标的运动轨迹确定每一所述预设目标在待插帧中的位置，以形成待插帧图像数据。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种视频图像的处理装置，所述补帧装置包括：
数据接收模块，用于获取预处理图像数据；
数据处理模块，用于对所述预处理图像数据进行补帧处理；所述补帧处理包括：根据预处理图像数据确定所述预处理图像数据的补帧位置；根据所述补帧位置前后各至少两帧图像中的预设目标进行运动检测，以获取到所述预设目标的运动轨迹；根据所述运动轨迹确定所述预设目标在待插帧中的位置，以形成待插帧图像数据；将所述待插帧图像数据插设于所述补帧位置；
数据输出模块，用于将完成补帧处理的所述预处理图像数据发送至预设终端。
可选地，所述补帧装置包括服务器。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种电子装置，所述电子装置包括：相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现如前文所述的视频图像的处理方法。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种计算机可读存储装置，所述计算机可读存储介质存储有程序数据，所述程序数据能够被执行以实现如前文所述的视频图像的处理方法。
本申请的有益效果是：本申请实施例通过采用双向搜索的方式，以视频图像数据的播放时间顺序分别通过从前往后及从而后往前的方式检测各预设目标在各帧图像中的位置，且计算出各预设目标的运动轨迹，然后基于该运动估计计算出各预设目标在待插帧中的位置，从而形成待插帧图像数据。在后续进行插帧时，可以从而正向运动轨迹和反向运动轨迹中选取最优值进行后续的插帧作业，因此可以使得待插帧图像中的预设目标更加与该预设目标的时间运动轨迹相重合，因此可以提高待插帧图像***补帧位置后形成的视频图像的流畅度，且可以减少视频图像中出现模糊或者空洞的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
图1是本申请提供的一种视频图像的补帧方法一实施例的流程示意图；
图2是本申请视频图像处理装置一实施例的框架示意图；
图3是本申请电子装置一实施例的框架示意图；
图4是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本申请保护的范围。
需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
请参阅图1，图1是本申请提供的一种视频图像的补帧方法一实施例的流程示意图。
视频图像的补帧方法的方案具体可以包括如下步骤：
S110：获取到待处理的视频图像数据，并确定视频图像数据的补帧位置。
本步骤中，待处理的视频图像数据可以是视频流图像数据。即，待处理的视频图像数据可经过处理后可以在显示装置上显示对应的视频图像。
其中，视频流图像数据可以包括按照时间顺序依次播放的多个帧图像。每一帧图像则可以是一副静止的画面，通过按时间顺序依次播放多个帧图像则可以形成视频图像。其中，对于形成的视频图像的流畅度，可以采用帧率来进行体现。帧率则通常是指图像处理器每秒钟刷新的帧图像的数量。例如，当视频图像的帧率为60FPS时，则是指图像处理器每秒钟刷新60帧的帧图像。
本步骤中，在获取到初始的视频图像数据可后，可以对该视频图像数据的显示效果进行检测，从而可以判断是否需要对该初始的视频图像数据进行补帧处理。其中，对初始的视频图像数据的显示效果进行检测可以包括对该预处理图像数据显示的运动图像的运动流畅度、清晰度等参数进行检测。
若判断出该初始的视频图像数据的显示效果不需要进行补帧，则可以将该初始的视频图像数据发送给其他的显示装置进行图像显示；或者也直接将该初始的视频图像数据进行处理后进行图像显示。
若需要，则可以进行后续的步骤，从而对该初始的视频图像数据进行补帧处理，此时该初始的视频图像数据则可以称为待处理的视频图像数据。
其中，可以通过检测待处理的视频图像数据的显示效果，从而可以判断出需要进行图像补帧的位置。
例如，可以对待处理的视频图像数据的帧率进行检测，若待处理的视频图像数据的帧率小于预设的阈值时，则说明待处理的视频图像数据需要进行图像补帧处理。
或者，也可以对待处理的视频图像数据进行图像显示效果的预判断。当判断出该待处理的视频图像数据的图像显示效果出现运动流畅度不高或者图像出现模糊等问题时，则可以说明需要对该待处理的视频图像数据进行补帧处理，此时，可以对待处理的视频图像数据中出现图像显示效果流畅度不高或者图像出现模糊等问题时对应的多帧图像之间***补帧图像。或者，也可以在该待处理的视频图像数据所有时段的图像数据相邻的两帧图像之间均***补帧图像。
S120：在视频图像数据的帧图像中通过双向搜索的方式，检测各预设目标的位置；其中，双向搜索的方式为按照视频帧的时间顺序从前往后以及从后往前两个方向搜索。
当步骤完成步骤S110后，则可以进行步骤S120。即，在视频图像数据的帧图像中通过双向搜索的方式，检测各预设目标的位置；其中，双向搜索的方式为按照视频帧的时间顺序从前往后以及从后往前两个方向搜索。
具体而言，视频图像数据的帧图像通常是按照视频帧播放的时间顺序进行依次设置的。
因此，当进行双向搜索时，可以按照视频帧播放的时间顺序从前往后的方式对视频图像数据的各帧图像中的各预设目标的位置进行正向搜索；也可以按照反向于视频帧播放的时间顺序的方式从后往前对视频图像数据的各帧图像中的各预设目标的位置进行反向搜索。
具体的，对于某一预设目标而言，双向搜索则是分别按照时间顺序从前往后及从而后往前的方式，分别对视频图像数据的各帧图像进行搜索，从而识别出该预设目标在各帧图像中的位置。
S130：基于各预设目标在帧图像中的位置得到各预设目标的运动轨迹。
当采用双向搜索识别对视频图像数据进行双向搜索，而检测出各预设目标的位置时。可以基于各预设目标在帧图像中的位置得到各预设目标的运动轨迹。
预设目标的运动轨迹则是指该预设目标随着播放实现出现的位置变化轨迹。
具体来讲，按照视频帧播放的时间顺序从前往后的方式对视频图像数据的各帧图像中的各预设目标的位置进行正向搜索，可以检测出在正向的时间顺序下，各预设目标在帧图像中的位置，从而可以确定该预设目标的正向运动轨迹。
按照反向于视频帧播放的时间顺序从后往前的方式对视频图像数据的各帧图像中的各预设目标的位置进行反向搜索，可以检测出在反向的时间顺序下，各预设目标在帧图像中的位置，从而可以确定该预设目标的反向运动轨迹。
S140：根据运动轨迹确定各预设目标在补帧位置对应的待插帧中的位置，以形成待插帧图像数据。
当检测出视频图像数据的帧图像中的各预设目标的运动轨迹后，可以基于检测出的运动轨迹，确定各预设目标在待插帧中的位置。其中，该待插帧则对应为补帧位置所需***的帧图像。
本步骤中，可以根据预设目标的正向运动轨迹或者预设目标的反向运动轨迹确定各预设目标在待插帧中的位置。
其中，可以通过比对计算获得的预设目标的正向运动轨迹或者预设目标的反向运动轨迹，选取二者中的最优者，且后续以该最优者为确定出的运动轨迹，进而对各预设目标在待插帧中的位置进行确定。
具体的，可以通过计算相邻的两帧帧图像中的预设目标的SATD值，通过正反两个方向分别对该两帧帧图像中的预设目标的SATD值计算，且选取该SATD值最小时对应的运动轨迹为最优运动轨迹。
例如，当相邻的两帧帧图像分别为第N帧和第N+1帧时，进行正向运算时，则是以第N帧帧图像中的预设目标为起点，且以第N+1帧帧图像中的预设目标为终点从而可以计算出一个SATD值；进行反向运算时，则是以第N+1帧帧图像中的预设目标为起点，且以第N帧帧图像中的预设目标为终点从而可以计算出一个SATD值。当正向运算得出的SATD值小于反向运算得出的SATD值时，则可以说明该预设目标的正向运动轨迹为正向运动轨和反向运动轨迹二者中的最优者，反之，则反向运动轨迹为最优者。
S150：将待插帧图像数据插设于补帧位置，形成补帧后的视频图像数据。
当完成步骤S140后，则可以将形成的待插帧图像数据插设于补帧位置，形成补帧后的视频图像数据。
因此，本申请通过采用双向搜索的方式，以视频图像数据的播放时间顺序分别通过从前往后及从而后往前的方式检测各预设目标在各帧图像中的位置，且计算出各预设目标的运动轨迹，然后基于该运动估计计算出各预设目标在待插帧中的位置，从而形成待插帧图像数据。在后续进行插帧时，可以从正向运动轨迹和反向运动轨迹中选取最优值进行后续的插帧作业，因此可以使得待插帧图像中的预设目标更加与该预设目标的时间运动轨迹相重合，因此可以提高待插帧图像***补帧位置后形成的视频图像的流畅度，且可以减少视频图像中出现模糊或者空洞的问题。
具体的，在预设目标突然出现时，采用从后往前的方式获取该预设目标在该预设帧图像后几帧的帧图像，且以该预设帧图像和后几帧的帧图像为基准进行运动搜索，进而计算获得该预设目标的反向运动轨迹，进而可以基于该预设目标的反向运动轨迹，确定该预设目标在待插帧图像中的位置；或者在预设目标突然出现时采用从前往后的方式获取该预设目标在该预设帧图像前几帧的帧图像，且以该预设帧图像和前几帧的帧图像为基准进行运动搜索，进而计算获得该预设目标的正向运动轨迹，进而可以基于该预设目标的正向运动轨迹，确定该预设目标在待插帧图像中的位置。
其中，在一些实施方式中，可以通过对待处理的视频图像数据的所有帧图像进行双向运动检测，从而获得所有帧图像中的各预设目标的运动轨迹，然后再基于该运动轨迹且结合补帧位置确定各预设目标在该补帧位置所要***的待插帧中的位置，进而生产该补帧位置所要***的待插帧图像。
其中，当预设目标从预设帧图像开始突然出现时，则可以选取该自预设帧图像开始沿播放时间顺序依次设置的具有该预设目标的部分帧帧图像或者所有帧图像，且基于具有该预设目标的部分帧数的帧图像或者所有帧图像中的预设目标的位置，从而可以获取到该预设目标的正向运动轨迹。然后可以基于该运动轨迹，在上述具有该预设目标的部分帧数的帧图像或者所有帧图像中的任意相邻的两帧帧图像之间的补帧位置形成待插帧图像数据，此时该待插帧图像数据中的预设目标可以与该运动轨迹的轨迹线在该补帧位置相重叠。
同样的，当预设目标从预设帧图像开始突然消失时，则可以选取该自预设帧图像开始沿反向于播放时间顺序依次设置的具有该预设目标的部分帧帧图像或者所有帧图像，且基于具有该预设目标的部分帧数的帧图像或者所有帧图像中的预设目标的位置，从而可以获取到该预设目标的反向运动轨迹。
本实施例在一些具体的实施方式中，可以通过对补帧位置前后各至少两帧的帧图像(共计四帧帧图像)进行双向搜索，计算在该四帧的帧图像所对应的视频图像中的各预设目标的运动轨迹。
具体的当补帧位置位于第N帧和第N+1帧的帧图像之间时，可以通过对预设目标分别在第N-1帧、第N帧、第N+1帧以及第N+2帧的图像中的位置进行双向检测，从而确定该预设目标的运动轨迹。
其中，上述各帧图像中的，该在各帧图像中的预设目标在其中一图像帧上的投影的连线则可以构成该该预设目标的运动轨迹。且，当该预设目标的运动轨迹为非直线形时，各帧图像中的预设目标形成的运动轨迹则可以是由平滑的连接线相连接。
本方案通过采用补帧位置前后各至少两帧帧图像为基础获取各预设目标的运动轨迹，从而可以减小运算量，提高图像处理的效率。
进一步的，在上述实施例中，对各帧图像进行运动搜索，从而获取到各帧图像中的各预设目标的位置时，可以采用将帧图像划分为多个匹配块的方式进行分别检测。
以对其中一帧帧图像中的各预设目标进行运动搜索为例。
可以将该帧图像划分为多个第一匹配块；然后分别在每一个第一匹配块中对该预设目标进行搜索，确定预设目标的位置。
例如，可以先将该帧图像平均划分为四个部分，且该四个部分中心连线成“口”字形设置。其中，每一部分则可以为一个第一匹配块；或者也可以将该帧图像划分为多个非正方形的第一匹配块。通过此方案，可以快速确认预设目标在该帧图像中为大致方位。以便于进行后续的运动搜索。
当在某一第一匹配块中获取到预设目标后，则可以进一步将帧图像再次进行划分为多个非正方形的第二匹配块；其中，第二匹配块的面积小于第一匹配块的面积；此时，第二匹配块可以是能够容纳该预设目标的最小矩形。然后进一步的，可以基于预设目标在该第一匹配块内的位置，在第二匹配块中对预设目标进行搜索，从而确定该预设目标的位置。上述方案通过先将帧图像划分为多个第一匹配块，可以在地分辨率的情况相对预设目标在该帧图像中为大致方位进行快速确认；然后再将该帧图像划分为面积小于第一匹配块的多个第二匹配块，从而可以在该第一匹配块内基于第二匹配块的位置对预设目标进行位置搜索，从而可以在较高分辨率的情况下搜索到高预设目标的位置。因此，可以减小对该预设目标进行搜索时的搜索时间，提高对该预设目标进行搜索时的搜索效率。且，在确定到该预设目标的大致位置后，可以基于该预设目标的位置对该预设目标进行高分辨率的搜索，因此可以确保对该预设目标进行搜索的搜索精度。
本实施例中，通过将匹配块(第一匹配块和/或第二匹配块)划分成非正方形，使得该匹配块成矩形或者其他的形状，从而进一步提高对该预设目标搜索的精确度。
进一步的，本实施例中的预设目标可以是具有预设像素值大小的图像块。或者，预设目标也可以是一个或者多个能够进行独立运动的单独个体，例如预设目标可以是人、动物或者单独的物体。当在多个匹配块中均检测到该预设目标时，则可以将多个匹配块中具有该预设目标的部分进行合并，从而可以实现对该运动目标进行整体运动检测，从而可以搜索到该预设目标在该帧图像中的位置。
当通过上述方案完成在对待处理的视频图像数据进行补帧处理后，即在待处理视频图像数据中的补帧位置***了待插帧图像数据后，则可以形成补帧后的视频图像数据，进而可以将补帧后的视频图像数据发送给显示装置，通过该显示装置则可以根据该补帧后的视频图像数据播放对应的补帧后的视频图像。
进一步的，本申请还提供了一种视频图像处理装置，请参阅图2，图2是本申请视频图像处理装置一实施例的框架示意图。
其中，视频图像处理装置20包括依次连接的数据接收模块210、数据处理模块220以及数据输出模块230。
其中，数据接收模块210可以用于获取预处理的视频图像数据。
数据处理模块220则可以对数据接收模块210获取到的视频图像数据进行检测，从而确定该视频图像数据的补帧位置；且数据处理模块220可以进一步通过对在视频图像数据的帧图像中通过双向搜索的方式，检测各预设目标的位置；其中，双向搜索的方式为按照视频帧的时间顺序从前往后以及从后往前两个方向搜索；并基于各预设目标在帧图像中的位置得到各预设目标的运动轨迹；根据运动轨迹确定各预设目标补帧位置对应的待插帧中的位置，以形成待插帧图像数据；将待插帧图像数据插设于补帧位置，形成补帧后的视频图像数据。数据处理模块220对视频图像数据进行处理的方法具体可以参阅前文所述的视频图像的处理方法，在此不作赘述。
数据输出模块230则可以将形成的补帧后的视频图像数据发送给预设的显示装置。
本实施例中，视频图像处理装置20可以接收服务器传输的视频图像数据，且对该视频图像数据进行补帧处理。其中，视频图像处理装置20可以与手机、平板等终端进行通信连接，从而将补帧后的视频图像数据发送给上述终端。通过采用电子装置对视频图像数据进行补帧处理，且将补帧处理后的图像数据传输给终端，从而可以实现在终端的图像处理能力不足时，通过视频图像处理装置进行视频图像数据的补帧处理，因此可以使得终端在图像处理能力不足也可以显示高帧率的视频图像。
其中，可以视频图像处理装置20可以是独立的电子装置，或者，视频图像处理装置20也可以是服务器，即，可以将上述的数据处理模块220集成于云端服务器中，通过云端服务器对视频图像数据进行补帧处理。
进一步的，本申请还提供了一种电子装置请参阅图3，图3是本申请电子装置一实施例的框架示意图。
电子装置30包括相互耦接的存储器31和处理器32，处理器32用于执行存储器31中存储的程序指令，以实现上述任一视频数据的处理方法实施例的步骤。
具体而言，处理器32用于控制其自身以及存储器31以实现上述任一视频数据处理方法实施例的步骤。处理器32还可以称为CPU(Central Processing Unit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器32可以由集成电路芯片共同实现。
请参阅图4，图4是本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质40存储有能够被处理器运行的程序指令400，程序指令400用于实现上述任一视频数据的处理方法实施例的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种视频图像的处理方法，其特征在于，所述视频图像的处理方法包括：
获取到待处理的视频图像数据，并确定所述视频图像数据的补帧位置；
在所述视频图像数据的帧图像中通过双向搜索的方式，检测各预设目标的位置；其中，所述双向搜索的方式为按照所述视频帧的时间顺序从前往后以及从后往前两个方向搜索；
基于所述各预设目标在所述帧图像中的位置得到所述各预设目标的运动轨迹；
根据所述运动轨迹确定所述各预设目标在所述补帧位置对应的待插帧中的位置，以形成待插帧图像数据；
将所述待插帧图像数据插设于所述补帧位置，形成补帧后的视频图像数据。
2.根据权利要求1所述的视频图像的处理方法，其特征在于，所述在所述视频图像数据的帧图像中通过双向搜索的方式，检测各预设目标的位置的步骤，包括：
检测各预设目标在所述补帧位置的前后各至少两幅帧图像中的位置；
所述基于所述各预设目标在所述帧图像中的位置得到所述各预设目标的运动轨迹的步骤，包括：
基于所述各检测目标在所述补帧位置的前后各至少两幅帧图像中的位置，确定所述各预设目标对应所述补帧位置的运动轨迹。
3.根据权利要求1或2所述的视频图像的处理方法，其特征在于，
所述在所述视频图像数据的帧图像中通过双向搜索的方式，检测各预设目标的位置的步骤，包括：
将所述帧图像划分为多个非正方形的第一匹配块；
分别在每一个所述第一匹配块中对所述预设目标进行搜索，确定所述预设目标的位置。
4.根据权利要求3所述的视频图像的处理方法，其特征在于，所述多个非正方形的第一匹配块的形状不同；
所述分别在每一个所述第一匹配块中对所述预设目标进行搜索，确定所述预设目标的位置的步骤，包括：
如果在多个所述第一匹配块中搜索到所述预设目标，将所述预设目标在所述多个第一匹配块中的位置进行合并，得到所述预设目标的位置。
5.根据权利要求3所述的视频图像的处理方法，其特征在于，所述分别在每一个所述第一匹配块中对所述预设目标进行搜索，确定所述预设目标的位置的步骤，包括：
对所述帧图像再次进行划分为多个非正方形的第二匹配块；其中，所述第二匹配块的面积小于所述第一匹配块的面积；
基于所述预设目标在所述第一匹配块的位置，在所述第二匹配块中对所述预设目标进行搜索，确定所述预设目标的位置。
6.根据权利要求1所述的视频图像的处理方法，其特征在于，所述将所述待插帧图像数据插设于所述补帧位置，形成补帧后的视频图像数据的步骤之后，包括：
将所述补帧后的视频图像数据发送给显示装置，以通过所述显示装置播放所述视频图像数据。
7.根据权利要求1-6任一项所述的视频图像的补帧方法，其特征在于，所述根据所述运动轨迹确定所述各预设目标在所述补帧位置对应的待插帧中的位置，以形成待插帧图像数据的步骤包括：
确定所述图像中的多个预设目标的运动轨迹，根据所述多个预设目标的运动轨迹确定每一所述预设目标在待插帧中的位置，以形成所述待插帧图像数据。
8.一种视频图像的处理装置，其特征在于，所述补帧装置包括：
数据接收模块，用于获取预处理图像数据；
数据处理模块，用于对所述预处理图像数据进行补帧处理；所述补帧处理包括：根据预处理图像数据确定所述预处理图像数据的补帧位置；根据所述补帧位置前后各至少两帧图像中的预设目标进行运动检测，以获取到所述预设目标的运动轨迹；根据所述运动轨迹确定所述预设目标在待插帧中的位置，以形成待插帧图像数据；将所述待插帧图像数据插设于所述补帧位置；
数据输出模块，用于将完成补帧处理的所述预处理图像数据发送至预设终端。
9.根据权利要求8所述的视频图像的处理装置，其特征在于，所述补帧装置包括服务器。
10.一种电子装置，其特征在于，所述电子装置包括：相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至7任一项所述的视频图像的处理方法。
11.一种计算机可读存储装置，其特征在于，所述计算机可读存储介质存储有程序数据，所述程序数据能够被执行以实现如权利要求1-6任意一项所述的视频图像的处理方法。。
CN202011449788.6A 2020-12-09 2020-12-09 视频图像的补帧方法及相关装置 Active CN112584234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011449788.6A CN112584234B (zh) 2020-12-09 2020-12-09 视频图像的补帧方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011449788.6A CN112584234B (zh) 2020-12-09 2020-12-09 视频图像的补帧方法及相关装置

Publications (2)

Publication Number Publication Date
CN112584234A true CN112584234A (zh) 2021-03-30
CN112584234B CN112584234B (zh) 2023-06-16

Family

ID=75131680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011449788.6A Active CN112584234B (zh) 2020-12-09 2020-12-09 视频图像的补帧方法及相关装置

Country Status (1)

Country Link
CN (1) CN112584234B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438508A (zh) * 2021-06-23 2021-09-24 北京蜂巢世纪科技有限公司 视频数据处理方法、装置、设备、介质及程序产品
CN113596564A (zh) * 2021-09-29 2021-11-02 卡莱特云科技股份有限公司 一种画面播放方法及装置
CN113837136A (zh) * 2021-09-29 2021-12-24 深圳市慧鲤科技有限公司 视频插帧方法及装置、电子设备和存储介质
CN113891158A (zh) * 2021-10-26 2022-01-04 维沃移动通信有限公司 视频播放方法、装置、***、电子设备和存储介质
CN114897973A (zh) * 2022-07-15 2022-08-12 腾讯科技（深圳）有限公司 轨迹检测方法、装置、计算机设备和存储介质
CN116489458A (zh) * 2023-06-26 2023-07-25 深圳麦风科技有限公司 一种基于文件字节分析的mp4修复方法、装置、终端及介质
CN117572814A (zh) * 2024-01-19 2024-02-20 西南技术物理研究所 一种基于物联网的多仪器设备自动测控方法及***
WO2024104439A1 (zh) * 2022-11-17 2024-05-23 歌尔科技有限公司 图像插帧方法、装置、设备及计算机可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040101058A1 (en) * 2002-11-22 2004-05-27 Hisao Sasai Device, method and program for generating interpolation frame
JP2004241957A (ja) * 2003-02-05 2004-08-26 Sony Corp 画像処理装置および符号化装置とそれらの方法
JP2005006275A (ja) * 2002-11-22 2005-01-06 Matsushita Electric Ind Co Ltd 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム
CN101401436A (zh) * 2006-03-10 2009-04-01 日本电气株式会社 帧内预测模式选择方法及运动图像编码、使用它的装置和程序
CN103226834A (zh) * 2013-03-26 2013-07-31 长安大学 一种图像运动目标特征点快速搜索方法
CN103607558A (zh) * 2013-11-04 2014-02-26 深圳市中瀛鑫科技股份有限公司 一种视频监控***及其目标匹配方法和装置
CN109074657A (zh) * 2018-07-18 2018-12-21 深圳前海达闼云端智能科技有限公司 一种目标跟踪方法、装置、电子设备和可读存储介质
CN109359552A (zh) * 2018-09-21 2019-02-19 中山大学 一种高效的跨摄像头行人双向跟踪方法
CN111327908A (zh) * 2020-03-05 2020-06-23 Oppo广东移动通信有限公司 一种视频处理方法及相关装置
CN112040311A (zh) * 2020-07-24 2020-12-04 北京航空航天大学 视频图像补帧方法、装置、设备及可存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040101058A1 (en) * 2002-11-22 2004-05-27 Hisao Sasai Device, method and program for generating interpolation frame
JP2005006275A (ja) * 2002-11-22 2005-01-06 Matsushita Electric Ind Co Ltd 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム
JP2004241957A (ja) * 2003-02-05 2004-08-26 Sony Corp 画像処理装置および符号化装置とそれらの方法
CN101401436A (zh) * 2006-03-10 2009-04-01 日本电气株式会社 帧内预测模式选择方法及运动图像编码、使用它的装置和程序
CN103226834A (zh) * 2013-03-26 2013-07-31 长安大学 一种图像运动目标特征点快速搜索方法
CN103607558A (zh) * 2013-11-04 2014-02-26 深圳市中瀛鑫科技股份有限公司 一种视频监控***及其目标匹配方法和装置
CN109074657A (zh) * 2018-07-18 2018-12-21 深圳前海达闼云端智能科技有限公司 一种目标跟踪方法、装置、电子设备和可读存储介质
CN109359552A (zh) * 2018-09-21 2019-02-19 中山大学 一种高效的跨摄像头行人双向跟踪方法
CN111327908A (zh) * 2020-03-05 2020-06-23 Oppo广东移动通信有限公司 一种视频处理方法及相关装置
CN112040311A (zh) * 2020-07-24 2020-12-04 北京航空航天大学 视频图像补帧方法、装置、设备及可存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
因雅晶: "帧率上转换中的运动估计算法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438508A (zh) * 2021-06-23 2021-09-24 北京蜂巢世纪科技有限公司 视频数据处理方法、装置、设备、介质及程序产品
CN113438508B (zh) * 2021-06-23 2022-07-01 北京蜂巢世纪科技有限公司 视频数据处理方法、装置、设备、介质及程序产品
CN113596564A (zh) * 2021-09-29 2021-11-02 卡莱特云科技股份有限公司 一种画面播放方法及装置
CN113837136A (zh) * 2021-09-29 2021-12-24 深圳市慧鲤科技有限公司 视频插帧方法及装置、电子设备和存储介质
CN113891158A (zh) * 2021-10-26 2022-01-04 维沃移动通信有限公司 视频播放方法、装置、***、电子设备和存储介质
CN114897973A (zh) * 2022-07-15 2022-08-12 腾讯科技（深圳）有限公司 轨迹检测方法、装置、计算机设备和存储介质
CN114897973B (zh) * 2022-07-15 2022-09-16 腾讯科技（深圳）有限公司 轨迹检测方法、装置、计算机设备和存储介质
WO2024104439A1 (zh) * 2022-11-17 2024-05-23 歌尔科技有限公司 图像插帧方法、装置、设备及计算机可读存储介质
CN116489458A (zh) * 2023-06-26 2023-07-25 深圳麦风科技有限公司 一种基于文件字节分析的mp4修复方法、装置、终端及介质
CN116489458B (zh) * 2023-06-26 2023-09-01 深圳麦风科技有限公司 一种基于文件字节分析的mp4修复方法、装置、终端及介质
CN117572814A (zh) * 2024-01-19 2024-02-20 西南技术物理研究所 一种基于物联网的多仪器设备自动测控方法及***
CN117572814B (zh) * 2024-01-19 2024-04-23 西南技术物理研究所 一种基于物联网的多仪器设备自动测控方法及***

Also Published As

Publication number Publication date
CN112584234B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN112584234B (zh) 视频图像的补帧方法及相关装置
CN110322542B (zh) 重建真实世界3d场景的视图
CN110267098B (zh) 一种视频处理方法及终端
US20120242794A1 (en) Producing 3d images from captured 2d video
EP2180695B1 (en) Apparatus and method for improving frame rate using motion trajectory
EP1592251A1 (en) Ticker processing in video sequences
US20100085420A1 (en) Image processing apparatus and method
CN112584232A (zh) 视频插帧方法、装置及服务器
US10764493B2 (en) Display method and electronic device
CN110636294A (zh) 视频解码方法及装置，视频编码方法及装置
CN111861572A (zh) 广告投放方法、装置、电子设备及计算机可读存储介质
US8718331B2 (en) Image detecting apparatus and method thereof
US20200380290A1 (en) Machine learning-based prediction of precise perceptual video quality
CN113691758A (zh) 插帧方法和装置、设备、介质
CN112752085A (zh) 基于人眼跟踪的裸眼3d视频播放***及方法
US20210144358A1 (en) Information-processing apparatus, method of processing information, and program
CN107733874B (zh) 信息处理方法、装置、计算机设备和存储介质
CN115835035A (zh) 图像插帧方法、装置、设备及计算机可读存储介质
CN115314658A (zh) 基于三维显示的视频通信方法及***
CN114979619A (zh) 用于视频数据的帧率上转换中的遮挡检测的***和方法
US9532040B2 (en) Virtual viewpoint interval determination sections apparatus and method
CN113891057A (zh) 视频的处理方法、装置、电子设备和存储介质
CN112995681A (zh) 图像数据传输方法、电子设备和计算机可读介质
US8340350B2 (en) Information processing device and method, and program
CN112399096B (zh) 一种视频处理方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant