CN116260928A - 一种基于智能插帧的视觉优化方法 - Google Patents

一种基于智能插帧的视觉优化方法 Download PDF

Info

Publication number
CN116260928A
CN116260928A CN202310538891.5A CN202310538891A CN116260928A CN 116260928 A CN116260928 A CN 116260928A CN 202310538891 A CN202310538891 A CN 202310538891A CN 116260928 A CN116260928 A CN 116260928A
Authority
CN
China
Prior art keywords
video
frames
frame
value
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310538891.5A
Other languages
English (en)
Other versions
CN116260928B (zh
Inventor
邓正秋
吕绍和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Malanshan Video Advanced Technology Research Institute Co ltd
Original Assignee
Hunan Malanshan Video Advanced Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Malanshan Video Advanced Technology Research Institute Co ltd filed Critical Hunan Malanshan Video Advanced Technology Research Institute Co ltd
Priority to CN202310538891.5A priority Critical patent/CN116260928B/zh
Publication of CN116260928A publication Critical patent/CN116260928A/zh
Application granted granted Critical
Publication of CN116260928B publication Critical patent/CN116260928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Television Systems (AREA)

Abstract

本发明涉及图像帧处理技术领域，尤其涉及一种基于智能插帧的视觉优化方法，本发明通过获取待优化视频，将待优化视频划分为若干视频段，基于各相邻视频帧对应的图像参量表征值的差值确定视频段的平滑状态，在视频段处于第一平滑状态时，确定视频段的各视频帧中的特征轮廓，基于所述视频段中各相邻视频帧中特征轮廓的位移差异量调整插帧数量对相邻视频帧进行插帧，在视频段处于第二平滑状态时，确定视频段的各视频帧的图像亮度表征值，基于各相邻视频帧图像亮度表征值的差异量调整插帧数量对相邻视频帧进行插帧，保证了对相邻视频帧进行插帧的效率，有效提高了视频段的平滑效果，保证了插帧后视频段的视觉效果。

Description

一种基于智能插帧的视觉优化方法
技术领域
本发明涉及图像帧处理技术领域，尤其涉及一种基于智能插帧的视觉优化方法。
背景技术
插帧是在原有视频显示的每两帧视频帧中增加一帧，缩短每帧之间的显示时间，提升视频帧率，修正人眼视觉暂留形成的错觉，有效提高画面稳定性，让画面更流畅，细节展示更清晰。
公开号为CN114205648A的专利申请，公开了如下内容，该申请实施例提供一种插帧方法及装置，该方法包括：在第一图像帧和第二图像帧之间确定插帧位置。根据第一图像帧和第二图像帧，确定第一图像帧和第二图像帧之间的形变信息，以及第一图像帧和第二图像帧之间的遮挡信息。根据插帧位置、形变信息、第一图像帧和第二图像帧，确定第一图像帧和第二图像帧之间的中间图像帧。根据遮挡信息和中间图像帧，确定插帧位置对应的插帧图像帧，并在插帧位置处***插帧图像帧。通过根据图像帧之间的形变信息和遮挡信息，对各个插帧位置分别进行处理，以确定第一图像帧和第二图像帧之间的各个插帧位置各自对应的插帧图像帧，从而可以有效保证对图像帧进行插帧的插帧效果。
但是，现有技术中，还存在以下问题：
在现有技术中，未考虑在视频中物体的不同运动状态下，分别根据相邻视频帧物体移动的速度以及相邻视频帧的明暗状态变化情况对插帧时***的帧数进行调整，以提高插帧的效率以及插针后视频的视觉效果。
发明内容
为解决上述问题，本发明提供一种基于智能插帧的视觉优化方法，其包括：
步骤S1、获取待优化视频，将所述待优化视频划分为若干视频段，各所述视频段中至少包含三个视频帧；
步骤S2、确定各视频段中相邻视频帧的图像参量并对应计算图像参量表征值，基于各相邻视频帧对应的图像参量表征值的差值确定视频段的平滑状态，所述平滑状态包括第一平滑状态以及第二平滑状态；
步骤S3、基于视频段的平滑状态确定对所述视频段进行插帧优化时的优化方式，其中，在所述视频段处于第一平滑状态时采用第一插帧优化方式，在所述视频段处于第二平滑状态时采用第二插帧优化方式；
所述第一插帧优化方式为，确定所述视频段的各视频帧中的特征轮廓，基于所述视频段中各相邻视频帧中特征轮廓的位移差异量调整插帧数量对所述相邻视频帧进行插帧；
所述第二插帧优化方式为，确定所述视频段的各视频帧的图像亮度表征值，基于所述视频段中各相邻视频帧中图像亮度表征值的差异量调整插帧数量对所述相邻视频帧进行插帧。
进一步地，所述步骤S2中，确定各视频段中相邻视频帧的图像参量，其中，所述图像参量包括视频帧的对比度值R、亮度值B以及所述视频帧中物体轮廓的面积S。
进一步地，所述步骤S2中，按照公式（1）计算视频帧的图像参量表征值K，
Figure SMS_1
，
公式（1）中，R0表示预设的对比度对比参量，B0表示预设的亮度对比参量，S0表示预设的轮廓面积对比参量。
进一步地，所述步骤S2中，基于各相邻视频帧对应的图像参量表征值的差值确定视频段的平滑状态，其中，
计算各相邻视频帧对应的图像参量表征值的差值的平均值，并且，将所述平均值与预设的图像差值对比阈值进行对比，并根据对比结果确定视频段的平滑状态，其中，
若对比结果满足第一条件，确定视频段的平滑状态为第一平滑状态；
若对比结果满足第二条件，确定视频段的平滑状态为第二平滑状态；
其中，所述第一条件为所述平均值大于等于所述图像差值对比阈值，所述第二条件为所述平均值小于所述图像差值对比阈值。
进一步地，所述步骤S3中，确定所述视频段的各视频帧中的特征轮廓，其中，
基于相邻视频帧中相同物体轮廓的轮廓中心坐标确定位移差异量，将所述位移差异量与预设的第一位移差异对比阈值进行对比，并根据对比结果确定视频帧中的物体轮廓是否为特征轮廓，其中，
在第一位移对比条件下，确定视频帧中的物体轮廓为特征轮廓；
其中，所述第一位移对比条件为所述位移差异量大于等于所述第一位移差异对比阈值。
进一步地，所述步骤S3中，基于相邻视频帧中相同物体轮廓的轮廓中心的坐标确定位移差异量，其中，以各所述视频帧的中心点为原点建立直角坐标系，确定相邻视频帧中相同物体轮廓对应的轮廓中心点的坐标，按照公式（2）计算相邻视频帧中物体轮廓的位移差异量D，
Figure SMS_2
，
公式（2）中，y2表示物体轮廓的轮廓中心点在相邻视频帧中的后一视频帧中的Y轴坐标值，y1表示物体轮廓的轮廓中心点在相邻视频帧中的前一视频帧中的Y轴坐标值，x2表示物体轮廓的轮廓中心点在相邻视频帧中的后一视频帧中的X轴坐标值，x1表示物体轮廓的轮廓中心点在相邻视频帧中的前一视频帧中的X轴坐标值。
进一步地，所述步骤S3中，基于所述视频段中各相邻视频帧中特征轮廓的位移差异量调整插帧数量对所述相邻视频帧进行插帧，其中，
将相邻视频帧中被确定为特征轮廓的物体轮廓对应的位移差异量与预设的第二位移差异对比阈值以及第三位移差异对比阈值进行对比，所述第一位移差异对比阈值小于所述第二位移差异对比阈值且所述第二位移差异对比阈值小于所述第三位移差异对比阈值，并根据对比结果对所述相邻视频帧进行插帧的插帧数量进行调整，其中，
在第二位移对比条件下，增大插帧数量对所述相邻视频帧进行插帧；
在第三位移对比条件下，减小插帧数量对所述相邻视频帧进行插帧；
在第四位移对比条件下，无需对插帧数量进行调整；
其中，所述第二位移对比条件为所述位移差异量大于等于所述第三位移差异对比阈值，所述第三位移对比条件为所述位移差异量大于等于所述第一位移差异对比阈值且所述位移差异量小于等于所述第二位移差异对比阈值，所述第四位移对比条件为所述位移差异量大于所述第二位移差异对比阈值且所述位移差异量小于所述第三位移差异对比阈值。
进一步地，所述步骤S3中，确定所述视频段的各视频帧的图像亮度表征值，其中，
按照公式（3）计算视频帧的图像亮度表征值E，
Figure SMS_3
，
公式（3）中，R表示所述视频帧的对比度值，B表示所述视频帧的亮度值，R0表示预设的对比度对比参量，B0表示预设的亮度对比参量。
进一步地，所述步骤S3中，基于所述视频段中各相邻视频帧中图像亮度表征值的差异量调整插帧数量对所述相邻视频帧进行插帧，其中，
确定相邻视频帧中各视频帧的图像亮度表征值的差异量，将所述差异量与预设的第一图形亮度差异对比阈值以及第二图形亮度差异对比阈值进行对比，
在第一亮度表征值对比结果下，增大插帧数量对所述相邻视频帧进行插帧；
在第二亮度表征值对比结果下，减小插帧数量对所述相邻视频帧进行插帧；
在第三亮度表征值对比结果下，无需对插帧数量进行调整；
其中，所述第一亮度表征值对比结果为所述差异量大于等于所述第二图形亮度差异对比阈值，所述第二亮度表征值对比结果为所述差异量小于等于所述第一图形亮度差异对比阈值，所述第三亮度表征值对比结果为所述差异量大于所述第一图形亮度差异对比阈值且所述差异量小于所述第二图形亮度差异对比阈值，所述第一图形亮度差异对比阈值小于所述第二图形亮度差异对比阈值。
进一步地，所述步骤S3中，对相邻视频帧进行插帧时包括，将***帧***相邻视频帧之间，所述***帧基于插帧模型生成。
与现有技术相比，本发明通过获取待优化视频，将待优化视频划分为若干视频段，基于各相邻视频帧对应的图像参量表征值的差值确定视频段的平滑状态，在视频段处于第一平滑状态时，确定视频段的各视频帧中的特征轮廓，基于所述视频段中各相邻视频帧中特征轮廓的位移差异量调整插帧数量对相邻视频帧进行插帧，在视频段处于第二平滑状态时，确定视频段的各视频帧的图像亮度表征值，基于各相邻视频帧图像亮度表征值的差异量调整插帧数量对相邻视频帧进行插帧，保证了对相邻视频帧进行插帧的效率，有效提高了视频段的平滑效果，保证了插帧后视频段的视觉效果。
尤其，本发明中，基于视频段中各相邻视频帧对应的图像参量表征值的差值的平均值确定视频段的平滑状态，图像参量表征值由视频帧的对比度值、亮度值以及视频帧中物体轮廓的面积计算所得，图像参量表征值能够表征出视频段各帧之间的差异性，图像参量表征值越大表征各视频帧的差异性越大，以此为基准确定平滑状态，计算量较小，为后续数据处理提供依据。
尤其，本发明中，在视频段处于第一平滑状态时，将相邻视频帧中相同物体轮廓中位移差异量大于预设的第一位移差异对比阈值的物体轮廓确定为特征轮廓，在实际情况中，在视频段处于平滑效果较低的第一平滑状态时，视频段中视频帧的差异性较大，在这种情况下，影响视觉效果的主要因素为物体移动，因此，本发明确定出视频帧中处于运动状态且移动速度大于一定值的物体轮廓，并对应确定位移差异量，位移差异量由两相同物体轮廓的轮廓中心的坐标之间的距离进行表示，在实际情况中，相邻视频帧中相同物体轮廓的物体即为同一物体，因此，位移差异量表征了该物体移动的距离，且，物体移动的距离越大则表明物体移动的速度越快，对视觉效果影响越大，因此，以相邻视频段中特征轮廓的位移差异量为依据能科学的对相邻视频帧进行插帧的插帧数量进行调整，保证了对相邻视频帧进行插帧的效率，提高了插帧后视频段的平滑效果。
尤其，本发明中，在视频段处于第二平滑状态时，基于各相邻视频帧图像亮度表征值的差异量调整插帧数量对相邻视频帧进行插帧，图像亮度表征值由视频帧的对比度值、亮度值计算所得，在实际情况中，在视频段处于平滑效果较高的第二平滑状态时，即视频段的各相邻视频帧的处于运动状态的物体的运动速度较慢，此时，影响视频段的平滑度的主要因素为相邻视频帧的亮度以及对比度的差异量，且，在相邻视频帧进行插帧时插帧的数量应根据相邻视频帧的亮度值以及对比度值的差异量作适应性调整，因此，在视频段处于第二平滑状态时，以相邻视频帧图像亮度表征值的差异量为依据能可靠的对相邻视频帧进行插帧的插帧数量进行调整，保证了对相邻视频帧进行插帧的效率，提高了插帧后视频段的平滑效果。
附图说明
图1为发明实施例的基于智能插帧的视觉优化方法步骤示意图；
图2为发明实施例的相邻视频帧中特征轮廓的位移差异量的结构示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示，其为本发明实施例的基于智能插帧的视觉优化方法步骤示意图，本发明的基于智能插帧的视觉优化方法包括：
步骤S1、获取待优化视频，将所述待优化视频划分为若干视频段，各所述视频段中至少包含三个视频帧；
步骤S2、确定各视频段中相邻视频帧的图像参量并对应计算图像参量表征值，基于各相邻视频帧对应的图像参量表征值的差值确定视频段的平滑状态，所述平滑状态包括第一平滑状态以及第二平滑状态；
步骤S3、基于视频段的平滑状态确定对所述视频段进行插帧优化时的优化方式，其中，在所述视频段处于第一平滑状态时采用第一插帧优化方式，在所述视频段处于第二平滑状态时采用第二插帧优化方式；
所述第一插帧优化方式为，确定所述视频段的各视频帧中的特征轮廓，基于所述视频段中各相邻视频帧中特征轮廓的位移差异量调整插帧数量对所述相邻视频帧进行插帧；
所述第二插帧优化方式为，确定所述视频段的各视频帧的图像亮度表征值，基于所述视频段中各相邻视频帧中图像亮度表征值的差异量调整插帧数量对所述相邻视频帧进行插帧。
具体而言，本发明的待优化视频为VFR视频，本领域技术人员应当明白，VFR视频中，每个帧的时间间隔可以是不同的，该类视频源常来自电影、游戏场景，对于VFR视频，常采用可变帧数插帧，可以根据需要在相邻帧之间***不同数量的帧，以平衡视频的平滑度和帧率的变化，以适应视频的内容和特定的应用场景。
具体而言，本发明对获取视频帧中图像参量的具体方式不做限定，其可以是通过将预先训练的能够识别视频帧的亮度值、对比度值以及物体轮廓的面积的数据模型导入逻辑部件中，使得逻辑部件能够能完成获取视频帧中图像参量的功能，逻辑部件为现场可编程部件、计算机以及计算机中的微处理器，此为现有成熟技术，此处不再赘述。
具体而言，本发明对在相邻视频帧之间进行插帧的具体插帧方式不做限定，对视频进行插帧在图像帧处理技术领域已被广泛应用，此处不再赘述
具体而言，所述步骤S2中，确定各视频段中相邻视频帧的图像参量，其中，所述图像参量包括视频帧的对比度值R、亮度值B以及所述视频帧中物体轮廓的面积S。
具体而言，所述步骤S2中，按照公式（1）计算视频帧的图像参量表征值K，
Figure SMS_4
，
公式（1）中，R0表示预设的对比度对比参量，B0表示预设的亮度对比参量，S0表示预设的轮廓面积对比参量。
具体而言，R0为待优化视频中的所有视频帧的对比度值的平均值，B0为待优化视频中的所有视频帧的亮度值的平均值，S0为待优化视频中的所有视频帧中物体轮廓的面积的平均值。
具体而言，所述步骤S2中，基于各相邻视频帧对应的图像参量表征值的差值确定视频段的平滑状态，其中，
计算各相邻视频帧对应的图像参量表征值的差值△K的平均值△Kp，设定△K=K2-K1，其中，K2表示相邻视频帧中后一视频帧的图像参量表征值，K1表示相邻视频帧中前一视频帧的图像参量表征值，设定
Figure SMS_5
，其中，△Ki表示第i个相邻视频帧对应的图像参量表征值的差值，n表示所述视频段中相邻视频帧的数量，i表示大于0的整数，并且，将所述平均值△Kp与预设的图像差值对比阈值△Kp0进行对比，△Kp0＞0，并根据对比结果确定视频段的平滑状态，其中，
若对比结果满足第一条件，确定视频段的平滑状态为第一平滑状态；
若对比结果满足第二条件，确定视频段的平滑状态为第二平滑状态；
其中，所述第一条件为△Kp≥△Kp0，所述第二条件为△Kp＜△Kp0。
具体而言，图像差值对比阈值△Kp0为基于待优化视频中的各相邻视频帧的图像参量表征值的差值的平均值计算所得。
具体而言，本发明中，基于视频段中各相邻视频帧对应的图像参量表征值的差值的平均值确定视频段的平滑状态，图像参量表征值由视频帧的对比度值、亮度值以及视频帧中物体轮廓的面积计算所得，图像参量表征值能够表征出视频段各帧之间的差异性，图像参量表征值越大表征各视频帧的差异性越大，以此为基准确定平滑状态，计算量较小，为后续数据处理提供依据。
具体而言，所述步骤S3中，确定所述视频段的各视频帧中的特征轮廓，其中，
基于相邻视频帧中相同物体轮廓的轮廓中心坐标确定位移差异量D，将所述位移差异量与预设的第一位移差异对比阈值D1进行对比，D1＞0，并根据对比结果确定视频帧中的物体轮廓是否为特征轮廓，其中，
在第一位移对比条件下，确定视频帧中的物体轮廓为特征轮廓；
其中，所述第一位移对比条件为D≥D1。
具体而言，本发明中，在视频段处于第一平滑状态时，将相邻视频帧中相同物体轮廓中位移差异量大于预设的第一位移差异对比阈值的物体轮廓确定为特征轮廓，在实际情况中，在视频段处于平滑效果较低的第一平滑状态时，视频段中视频帧的差异性较大，在这种情况下，影响视觉效果的主要因素为物体移动，因此，本发明确定出视频帧中处于运动状态且移动速度大于一定值的物体的物体轮廓，并对应确定位移差异量，位移差异量由两相同物体轮廓的轮廓中心的坐标之间的距离进行表示，在实际情况中，相邻视频帧中相同物体轮廓的物体即为同一物体，因此，位移差异量表征了该物体移动的距离，且，物体移动的距离越大则表明物体移动的速度越快，对视觉效果影响越大，因此，以相邻视频段中特征轮廓的位移差异量为依据能科学的对相邻视频帧进行插帧的插帧数量进行调整，保证了对相邻视频帧进行插帧的效率，提高了插帧后视频段的平滑效果。
具体而言，请参阅图2所示，所述步骤S3中，基于相邻视频帧中相同物体轮廓的轮廓中心的坐标确定位移差异量，其中，以各所述视频帧的中心点为原点建立直角坐标系，确定相邻视频帧中相同物体轮廓对应的轮廓中心点的坐标，按照公式（2）计算相邻视频帧中物体轮廓的位移差异量D，
Figure SMS_6
（2）
公式（2）中，y2表示物体轮廓的轮廓中心点在相邻视频帧中的后一视频帧中的Y轴坐标值，y1表示物体轮廓的轮廓中心点在相邻视频帧中的前一视频帧中的Y轴坐标值，x2表示物体轮廓的轮廓中心点在相邻视频帧中的后一视频帧中的X轴坐标值，x1表示物体轮廓的轮廓中心点在相邻视频帧中的前一视频帧中的X轴坐标值。
具体而言，所述步骤S3中，基于所述视频段中各相邻视频帧中特征轮廓的位移差异量调整插帧数量对所述相邻视频帧进行插帧，其中，
将相邻视频帧中被确定为特征轮廓的物体轮廓对应的位移差异量D与预设的第二位移差异对比阈值D2以及第三位移差异对比阈值D3进行对比，0＜D1＜D2＜D3，
在第二位移对比条件下，增大插帧数量对所述相邻视频帧进行插帧；
在第三位移对比条件下，减小插帧数量对所述相邻视频帧进行插帧；
在第四位移对比条件下，无需对插帧数量进行调整；
其中，所述第二位移对比条件为所述位移差异量大于等于所述第三位移差异对比阈值，所述第三位移对比条件为所述位移差异量大于等于所述第一位移差异对比阈值且所述位移差异量小于等于所述第二位移差异对比阈值，所述第四位移对比条件为所述位移差异量大于所述第二位移差异对比阈值且所述位移差异量小于所述第三位移差异对比阈值。
具体而言，第一位移差异对比阈值D1、第二位移差异对比阈值D2以及第三位移差异对比阈值D3为基于待优化视频的各相邻视频帧中处于运动状态的物体的位移差异量的平均值计算所得，在本实施例中，设定D1=0.8D0，D2=1.2D0，D3=1.4D0，D0表示待优化视频的各相邻视频帧中处于运动状态的物体的位移差异量的平均值。
具体而言，本发明中，在视频段处于第一平滑状态时，基于所述视频段中各相邻视频帧中特征轮廓的位移差异量调整插帧数量对相邻视频帧进行插帧，在实际情况中，在视频段处于平滑效果较低的第一平滑状态时，即视频段的各相邻视频帧的处于运动状态的物体的运动速度较快，且物体的运动速度越快，为保证视频段的流畅性，在相邻视频帧进行插帧时插帧的数量应越多，因此，在视频段处于第一平滑状态时，以相邻视频段中特征轮廓的位移差异量为依据能科学的对相邻视频帧进行插帧的插帧数量进行调整，保证了对相邻视频帧进行插帧的效率，提高了插帧后视频段的平滑效果。
具体而言，所述步骤S3中，确定所述视频段的各视频帧的图像亮度表征值，其中，
按照公式（3）计算视频帧的图像亮度表征值E，
Figure SMS_7
（3），
公式（3）中，R表示所述视频帧的对比度值，B表示所述视频帧的亮度值，R0表示预设的对比度对比参量，B0表示预设的亮度对比参量。
具体而言，所述步骤S3中，基于所述视频段中各相邻视频帧中图像亮度表征值的差异量调整插帧数量对所述相邻视频帧进行插帧，其中，
确定相邻视频帧中各视频帧的图像亮度表征值的差异量，将所述差异量与预设的第一图形亮度差异对比阈值△E1以及第二图形亮度差异对比阈值△E2进行对比，
在第一亮度表征值对比结果下，增大插帧数量对所述相邻视频帧进行插帧；
在第二亮度表征值对比结果下，减小插帧数量对所述相邻视频帧进行插帧；
在第三亮度表征值对比结果下，无需对插帧数量进行调整；
其中，所述第一亮度表征值对比结果为所述差异量大于等于所述第二图形亮度差异对比阈值，所述第二亮度表征值对比结果为所述差异量小于等于所述第一图形亮度差异对比阈值，所述第三亮度表征值对比结果为所述差异量大于所述第一图形亮度差异对比阈值且所述差异量小于所述第二图形亮度差异对比阈值，所述第一图形亮度差异对比阈值小于所述第二图形亮度差异对比阈值。
具体而言，第一图形亮度差异对比阈值△E1以及第二图形亮度差异对比阈值△E2为基于待优化视频的各相邻视频帧的图像亮度表征值的差异量的平均值计算所得，设定△E1=0.8△E0，△E2=1.2△E0，△E0表示待优化视频的各相邻视频帧的图像亮度表征值的差异量的平均值。
本发明中对减小和增加的插帧数量不做具体限定，减小和增加的插帧数量可基于预定的初始插帧数量进行设定，为达到插帧效果设定N0=N×α，N0表示插帧数量，N表示初始插帧数量，α表示调整系数，为避免调整量过大且能够表征出调整效果，本领域技术人员可在[0.33-0.5]间内选定调整系数的值。
在本实施例中，对于初始插帧数量的设定区间为[3，8]，在不对插帧数量调整时以初始插帧数量对相邻视频帧进行插帧。
具体而言，本发明中，在视频段处于第二平滑状态时，基于各相邻视频帧图像亮度表征值的差异量调整插帧数量对相邻视频帧进行插帧，图像亮度表征值由视频帧的对比度值、亮度值计算所得，在实际情况中，在视频段处于平滑效果较高的第二平滑状态时，即视频段的各相邻视频帧的处于运动状态的物体的运动速度较慢，此时，影响视频段的平滑度的主要因素为相邻视频帧的亮度以及对比度的差异量，且，在相邻视频帧进行插帧时插帧的数量应根据相邻视频帧的亮度值以及对比度值的差异量作适应性调整，因此，在视频段处于第二平滑状态时，以相邻视频帧图像亮度表征值的差异量为依据能可靠的对相邻视频帧进行插帧的插帧数量进行调整，保证了对相邻视频帧进行插帧的效率，提高了插帧后视频段的平滑效果。
具体而言，所述步骤S3中，对相邻视频帧进行插帧时包括，将***帧***相邻视频帧之间，所述***帧基于插帧模型生成。
具体而言，本发明对插帧模型的具体形式不做限定，可以使用现有技术中基于深度学习的插帧模型如SRCNN模型、ESPCN模型和EDVR模型等，通过这些模型采用深度学习的方法学习视频的时空信息，生成高质量的***帧。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于智能插帧的视觉优化方法，其特征在于，包括：
步骤S1、获取待优化视频，将所述待优化视频划分为若干视频段，各所述视频段中至少包含三个视频帧；
步骤S2、确定各视频段中相邻视频帧的图像参量并对应计算图像参量表征值，基于各相邻视频帧对应的图像参量表征值的差值确定视频段的平滑状态，所述平滑状态包括第一平滑状态以及第二平滑状态；
步骤S3、基于视频段的平滑状态确定对所述视频段进行插帧优化时的优化方式，其中，在所述视频段处于第一平滑状态时采用第一插帧优化方式，在所述视频段处于第二平滑状态时采用第二插帧优化方式；
所述第一插帧优化方式为，确定所述视频段的各视频帧中的特征轮廓，基于所述视频段中各相邻视频帧中特征轮廓的位移差异量调整插帧数量对所述相邻视频帧进行插帧；
所述第二插帧优化方式为，确定所述视频段的各视频帧的图像亮度表征值，基于所述视频段中各相邻视频帧中图像亮度表征值的差异量调整插帧数量对所述相邻视频帧进行插帧。
2.根据权利要求1所述的基于智能插帧的视觉优化方法，其特征在于，所述步骤S2中，确定各视频段中相邻视频帧的图像参量，其中，所述图像参量包括视频帧的对比度值R、亮度值B以及所述视频帧中物体轮廓的面积S。
3.根据权利要求2所述的基于智能插帧的视觉优化方法，其特征在于，所述步骤S2中，按照公式（1）计算视频帧的图像参量表征值K，
Figure QLYQS_1
，
公式（1）中，R0表示预设的对比度对比参量，B0表示预设的亮度对比参量，S0表示预设的轮廓面积对比参量。
4.根据权利要求3所述的基于智能插帧的视觉优化方法，其特征在于，所述步骤S2中，基于各相邻视频帧对应的图像参量表征值的差值确定视频段的平滑状态，其中，
计算各相邻视频帧对应的图像参量表征值的差值的平均值，并且，将所述平均值与预设的图像差值对比阈值进行对比，并根据对比结果确定视频段的平滑状态，其中，
若对比结果满足第一条件，确定视频段的平滑状态为第一平滑状态；
若对比结果满足第二条件，确定视频段的平滑状态为第二平滑状态；
其中，所述第一条件为所述平均值大于等于所述图像差值对比阈值，所述第二条件为所述平均值小于所述图像差值对比阈值。
5.根据权利要求4所述的基于智能插帧的视觉优化方法，其特征在于，所述步骤S3中，确定所述视频段的各视频帧中的特征轮廓，其中，
基于相邻视频帧中相同物体轮廓的轮廓中心坐标确定位移差异量，将所述位移差异量与预设的第一位移差异对比阈值进行对比，并根据对比结果确定视频帧中的物体轮廓是否为特征轮廓，其中，
在第一位移对比条件下，确定视频帧中的物体轮廓为特征轮廓；
其中，所述第一位移对比条件为所述位移差异量大于等于所述第一位移差异对比阈值。
6.根据权利要求5所述的基于智能插帧的视觉优化方法，其特征在于，所述步骤S3中，基于相邻视频帧中相同物体轮廓的轮廓中心的坐标确定位移差异量，其中，以各所述视频帧的中心点为原点建立直角坐标系，确定相邻视频帧中相同物体轮廓对应的轮廓中心点的坐标，按照公式（2）计算相邻视频帧中物体轮廓的位移差异量D，
Figure QLYQS_2
，
公式（2）中，y2表示物体轮廓的轮廓中心点在相邻视频帧中的后一视频帧中的Y轴坐标值，y1表示物体轮廓的轮廓中心点在相邻视频帧中的前一视频帧中的Y轴坐标值，x2表示物体轮廓的轮廓中心点在相邻视频帧中的后一视频帧中的X轴坐标值，x1表示物体轮廓的轮廓中心点在相邻视频帧中的前一视频帧中的X轴坐标值。
7.根据权利要求6所述的基于智能插帧的视觉优化方法，其特征在于，所述步骤S3中，基于所述视频段中各相邻视频帧中特征轮廓的位移差异量调整插帧数量对所述相邻视频帧进行插帧，其中，
将相邻视频帧中被确定为特征轮廓的物体轮廓对应的位移差异量与预设的第二位移差异对比阈值以及第三位移差异对比阈值进行对比，所述第一位移差异对比阈值小于所述第二位移差异对比阈值且所述第二位移差异对比阈值小于所述第三位移差异对比阈值，并根据对比结果对所述相邻视频帧进行插帧的插帧数量进行调整，其中，
在第二位移对比条件下，增大插帧数量对所述相邻视频帧进行插帧；
在第三位移对比条件下，减小插帧数量对所述相邻视频帧进行插帧；
在第四位移对比条件下，无需对插帧数量进行调整；
其中，所述第二位移对比条件为所述位移差异量大于等于所述第三位移差异对比阈值，所述第三位移对比条件为所述位移差异量大于等于所述第一位移差异对比阈值且所述位移差异量小于等于所述第二位移差异对比阈值，所述第四位移对比条件为所述位移差异量大于所述第二位移差异对比阈值且所述位移差异量小于所述第三位移差异对比阈值。
8.根据权利要求1所述的基于智能插帧的视觉优化方法，其特征在于，所述步骤S3中，确定所述视频段的各视频帧的图像亮度表征值，其中，
按照公式（3）计算视频帧的图像亮度表征值E，
Figure QLYQS_3
，
公式（3）中，R表示所述视频帧的对比度值，B表示所述视频帧的亮度值，R0表示预设的对比度对比参量，B0表示预设的亮度对比参量。
9.根据权利要求8所述的基于智能插帧的视觉优化方法，其特征在于，所述步骤S3中，基于所述视频段中各相邻视频帧中图像亮度表征值的差异量调整插帧数量对所述相邻视频帧进行插帧，其中，
确定相邻视频帧中各视频帧的图像亮度表征值的差异量，将所述差异量与预设的第一图形亮度差异对比阈值以及第二图形亮度差异对比阈值进行对比，
在第一亮度表征值对比结果下，增大插帧数量对所述相邻视频帧进行插帧；
在第二亮度表征值对比结果下，减小插帧数量对所述相邻视频帧进行插帧；
在第三亮度表征值对比结果下，无需对插帧数量进行调整；
其中，所述第一亮度表征值对比结果为所述差异量大于等于所述第二图形亮度差异对比阈值，所述第二亮度表征值对比结果为所述差异量小于等于所述第一图形亮度差异对比阈值，所述第三亮度表征值对比结果为所述差异量大于所述第一图形亮度差异对比阈值且所述差异量小于所述第二图形亮度差异对比阈值，所述第一图形亮度差异对比阈值小于所述第二图形亮度差异对比阈值。
10.根据权利要求1所述的基于智能插帧的视觉优化方法，其特征在于，所述步骤S3中，对相邻视频帧进行插帧时包括，将***帧***相邻视频帧之间，所述***帧基于插帧模型生成。
CN202310538891.5A 2023-05-15 2023-05-15 一种基于智能插帧的视觉优化方法 Active CN116260928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310538891.5A CN116260928B (zh) 2023-05-15 2023-05-15 一种基于智能插帧的视觉优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310538891.5A CN116260928B (zh) 2023-05-15 2023-05-15 一种基于智能插帧的视觉优化方法

Publications (2)

Publication Number Publication Date
CN116260928A true CN116260928A (zh) 2023-06-13
CN116260928B CN116260928B (zh) 2023-07-11

Family

ID=86682844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310538891.5A Active CN116260928B (zh) 2023-05-15 2023-05-15 一种基于智能插帧的视觉优化方法

Country Status (1)

Country Link
CN (1) CN116260928B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116708789A (zh) * 2023-08-04 2023-09-05 湖南马栏山视频先进技术研究院有限公司 一种基于人工智能的视频分析编码***
CN116723355A (zh) * 2023-08-11 2023-09-08 深圳传趣网络技术有限公司 视频插帧的处理方法、装置、设备及存储介质
CN116847126A (zh) * 2023-07-20 2023-10-03 北京富通亚讯网络信息技术有限公司 一种视频解码数据传输方法及***
CN117061752A (zh) * 2023-08-14 2023-11-14 北京富通亚讯网络信息技术有限公司 一种有效降低视频通话时延的网络传输一体化方法
CN117132936A (zh) * 2023-08-31 2023-11-28 北京中电拓方科技股份有限公司 煤炭板块自建***数据梳理及数据接入***
CN117651148A (zh) * 2023-11-01 2024-03-05 广东联通通信建设有限公司 一种物联网终端管控方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040101058A1 (en) * 2002-11-22 2004-05-27 Hisao Sasai Device, method and program for generating interpolation frame
EP1863283A1 (en) * 2006-05-31 2007-12-05 Vestel Elektronik Sanayi ve Ticaret A.S. A method and apparatus for frame interpolation
JP2009206940A (ja) * 2008-02-28 2009-09-10 Toshiba Corp 補間フレーム生成回路及びフレーム補間装置
CN102123235A (zh) * 2011-03-24 2011-07-13 杭州海康威视软件有限公司 视频插值帧的生成方法及其装置
EP2701386A1 (en) * 2012-08-21 2014-02-26 MediaTek, Inc Video processing apparatus and method
CN111641828A (zh) * 2020-05-16 2020-09-08 Oppo广东移动通信有限公司 视频处理方法及装置、存储介质和电子设备
WO2021006146A1 (ja) * 2019-07-10 2021-01-14 ソニー株式会社 画像処理装置および画像処理方法
CN113766275A (zh) * 2021-09-29 2021-12-07 北京达佳互联信息技术有限公司 视频剪辑方法、装置、终端及存储介质
CN114205648A (zh) * 2021-12-07 2022-03-18 网易（杭州）网络有限公司 插帧方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040101058A1 (en) * 2002-11-22 2004-05-27 Hisao Sasai Device, method and program for generating interpolation frame
EP1863283A1 (en) * 2006-05-31 2007-12-05 Vestel Elektronik Sanayi ve Ticaret A.S. A method and apparatus for frame interpolation
JP2009206940A (ja) * 2008-02-28 2009-09-10 Toshiba Corp 補間フレーム生成回路及びフレーム補間装置
CN102123235A (zh) * 2011-03-24 2011-07-13 杭州海康威视软件有限公司 视频插值帧的生成方法及其装置
EP2701386A1 (en) * 2012-08-21 2014-02-26 MediaTek, Inc Video processing apparatus and method
WO2021006146A1 (ja) * 2019-07-10 2021-01-14 ソニー株式会社 画像処理装置および画像処理方法
CN111641828A (zh) * 2020-05-16 2020-09-08 Oppo广东移动通信有限公司 视频处理方法及装置、存储介质和电子设备
CN113766275A (zh) * 2021-09-29 2021-12-07 北京达佳互联信息技术有限公司 视频剪辑方法、装置、终端及存储介质
CN114205648A (zh) * 2021-12-07 2022-03-18 网易（杭州）网络有限公司 插帧方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹原周汉;滕奇志;何小海;: "基于单双向结合运动估计的帧率提升算法", 计算机与数字工程, no. 04 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116847126A (zh) * 2023-07-20 2023-10-03 北京富通亚讯网络信息技术有限公司 一种视频解码数据传输方法及***
CN116708789A (zh) * 2023-08-04 2023-09-05 湖南马栏山视频先进技术研究院有限公司 一种基于人工智能的视频分析编码***
CN116708789B (zh) * 2023-08-04 2023-10-13 湖南马栏山视频先进技术研究院有限公司 一种基于人工智能的视频分析编码***
CN116723355A (zh) * 2023-08-11 2023-09-08 深圳传趣网络技术有限公司 视频插帧的处理方法、装置、设备及存储介质
CN116723355B (zh) * 2023-08-11 2023-11-28 深圳传趣网络技术有限公司 视频插帧的处理方法、装置、设备及存储介质
CN117061752A (zh) * 2023-08-14 2023-11-14 北京富通亚讯网络信息技术有限公司 一种有效降低视频通话时延的网络传输一体化方法
CN117132936A (zh) * 2023-08-31 2023-11-28 北京中电拓方科技股份有限公司 煤炭板块自建***数据梳理及数据接入***
CN117651148A (zh) * 2023-11-01 2024-03-05 广东联通通信建设有限公司 一种物联网终端管控方法

Also Published As

Publication number Publication date
CN116260928B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN116260928B (zh) 一种基于智能插帧的视觉优化方法
JP7395577B2 (ja) 再投影フレームのモーションスムージング
JP5536115B2 (ja) 立体表示可能ディスプレイにおける３ｄビデオ画像のレンダリング
US11238569B2 (en) Image processing method and apparatus, image device, and storage medium
US7567251B2 (en) Techniques for creating facial animation using a face mesh
CN112868047B (zh) 光线追踪应用中的时空去噪
WO2020140728A1 (en) Image processing method, image processing apparatus and display apparatus
CN111292236B (zh) 一种减少中央凹注视渲染中的混叠伪像的方法和计算***
US6144387A (en) Guard region and hither plane vertex modification for graphics rendering
JP4810249B2 (ja) 映像表示装置および輝度較差補正方法
US10650507B2 (en) Image display method and apparatus in VR device, and VR device
CN105574817A (zh) 图像的抗锯齿方法和装置
US8766974B2 (en) Display apparatus and method
CN106716499B (zh) 信息处理装置、控制方法
US11120614B2 (en) Image generation apparatus and image generation method
CN111833262A (zh) 图像降噪方法、装置及电子设备
CN112686978B (zh) 表情资源的加载方法、装置和电子设备
US6590582B1 (en) Clipping processing method
CN103139524A (zh) 视频优化方法以及信息处理设备
CN111816117A (zh) 显示面板画面亮度调节的方法及显示装置
CN113436126B (zh) 图像饱和度增强方法和***、电子设备
US20240037976A1 (en) Information processing device, information processing method, and computer-readable recording medium
CN112541948B (zh) 一种物体检测方法、装置、终端设备及存储介质
CN115272142B (zh) 一种沉浸式驾驶模拟器的场景图像预处理方法
CN118365554B (zh) 视频降噪方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant