CN116743978B - 视频处理方法、装置、计算机设备及计算机可读存储介质 - Google Patents
视频处理方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116743978B CN116743978B CN202311019242.0A CN202311019242A CN116743978B CN 116743978 B CN116743978 B CN 116743978B CN 202311019242 A CN202311019242 A CN 202311019242A CN 116743978 B CN116743978 B CN 116743978B
- Authority
- CN
- China
- Prior art keywords
- virtual scene
- video
- frame
- scene video
- video frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 230000008859 change Effects 0.000 claims abstract description 156
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000000926 separation method Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请涉及一种视频处理方法、装置、计算机设备及计算机可读存储介质。方法包括:获取待处理的虚拟场景视频,确定虚拟场景视频包括的M个虚拟场景视频帧分别对应的帧内容变化信息,第i个虚拟场景视频帧对应的帧内容变化信息用于标识N个关联虚拟场景视频帧分别相对于第i个虚拟场景视频帧的内容相对变化,M≥i≥1,M≥N≥2,根据第i个虚拟场景视频帧的帧内容变化信息和N个关联虚拟场景视频帧的帧亮度信息,得到第i个虚拟场景视频帧的帧期望亮度变化信息,基于M个虚拟场景视频帧分别对应的帧期望亮度变化信息,对亮度进行调整,得到处理后的目标虚拟场景视频。采用本申请,对虚拟场景视频的亮度进行了调整,提高了效率。
Description
技术领域
本申请涉及视图技术领域,特别是涉及一种视频处理方法、装置、计算机设备及计算机可读存储介质。
背景技术
随着硬件技术的跨越式进步和软件科技的飞速发展,拓展现实(ExtendedReality, XR)作为一种能够将虚拟和现实相结合,从而打造一个可人机交互的虚拟环境的技术,得到了广泛的应用,拓展现实包括虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality, AR)以及混合现实(Mixed Reality,MR)等各方面技术。具体的,拓展现实打破了现实和虚拟的界限,打造了一个可人机交互的虚拟环境,进而创造出一种独特的交互体验,在这个虚拟环境中,用户能够沉浸在全新的世界,得到特别的享受,从而让拓展现实得到了广泛的应用,例如,在影视工业领域,通过计算机来生成虚拟场景摆脱了现实场景拍摄的物理限制,打破了拍摄地点和拍摄环境的束缚,无论是宏大的星际战场,还是细微的生活细节,都可以通过计算机来生成对应的虚拟场景。
相关技术中,主要是通过虚幻引擎等软件来进行虚拟场景的制作和渲染,再通过发光二级管(Light Emitting Diode,LED)屏幕等硬件进行虚拟场景的展示。此时,受限于软件的渲染能力和硬件的展示能力,得到的虚拟场景视频在一些细节的展示上会出现闪烁的问题,从而导致得到的虚拟场景视频并不可用。
对此,相关技术中主要是对出现闪烁的虚拟场景视频片段进行重新制作来解决这一问题,具体的,针对出现问题的虚拟场景视频,相关人员会在相应的软件中重新制作这部分虚拟场景,并用新制作的虚拟场景替换原有的存在问题的虚拟场景,此时,在重新制作的过程中,相应的软件参数可能需要进行多次的调整,才能得到的不出现问题的虚拟场景视频。相关技术中这种重新制作的方法虽然能够重新得到不出现闪烁的虚拟场景视频,但是对出现问题的虚拟场景视频进行重新制作需要消耗大量的人力资源和需要花费大量的时间,这既增加了制作的成本,也延长了制作的时间周期。
发明内容
基于此,有必要针对上述技术问题,提供一种视频处理方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品,针对出现闪烁的虚拟场景视频,并不需要对虚拟场景进行重新制作,而是直接对原始的虚拟场景视频的亮度进行调整,从而快速得到能够应用的不存在闪烁问题的目标虚拟场景视频,减少了相关人员重新制作的成本和时间,提高了效率。
第一方面,本申请提供了一种视频处理方法,包括:
获取待处理的虚拟场景视频,所述虚拟场景视频包括M个虚拟场景视频帧,M≥2;
确定所述M个虚拟场景视频帧分别对应的帧内容变化信息,针对M个虚拟场景视频帧中的第i个虚拟场景视频帧,所述第i个虚拟场景视频帧对应的帧内容变化信息用于标识所述第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧分别相对于所述第i个虚拟场景视频帧的内容相对变化,M≥i≥1,M≥N≥2,所述N个关联虚拟场景视频帧包括所述M个虚拟场景视频帧中相对于所述第i个虚拟场景视频帧的相邻帧;
根据所述第i个虚拟场景视频帧的帧内容变化信息和所述N个关联虚拟场景视频帧的帧亮度信息,得到所述第i个虚拟场景视频帧的帧期望亮度变化信息;
基于所述M个虚拟场景视频帧分别对应的帧期望亮度变化信息,对所述M个虚拟场景视频帧的亮度进行调整,得到处理后的目标虚拟场景视频。
第二方面,本申请提供了一种视频处理装置,包括:
获取模块,用于获取待处理的虚拟场景视频,所述虚拟场景视频包括M个虚拟场景视频帧,M≥2;
确定模块,用于确定所述M个虚拟场景视频帧分别对应的帧内容变化信息,针对M个虚拟场景视频帧中的第i个虚拟场景视频帧,所述第i个虚拟场景视频帧对应的帧内容变化信息用于标识所述第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧分别相对于所述第i个虚拟场景视频帧的内容相对变化,M≥i≥1,M≥N≥2,所述N个关联虚拟场景视频帧包括所述M个虚拟场景视频帧中相对于所述第i个虚拟场景视频帧的相邻帧;
得到模块,用于根据所述第i个虚拟场景视频帧的帧内容变化信息和所述N个关联虚拟场景视频帧的帧亮度信息,得到所述第i个虚拟场景视频帧的帧期望亮度变化信息;
调整模块,用于基于所述M个虚拟场景视频帧分别对应的帧期望亮度变化信息,对所述M个虚拟场景视频帧的亮度进行调整,得到处理后的目标虚拟场景视频。
第三方面,本申请提供了一种计算机设备,计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行该计算机程序时实现上述的方法中的步骤。
第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的方法中的步骤。
第五方面,本申请提供了一种计算机程序产品,计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现本上述的方法中的步骤。
上述视频处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品,获取待处理的虚拟场景视频,虚拟场景视频包括M个虚拟场景视频帧,M≥2。为了能够在对虚拟场景视频的亮度进行调整的过程中保证虚拟场景的内容不出现重影等问题,先确定M个虚拟场景视频帧分别对应的帧内容变化信息,以 M个虚拟场景视频帧中的第i个虚拟场景视频帧为例进行说明,第i个虚拟场景视频帧对应的帧内容变化信息用于标识第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧分别相对于第i个虚拟场景视频帧的内容相对变化,M≥i≥1,M≥N≥2,其中,N个关联虚拟场景视频帧包括M个虚拟场景视频帧中相对于第i个虚拟场景视频帧的相邻帧,再根据第i个虚拟场景视频帧的帧内容变化信息和N个关联虚拟场景视频帧的帧亮度信息,以便能够准确得到第i个虚拟场景视频帧对应的内容在多个关联虚拟场景视频帧的亮度信息,从而能够得到第i个虚拟场景视频帧的帧期望亮度变化信息。由于第i个虚拟场景视频帧的帧期望亮度变化信息与第i个虚拟场景视频帧对应的内容在多个关联虚拟场景视频帧的亮度信息相关,故M个虚拟场景视频帧分别对应的帧期望亮度信息较为平滑,基于M个虚拟场景视频帧分别对应的帧期望亮度变化信息,能够对M个虚拟场景视频帧的亮度进行调整,得到处理后的不会出现闪烁问题的目标虚拟场景视频。由于在本申请中,针对出现闪烁的虚拟场景视频,并不需要对虚拟场景进行重新制作,而是直接对原始的虚拟场景视频的亮度进行调整,从而快速得到能够应用的不存在闪烁问题的目标虚拟场景视频,减少了相关人员重新制作的成本和时间,提高了效率。
附图说明
图1为本申请实施例提供的一种视频处理方法的应用环境图;
图2为本申请实施例提供的一种视频处理方法的流程示意图;
图3为本申请实施例提供的视频处理方法的总流程图;
图4为本申请实施例提供的一种视频处理装置的结构框图;
图5为本申请实施例提供的一种计算机设备的内部结构图;
图6为本申请实施例提供的另一种计算机设备的内部结构图;
图7为本申请实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的视频处理方法,可以应用于如图1所示的应用环境中。其中,终端202通过通信网络与服务器204进行通信。数据存储***可以存储服务器204需要处理的数据。数据存储***可以集成在服务器204上,也可以放在云上或其他网络服务器上。其中,终端202可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器204可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示,本申请实施例提供了一种视频处理方法,以该方法应用于图1中的终端202或服务器204为例进行说明。可以理解的是,计算机设备可以包括终端和服务器中的至少一种。以计算机设备时服务器为例进行说明,该方法包括以下步骤:
S201、获取待处理的虚拟场景视频。
虚拟场景视频是指包括虚拟场景的视频,与由摄像机等采集设备获取的现实场景不同,虚拟场景是指由相关软件制作的虚拟的场景。
相关技术中,主要是通过虚幻引擎等软件来进行虚拟场景的制作和渲染,再通过LED屏幕等硬件进行虚拟场景的展示。此时,受限于软件的渲染能力和硬件的展示能力,得到的虚拟场景视频在一些细节的展示上会出现亮度明暗交替变化的现象,在整幅画面呈现出不断闪烁的问题,从而导致得到的虚拟场景视频并不可用。
针对出现问题的虚拟场景视频,在本实施例中,并不重新制作,而是直接基于原始的虚拟场景视频进行修复,从而避免重新制作素材的成本。
对此,服务器可以获取待处理的虚拟场景视频,需要说明的是,待处理的虚拟场景视频可以是出现闪烁问题的完整虚拟场景视频,也可以是出现闪烁问题的原始虚拟场景视频中切实出现闪烁问题的虚拟场景视频片段,在此不做限定。
待处理的虚拟场景视频包括M个虚拟场景视频帧,M≥2,虚拟场景视频帧是指虚拟场景视频中的一帧图像。
S202、确定M个虚拟场景视频帧分别对应的帧内容变化信息。
从S201中获取的虚拟场景视频存在闪烁问题,由于虚拟场景视频是通过相关软件制作的,并不是直接采集现实场景得到的,故得到的虚拟场景视频的亮度可能会由于制作的原因在亮度上存在明暗交替变化,若该明暗交替变化与内容不匹配,该虚拟场景视频在展示时会存在闪烁问题。例如,若虚拟场景视频在多个虚拟场景视频帧中的亮度存在明暗交替变化,且该明暗交替变化的内容包括足球,足球在该虚拟场景视频中不应该存在亮度上的明暗交替变化,即该明暗交替变化与内容不匹配,故该虚拟场景视频在展示时与该足球相关的部分会出现闪烁问题;而若虚拟场景视频在多个虚拟场景视频帧中的亮度存在明暗交替变化,且该明暗交替变化的内容包括烟花,烟花在该虚拟场景视频中应该存在亮度上的明暗交替变化,即该明暗交替变化与内容相匹配,故该虚拟场景视频在展示时与该烟花相关的部分不会出现闪烁问题。
对此,针对出现闪烁问题的虚拟场景视频,服务器可以先确定M个虚拟场景视频帧分别对应的帧内容变化信息,以M个虚拟场景视频帧中的第i个虚拟场景视频帧为例进行说明,M≥i≥1,第i个虚拟场景视频帧可以是M个虚拟场景视频帧中的任意一帧。
第i个虚拟场景视频帧对应的帧内容变化信息用于标识第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧分别相对于第i个虚拟场景视频帧的内容相对变化,M≥N≥2。
针对第i个虚拟场景,第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧包括M个虚拟场景视频帧中相对于第i个虚拟场景视频帧的相邻帧,相对于第i个虚拟场景视频帧的相邻帧是指与第i个虚拟场景视频帧间隔的帧数在帧数阈值内的虚拟场景视频帧,帧数阈值可以由相关工作人员按需求设置,例如,当帧数阈值为2时,相对于第i个虚拟场景视频帧的相邻帧可以包括第i-3个虚拟场景视频帧、第i-2个虚拟场景视频帧、第i-1个虚拟场景视频帧、第i+1个虚拟场景视频帧、第i+2个虚拟场景视频帧、第i+3个虚拟场景视频帧。
N个关联虚拟场景视频帧分别相对于第i个虚拟场景视频帧的内容相对变化是指N个关联虚拟场景视频帧中每一个关联虚拟场景视频帧对应的内容分别相对于第i个虚拟场景视频帧对应的内容的相对变化,即将第i个虚拟场景视频帧作为参考帧,来比较N个关联虚拟场景视频帧的内容相对于参考帧的变化,例如当第i个虚拟场景视频帧的内容包括手臂时,第i个虚拟场景视频帧对应的帧内容变化信息可以标识N个关联虚拟场景视频帧中的手臂相对于第i个虚拟场景视频帧的移动情况,需要说明的是,N的数值越大,即关联虚拟场景视频帧的数量越多,后续步骤中能够获取的信息就越多,但是相应的数据处理量也就越大,对此,N的数值可以根据需要进行调整,在此不做限定。
需要说明的是,在本实施例的后续步骤中,需要根据N个关联虚拟场景视频帧的亮度信息来调整第i个虚拟场景视频帧的亮度,由于相对于第i个虚拟场景视频帧的相邻帧作为在时序上与第i个虚拟场景视频帧间隔较小的虚拟场景视频帧,能够在一定程度上提供较多与第i个虚拟场景视频帧的内容相关的亮度信息,故N个关联虚拟场景视频帧包括M个虚拟场景视频帧中相对于第i个虚拟场景视频帧的相邻帧。
S203、根据第i个虚拟场景视频帧的帧内容变化信息和N个关联虚拟场景视频帧的帧亮度信息,得到第i个虚拟场景视频帧的帧期望亮度变化信息。
在S202中确定了第i个虚拟场景视频帧的帧内容变化信息之后,可以得到 N个关联虚拟场景视频帧分别相对于第i个虚拟场景视频帧的内容相对变化,故服务器可以根据第i个虚拟场景视频帧的帧内容变化信息,从N个关联虚拟场景视频帧的帧亮度信息来获取第i个虚拟场景视频帧对应的内容分别在N个关联虚拟场景视频帧的亮度信息,例如,当第i个虚拟场景视频帧的内容包括手臂时,由于第i个虚拟场景视频帧对应的帧内容变化信息可以标识N个关联虚拟场景视频帧中的手臂相对于第i个虚拟场景视频帧的移动情况,故服务器可以根据N个关联虚拟场景视频帧的帧亮度信息获取该手臂分别在N个关联虚拟场景视频帧的亮度信息。服务器可以以第i个虚拟场景视频帧对应的内容分别在N个关联虚拟场景视频帧的亮度信息为参考,即用第i个虚拟场景视频帧对应的内容分别在N个关联虚拟场景视频帧的亮度信息作为约束,得到第i个虚拟场景视频帧的帧期望亮度变化信息,第i个虚拟场景视频帧的帧期望亮度变化信息是指第i个虚拟场景视频帧的亮度信息的期望变化,由于参考了N个关联虚拟场景视频帧的亮度信息,故得到的第i个虚拟场景视频帧的帧期望亮度变化信息在一定程度上并不会出现亮度明暗变化的问题。
需要说明的是,由于服务器在确定第i个虚拟场景视频帧的帧期望亮度变化信息的过程中参考了第i个虚拟场景视频帧的帧内容变化信息,故服务器可以直接准确得到第i个虚拟场景视频帧对应的内容分别在N个关联虚拟场景视频帧的亮度信息,从而避免服务器在参考N个关联虚拟场景视频帧的帧亮度信息时,由于N个关联虚拟场景视频帧相对于第i个虚拟场景视频帧存在内容相对变化而导致从不同关联虚拟场景视频帧获取的针对同一内容的亮度信息并不相同,进而导致得到的帧期望亮度变化信息存在重影。
具体的,服务器针对第i个虚拟场景视频帧,根据第i个虚拟场景视频帧对应的帧内容变化信息,可以得到第i个虚拟场景视频帧包括的K个像素点分别对应的点期望亮度变化信息,针对K个像素点中的第n个像素点,第n个像素点对应的点期望亮度变化信息用于标识第n个像素点的亮度信息的期望变化,在得到K个像素点分别对应的点期望亮度变化信息之后,K个像素点分别对应的点期望亮度变化信息可以作为第i个虚拟场景视频帧对应的帧期望亮度变化信息。
在本实施例中,服务器可以选定长度为T的帧窗口,来计算对应的3D时序滤波器K(i,x,y),其中,K(i,x,y)基于圆形平均滤波器并在时序上进行拓展得到的,i表示在整个时序上的第i个虚拟场景视频帧,x和y分别表示水平方向位置和垂直方向位置,K(i,x,y)能用于表示第i个虚拟场景视频帧的准确位置上的亮度信息的期望变化。
S204、基于M个虚拟场景视频帧分别对应的帧期望亮度变化信息,对M个虚拟场景视频帧的亮度进行调整,得到处理后的目标虚拟场景视频。
S202和S203中以第i个虚拟场景视频帧为例说明了对应的帧期望亮度变化信息的确定流程,即服务器可以根据该确定流程得到M个虚拟场景视频帧中每一个虚拟场景视频帧分别对应的帧期望亮度信息,在此基础上,服务器可以基于M个虚拟场景视频帧分别对应的帧期望亮度变化信息,来对M个虚拟场景视频帧的亮度进行调整,即用M个虚拟场景视频帧中每一个虚拟场景视频帧对应的帧期望亮度信息来对该虚拟场景视频帧的亮度进行调整,例如,服务器可以根据K(i,x,y)进行卷积滤波,从而得到处理后的目标虚拟场景视频。
由于每一个虚拟场景视频帧对应的帧期望亮度信息都参考了多个关联虚拟场景视频帧的帧亮度信息,故处理后的目标虚拟场景视频的亮度在时序上得到了平滑,从而在一定程度上解决了闪烁问题。
并且,基于本实施例中的流程确定的帧期望亮度变化信息考虑了每一个虚拟场景视频帧亮度与内容的匹配,从而使得处理后的目标虚拟场景视频的内容能够保留处理前的虚拟场景视频的内容。
相对于相关技术中平均每一帧虚拟场景重新制作需要消耗数小时,采用本实施例中的方法,平均每一帧虚拟场景的修复时间能够缩短到不到一分钟,大大提升了工作效率。
可见,在本申请实施例中,获取待处理的虚拟场景视频,虚拟场景视频包括M个虚拟场景视频帧,M≥2。为了能够在对虚拟场景视频的亮度进行调整的过程中保证虚拟场景的内容不出现重影等问题,先确定M个虚拟场景视频帧分别对应的帧内容变化信息,以 M个虚拟场景视频帧中的第i个虚拟场景视频帧为例进行说明,第i个虚拟场景视频帧对应的帧内容变化信息用于标识第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧分别相对于第i个虚拟场景视频帧的内容相对变化,M≥i≥1,M≥N≥2,其中,N个关联虚拟场景视频帧包括M个虚拟场景视频帧中相对于第i个虚拟场景视频帧的相邻帧,再根据第i个虚拟场景视频帧的帧内容变化信息和N个关联虚拟场景视频帧的帧亮度信息,以便能够准确得到第i个虚拟场景视频帧对应的内容在多个关联虚拟场景视频帧的亮度信息,从而能够得到第i个虚拟场景视频帧的帧期望亮度变化信息。由于第i个虚拟场景视频帧的帧期望亮度变化信息与第i个虚拟场景视频帧对应的内容在多个关联虚拟场景视频帧的亮度信息相关,故M个虚拟场景视频帧分别对应的帧期望亮度信息较为平滑,基于M个虚拟场景视频帧分别对应的帧期望亮度变化信息,能够对M个虚拟场景视频帧的亮度进行调整,得到处理后的不会出现闪烁问题的目标虚拟场景视频。由于在本申请中,针对出现闪烁的虚拟场景视频,并不需要对虚拟场景进行重新制作,而是直接对原始的虚拟场景视频的亮度进行调整,从而快速得到能够应用的不存在闪烁问题的目标虚拟场景视频,减少了相关人员重新制作的成本和时间,提高了效率。
在一些实施例中,S203中根据第i个虚拟场景视频帧的帧内容变化信息和N个关联虚拟场景视频帧的帧亮度信息,得到第i个虚拟场景视频帧的帧期望亮度变化信息,具体包括:
根据第i个虚拟场景视频帧的帧内容变化信息、N个关联虚拟场景视频帧的帧亮度信息和N个关联虚拟场景视频帧的亮度权重,得到第i个虚拟场景视频帧的帧期望亮度变化信息,N个关联虚拟场景视频帧中每一个关联虚拟场景视频帧的亮度权重相同。
在根据N个关联虚拟场景视频帧的帧亮度信息来确定第i个虚拟场景视频帧的帧期望亮度变化信息时,为了能够准确得到帧期望亮度变化信息,需要参考N个关联虚拟场景视频帧的亮度权重,亮度权重用于标识每一个关联虚拟场景视频帧的帧亮度信息对第i个虚拟场景视频帧的帧期望亮度变化信息的影响。
在本实施例中,由于N个关联虚拟场景视频帧来自于M个虚拟场景视频帧,而M个虚拟场景视频帧构成的虚拟场景视频存在闪烁问题,故N个关联虚拟场景视频帧中的每一个关联虚拟场景视频帧对应的帧亮度信息可能与对应的内容相匹配,也可能与对应的内容并不匹配。对此,N个关联虚拟场景视频帧中每一个关联虚拟场景视频帧的亮度权重相同,从而避免亮度与内容不匹配的关联虚拟场景视频帧的帧亮度信息由于对应的亮度权重过大而对得到的帧期望亮度变化信息造成过多的影响。
可见,在本实施例中,N个关联虚拟场景视频帧中每一个关联虚拟场景视频帧的亮度权重相同能够避免亮度与内容不匹配的关联虚拟场景视频帧的帧亮度信息由于对应的亮度权重过大而对得到的帧期望亮度变化信息造成过多的影响,增加帧期望亮度变化信息的鲁棒性。
在一些实施例中,S203中根据第i个虚拟场景视频帧的帧内容变化信息和N个关联虚拟场景视频帧的帧亮度信息,得到第i个虚拟场景视频帧的帧期望亮度变化信息,包括:
根据第i个虚拟场景视频帧的帧内容变化信息、N个关联虚拟场景视频帧的帧亮度信息和第i个虚拟场景视频帧的帧亮度信息,得到第i个虚拟场景视频帧的帧期望亮度变化信息。
针对出现闪烁问题的虚拟场景视频,第i个虚拟场景视频帧作为来自于M个虚拟场景视频帧的任意一帧,对应的帧亮度信息可能与对应的内容相匹配,也可能与对应的内容并不匹配,且第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧中的每一个关联虚拟场景视频帧对应的帧亮度信息可能与对应的内容相匹配,也可能与对应的内容并不匹配。若第i个虚拟场景视频帧的帧亮度信息本来与对应的内容相匹配,而N个关联虚拟场景视频帧中的多个关联虚拟场景视频帧对应的帧亮度信息与对应的内容不匹配,此时,如果仅参考N个关联虚拟场景视频帧来确定第i个虚拟场景视频帧的帧期望亮度信息,会导致根据第i个虚拟场景视频帧的帧期望亮度信息对第i个虚拟场景视频帧的亮度在错误方向进行了调整,例如,当第i个虚拟场景视频帧对应的内容包括足球,对应的帧亮度信息本来与该内容相匹配时,第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧中的足球对应的亮度可能反而存在闪烁问题,此时,如果不参考第i个虚拟场景视频帧自身的亮度信息,仅参考N个关联虚拟场景视频帧中的亮度信息,得到的第i个虚拟场景视频帧的帧期望亮度信息可能就会对第i个虚拟场景视频帧的亮度在错误方向进行了调整。
对此,在本实施例中,在确定第i个虚拟场景视频帧的帧期望亮度变化信息的过程中,不仅会参考N个关联虚拟场景视频帧,还会参考第i个虚拟场景视频帧自身的帧亮度信息,从而在一定程度上避免第i个虚拟场景视频帧的亮度在错误方向进行了调整。
可见,在本实施例中,根据N个关联虚拟场景视频帧和第i个虚拟场景视频帧自身来共同得到第i个虚拟场景视频帧的帧期望亮度变化信息,能够避免第i个虚拟场景视频帧的亮度在错误方向进行了调整,增加帧期望亮度变化信息的鲁棒性。
在一些实施例中,S202中确定M个虚拟场景视频帧分别对应的帧内容变化信息,包括:
针对第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧中第j个关联虚拟场景视频帧,将第j个关联虚拟场景视频帧基于视频成像平面进行划分,得到第j个关联虚拟场景视频帧对应的Q个虚拟视频帧子块,Q≥2;
确定Q个虚拟视频帧子块分别对应的子块内容变化信息,针对Q个虚拟视频帧子块中的第k个虚拟视频帧子块,第k个虚拟视频帧子块对应的子块内容变化信息用于标识第k个虚拟视频帧子块对应的内容相对于第i个虚拟场景视频帧的内容相对变化,Q≥k≥1;
根据Q个虚拟视频帧子块分别对应的子块内容变化信息,确定第j个关联虚拟场景视频帧相对于第i个虚拟场景视频帧的内容相对变化;
根据N个关联虚拟场景视频帧分别相对于第i个虚拟场景视频帧的内容相对变化,确定第i个虚拟场景视频帧对应的帧内容变化信息。
由于不同虚拟场景视频帧对应的不同内容在时序上可能会具备不同的变化,例如,当第i个虚拟场景视频帧对应的内容包括动物A和动物B时,动物A在第i+1个虚拟场景视频帧中相对于第i个虚拟场景视频帧可以向上运动,而动物B在第i+1个虚拟场景视频帧中相对于第i个虚拟场景视频帧则可以向下运动。
对此,在实际确定帧内容变化信息时,需要进行分块处理,以第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧中任意一个关联虚拟场景视频帧,即第j个关联虚拟场景视频帧为例进行说明,将第j个关联虚拟场景视频帧基于视频成像平面进行划分,得到第j个关联虚拟场景视频帧对应的Q个虚拟视频子块,Q≥2,其中,Q个虚拟视频子块的大小可以相同,为了便于计算,每一个虚拟视频子块中的元素可以被假定在时序上具备相同的变化。
在对第j个关联虚拟场景视频帧进行分块之后,服务器可以确定Q个虚拟视频帧子块分别对应的子块内容变化信息,以Q个虚拟视频帧子块中任意一个虚拟视频子块,即第k个虚拟视频帧子块为例进行说明,Q≥k≥1,第k个虚拟视频帧子块对应的子块内容变化信息用于标识第k个虚拟视频子块对应的内容相对于第i个虚拟场景视频帧的内容相对变化。
在一种可能的实现方式中,子块内容变化信息可以包括子块内容变化水平信息和子块内容变化垂直信息,针对第k个虚拟视频帧子块,第k个虚拟视频帧子块对应的子块内容变化水平信息用于标识第k个虚拟视频帧子块对应的内容在水平方向相对于第i个虚拟场景视频帧的内容相对变化,第k个虚拟视频帧子块对应的子块内容变化垂直信息用于标识第k个虚拟视频帧子块对应的内容在垂直方向相对于所述第i个虚拟场景视频帧的内容相对变化。
在确定了Q个虚拟视频帧子块分别对应的子块内容变化信息之后,由于每一个虚拟视频帧子块对应的子块内容变化信息用于标识该虚拟视频子块对应的内容相对于第i个虚拟场景视频帧的内容相对变化,且Q个虚拟视频帧子块能够组成第j个关联虚拟场景视频帧,故服务器可以确定第j个关联虚拟场景视频帧相对于第i个虚拟场景视频帧的内容相对变化。
同理,服务器可以确定N个关联虚拟场景视频帧分别相对于第i个虚拟场景视频帧的内容相对变化,从而确定第i个虚拟场景视频帧对应的帧内容变化信息。
可见,在本实施例中,服务器可以对关联虚拟场景视频帧进行分块,从而能够准确的确定第i个虚拟场景视频帧对应的帧内容变化信息,同时,分块进行处理能够使得处理后的目标虚拟场景视频能够保留处理前的虚拟场景视频的细节内容,不受到其他区域信息的侵袭,从而较大限度的保留了原始虚拟场景的完整性。
在一些实施例中,S201、获取待处理的虚拟场景视频,包括:
获取待处理视频,待处理视频包括虚拟场景和现实场景;
确定待处理视频对应的包括虚拟场景的虚拟场景子视频和包括现实场景的现实场景子视频;
将虚拟场景子视频作为待处理的虚拟场景视频。
由于在实际应用中,用于拓展现实的视频可能会不仅仅只包括虚拟场景,可能会同时包括虚拟场景和现实场景,虚拟场景可以是由相关软件制作的虚拟的场景,现实场景可以是由摄像机等采集设备获取的现实的场景,例如,在影视节目制作中,通过将虚拟场景和实时的现实场景相结合,可以为观众提供一个更为丰富的视觉体验,同时传递了更为丰富的信息。
服务器可以获取待处理视频,待处理视频是指同时包括虚拟场景和现实场景的存在闪烁问题的视频,由于待处理视频中的现实场景是由摄像机等采集设备直接获取的,故待处理视频中的现实场景在展示时不会出现闪烁问题,即待处理视频在展示时出现闪烁问题是因为待处理视频中的虚拟场景在展示时会出现闪烁问题。
对此,服务器可以对待处理视频进行分离,确定待处理视频对应的包括虚拟场景的虚拟场景子视频和包括现实场景的现实场景子视频,虚拟场景子视频是指包括待处理视频对应的虚拟场景的视频,现实场景子视频是指包括待处理视频对应的现实场景的视频。
为了便于后续步骤中对虚拟场景子视频的亮度进行调整,服务器可以将虚拟场景子视频作为待处理的虚拟场景视频。
可见,在本实施例中,针对实际应用中同时包括虚拟场景和现实场景的待处理视频,由于闪烁问题是由虚拟场景产生的,故服务器可以对待处理视频的虚拟场景和现实场景进行分离,从而能够得到需要调整亮度的虚拟场景视频,从而避免对待处理视频中的现实场景进行无意义的处理。
在一些实施例中,待处理视频包括M个视频帧,确定待处理视频对应的包括虚拟场景的虚拟场景子视频和包括现实场景的现实场景子视频,包括:
确定M个视频帧中第m个视频帧对应的目标对象,M≥m≥1,第m个视频帧对应的目标对象为第m个视频帧对应的虚拟场景或第m个视频帧对应的现实场景;
基于第m个视频帧对应的目标对象,通过分离模型确定M个视频帧分别对应的目标对象;
根据M个视频帧分别对应的目标对象,得到M个视频帧分别对应的虚拟场景子视频帧和现实场景子视频帧;
基于M个视频帧分别对应的虚拟场景子视频帧和现实场景子视频帧,得到虚拟场景子视频和现实场景子视频。
相关技术中,主要是通过人工方式对待处理视频进行分离,例如,相关工作人员可以通过相应的软件对待处理视频中的虚拟场景或现实场景进行分离。
为了提高待处理视频的分离效率,在本实施例中,服务器可以先实现单帧分离,再将单帧的分离结果应用在整个待处理视频中。
具体的,针对包括M个视频帧的待处理视频,服务器可以先确定M个视频帧中一个视频帧的现实场景和虚拟场景,以M个视频帧中任意一帧,第m个视频帧为例进行说明,M≥m≥1,服务器可以确定第m个视频帧对应的目标对象,第m个视频帧对应的目标对象为第m个视频帧对应的虚拟场景或第m个视频帧对应的现实场景,通过确定第m个视频帧对应的目标对象,可以实现对第m个视频帧的分离,即实现了单帧的分离。
由于现实场景和虚拟场景是具备显著性特征的区域,故可以基于第m个视频帧对应的目标对象,通过分离模型确定M个视频帧分别对应的目标对象,分离模型是预先训练好的用于识别目标对象的模型,也就是说,通过分离模型这一人工智能算法,在实现了单帧的分离之后,将单帧的分离结果在M个视频帧中进行了传播,从而针对M个视频帧实现了高效的虚拟场景和现实场景的分离操作,并且与人工方式相比,通过人工智能算法能够更好的处理复杂的场景,例如处理动态变化的场景或者不同光照条件下的场景等,即通过人工智能算法得到的分离结果的精度也较高。
具体的,在通过分离模型来确定M个视频帧分别对应的目标对象时,会利用M个视频帧在时间序列上的信息,从而根据单帧的目标对象得到M个视频帧的目标对象。
需要说明的是,单帧分离也可以通过对应的模型来实现,即通过模型来对单帧进行分离,此时,若分离结果不合理,人工可以对单帧的分离结果进行调整,从而使得在单帧图像上,无需或者仅需少量的人工干预来识别目标场景,即实现现实场景和虚拟场景的准确分离。
由于目标对象是虚拟场景或者现实场景,故根据M个视频帧分别对应的目标对象,能够得到M个视频帧分别对应的虚拟场景子视频帧和现实场景子视频帧,再基于M个视频帧分别对应的虚拟场景子视频帧和现实场景子视频帧,能够得到待处理视频对应的虚拟场景子视频和现实场景子视频。
可见,在本实施例中,在实现了单帧分离之后,能够通过分离模型来将单帧的分离结果传播给整个待处理视频,与相关技术中的人工方式相比,人工智能方式不仅提高了效率,也提高了分离结果的精度。
在一些实施例中,确定M个视频帧中第m个视频帧对应的目标对象,包括:
确定第m个视频帧对应的虚拟场景和现实场景;
确定第m个视频帧对应的虚拟场景相对于第m个视频帧的第一内容占比和第m个视频帧对应的现实场景相对于第m个视频帧的第二内容占比,
根据第一内容占比和第二内容占比,确定第m个视频帧对应的目标对象,目标对象对应的内容占比为第一内容占比和第二内容占比中的较小值。
在通过人工智能算法来实现M个视频帧的分离时,会先对M个视频帧中的第m个视频帧实现单帧的分离,然后再将单帧的分离结果传播到M个视频帧中。
此时,在确定M个视频帧中第m个视频帧对应的目标对象时,服务器可以先确定第m个视频帧对应的虚拟场景和现实场景,再确定第m个视频帧对应的虚拟场景相对于第m个视频帧的第一内容占比和第m个视频帧对应的现实场景相对于第m个视频帧的第二内容占比,第一内容占比是指第m个视频帧对应的虚拟场景的内容相对于第m个视频帧的内容的占比,第二内容占比是指第m个视频帧对应的现实场景的内容相对于第m个视频帧的内容的占比,服务器可以根据第一内容占比和第二内容占比,将第一内容占比和第二内容占比中的较小值对应的场景作为目标对象,以便能够在将单帧的分离结果传播至M个视频帧时只需识别虚拟场景和现实场景中内容占比较小的场景。
可见,在本实施例中,将内容占比小的场景作为目标对象能够减少对M个视频帧进行分离时的工作量,提高分离效率。
在一些实施例中,在得到处理后的目标虚拟场景视频之后,该方法还包括:
将目标虚拟场景视频和现实场景子视频进行融合,得到处理后的目标视频。
当待处理视频包括虚拟场景和现实场景时,服务器在对待处理视频进行分离,并对虚拟场景视频的亮度进行调整之后,由于现实场景子视频并不会存在闪烁问题,且对现实场景进行重新拍摄,可能会占用大量的时间和资源,进而影响整个视频的制作周期,导致相关项目进度的延长,故为了进一步降低制作成本,无需对现实场景进行重新拍摄,服务器可以直接将处理后的目标虚拟场景视频和现实场景子视频进行融合,得到处理后的目标视频。
需要说明的是,由于在相关技术中,针对出现问题的虚拟场景主要是重新制作,由于重新制作的虚拟场景可能会与原始的现实场景并不匹配,即相关技术中,在对虚拟场景进行重新制作的基础上,通常也需要重新拍摄对应的现实场景,这会进一步增加成本。
可见,在本实施例中,将处理后的目标虚拟场景视频和现实场景子视频直接进行融合,从而通过避免对现实场景进行重新拍摄来有效地缩短制作周期并降低制作成本。
在一些实施例中,目标虚拟场景视频包括M个目标虚拟场景视频帧,现实场景子视频包括M个现实场景子视频帧,将目标虚拟场景视频和现实场景子视频进行融合,得到处理后的目标视频,包括:
调整M个目标虚拟场景视频帧中的融合边界的局部对比度,融合边界是指M个目标虚拟场景视频帧和M个现实场景子视频帧一一对应融合时的边界;
将调整后的M个目标虚拟场景视频帧M个现实场景子视频帧一一对应融合,得到处理后的目标视频。
由于目标虚拟场景视频相对于虚拟场景视频经过了一定的处理,如果直接将这目标虚拟场景视频和现实场景子视频进行简单的叠加,可能会出现边缘不匹配的问题,这是因为在处理过程中,虚拟场景中的某些细节可能会发生微小的变化,这些变化在与现实场景合并时可能会产生显著的边缘不匹配问题。
对此,服务器可以调整M个目标虚拟场景视频帧中的融合边界的局部对比度,融合边界是指M个目标虚拟场景视频帧和M个现实场景子视频帧一一对应融合时的边界,例如服务器可以采用一种基于图像金字塔的拉普拉斯融合算法来调整局部对比度,拉普拉斯融合算法是一种有效的多视角图像融合方法,它可以保持图像的局部对比度,并在空间域中提供连续平滑的过渡。服务器再将调整后的M个目标虚拟场景视频帧M个现实场景子视频帧一一对应融合,得到处理后的目标视频,由于对融合边界的局部对比度进行了调整,例如通过拉普拉斯融合算法通过在多个尺度下处理图像,能够处理并减少图像中的边缘不匹配问题,使得虚拟场景和现实场景的融合更为自然、无缝,实现了虚拟场景和现实场景的高质量融合。
可见,在本实施例中,通过对处理后的目标虚拟场景视频和现实场景子视频的融合边界进行了调整,能够得到虚拟场景和现实场景高质量融合的目标视频。
下面基于图3来对视频处理方法在实际中的应用进行说明,图3为本申请实施例提供的视频处理方法的总流程图,服务器先获取带闪烁的XR素材,XR素材即为前述的待处理视频,包括虚拟场景和现实场景;服务器再根据人工智能(Artificial Intelligence,AI)算法,例如模型来对XR素材中的单帧进行分离,此时,可以对单帧的分离结果进行人工调整,然后再通过模型将单帧的分离结果传播给XR素材对应的视频,实现虚拟场景和现实场景的分离;服务器再对虚拟场景基于时序信息进行闪烁修复,并将修复后的虚拟场景和现实场景进行融合,得到对应的闪烁修复XR素材。
应该理解的是,虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种视频处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个视频处理装置实施例中的具体限定可以参见上文中对于视频处理方法的限定,在此不再赘述。
如图4所示,本申请实施例提供了一种视频处理装置400,包括:
获取模块401,用于获取待处理的虚拟场景视频,所述虚拟场景视频包括M个虚拟场景视频帧,M≥2;
确定模块402,用于确定所述M个虚拟场景视频帧分别对应的帧内容变化信息,针对M个虚拟场景视频帧中的第i个虚拟场景视频帧,所述第i个虚拟场景视频帧对应的帧内容变化信息用于标识所述第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧分别相对于所述第i个虚拟场景视频帧的内容相对变化,M≥i≥1,M≥N≥2,所述N个关联虚拟场景视频帧包括所述M个虚拟场景视频帧中相对于所述第i个虚拟场景视频帧的相邻帧;
得到模块403,用于根据所述第i个虚拟场景视频帧的帧内容变化信息和所述N个关联虚拟场景视频帧的帧亮度信息,得到所述第i个虚拟场景视频帧的帧期望亮度变化信息;
调整模块404,用于基于所述M个虚拟场景视频帧分别对应的帧期望亮度变化信息,对所述M个虚拟场景视频帧的亮度进行调整,得到处理后的目标虚拟场景视频。
在一些实施例中,在根据所述第i个虚拟场景视频帧的帧内容变化信息和所述N个关联虚拟场景视频帧的帧亮度信息,得到所述第i个虚拟场景视频帧的帧期望亮度变化信息方面,得到模块403具体用于:
根据所述第i个虚拟场景视频帧的帧内容变化信息、所述N个关联虚拟场景视频帧的帧亮度信息和所述N个关联虚拟场景视频帧的亮度权重,得到所述第i个虚拟场景视频帧的帧期望亮度变化信息,所述N个关联虚拟场景视频帧中每一个关联虚拟场景视频帧的亮度权重相同。
在一些实施例中,在根据所述第i个虚拟场景视频帧的帧内容变化信息和所述N个关联虚拟场景视频帧的帧亮度信息,得到所述第i个虚拟场景视频帧的帧期望亮度变化信息方面,得到模块403具体用于:
根据所述第i个虚拟场景视频帧的帧内容变化信息、所述N个关联虚拟场景视频帧的帧亮度信息和所述第i个虚拟场景视频帧的帧亮度信息,得到所述第i个虚拟场景视频帧的帧期望亮度变化信息。
在一些实施例中,在确定所述M个虚拟场景视频帧分别对应的帧内容变化信息方面,确定模块402具体用于:
针对所述第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧中第j个关联虚拟场景视频帧,将所述第j个关联虚拟场景视频帧基于视频成像平面进行划分,得到所述第j个关联虚拟场景视频帧对应的Q个虚拟视频帧子块,Q≥2;
确定所述Q个虚拟视频帧子块分别对应的子块内容变化信息,针对所述Q个虚拟视频帧子块中的第k个虚拟视频帧子块,所述第k个虚拟视频帧子块对应的子块内容变化信息用于标识所述第k个虚拟视频帧子块对应的内容相对于所述第i个虚拟场景视频帧的内容相对变化,Q≥k≥1;
根据所述Q个虚拟视频帧子块分别对应的子块内容变化信息,确定所述第j个关联虚拟场景视频帧相对于所述第i个虚拟场景视频帧的内容相对变化;
根据所述N个关联虚拟场景视频帧分别相对于所述第i个虚拟场景视频帧的内容相对变化,确定所述第i个虚拟场景视频帧对应的帧内容变化信息。
在一些实施例中,在获取待处理的虚拟场景视频方面,获取模块401具体用于:
获取待处理视频,所述待处理视频包括虚拟场景和现实场景;
确定所述待处理视频对应的包括虚拟场景的虚拟场景子视频和包括现实场景的现实场景子视频;
将所述虚拟场景子视频作为待处理的所述虚拟场景视频。
在一些实施例中,在确定所述待处理视频对应的包括所述虚拟场景的虚拟场景子视频和包括所述现实场景的现实场景子视频方面,获取模块401具体用于:
待处理视频包括M个视频帧,确定所述M个视频帧中第m个视频帧对应的目标对象,M≥m≥1,所述第m个视频帧对应的目标对象为所述第m个视频帧对应的虚拟场景或第m个视频帧对应的现实场景;
基于所述第m个视频帧对应的目标对象,通过分离模型确定所述M个视频帧分别对应的目标对象;
根据所述M个视频帧分别对应的目标对象,得到所述M个视频帧分别对应的虚拟场景子视频帧和现实场景子视频帧;
基于所述M个视频帧分别对应的虚拟场景子视频帧和现实场景子视频帧,得到所述虚拟场景子视频和所述现实场景子视频。
在一些实施例中,在确定所述M个视频帧中第m个视频帧对应的目标对象方面,获取模块401具体用于:
确定所述第m个视频帧对应的虚拟场景和现实场景;
确定所述第m个视频帧对应的虚拟场景相对于所述第m个视频帧的第一内容占比和所述第m个视频帧对应的现实场景相对于所述第m个视频帧的第二内容占比,
根据所述第一内容占比和所述第二内容占比,确定所述第m个视频帧对应的目标对象,所述目标对象对应的内容占比为所述第一内容占比和所述第二内容占比中的较小值。
在一些实施例中,得到模块403还用于:
在得到处理后的目标虚拟场景视频之后,将所述目标虚拟场景视频和所述现实场景子视频进行融合,得到处理后的目标视频。
在一些实施例中,在将所述目标虚拟场景视频和所述现实场景子视频进行融合,得到处理后的目标视频方面,得到模块403具体用于:
当所述目标虚拟场景视频包括M个目标虚拟场景视频帧,所述现实场景子视频包括M个现实场景子视频帧时,调整所述M个目标虚拟场景视频帧中的融合边界的局部对比度,所述融合边界是指所述M个目标虚拟场景视频帧和所述M个现实场景子视频帧一一对应融合时的边界;
将调整后的所述M个目标虚拟场景视频帧和所述M个现实场景子视频帧一一对应融合,得到处理后的目标视频。
上述视频处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器,也可以以软件形式存储于计算机设备中的存储器,以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)及通信接口。其中,处理器、存储器和输入/输出接口通过***总线连接,通信接口通过输入/输出接口连接到***总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储设计图。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的视频处理方法中的步骤。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元及输入装置。其中,处理器、存储器和输入/输出接口通过***总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现上述的视频处理方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏;该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5或图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一些实施例中,提供了一种计算机设备,该计算机设备包括存储器和处理器,存储器存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中,如图7所示提供了一种计算机可读存储介质的内部结构图,计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一些实施例中,提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (12)
1.一种视频处理方法,其特征在于,包括:
获取待处理的虚拟场景视频,所述虚拟场景视频包括M个虚拟场景视频帧,M≥2;
确定所述M个虚拟场景视频帧分别对应的帧内容变化信息,针对M个虚拟场景视频帧中的第i个虚拟场景视频帧,所述第i个虚拟场景视频帧对应的帧内容变化信息用于标识所述第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧分别相对于所述第i个虚拟场景视频帧的内容相对变化,M≥i≥1,M≥N≥2,所述N个关联虚拟场景视频帧包括所述M个虚拟场景视频帧中相对于所述第i个虚拟场景视频帧的相邻帧;
根据所述第i个虚拟场景视频帧的帧内容变化信息和所述N个关联虚拟场景视频帧的帧亮度信息,得到所述第i个虚拟场景视频帧的帧期望亮度变化信息;
基于所述M个虚拟场景视频帧分别对应的帧期望亮度变化信息,对所述M个虚拟场景视频帧的亮度进行调整,得到处理后的目标虚拟场景视频。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第i个虚拟场景视频帧的帧内容变化信息和所述N个关联虚拟场景视频帧的帧亮度信息,得到所述第i个虚拟场景视频帧的帧期望亮度变化信息,包括:
根据所述第i个虚拟场景视频帧的帧内容变化信息、所述N个关联虚拟场景视频帧的帧亮度信息和所述N个关联虚拟场景视频帧的亮度权重,得到所述第i个虚拟场景视频帧的帧期望亮度变化信息,所述N个关联虚拟场景视频帧中每一个关联虚拟场景视频帧的亮度权重相同。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第i个虚拟场景视频帧的帧内容变化信息和所述N个关联虚拟场景视频帧的帧亮度信息,得到所述第i个虚拟场景视频帧的帧期望亮度变化信息,包括:
根据所述第i个虚拟场景视频帧的帧内容变化信息、所述N个关联虚拟场景视频帧的帧亮度信息和所述第i个虚拟场景视频帧的帧亮度信息,得到所述第i个虚拟场景视频帧的帧期望亮度变化信息。
4.根据权利要求1所述的方法,其特征在于,所述确定所述M个虚拟场景视频帧分别对应的帧内容变化信息,包括:
针对所述第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧中第j个关联虚拟场景视频帧,将所述第j个关联虚拟场景视频帧基于视频成像平面进行划分,得到所述第j个关联虚拟场景视频帧对应的Q个虚拟视频帧子块,Q≥2;
确定所述Q个虚拟视频帧子块分别对应的子块内容变化信息,针对所述Q个虚拟视频帧子块中的第k个虚拟视频帧子块,所述第k个虚拟视频帧子块对应的子块内容变化信息用于标识所述第k个虚拟视频帧子块对应的内容相对于所述第i个虚拟场景视频帧的内容相对变化,Q≥k≥1;
根据所述Q个虚拟视频帧子块分别对应的子块内容变化信息,确定所述第j个关联虚拟场景视频帧相对于所述第i个虚拟场景视频帧的内容相对变化;
根据所述N个关联虚拟场景视频帧分别相对于所述第i个虚拟场景视频帧的内容相对变化,确定所述第i个虚拟场景视频帧对应的帧内容变化信息。
5.根据权利要求1所述的方法,其特征在于,所述获取待处理的虚拟场景视频,包括:
获取待处理视频,所述待处理视频包括虚拟场景和现实场景;
确定所述待处理视频对应的包括虚拟场景的虚拟场景子视频和包括现实场景的现实场景子视频;
将所述虚拟场景子视频作为待处理的所述虚拟场景视频。
6.根据权利要求5所述的方法,其特征在于,所述待处理视频包括M个视频帧,所述确定所述待处理视频对应的包括所述虚拟场景的虚拟场景子视频和包括所述现实场景的现实场景子视频,包括:
确定所述M个视频帧中第m个视频帧对应的目标对象,M≥m≥1,所述第m个视频帧对应的目标对象为所述第m个视频帧对应的虚拟场景或第m个视频帧对应的现实场景;
基于所述第m个视频帧对应的目标对象,通过分离模型确定所述M个视频帧分别对应的目标对象;
根据所述M个视频帧分别对应的目标对象,得到所述M个视频帧分别对应的虚拟场景子视频帧和现实场景子视频帧;
基于所述M个视频帧分别对应的虚拟场景子视频帧和现实场景子视频帧,得到所述虚拟场景子视频和所述现实场景子视频。
7.根据权利要求6所述的方法,其特征在于,所述确定所述M个视频帧中第m个视频帧对应的目标对象,包括:
确定所述第m个视频帧对应的虚拟场景和现实场景;
确定所述第m个视频帧对应的虚拟场景相对于所述第m个视频帧的第一内容占比和所述第m个视频帧对应的现实场景相对于所述第m个视频帧的第二内容占比,
根据所述第一内容占比和所述第二内容占比,确定所述第m个视频帧对应的目标对象,所述目标对象对应的内容占比为所述第一内容占比和所述第二内容占比中的较小值。
8.根据权利要求5所述的方法,其特征在于,在得到处理后的目标虚拟场景视频之后,所述方法还包括:
将所述目标虚拟场景视频和所述现实场景子视频进行融合,得到处理后的目标视频。
9.根据权利要求8所述的方法,其特征在于,所述目标虚拟场景视频包括M个目标虚拟场景视频帧,所述现实场景子视频包括M个现实场景子视频帧,所述将所述目标虚拟场景视频和所述现实场景子视频进行融合,得到处理后的目标视频,包括:
调整所述M个目标虚拟场景视频帧中的融合边界的局部对比度,所述融合边界是指所述M个目标虚拟场景视频帧和所述M个现实场景子视频帧一一对应融合时的边界;
将调整后的所述M个目标虚拟场景视频帧和所述M个现实场景子视频帧一一对应融合,得到处理后的目标视频。
10.一种视频处理装置,其特征在于,包括:
获取模块,用于获取待处理的虚拟场景视频,所述虚拟场景视频包括M个虚拟场景视频帧,M≥2;
确定模块,用于确定所述M个虚拟场景视频帧分别对应的帧内容变化信息,针对M个虚拟场景视频帧中的第i个虚拟场景视频帧,所述第i个虚拟场景视频帧对应的帧内容变化信息用于标识所述第i个虚拟场景视频帧对应的N个关联虚拟场景视频帧分别相对于所述第i个虚拟场景视频帧的内容相对变化,M≥i≥1,M≥N≥2,所述N个关联虚拟场景视频帧包括所述M个虚拟场景视频帧中相对于所述第i个虚拟场景视频帧的相邻帧;
得到模块,用于根据所述第i个虚拟场景视频帧的帧内容变化信息和所述N个关联虚拟场景视频帧的帧亮度信息,得到所述第i个虚拟场景视频帧的帧期望亮度变化信息;
调整模块,用于基于所述M个虚拟场景视频帧分别对应的帧期望亮度变化信息,对所述M个虚拟场景视频帧的亮度进行调整,得到处理后的目标虚拟场景视频。
11.一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311019242.0A CN116743978B (zh) | 2023-08-14 | 2023-08-14 | 视频处理方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311019242.0A CN116743978B (zh) | 2023-08-14 | 2023-08-14 | 视频处理方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116743978A CN116743978A (zh) | 2023-09-12 |
CN116743978B true CN116743978B (zh) | 2023-11-03 |
Family
ID=87902973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311019242.0A Active CN116743978B (zh) | 2023-08-14 | 2023-08-14 | 视频处理方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116743978B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110381276A (zh) * | 2019-05-06 | 2019-10-25 | 华为技术有限公司 | 一种视频拍摄方法及电子设备 |
CN113973190A (zh) * | 2021-10-28 | 2022-01-25 | 联想(北京)有限公司 | 视频虚拟背景图像处理方法、装置及计算机设备 |
CN115016752A (zh) * | 2022-05-27 | 2022-09-06 | 海信视像科技股份有限公司 | 一种图像显示方法及设备 |
CN116506741A (zh) * | 2023-04-27 | 2023-07-28 | 重庆中星微人工智能芯片技术有限公司 | 监控视频去闪烁方法、装置、电子设备和计算机可读介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7667739B2 (en) * | 2006-12-15 | 2010-02-23 | Mediatek Inc. | Brightness adjusting methods for video frames of video sequence by applying scene change detection and/or blinking detection and brightness adjusting devices thereof |
-
2023
- 2023-08-14 CN CN202311019242.0A patent/CN116743978B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110381276A (zh) * | 2019-05-06 | 2019-10-25 | 华为技术有限公司 | 一种视频拍摄方法及电子设备 |
CN113973190A (zh) * | 2021-10-28 | 2022-01-25 | 联想(北京)有限公司 | 视频虚拟背景图像处理方法、装置及计算机设备 |
CN115016752A (zh) * | 2022-05-27 | 2022-09-06 | 海信视像科技股份有限公司 | 一种图像显示方法及设备 |
CN116506741A (zh) * | 2023-04-27 | 2023-07-28 | 重庆中星微人工智能芯片技术有限公司 | 监控视频去闪烁方法、装置、电子设备和计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116743978A (zh) | 2023-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11257272B2 (en) | Generating synthetic image data for machine learning | |
US10534998B2 (en) | Video deblurring using neural networks | |
CN108564527B (zh) | 基于神经网络的全景图内容补全和修复的方法及装置 | |
KR101785982B1 (ko) | 모자이크 이미지 생성 방법 및 장치 | |
CN105844256A (zh) | 一种全景视频帧图像处理方法和装置 | |
CN104394422A (zh) | 一种视频分割点获取方法及装置 | |
CN111710049B (zh) | Ar场景中的环境光照确定方法和装置 | |
US10521963B1 (en) | Methods and systems for representing a pre-modeled object within virtual reality data | |
WO2023193521A1 (zh) | 一种视频修复的方法、相关装置、设备以及存储介质 | |
CN111193961A (zh) | 视频编辑设备和方法 | |
CN111696034A (zh) | 图像处理方法、装置及电子设备 | |
CN114598919A (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
CN116743978B (zh) | 视频处理方法、装置、计算机设备及计算机可读存储介质 | |
CN115293994B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
KR102572415B1 (ko) | 레퍼런스 이미지의 검증을 통해 자연스러운 3차원 디지털 트윈을 생성하기 위한 방법 및 장치 | |
CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN115049559A (zh) | 模型训练、人脸图像处理、人脸模型处理方法及装置、电子设备及可读存储介质 | |
US11989820B2 (en) | Arbitrary view generation | |
CN114820988A (zh) | 三维建模方法、装置、设备和存储介质 | |
Okura et al. | Addressing temporal inconsistency in indirect augmented reality | |
Chen et al. | NLUT: Neural-based 3D Lookup Tables for Video Photorealistic Style Transfer | |
CN117786147B (zh) | 一种数字孪生模型视野范围内数据展示方法及装置 | |
JP2010044651A (ja) | 複数画像間の関係付けおよび切り替え表示をするための方法、プログラム、および装置 | |
CN117082294B (zh) | 一种视频一体机切换方法及*** | |
CN115100081A (zh) | Lcd显示屏灰阶图像增强方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |