CN110766617A - 一种带有动态模糊的降低采样数量的渲染加速方法 - Google Patents

一种带有动态模糊的降低采样数量的渲染加速方法 Download PDF

Info

Publication number
CN110766617A
CN110766617A CN201910865101.8A CN201910865101A CN110766617A CN 110766617 A CN110766617 A CN 110766617A CN 201910865101 A CN201910865101 A CN 201910865101A CN 110766617 A CN110766617 A CN 110766617A
Authority
CN
China
Prior art keywords
rendered
sampling
image
function
mix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910865101.8A
Other languages
English (en)
Other versions
CN110766617B (zh
Inventor
邹刘磊
刘伟豪
徐安琦
戴新元
黄炎
余昊
朱洪锦
范洪辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Institute of Technology
Original Assignee
Jiangsu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Institute of Technology filed Critical Jiangsu Institute of Technology
Priority to CN201910865101.8A priority Critical patent/CN110766617B/zh
Publication of CN110766617A publication Critical patent/CN110766617A/zh
Application granted granted Critical
Publication of CN110766617B publication Critical patent/CN110766617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)

Abstract

本发明提供了一种带有动态模糊的降低采样数量的渲染加速方法,在生成新的一帧图像时,仅对部分区域进行采样,最终像素的颜色由连续数次采样的值加权平均得到。区域被采样的概率与加权平均时的权重使用相同的概率密度函数计算,其图像由二阶贝塞尔曲线控制,从而获得可控的基于图像的动态模糊效果。算法可在采样中结合几何的动态模糊算法,以减弱重影问题对视觉效果的影响。对于实时渲染中光线追踪、光子映射等采样开销较大的算法,有效的减少了计算时间,并获得能够接受的渲染质量。

Description

一种带有动态模糊的降低采样数量的渲染加速方法
技术领域
本发明涉及计算机图形学实时渲染技术领域,尤其涉及一种带有动态模糊的降低采样数量的渲染加速方法。
背景技术
动态模糊在现实生活中,是相机拍摄物体时,曝光的时间中物体移动形成的一种模糊的拖动痕迹。渲染中若无动态模糊,快速移动的物体将在多帧中的多个像素间跳跃,表现为一种时间上的锯齿。动态模糊的实现主要为基于几何变化的动态模糊、基于累积缓冲区的动态模糊、基于速度缓冲区的动态模糊三种方式。
基于几何变化的动态模糊,其改变运动中的几何体本身,将运动前后的几何图形添加到空间中,即模糊几何体本身。基于累积缓冲区的动态模糊,其通过平均数帧的图片,以达到动态模糊的效果。基于速度缓冲区的动态模糊,其使用移动速度计算位置差异,并转换为屏幕空间坐标,以此计算动态模糊。
动态模糊可视作一种时间上的抗锯齿。相对的,TAA、ATAA等采样技术,从时间的角度实现了空间上的抗锯齿。然而现有的抗锯齿方式使得渲染质量不高,因此,提出一种新的提高渲染质量的方案成为亟待解决的问题。
发明内容
本发明旨在提供一种克服上述问题之一或者至少部分地解决上述任一问题的带有动态模糊的降低采样数量的渲染加速方法。
为达到上述目的,本发明的技术方案具体是这样实现的:
本发明的一个方面提供了一种带有动态模糊的降低采样数量的渲染加速方法,渲染图像中的待渲染区域时,包括:S1,根据概率P(t)决定待渲染区域是否被采样,其中,P为概率分布函数,t为与上一次采样的间隔时间;S2,如果待渲染区域被采样,按时间顺序存储采样值Si、采样的时间ti,其中i为储存序号;S3,计算每一个被储存的采样值Si的对应的权重Pi=P(ti-t0),其中,t0为被储存的首个采样值S0的采样时的时间;S4,利用公式
Figure BDA0002201028040000021
计算待渲染区域最终像素的颜色pixel。
其中,在S1之前,方法还包括:确定待渲染画面中的待渲染区域;确定待渲染画面中的待渲染区域包括:根据预设图像分割技术将图像进行划分,确定划分后的图像作为一个待渲染区域。
其中,预设图像分割技术包括:提取单像素的某区域、单个像素或多个像素作为待渲染区域;或者利用抗锯齿技术分割图像;或者利用SSIM技术分割图像。
其中,抗锯齿技术包括但不限于:SSAA、MSAA和HRAA。
其中,概率分布函数通过如下方式进行计算:利用二阶贝塞尔曲线变换得到概率密度函数
Figure BDA0002201028040000022
其中,二阶贝塞尔曲线的起点为原点、终点为(Tmix,y2)、控制点为(αTmix,by2);其中,a∈[0,0.5)∪(0.5,1],b∈[0,1];Tmix表示像素累加的最大时长或者两次采样的最大间隔时间;其中,
Figure BDA0002201028040000023
根据使用情况,配置a,b的数值,以改变函数图像,将概率分布密度函数F(x)的图像变化为单调递增的凹函数、凸函数或线性函数;利用蒙特卡洛方法,由F(x)计算得到概率分布函数:
Figure BDA0002201028040000031
其中,t≥Tmix时,P(t)=1。
其中,首次计算P(t)时,P(t)=1。
其中,S3中,计算每一个被储存的采样值Si的对应的权重Pi=P(ti-t0),若Pi小于阈值,则将对应储存的采样值Si、采样的时间ti删除;其中,阈值的确定依据精度的要求。
其中,t的单位与Tmix的单位根据需求进行选取,且t∈N+,Tmix∈N+
由此可见,本发明实施例提供的带有动态模糊的降低采样数量的渲染加速方法,从时间的角度控制采样,并结合动态模糊,对于实时渲染中光线追踪、光子映射等采样开销较大的算法,有效的减少了计算时间,并获得能够接受的渲染质量。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的带有动态模糊的降低采样数量的渲染加速方法的流程图;
图2为本发明实施例提供的概率密度函数图像;
图3为本发明实施例提供的概率分布函数图像。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的带有动态模糊的降低采样数量的渲染加速方法的流程图,参见图1,本发明实施例提供的带有动态模糊的降低采样数量的渲染加速方法,渲染图像中的待渲染区域时,包括:
S1,根据概率P(t)决定待渲染区域是否被采样,其中,P为概率分布函数,t为与上一次采样的间隔时间。
作为本发明实施例的一个可选实施方式,为了保证精度,在t≥Tmix时,P(t)=1。
作为本发明实施例的一个可选实施方式,首次计算P(t)时,P(t)=1。具体地,在第一帧中首次计算P(t)时,由于先前所有区域均未被采样,故t可视为+∞,此时P(t)=1,即第一帧时所有区域将均被采样,以此保证第一帧的正确性。
作为本发明实施例的一个可选实施方式,在S1之前,本发明实施例提供的带有动态模糊的降低采样数量的渲染加速方法还包括:确定待渲染画面中的待渲染区域;确定待渲染画面中的待渲染区域包括:根据预设图像分割技术将图像进行划分,确定划分后的图像作为一个待渲染区域。进一步,预设图像分割技术包括:提取单像素的某区域、单个像素或多个像素作为待渲染区域;或者利用抗锯齿技术分割图像;或者利用SSIM技术分割图像。具体地,可选择单个像素的某个区域作为待渲染区域,或者每个像素为一个待渲染区域,或者多个像素组成一个待渲染区域,这可以根据实际情况进行设置;另外,还可以依据抗锯齿技术分割图像,其中,抗锯齿技术包括但不限于:SSAA(Super-Sampling Anti-aliasing,超级采样抗锯齿)、MSAA(MultiSampling Anti-Aliasing,多重采样抗锯齿)、HRAA(HighResolution Anti-aliasing,高分辨率抗锯齿);也可以利用SSIM(structuralsimilarity index,结构相似性)对图像进行划分。
作为本发明实施例的一个可选实施方式,概率分布函数通过如下方式进行计算:
利用二阶贝塞尔曲线变换得到概率密度函数:
其中,二阶贝塞尔曲线的起点为原点、终点为(Tmix,y2)、控制点为(aTmix,by2);
其中,a∈[0,0.5)∪(0.5,1],b∈[0,1];Tmix表示像素累加的最大时长或者两次采样的最大间隔时间;
其中,
根据使用情况,配置a,b的数值,以改变函数图像,将概率分布密度函数F(x)的图像变化为单调递增的凹函数、凸函数或线性函数;
利用蒙特卡洛方法,由F(x)计算得到概率分布函数:
Figure BDA0002201028040000053
具体地,概率密度函数由二阶贝塞尔曲线变换得到。二阶贝塞尔曲线中,其函数B(c)为c时刻点的坐标,其使用起点P0(x0,y0),终点P2(x2,y2),以及控制点P1(ax2,by2)(其中a∈[0,0.5)∪(0.5,1],b∈[0,1])描述图像,其通用公式为:
B(c)=(1-c)2P0+2c(1-c)P1+c2P2,c∈[0,1]
为简化计算,算法中将起点P0设为原点,因此:
建立以时间为横轴,概率为纵轴的直角坐标系,并将终点P2设置为(Tmix,y2),Tmix为两次采样的最大时间间隔,同时其表示动态模糊的混合时间。结合函数图像得到:
由概率密度函数性质并使用蒙特卡洛求得:
因此:
Figure BDA0002201028040000064
所以概率密度函数为:
Figure BDA0002201028040000065
其中,概率密度函数的图像具体可以参见图2;
因此概率分布函数为:
Figure BDA0002201028040000066
其中,概率分布函数的图像具体可以参见图3。
其中,Tmix为像素累加的最大时长,即两次采样的最大间隔时间。修改点(a,b)可将F(x)的图像变化为单调递增的凹函数、凸函数或线性函数,从而适应基于图像的动态模糊的各种使用时的情况。
作为本发明实施例的一个可选实施方式,t的单位与Tmix的单位根据需求进行选取,且t∈N+,Tmix∈N+。其中t和Tmix的单位不限(t∈N+)(Tmix∈N+),可以为s,ms,ns等,可以根据需求选用合适的精度。
S2,如果待渲染区域被采样,按时间顺序存储采样值Si、采样的时间ti,其中i为储存序号。
作为本发明实施例的一个可选实施方式,如果待渲染区域未被采样,则直接执行步骤S3。
S3,计算每一个被储存的采样值Si的对应的权重Pi=P(ti-t0),其中,t0为被储存的首个采样值S0的采样时的时间。
具体地,本步骤中在进行权重计算时,计算概率分布函数的方法如上述步骤S1中记载的相关方式进行计算。
作为本发明实施例的一个可选实施方式,S3中,计算每一个被储存的采样值Si的对应的权重Pi=P(ti-t0),若Pi小于阈值,则将对应储存的采样值Si、采样的时间ti删除;其中,阈值的确定依据精度的要求。
S4,利用公式
Figure BDA0002201028040000071
计算待渲染区域最终像素的颜色pixel。
由此可见,利用本发明实施例提供的带有动态模糊的降低采样数量的渲染加速方法,在生成新的一帧图像时,仅对部分区域进行采样,最终像素的颜色由连续数次采样的值加权平均得到。区域被采样的概率与加权平均时的权重使用相同的概率密度函数计算,其图像由二阶贝塞尔曲线控制,从而获得可控的基于图像的动态模糊效果。算法可在采样中结合几何的动态模糊算法,以减弱重影问题对视觉效果的影响。对于实时渲染中光线追踪、光子映射等采样开销较大的算法,有效的减少了计算时间,并获得能够接受的渲染质量。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种带有动态模糊的降低采样数量的渲染加速方法,其特征在于,渲染图像中的待渲染区域时,包括:
S1,根据概率P(t)决定所述待渲染区域是否被采样,其中,P为概率分布函数,t为与上一次采样的间隔时间;
S2,如果所述待渲染区域被采样,按时间顺序存储采样值Si、采样的时间ti,其中i为储存序号;
S3,计算每一个被储存的采样值Si的对应的权重Pi=P(ti-t0),其中,t0为被储存的首个采样值S0的采样时的时间;
S4,利用公式
Figure FDA0002201028030000011
计算所述待渲染区域最终像素的颜色pixel。
2.根据权利要求1所述的方法,其特征在于,在S1之前,还包括:确定待渲染画面中的待渲染区域;
所述确定待渲染画面中的待渲染区域包括:
根据预设图像分割技术将图像进行划分,确定划分后的图像作为一个所述待渲染区域。
3.根据权利要求2所述的方法,其特征在于,所述预设图像分割技术包括:
提取单像素的某区域、单个像素或多个像素作为所述待渲染区域;
或者利用抗锯齿技术分割所述图像;
或者利用SSIM技术分割所述图像。
4.根据权利要求3所述的方法,其特征在于,所述抗锯齿技术包括但不限于:
SSAA、MSAA和HRAA。
5.根据权利要求1所述的方法,其特征在于,所述概率分布函数通过如下方式进行计算:
利用二阶贝塞尔曲线变换得到概率密度函数
Figure FDA0002201028030000021
其中,二阶贝塞尔曲线的起点为原点、终点为(Tmix,y2)、控制点为(aTmix,by2);
其中,a∈[0,0.5)∪(0.5,1],b∈[0,1];Tmix表示像素累加的最大时长或者两次采样的最大间隔时间;
其中,
Figure FDA0002201028030000022
根据使用情况,配置a,b的数值,以改变函数图像,将所述概率分布密度函数F(x)的图像变化为单调递增的凹函数、凸函数或线性函数;
利用蒙特卡洛方法,由F(x)计算得到所述概率分布函数:
Figure FDA0002201028030000023
6.根据权利要求1所述的方法,其特征在于,t≥Tmix时,P(t)=1。
7.根据权利要求1所述的方法,其特征在于,首次计算P(t)时,P(t)=1。
8.根据权利要求1所述的方法,其特征在于,所述S3中,计算每一个被储存的采样值Si的对应的权重Pi=P(ti-t0),若Pi小于阈值,则将对应储存的所述采样值Si、所述采样的时间ti删除;其中,阈值的确定依据精度的要求。
9.根据权利要求5所述的方法,其特征在于,t的单位与Tmix的单位根据需求进行选取,且t∈N+,Tmix∈N+
CN201910865101.8A 2019-09-12 2019-09-12 一种带有动态模糊的降低采样数量的渲染加速方法 Active CN110766617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910865101.8A CN110766617B (zh) 2019-09-12 2019-09-12 一种带有动态模糊的降低采样数量的渲染加速方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910865101.8A CN110766617B (zh) 2019-09-12 2019-09-12 一种带有动态模糊的降低采样数量的渲染加速方法

Publications (2)

Publication Number Publication Date
CN110766617A true CN110766617A (zh) 2020-02-07
CN110766617B CN110766617B (zh) 2023-06-23

Family

ID=69329569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910865101.8A Active CN110766617B (zh) 2019-09-12 2019-09-12 一种带有动态模糊的降低采样数量的渲染加速方法

Country Status (1)

Country Link
CN (1) CN110766617B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215746A (zh) * 2020-10-20 2021-01-12 咪咕文化科技有限公司 图像模糊处理方法、装置、电子设备、存储介质
CN114066721A (zh) * 2021-11-03 2022-02-18 北京字节跳动网络技术有限公司 显示方法、装置和电子设备
CN116761018A (zh) * 2023-08-18 2023-09-15 湖南马栏山视频先进技术研究院有限公司 一种基于云平台的实时渲染***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046888A (zh) * 2006-03-30 2007-10-03 株式会社东芝 渲染装置和方法,以及形状数据生成装置和方法
CN107092684A (zh) * 2017-04-21 2017-08-25 腾讯科技(深圳)有限公司 图像处理方法及装置、存储介质
CN107945168A (zh) * 2017-11-30 2018-04-20 上海联影医疗科技有限公司 一种医学图像的处理方法及医学图像处理***
CN108399605A (zh) * 2018-01-09 2018-08-14 网宿科技股份有限公司 图片处理方法、终端设备及计算机可读存储介质
US20190130640A1 (en) * 2017-10-31 2019-05-02 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Visualization of positional geospatial uncertainty

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046888A (zh) * 2006-03-30 2007-10-03 株式会社东芝 渲染装置和方法,以及形状数据生成装置和方法
CN107092684A (zh) * 2017-04-21 2017-08-25 腾讯科技(深圳)有限公司 图像处理方法及装置、存储介质
US20190130640A1 (en) * 2017-10-31 2019-05-02 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Visualization of positional geospatial uncertainty
CN107945168A (zh) * 2017-11-30 2018-04-20 上海联影医疗科技有限公司 一种医学图像的处理方法及医学图像处理***
CN108399605A (zh) * 2018-01-09 2018-08-14 网宿科技股份有限公司 图片处理方法、终端设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Y. TOKUYOSHI AND M. MARUYAMA: "A fast rendering method for a scene with participating media of anisotropic scattering property", 《 INTERNATIONAL 2005 COMPUTER GRAPHICS》 *
陈淑彬: "基于GPU的后置处理运动模糊算法", 《计算机***应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215746A (zh) * 2020-10-20 2021-01-12 咪咕文化科技有限公司 图像模糊处理方法、装置、电子设备、存储介质
CN114066721A (zh) * 2021-11-03 2022-02-18 北京字节跳动网络技术有限公司 显示方法、装置和电子设备
CN114066721B (zh) * 2021-11-03 2024-02-02 抖音视界有限公司 显示方法、装置和电子设备
CN116761018A (zh) * 2023-08-18 2023-09-15 湖南马栏山视频先进技术研究院有限公司 一种基于云平台的实时渲染***
CN116761018B (zh) * 2023-08-18 2023-10-17 湖南马栏山视频先进技术研究院有限公司 一种基于云平台的实时渲染***

Also Published As

Publication number Publication date
CN110766617B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN110766617A (zh) 一种带有动态模糊的降低采样数量的渲染加速方法
CN110650368A (zh) 视频处理方法、装置和电子设备
CN108174057B (zh) 一种利用视频图像帧间差异对画面快速降噪的方法及装置
JP2006350334A (ja) ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間における動きに起因する知覚可能なぶれを補償する方法およびシステム
JP2003058894A (ja) ピクセル化された画像をセグメント化するための方法および装置
EP2164040A1 (en) System and method for high quality image and video upscaling
KR101710966B1 (ko) 이미지 안티 에일리어싱 방법 및 장치
Mueller et al. Temporally adaptive shading reuse for real-time rendering and virtual reality
US10417789B2 (en) Motion blur using cached texture space blur
CN113496506A (zh) 图像处理方法、装置、设备及存储介质
CN113283543B (zh) 一种基于WebGL的图像投影融合方法、装置、存储介质和设备
CN106303366B (zh) 一种基于区域分类编码的视频编码的方法及装置
CN112419147B (zh) 图像渲染方法及装置
US11328494B2 (en) Image processing apparatus, image processing method, and storage medium
JP2022064148A (ja) 画像処理装置、画像処理方法
CN115567658B (zh) 一种保持图像不偏转方法、装置及可视耳勺
KR102141122B1 (ko) 안개 제거 방법 및 그 장치
CN111062975B (zh) 一种基于感知哈希算法加快视频帧实时目标检测的方法
WO2023031999A1 (ja) 映像情報処理装置、方法およびプログラム
CN117061825B (zh) 流媒体视频坏帧检测方法、装置及计算机设备
Kwon et al. Fast Ray Reordering and Approximate Sibson Interpolation for Foveated Rendering on GPU
US20240029281A1 (en) Method for reducing error of depth estimation model, electronic device, and non-transitory storage medium
CN117218275A (zh) 一种基于实时渲染的内插帧方法及装置
JP3143627B2 (ja) エッジ保存雑音低減方式
CN114494927A (zh) 图像处理方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant