CN113436343A - 用于虚拟演播厅的画面生成方法及装置、介质及电子设备 - Google Patents
用于虚拟演播厅的画面生成方法及装置、介质及电子设备 Download PDFInfo
- Publication number
- CN113436343A CN113436343A CN202110686514.7A CN202110686514A CN113436343A CN 113436343 A CN113436343 A CN 113436343A CN 202110686514 A CN202110686514 A CN 202110686514A CN 113436343 A CN113436343 A CN 113436343A
- Authority
- CN
- China
- Prior art keywords
- target
- picture
- preset
- character
- bearing body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 239000000463 material Substances 0.000 claims abstract description 155
- 238000013507 mapping Methods 0.000 claims abstract description 101
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 15
- 230000004927 fusion Effects 0.000 abstract description 13
- 239000012780 transparent material Substances 0.000 description 13
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000006748 scratching Methods 0.000 description 2
- 230000002393 scratching effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开涉及计算机技术领域,提供了一种用于虚拟演播厅的画面生成方法及装置、计算机可读存储介质和电子设备。其中,上述方法包括:对实体摄像机拍摄的包括人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;合成所述半透明材质的人物层抠像和所述不透明材质的人物层抠像,以得到目标人物画面;根据目标人物画面对三维虚拟场景中的用于展示人物画面的预设承载体进行材质贴图,以基于进行材质贴图后的所述预设承载体生成目标演播画面。本方案基于半透明材质和不透明材质可以同时保留抠像人物的主体信息和细节信息,提高虚拟场景与现实人物的融合效果,提升了虚拟演播厅演播画面的逼真度和准确性。
Description
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种用于虚拟演播厅的画面生成方法、用于虚拟演播厅的画面生成装置、计算机可读存储介质及电子设备。
背景技术
相比于传统的实景搭建为主,并以实景机位进行拍摄的实景演播厅而言,虚拟演播厅的搭建成本较低,因此,其得到了广泛的应用。
虚拟演播厅实现的过程是将现实摄像机拍摄的实际人物画面和利用三维软件搭建的三维虚拟背景画面进行融合,以生成最终的演播画面。然而,相关技术中实现的实际人物画面和三维虚拟背景画面的融合度较低,生成的演播画面的真实感不足。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种用于虚拟演播厅的画面生成方法及装置、计算机可读存储介质及电子设备,进而至少在一定程度上改善虚拟演播厅的演播画面的融合度,以提升画面的真实感。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的第一方面,提供了一种用于虚拟演播厅的画面生成方法,包括:
对实体摄像机拍摄的包含人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;
合成所述半透明材质的人物层抠像和所述不透明材质的人物层抠像,以得到目标人物画面;
根据所述目标人物画面对三维虚拟场景中的用于展示人物画面的预设承载体进行材质贴图,以基于进行材质贴图后的所述预设承载体生成目标演播画面。
在本公开的一种示例性实施例中,基于前述方案,所述所述合成所述半透明材质的人物层抠像和所述不透明材质的人物层抠像,以得到目标人物画面,包括:
将所述半透明材质的人物层抠像所在的图层叠加在所述不透明材质的人物层抠像所在的图层的上方,以得到目标人物画面。
在本公开的一种示例性实施例中,基于前述方案,在根据所述目标人物画面对三维虚拟场景中的用于展示所述目标人物画面的预设承载体进行材质贴图前,所述方法还包括:
预先确定所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿。
在本公开的一种示例性实施例中,基于前述方案,所述预先确定所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿,包括:
根据网格面片预先在所述三维虚拟场景中创建一预设承载体;
基于三维虚拟场景中的虚拟物体的显示尺寸和显示位姿,根据预设的显示比例和预设的空间位置关系,确定出所述预设承载体在三维虚拟场景中的初始显示尺寸和初始显示位姿;
对所述预设承载体的初始显示尺寸和初始显示位姿进行调整,以确定出所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿。
在本公开的一种示例性实施例中,基于前述方案,所述对所述初始显示尺寸和初始显示位姿进行调整,以确定出所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿,包括:
获取参考目标人物画面,根据所述参考目标人物画面对所述预设承载体进行材质贴图;
对进行材质贴图后的所述预设承载体的初始显示尺寸和初始显示位姿进行调整,使得进行材质贴图后的预设承载体和所述三维虚拟场景中的虚拟物体的空间关系相匹配,以确定出所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿。
在本公开的一种示例性实施例中,基于前述方案,生成所述目标演播画面前,所述基于进行材质贴图后的所述预设承载体生成目标演播画面,包括:
获取虚拟摄像机的预设焦距和预设光圈值;
根据所述预设焦距和预设光圈值对所述三维虚拟场景进行视觉透视调整,以确定进行材质贴图后的所述预设承载体在所述三维虚拟场景中的景深;
根据所述景深生成目标演播画面。
在本公开的一种示例性实施例中,基于前述方案,所述基于进行材质贴图后的所述预设承载体生成目标演播画面,包括:
获取所述预设承载体对应的目标虚拟灯光参数;
根据所述目标虚拟灯光参数为进行材质贴图后的所述预设承载体添加动态阴影,以生成目标演播画面。
在本公开的一种示例性实施例中,基于前述方案,所述目标虚拟灯光参数通过以下方式确定:
根据网格面片预先在所述三维虚拟场景中创建一预设承载体;
基于三维虚拟场景中的虚拟灯光参数,确定出所述预设承载体在三维虚拟场景中的初始虚拟灯光参数;
对所述预设承载体的初始虚拟灯光参数进行调整,以确定出所述预设承载体在所述三维虚拟场景中的目标虚拟灯光参数。
在本公开的一种示例性实施例中,基于前述方案,所述对所述预设承载体的初始虚拟灯光参数进行调整,以确定出所述预设承载体在所述三维虚拟场景中的目标虚拟灯光参数,包括:获取参考目标人物画面,根据所述参考目标人物画面对创建的所述预设承载体进行材质贴图;
对进行材质贴图后的所述预设承载体在三维虚拟场景中的初始灯光参数进行调整,使得进行材质贴图后的所述预设承载体在三维虚拟场景中产生与所述三维虚拟场景中的虚拟物体的阴影相匹配的动态阴影,以确定出所述预设承载体在所述三维虚拟场景中的目标虚拟灯光参数。
在本公开的一种示例性实施例中,基于前述方案,所述参考目标人物画面通过以下方式得到:
对实体摄像机拍摄的包含参考人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;
合成半透明材质的人物层抠像和不透明材质的人物层抠像,得到参考目标人物画面。
在本公开的一种示例性实施例中,基于前述方案,所述根据所述目标人物画面对三维虚拟场景中的用于展示人物画面的预设承载体进行材质贴图,包括:
调整所述目标人物画面至目标尺寸,根据所述目标尺寸对应的目标人物画面对三维虚拟场景中的用于展示所述目标人物画面的预设承载体进行材质贴图;
其中,所述目标尺寸为所述目标人物画面在所述预设承载体中不变形显示时的最大显示尺寸。
根据本公开的第二方面,提供了一种用于虚拟演播厅的画面生成装置,包括:
多层抠像模块,被配置为对实体摄像机拍摄的包括人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;目标人物画面生成模块,被配置为合成所述半透明材质的人物层抠像和所述不透明材质的人物层抠像,以得到目标人物画面;
目标演播画面生成模块,被配置为根据所述目标人物画面对三维虚拟场景中的用于人物画面的预设承载体进行材质贴图,以基于进行材质贴图后的所述预设承载体生成目标演播画面。
根据本公开的第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述实施例中第一方面所述的用于虚拟演播厅的画面生成方法。
根据本公开实施例的第四方面,提供了一种电子设备,包括:处理器;以及,存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中第一方面所述的用于虚拟演播厅的画面生成方法。
由上述技术方案可知,本公开示例性实施例中的用于虚拟演播厅的画面生成方法、用于虚拟演播厅的画面生成装置,以及实现所述用于虚拟演播厅的画面生成方法的计算机可读存储介质及电子设备,至少具备以下优点和积极效果:
在本公开的一些实施例所提供的技术方案中,首先,通过对实体摄像机拍摄的包含人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;然后,合成半透明材质的人物层抠像和不透明材质的人物层抠像,以得到目标人物画面;最后,根据目标人物画面对三维虚拟场景中的预设承载体进行材质贴图,以基于进行材质贴图后的预设承载体生成目标演播画面。与相关技术相比,本公开通过半透明材质抠像可以得到逼真的人物发丝等细节信息,通过不透明材质抠像可以得到逼真的人物主体轮廓信息,从而通过半透明材质抠像和不透明材质抠像相结合的多层人物抠像,提高人物抠像的真实感和准确性,进而可以增强虚拟演播厅的现实人物的画面和虚拟背景的画面的融合度,提高虚拟演播厅的演播画面的真实性和准确性。
本公开应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本公开一示例性实施例中用于虚拟演播厅的画面生成方法的流程示意图;
图2示出本公开一示例性实施例中确定预设承载体在三维虚拟场景中的目标显示尺寸和目标显示位姿的方法的流程示意图;
图3示出本公开一示例性实施例中的一种基于进行材质贴图后的预设承载体生成目标演播画面的方法的流程示意图;
图4示出本公开一示例性实施例中的另一种基于进行材质贴图后的预设承载体生成目标演播画面的方法的流程示意图;
图5示出本公开一示例性实施例中预先确定目标虚拟灯光参数的方法的流程示意图;
图6示出本公开一示例性实施例中的另一种用于虚拟演播厅的画面生成方法的流程示意图;
图7示出本公开示例性实施例中用于虚拟演播厅的画面生成装置的结构示意图;
图8示出本公开示例性实施例中计算机存储介质的结构示意图;以及,
图9示出本公开示例性实施例中电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等;用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”和“第二”等仅作为标记使用,不是对其对象的数量限制。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。
随着互联网的高速发展和近年直播行业的兴起,相比于传统的实景搭建为主,并以实景机位进行拍摄的实景演播厅而言,虚拟演播厅的搭建成本较低,因此,其得到了广泛的应用。然而相关的虚拟演播厅实现方法中,对于虚拟背景与现实人物的融合度较低,生成的演播画面真实感不足。
在本公开的实施例中,首先提供了一种用于虚拟演播厅的画面生成方法,至少在一定程度上克服上述相关技术中存在的缺陷。
图1示出本公开一示例性实施例中用于虚拟演播厅的方法的流程示意图。参考图1,该方法包括:
步骤S110,对实体摄像机拍摄的包含人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;
步骤S120,合成所述半透明材质的人物层抠像和所述不透明材质的人物层抠像,以得到目标人物画面;
步骤S120,根据所述目标人物画面对三维虚拟场景中的用于展示人物画面的预设承载体进行材质贴图,以基于进行材质贴图后的所述预设承载体生成目标演播画面。
在图1所示实施例所提供的技术方案中,首先,通过对实体摄像机拍摄的包含人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;然后,合成半透明材质的人物层抠像和不透明材质的人物层抠像,以得到目标人物画面;最后,根据目标人物画面对三维虚拟场景中的预设承载体进行材质贴图,以基于进行材质贴图后的预设承载体生成目标演播画面。与相关技术相比,本公开通过半透明材质抠像可以得到逼真的人物发丝等细节信息,通过不透明材质抠像可以得到逼真的人物主体轮廓信息,从而通过半透明材质抠像和不透明材质抠像相结合的多层人物抠像,提高人物抠像的真实感和准确性,进而可以增强虚拟演播厅的现实人物的画面和虚拟背景的画面的融合度,提高虚拟演播厅的演播画面的真实性和准确性。
以下对图1所示实施例中各个步骤的具体实施方式进行详细阐述:
在步骤S110中,对实体摄像机拍摄的包含人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像。
在示例性的实施方式中,真实世界中的实体摄像机可以拍摄包含人物的实际场景画面。例如,真实世界中的人物,如节目主持人可以位于绿幕前,然后实体摄像机对主持人进行拍摄,从而得到以绿色作为背景、实际人物作为前景的实际场景画面。然后对实体摄像机拍摄的绿幕背景的人物画面进行半透明材质的绿幕抠像和不透明材质的绿幕抠像。
其中,半透明材质的人物层抠像可以理解为将实际场景画面中的人物看作半透明材质对其进行抠像,不透明材质的人物层抠像可以理解为将实际场景画面中的人物看作不透明材质对其进行抠像,具体的,不透明材质可以包括在遮罩模式下进行的人物层抠像。
举例而言,三维虚拟引擎,例如Unity3D(一款由Unity Technologies研发的跨平台的游戏引擎)或UE4(虚幻4引擎)等有绿幕抠像功能,抠像的过程是通过材质实现的,即可以将人物看作是不同类型的材质,以进行多层人物抠像。例如,将人物的某些部分看作是不透明材质,如人物的身体等可以看作不透明材质、将人物的某些部分看作是半透明材质,如人物的头发等可以看作半透明材质,然后,可以在三维虚拟引擎中分别对实体摄像机拍摄的包含人物的实际场景画面分别进行半透明模式的人物层抠像和遮罩模式的人物层抠像。
接下来,在步骤S120中,合成所述半透明材质的人物层抠像和所述不透明材质的人物层抠像,以得到目标人物画面。
发明人在实践中发现用半透明材质模式抠像,会保留人物轮廓边缘的一些细节,但身体部分会被抠除掉;而在遮罩模式下,人物的边缘会被过度抠除掉,但是除边缘外的中心部分抠像质量非常好。为了得到抠像效果好的人物画面,因此可以将不透明材质的人物层抠像和透明材质的人物层抠像进行合成,以得到目标人物画面。
示例性的,步骤S120的具体实施方式可以是,将半透明材质的人物层抠像所在的图层叠加在不透明材质的人物层抠像所在的图层的上方,得到目标人物画面。
举例而言,可以将实体摄像机拍摄的以绿色为背景的包含实际人物的实际场景画面输入到三维虚拟引擎中,例如上述的Unity3D或UE4,然后在三维虚拟引擎中使用绿幕抠像功能分别对实体摄像机拍摄的包含人物的实际场景画面进行半透明材质的人物层抠像和遮罩模式的人物层抠像,并且将半透明材质的人物层抠像所在的图层叠加在不透明材质的人物层抠像所在的图层的上方,从而得到目标人物画面。
在本公开中,通过半透明材质的人物层抠像,可以保留前景人物的一些边缘细节,例如头发丝等细节,但人物的主体部分会被过度去除;而在遮罩模式下(即不透明材质)进行人物抠像时,人物的边缘虽会被过度去除,但是除人物边缘待的其它中心分别的抠像质量非常好,所以通过将二者进行结合叠加,从而使得经过抠像后保留的前景人物既有边缘的细节又有人物主体部分,进而得到高质量的人物抠像效果。
得到目标人物画面后,在步骤S130中,根据目标人物画面对三维虚拟场景中的用于展示人物画面的预设承载体进行材质贴图,以基于进行材质贴图后的预设承载体生成目标演播画面。
在示例性的实施方式中,通过预设承载体,可以将摄像机采集的实际人物画面作为三维虚拟场景中的一个三维物体,从而使得摄像机采集的实际人物画面和三维虚拟场景中的虚拟物体的空间关系相互匹配,相互融合。
示例性的,在根据目标人物画面对三维虚拟场景中的用于展示目标人物画面的预设承载体进行材质贴图前,可以预先确定预设承载体在三维虚拟场景中的目标显示尺寸和目标显示位姿,该目标显示尺寸和目标显示位置可以在视觉上使得使用人物画面进行材质贴图后的预设承载体和三维虚拟场景中的虚拟物体具有高融合度的空间匹配关系。
示例性的,图2示出本公开一示例性实施例中确定预设承载体在三维虚拟场景中的目标显示尺寸和目标显示位姿的方法的流程示意图。参考图2,该方法可以包括步骤S210至步骤S230。其中:
在步骤S210中,根据网格面片预先在所述三维虚拟场景中创建一预设承载体。
举例而言,可以根据Grid网格面片预先在三维虚拟场景中创建一个三维承载体,将该三维承载体作为预设承载体。
接下来,在步骤S220中,基于三维虚拟场景中的虚拟物体的显示尺寸和显示位姿,根据预设的显示比例和预设的空间位置关系,确定出所述预设承载体在三维虚拟场景中的初始显示尺寸和初始显示位姿。
在示例性的实施方式中,预设的显示比例可以包括三维虚拟场景中的人物和三维虚拟场景中的各虚拟物体的显示尺寸之间的预设比例。预设的空间位置关系可以包括三维虚拟场景中的人物和三维虚拟场景中的各虚拟物体的相对位置关系。
举例而言,在创建三维虚拟场景时,可以预先根据实际演播厅的搭建经验,确定出三维虚拟场景中的人物和三维虚拟场景中的各虚拟物体的显示尺寸之间的比例关系,以及三维虚拟场景中的人物和三维虚拟场景中的各虚拟物体之间的相对位置关系。
例如,根据实际演播厅的搭建经验,确定实际场景中人物和实际的书柜的显示尺寸之间的比例为1:2,那么在虚拟场景中,人物和虚拟书柜的显示尺寸之间的比例关系可以和其保持一致,即仍为1:2,当创建的虚拟场景中的虚拟书柜的显示尺寸为2米时,则可以确定出预设承载体在三维虚拟场景中的初始显示尺寸为1米。再例如,根据实际演播厅的搭建经验,得到在真实演播厅中,人物位于真实的书柜的正前方1,5米处,那么,在三维虚拟场景中,人物和虚拟书柜的相对位置关系可以和其保持一致,即可以根据虚拟书柜在三维虚拟场景中的显示位置,确定出用于承载人物画面的预设承载体在三维虚拟场景中的初始显示位置为在虚拟书柜正前方1.5米处。
在步骤时S230中,对所述预设承载体的初始显示尺寸和初始显示位姿进行调整,以确定出所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿。
在一种示例性的场景中,在使用虚拟演播厅进行节目的正式录制前,可以根据参考人物使用搭建的虚拟场景进行节目的彩排,以对演播画面中人物在虚拟场景中的显示效果进行调整。即调整在三维虚拟场景中用于承载人物画面的预设承载体的初始显示位姿初始显示尺寸,从而使得摄像机拍摄的实际人物和三维虚拟场景中的虚拟物体具有更高的融合度,提高演播画面的真实感。
示例性的,步骤S230的具体实施方式可以包括:获取参考目标人物画面,根据所述参考目标人物画面对所述预设承载体进行材质贴图;对进行材质贴图后的所述预设承载体的初始显示尺寸和初始显示位姿进行调整,使得进行材质贴图后的预设承载体和所述三维虚拟场景中的虚拟物体的空间关系相匹配,以确定出所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿。
在示例性的实施方式中,步骤S230中的参考目标人物画面可以通过以下方式得到:对实体摄像机拍摄的包含参考人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;合成半透明材质的人物层抠像和不透明材质的人物层抠像,得到参考目标人物画面。其中,参考人物和正式录制时的人物可以相同也可以不同,本示例性实施方式对此不做特殊限定。
举例而言,可以在三维虚拟引擎中使用绿幕抠像功能分别对实体摄像机拍摄的包含参考人物的实际场景画面进行半透明材质的人物层抠像和遮罩模式(即不透明材质)的人物层抠像,并且将半透明材质的人物层抠像所在的图层叠加在不透明材质的人物层抠像所在的图层的上方,以合成半透明材质的人物层抠像和不透明材质的人物层抠像,从而得到参考目标人物画面。
得到参考目标人物画面后,在三维虚拟引擎中可以根据参考人物画面对预设承载体进行材质贴图。具体的,可以将参考目标人物画面转换成对应的材质,从而对预设承载体进行材质贴图,进而可以基于进行材质贴图后的预设承载体,将实体摄像机拍摄的实际人物作为虚拟场景构成的虚拟空间中的一个三维物体。
为了使预设承载体和三维虚拟场景中的虚拟物体的空间关系相互匹配、相互融合,以提高虚拟演播厅的演播画面的真实感,可以对进行材质贴图后的预设承载体进行显示位姿和显示尺寸的调整。
具体的,可以对进行材质贴图后的预设承载体的初始显示尺寸进行缩放,以从视觉上使得进行材质贴图后的预设承载体与三维虚拟场景中的虚拟物体的显示尺寸更加融合,从而确定预设承载体在三维虚拟场景中的目标显示尺寸。可以对进行材质贴图后的预设承载体的初始显示位姿进行移动和/或旋转,以从视觉上使得进行材质贴图后的预设承载体与三维虚拟场景中的虚拟物体的相对位置关系更加融合,从而确定预设承载体在三维虚拟场景中的目标显示位姿。
举例而言,对于任何一个演播节目,在正式录制前,可以根据实际演播厅的搭建经验,确定出三维虚拟场景中的预设承载体和虚拟场景中的虚拟物体的显示尺寸之间的预设显示比例以及预设的空间位置关系,例如,在真实场景中,人物位于真实的书柜正前方1.5米处,位于真实的桌子的正后方10厘米处,且人物和真实的书柜的尺寸比例关系为1:2,和真实的桌子的尺寸比例关系为2:1。由于在三维虚拟场景中人物画面是通过预设承载体进行展示的,即预设承载体可以将实体摄像机拍摄的人物画面看作是三维虚拟场景对应的虚拟空间中的一个三维物体。基于此,可以根据实际场景中,人物和真实的物体的显示尺寸之间的比例关系以及人物和真实的物体的显示位置之间的相对位置关系,对应的确定出预设承载体在三维虚拟场景中和各虚拟物体之间的预设显示比例和预设的空间位置关系。
进一步的,在进行虚拟场景搭建时,就确定了虚拟场景中的虚拟物体在演播画面中的显示尺寸和显示位姿以及显示效果(如阴影等)。这样,基于确定的预设承载体在三维虚拟场景中各虚拟物体之间的预设显示比例和预设的空间位置关系,以及确定的虚拟场景中的虚拟物体在演播画面的显示尺寸和显示位姿,就可以确定出预设承载体在三维虚拟场景中的初始显示尺寸和初始显示位姿。
但该初始显示尺寸和初始显示位姿只是一个经验值,而且此时预设承载体只是一个模型,还不是真正意义上的三维虚拟场景中的人物。因此,在正式演播前,可以基于参考人物得到参考目标人物画面,然后利用参考目标人物画面对预设承载体进行材质贴图,进而可以基于进行材质贴图后的预设承载体,将实体摄像机拍摄的人物画面看作是三维虚拟场景中的一个三维物体,即此时预设承载体可以代表处于三维虚拟场景中的人物。此时,可以根据视觉显示效果,对进行材质贴图后的预设承载体在虚拟场景中的初始显示尺寸和初始显示位姿进行调整,以使得进行材质贴图后的预设承载体在视觉上和三维虚拟场景中的虚拟物体更加融合,使得合成的演播画面更加的逼真,进而确定出预设承载体在三维虚拟场景中的目标显示位姿和目标显示尺寸。
在本公开中,通过上述的步骤S210至步骤S230,创建预设承载体,然后把参考目标人物画面贴在预设承载体上面,当移动、旋转、缩放预设承载体时,贴在承载体上面的人物画面也随之发生变化,从而可以根据需要呈现的演播画面和观感,调整人物在三维虚拟场景中的初始显示尺寸和初始显示位姿,以使进行材质贴图后的预设承载体和创建的三维虚拟场景中的各虚拟物体具有较高的融合度,进而提高演播画面的真实感。
确定预设承载体在三维虚拟场景中的目标显示尺寸和目标显示位姿后,在进行正式节目录制时,可以将实体摄像机拍摄的包含人物的实际场景画面输入到三维虚拟引擎中,然后在三维虚拟引擎中对实际场景画面进行不透明材质和半透明材质的人物层绿幕抠像,并且将半透明材质抠像所在图层叠加在不透明材质所在图层的上方,进而得到目标人物画面。得到目标人物画面后,可以在三维虚拟引擎中将目标人物画面转换成对应的材质,以根据该材质对预设承载体进行材质贴图。
示例性的,对根据目标人物画面对预设承载体进行材质贴图的具体实施方式可以是,调整目标人物画面至目标尺寸,根据目标尺寸对应的目标人物画面对三维虚拟场景中的用于展示目标人物画面的预设承载体进行材质贴图,其中,目标尺寸为目标人物画面在预设承载体中不变形显示时的最大显示尺寸。
举例而言,实体摄像机拍摄的实际人物画面的长宽显示比例和预设承载体的长宽显示比例可能会不同,抠像后的目标人物画面的长宽显示比例和预设承载体的长宽显示比例也可能会不同,例如,目标人物画面的长宽比例为16:9,预设承载体的长宽比例为4:3,在根据目标人物画面进行材质贴图时,可以保持目标人物画面的长宽比例为16:9且使得目标人物画面在预设承载体中具有最大的显示尺寸。
在根据目标人物画面对三维虚拟场景中的用于展示人物画面的预设承载体进行材质贴图后,可以基于进行材质贴图后的预设承载体生成目标演播画面。
示例性的,图3示出本公开一示例性实施例中的一种基于进行材质贴图后的预设承载体生成目标演播画面的方法的流程示意图,参考图3,该方法可以包括步骤S310至步骤S330。
在步骤S310中,获取虚拟摄像机的预设焦距和预设光圈值;
在步骤S320中,根据所述预设焦距和预设光圈值对所述三维虚拟场景进行视觉透视调整,以确定进行材质贴图后的所述预设承载体在所述三维虚拟场景中的景深;
在步骤S330中,根据所述景深生成目标演播画面。
在示例性的实施方式中,步骤S310中的虚拟摄像机可以是预设承载体对应的虚拟摄像机,也可以是除预设承载体外的其它虚拟背景对应的虚拟摄像机,还可以是将预设承载体和预先场景的虚拟物体作为一个整体所确定的三维虚拟场景对应的虚拟摄像机。虚拟摄像机可以包括一个或多个,本示例性实施方式对此不做特殊限定。
举例而言,如前所述,在使用虚拟演播厅进行节目的正式录制前,可以根据参考人物使用搭建的虚拟场景进行节目的彩排,以对演播画面中人物在虚拟场景中的显示效果进行调整。
为了进一步提升虚拟演播厅的演播画面中虚拟背景和现实人物的融合度,提高虚拟演播厅演播画面的真实感,可以在彩排时为虚拟摄像机预先配置焦距和光圈值,以使整个演播画面具有逼真的视觉透视效果,即具有合适的景深,从而确定虚拟摄像机的预设焦距和预设光圈值。
示例性的,确定虚拟摄像机的预设焦距和预设光圈值的具体实施方式可以是,获取参考目标人物画面,根据参考目标人物画面对预先在三维场景中创建的预设承载体进行材质贴图;为虚拟摄像机配置焦距和光圈值,以使预设承载体在三维虚拟场景中具有目标景深,即目标视觉透视效果,从而确定出虚拟摄像机的预设焦距和预设光圈值。其中,目标视觉透视效果可以根据需求进行自定义确定,只要能够使得演播画面中的人物和三维虚拟背景的融合度高、真实感好即可。
本公开中,在确定虚拟摄像机的预设焦距和预设光圈值时,预设承载体已经处于三维虚拟场景中,且已经根据参考目标人物画面对预设承载体进行材质贴图,也就是说,已经将实体摄像机拍摄得到的人物画面在三维虚拟引擎中转换为三维虚拟场景中的一个三维物体,再为虚拟摄像机配置焦距和光圈值,从而调整三维虚拟场景的视觉透视效果,以使得整个演播画面从视觉上看起来更加逼真更加融合,因此,基于确定的预设焦距和预设光圈值可以使得三维虚拟场景具有正确的景深,提高演播画面的真实感和正确性。
确定虚拟摄像机的预设焦距和预设光圈值后,在正式录制节目时,获取预设焦距和预设光圈值,就可以对三维虚拟场景进行视觉透视调整,从而生成融合度高的目标演播画面。
示例性的,图4示出本公开一示例性实施例中的另一种基于进行材质贴图后的预设承载体生成目标演播画面的方法的流程示意图,参考图4,该方法可以包括步骤S410至步骤S420。
在步骤S410中,获取所述预设承载体对应的目标虚拟灯光参数。
示例性的,可以预先确定预设承载体对应的目标虚拟灯光参数。图5示出本公开一示例性实施例中预先确定目标虚拟灯光参数的方法的流程示意图。参考图5,该方法可以包括步骤S510至步骤S530。
在步骤S510中,根据网格面片预先在所述三维虚拟场景中创建一预设承载体。
步骤S510的具体实施方式和上述的步骤S210的具体实施方式相同,此处不再进行赘述。
在步骤S520中,基于三维虚拟场景中的虚拟灯光参数,确定出所述预设承载体在三维虚拟场景中的初始虚拟灯光参数。
在示例性的实施方式中,可以根据预设的演播效果为三维虚拟场景添加虚拟灯光参数,由于预设承载体此时也处于三维虚拟场景中,所以可以根据为三维虚拟场景添加的虚拟灯光参数确定出预设承载体的初始灯光参数,即,将为三维虚拟场景添加的虚拟灯光参数确定为预设承载体的初始灯光参数。
接下来,在步骤S530中,对所述预设承载体的初始虚拟灯光参数进行调整,以确定出所述预设承载体在所述三维虚拟场景中的目标虚拟灯光参数。
在虚拟演播厅中,为了增强界面的真实性、活泼性等,主持人都会有一定的活动区域,因此,对前景(主持人)需要单独添加动态灯光,以使灯光可以跟随主持人的移动而产生动态阴影,从而增强演播画面的真实感。由于在三维虚拟场景中人物画面是通过预设承载体进行三维呈现的,所以可以对预设承载体的初始虚拟灯光参数进行调整,以确定出预设承载体在三维虚拟场景中的目标虚拟灯光参数,从而可以使得人物画面在三维虚拟场景中具有动态阴影。示例性的,步骤S530的具体实施方式可以包括:获取参考目标人物画面,根据所述参考目标人物画面对创建的所述预设承载体进行材质贴图;对进行材质贴图后的所述预设承载体在三维虚拟场景中的初始灯光参数进行调整,使得进行材质贴图后的所述预设承载体在三维虚拟场景中产生与所述三维虚拟场景中的虚拟物体的阴影相匹配的动态阴影,以确定出所述预设承载体在所述三维虚拟场景中的目标虚拟灯光参数。
举例而言,如前所述,在使用虚拟演播厅进行节目的正式录制前,可以根据参考人物利用搭建的虚拟场景进行节目的彩排,以对演播画面中人物在虚拟场景中的显示效果进行调整。
为了进一步提升虚拟演播厅的演播画面中虚拟背景和现实人物的融合度,提高虚拟演播厅演播画面的真实感,可以先利用参考人物得到目标参考人物画面,然后根据目标参考人物画面对预设承载体进行材质贴图,再对进行材质贴图后的预设承载体添加动态灯光,以使人物在三维虚拟场景中具有正确的阴影。其中,目标参考人物画面的获取方式如前所述,此处不再进行赘述。
例如,可以根据人物的预设动态显示效果,通过三维虚拟引擎中的spot(聚光灯)光源为进行材质贴图后的预设承载体配置动态灯光参数,使得进行材质贴图后的所述预设承载体在三维虚拟场景中产生与所述三维虚拟场景中的虚拟物体的阴影相匹配的动态阴影。其中,预设虚拟灯光参数可以包括预设承载体对应的虚拟灯光的灯光方向、灯光强度、灯光颜色、灯光饱和度、灯光类型等。
具体的,为进行材质贴图后的预设承载体添加的灯光方向、灯光强度、灯光颜色、灯光饱和度等和三维虚拟场景中的虚拟物体对应的灯光方向、灯光强度、灯光颜色、灯光饱和度等一致,以使得预设承载体在三维虚拟场景中的动态阴影的方向、阴影的大小等和虚拟背景相融合。换言之,使得进行材质贴图后的所述预设承载体在三维虚拟场景中产生与所述三维虚拟场景中的虚拟物体的阴影相匹配的动态阴影,可以理解为演播画面中的人物的动态阴影和三维虚拟背景的阴影在同一个演播画面中相互融合,具有真实感。
在本公开中,在确定预设承载体的目标虚拟灯光参数时,参考目标参考人物画面已经是半透明材质和不透明材质两层抠像后合成的人物画面,然后,再使用目标参考人物画面对预设承载体进行材质贴图,进而确定出进行材质贴图后的预设承载体的目标虚拟灯光参数,由于灯光穿不透人物所以会产生阴影。且由于两层不同模式的抠像使得抠像得到的画面质量更高,再对质量高的抠像画面添加虚拟灯光参数进行投影以产生人物阴影,会使得人物的阴影和虚拟背景融合的更真实。
通过上述的步骤S510至步骤S530,根据确定出的目标虚拟灯光参数可以得到演播画面中的人物在三维虚拟场景中的正确阴影。
接下来,继续参考图4,在步骤S420中,根据所述目标虚拟灯光参数为进行材质贴图后的所述预设承载体添加动态阴影,以生成目标演播画面。
举例而言,由于在彩排环节已经预先确定好了可以使得人物和虚拟背景更加融合且真实感强的目标虚拟灯光参数,所以在正式演播时,可以获取该目标虚拟灯光参数,然后使用目标虚拟灯光参数对进行材质贴图后的预设承载体添加动态阴影,以生成目标演播画面。
通过上述的步骤S410至步骤S420,可以生成实体摄像机拍摄的人物画面对应的动态阴影和三维虚拟场景中的虚拟背景的阴影相匹配的演播画面,进而提高演播画面的真实感。
图6示出本公开一示例性实施例中的另一种用于虚拟演播厅的画面生成方法的流程示意图,参考图6该方法可以包括步骤S610至步骤S650。其中:
在步骤S610中,获取实体摄像机拍摄的绿幕人物画面,对绿幕人物画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;
在步骤S620中,对半透明材质的人物层抠像和不透明材质的人物层抠像进行合成,以得到目标人物画面;
在步骤S630中,根据目标人物画面对三维虚拟场景中的用于展示人物画面的预设承载体进行材质贴图,得到待调整演播画面;
在步骤S640中,获取虚拟摄像机的预设焦距和预设光圈值,根据预设焦距和预设光圈值对待调整演播画面进行视觉透视调整;
在步骤S650中,获取预设承载体对应的目标虚拟灯光参数,以在进行视觉透视调整后的待调整演播画面中为预设承载体添加动态阴影,以生成目标演播画面。在本公开中,通过对不透明模式和半透明模式的多层人物抠像进行合成,以得到目标人物画面,再利用目标人物画面对预设承载体进行材质贴图,可以使得现实人物在虚拟场景中既能得到正确的动态投影和景深,又很大程度地保留人物发丝等抠像细节,提高了虚拟场景与现实人物的融合度、且保证了虚拟演播厅的演播画面的真实度和正确性。
本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本发明示例性实施方式的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
图7示出本公开示例性实施例中用于虚拟演播厅的画面生成装置的结构示意图。参考图7,该装置700可以包括多层抠像模块710、目标人物画面生成模块720、以及目标演播画面生成模块730。其中:
多层抠像模块710,被配置为对实体摄像机拍摄的包括人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;
目标人物画面生成模块720,被配置为合成所述半透明材质的人物层抠像和所述不透明材质的人物层抠像,以得到目标人物画面;
目标演播画面生成模块730,被配置为根据所述目标人物画面对三维虚拟场景中的用于展示人物画面的预设承载体进行材质贴图,以基于进行材质贴图后的所述预设承载体生成目标演播画面。
在本公开的一些示例性实施例中,基于前述实施方式,上述的目标人物画面生成模块720还被具体配置为:
将所述半透明材质的人物层抠像所在的图层叠加在所述不透明材质的人物层抠像所在的图层的上方,以得到目标人物画面。
在本公开的一些示例性实施例中,基于前述实施方式,上述的用于虚拟演播厅的画面生成装置700还包括第一预先确定模块,该第一预先确定模块被配置为:
预先确定所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿。
在本公开的一些示例性实施例中,基于前述实施方式,上述第一预先确定模块预设承载体生成单元、初始显示信息确定单元、目标显示信息确定单元,其中:
预设承载体生成单元被配置为根据网格面片预先在所述三维虚拟场景中创建一预设承载体;
初始信息确定单元被配置为基于三维虚拟场景中的虚拟物体的显示尺寸和显示位姿,根据预设的显示比例和预设的空间位置关系,确定出所述预设承载体在三维虚拟场景中的初始显示尺寸和初始显示位姿;
目标显示信息确定单元被配置为对所述预设承载体的初始显示尺寸和初始显示位姿进行调整,以确定出所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿。
在本公开的一些示例性实施例中,基于前述实施方式,上述的目标显示信息确定单元还被具体配置为:
获取参考目标人物画面,根据所述参考目标人物画面对所述预设承载体进行材质贴图;
对进行材质贴图后的所述预设承载体的初始显示尺寸和初始显示位姿进行调整,使得进行材质贴图后的预设承载体和所述三维虚拟场景中的虚拟物体的空间关系相匹配,以确定出所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿。
在本公开的一些示例性实施例中,基于前述实施方式,上述的目标演播画面生成模块730可以被具体配置为::
获取虚拟摄像机的预设焦距和预设光圈值;
根据所述预设焦距和预设光圈值对所述三维虚拟场景进行视觉透视调整,以确定进行材质贴图后的所述预设承载体在所述三维虚拟场景中的景深;
根据所述景深生成目标演播画面。
在本公开的一些示例性实施例中,基于前述实施方式,上述的目标演播画面生成模块730可以被具体配置为:
获取所述预设承载体对应的目标虚拟灯光参数;
根据所述目标虚拟灯光参数为进行材质贴图后的所述预设承载体添加动态阴影,以生成目标演播画面。
在本公开的一些示例性实施例中,基于前述实施方式,所述目标虚拟灯光参数通过以下方式确定:
根据网格面片预先在所述三维虚拟场景中创建一预设承载体;
基于三维虚拟场景中的虚拟灯光参数,确定出所述预设承载体在三维虚拟场景中的初始虚拟灯光参数;
对所述预设承载体的初始虚拟灯光参数进行调整,以确定出所述预设承载体在所述三维虚拟场景中的目标虚拟灯光参数。
在本公开的一些示例性实施例中,基于前述实施方式,所述对所述预设承载体的初始虚拟灯光参数进行调整,以确定出所述预设承载体在所述三维虚拟场景中的目标虚拟灯光参数,包括:
获取参考目标人物画面,根据所述参考目标人物画面对创建的所述预设承载体进行材质贴图;
对进行材质贴图后的所述预设承载体在三维虚拟场景中的初始灯光参数进行调整,使得进行材质贴图后的所述预设承载体在三维虚拟场景中产生与所述三维虚拟场景中的虚拟物体的阴影相匹配的动态阴影,以确定出所述预设承载体在所述三维虚拟场景中的目标虚拟灯光参数。
在本公开的一些示例性实施例中,基于前述实施方式,所述参考目标人物画面通过以下方式得到:
对实体摄像机拍摄的包含参考人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;
合成半透明材质的人物层抠像和不透明材质的人物层抠像,得到参考目标人物画面。
在本公开的一些示例性实施例中,基于前述实施方式,上述的目标演播画面生成模块730还被具体配置为:
调整所述目标人物画面至目标尺寸,根据所述目标尺寸对应的目标人物画面对三维虚拟场景中的用于展示所述目标人物画面的预设承载体进行材质贴图;其中,目标尺寸为目标人物画面在预设承载体中不变形显示时的最大显示尺寸。
上述用于虚拟演播厅的画面生成装置中各单元的具体细节已经在对应的用于虚拟演播厅的画面生成方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
在本公开示例性实施方式中,还提供了一种能够实现上述方法的计算机存储介质。其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图8所示,描述了根据本公开的实施方式的用于实现上述方法的程序产品800,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为***、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“***”。
下面参照图9来描述根据本公开的这种实施方式的电子设备800。图9显示的电子设备900仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示,电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于:上述至少一个处理单元910、上述至少一个存储单元920、连接不同***组件(包括存储单元920和处理单元910)的总线930以及显示单元940。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元910执行,使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元910可以执行如图1中所示的:步骤S110,对实体摄像机拍摄的包含人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;步骤S120,合成所述半透明材质的人物层抠像和所述不透明材质的人物层抠像,以得到目标人物画面;步骤S130,根据所述目标人物画面对三维虚拟场景中的用于展示人物画面的预设承载体进行材质贴图,以基于进行材质贴图后的所述预设承载体生成目标演播画面。
又如,所述处理单元910还可以执行如图2至图6中所示的方法。
存储单元920可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202,还可以进一步包括只读存储单元(ROM)9203。
存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204,这样的程序模块9205包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备900交互的设备通信,和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且,电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器960通过总线930与电子设备900的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备900使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
Claims (14)
1.一种用于虚拟演播厅的画面生成方法,其特征在于,包括:
对实体摄像机拍摄的包含人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;
合成所述半透明材质的人物层抠像和所述不透明材质的人物层抠像,以得到目标人物画面;
根据所述目标人物画面对三维虚拟场景中的用于展示人物画面的预设承载体进行材质贴图,以基于进行材质贴图后的所述预设承载体生成目标演播画面。
2.根据权利要求1所述的用于虚拟演播厅的画面生成方法,其特征在于,所述合成所述半透明材质的人物层抠像和所述不透明材质的人物层抠像,以得到目标人物画面,包括:
将所述半透明材质的人物层抠像所在的图层叠加在所述不透明材质的人物层抠像所在的图层的上方,以得到目标人物画面。
3.根据权利要求1所述的用于虚拟演播厅的画面生成方法,其特征在于,所述方法还包括:
预先确定所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿。
4.根据权利要求3所述的用于虚拟演播厅的画面生成方法,其特征在于,所述预先确定所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿包括:
根据网格面片预先在所述三维虚拟场景中创建一预设承载体;
基于三维虚拟场景中的虚拟物体的显示尺寸和显示位姿,根据预设的显示比例和预设的空间位置关系,确定出所述预设承载体在三维虚拟场景中的初始显示尺寸和初始显示位姿;
对所述预设承载体的初始显示尺寸和初始显示位姿进行调整,以确定出所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿。
5.根据权利要求4所述的用于虚拟演播厅的画面生成方法,其特征在于,所述对所述初始显示尺寸和初始显示位姿进行调整,以确定出所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿,包括:
获取参考目标人物画面,根据所述参考目标人物画面对所述预设承载体进行材质贴图;
对进行材质贴图后的所述预设承载体的初始显示尺寸和初始显示位姿进行调整,使得进行材质贴图后的预设承载体和所述三维虚拟场景中的虚拟物体的空间关系相匹配,以确定出所述预设承载体在所述三维虚拟场景中的目标显示尺寸和目标显示位姿。
6.根据权利要求1所述的用于虚拟演播厅的画面生成方法,其特征在于,所述基于进行材质贴图后的所述预设承载体生成目标演播画面,包括:
获取虚拟摄像机的预设焦距和预设光圈值;
根据所述预设焦距和预设光圈值对所述三维虚拟场景进行视觉透视调整,以确定进行材质贴图后的所述预设承载体在所述三维虚拟场景中的景深;
根据所述景深生成目标演播画面。
7.根据权利要求1至6中任一项所述的用于虚拟演播厅的画面生成方法,其特征在于,所述基于进行材质贴图后的所述预设承载体生成目标演播画面,包括:
获取所述预设承载体对应的目标虚拟灯光参数;
根据所述目标虚拟灯光参数为进行材质贴图后的所述预设承载体添加动态阴影,以生成目标演播画面。
8.根据权利要求7所述的用于虚拟演播厅的画面生成方法,其特征在于,所述目标虚拟灯光参数通过以下方式确定:
根据网格面片预先在所述三维虚拟场景中创建一预设承载体;
基于三维虚拟场景中的虚拟灯光参数,确定出所述预设承载体在三维虚拟场景中的初始虚拟灯光参数;
对所述预设承载体的初始虚拟灯光参数进行调整,以确定出所述预设承载体在所述三维虚拟场景中的目标虚拟灯光参数。
9.根据权利要求8所述的用于虚拟演播厅的画面生成方法,其特征在于,所述对所述预设承载体的初始虚拟灯光参数进行调整,以确定出所述预设承载体在所述三维虚拟场景中的目标虚拟灯光参数,包括:
获取参考目标人物画面,根据所述参考目标人物画面对创建的所述预设承载体进行材质贴图;
对进行材质贴图后的所述预设承载体在三维虚拟场景中的初始灯光参数进行调整,使得进行材质贴图后的所述预设承载体在三维虚拟场景中产生与所述三维虚拟场景中的虚拟物体的阴影相匹配的动态阴影,以确定出所述预设承载体在所述三维虚拟场景中的目标虚拟灯光参数。
10.根据权利要求5或9所述的用于虚拟演播厅的画面生成方法,其特征在于,所述参考目标人物画面通过以下方式得到:
对实体摄像机拍摄的包含参考人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;
合成半透明材质的人物层抠像和不透明材质的人物层抠像,得到参考目标人物画面。
11.根据权利要求1所述的用于虚拟演播厅的画面生成方法,其特征在于,所述根据所述目标人物画面对三维虚拟场景中的用于展示人物画面的预设承载体进行材质贴图,包括:
调整所述目标人物画面至目标尺寸,根据所述目标尺寸对应的目标人物画面对三维虚拟场景中的用于展示人物画面的预设承载体进行材质贴图;
其中,所述目标尺寸为所述目标人物画面在所述预设承载体中不变形显示时的最大显示尺寸。
12.一种用于虚拟演播厅的画面生成装置,其特征在于,包括:
多层抠像模块,被配置为对实体摄像机拍摄的包括人物的实际场景画面进行半透明材质的人物层抠像和不透明材质的人物层抠像;
目标人物画面生成模块,被配置为合成所述半透明材质的人物层抠像和所述不透明材质的人物层抠像,以得到目标人物画面;
目标演播画面生成模块,被配置为根据所述目标人物画面对三维虚拟场景中的用于展示人物画面的预设承载体进行材质贴图,以基于进行材质贴图后的所述预设承载体生成目标演播画面。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至11中任一项所述的用于虚拟演播厅的画面生成方法。
14.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至11中任一项所述的用于虚拟演播厅的画面生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110686514.7A CN113436343B (zh) | 2021-06-21 | 2021-06-21 | 用于虚拟演播厅的画面生成方法及装置、介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110686514.7A CN113436343B (zh) | 2021-06-21 | 2021-06-21 | 用于虚拟演播厅的画面生成方法及装置、介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113436343A true CN113436343A (zh) | 2021-09-24 |
CN113436343B CN113436343B (zh) | 2024-06-04 |
Family
ID=77756807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110686514.7A Active CN113436343B (zh) | 2021-06-21 | 2021-06-21 | 用于虚拟演播厅的画面生成方法及装置、介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113436343B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113905145A (zh) * | 2021-10-11 | 2022-01-07 | 浙江博采传媒有限公司 | 一种led环幕虚实相机焦点匹配方法及*** |
CN113989473A (zh) * | 2021-12-23 | 2022-01-28 | 北京天图万境科技有限公司 | 一种重新光照的方法和装置 |
CN114071067A (zh) * | 2022-01-13 | 2022-02-18 | 深圳市黑金工业制造有限公司 | 一种远程会议***和远程会议中的实物展示方法 |
CN114327083A (zh) * | 2022-03-04 | 2022-04-12 | 北京有竹居网络技术有限公司 | 房产、对象的展示方法、装置、可读存储介质和电子设备 |
CN115052114A (zh) * | 2022-08-12 | 2022-09-13 | 北京对啊网教育科技有限公司 | 一种电子半透明绿幕抠像录课***及方法 |
WO2023071603A1 (zh) * | 2021-10-25 | 2023-05-04 | 北京字节跳动网络技术有限公司 | 视频融合方法、装置、电子设备及存储介质 |
CN116778121A (zh) * | 2023-06-29 | 2023-09-19 | 南京云视全映科技有限公司 | 一种虚拟屏幕书写操控合成***及方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105072314A (zh) * | 2015-08-13 | 2015-11-18 | 黄喜荣 | 一种可自动跟踪目标的虚拟演播室实现方法 |
US20170097507A1 (en) * | 2015-10-06 | 2017-04-06 | Magic Leap, Inc. | Virtual/augmented reality system having reverse angle diffraction grating |
WO2018102615A1 (en) * | 2016-11-30 | 2018-06-07 | Logitech Europe S.A. | A system for importing user interface devices into virtual/augmented reality |
CN109803094A (zh) * | 2018-12-18 | 2019-05-24 | 北京美吉克科技发展有限公司 | 一种虚拟三维场景编辑***、方法及装置 |
CN111371966A (zh) * | 2020-03-24 | 2020-07-03 | 深圳市励得数码科技有限公司 | 一种在虚拟演播室中合成前景人物阴影的方法、装置及存储介质 |
CN111698390A (zh) * | 2020-06-23 | 2020-09-22 | 网易(杭州)网络有限公司 | 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及*** |
CN111756956A (zh) * | 2020-06-23 | 2020-10-09 | 网易(杭州)网络有限公司 | 虚拟演播厅中虚拟灯光控制方法及装置、介质及设备 |
CN111970453A (zh) * | 2020-09-01 | 2020-11-20 | 太仓中科信息技术研究院 | 一种用于摄像机器人的虚拟拍摄***及方法 |
CN112017264A (zh) * | 2020-09-10 | 2020-12-01 | 网易(杭州)网络有限公司 | 虚拟演播厅的显示控制方法及装置、存储介质、电子设备 |
CN112562056A (zh) * | 2020-12-03 | 2021-03-26 | 广州博冠信息科技有限公司 | 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备 |
CN112689064A (zh) * | 2020-12-25 | 2021-04-20 | 新奥特(北京)视频技术有限公司 | 视频画面处理方法和装置 |
CN112738361A (zh) * | 2020-12-28 | 2021-04-30 | 广州赞赏信息科技有限公司 | 一种视频直播虚拟演播厅的实现方法 |
EP3816942A1 (en) * | 2019-10-29 | 2021-05-05 | Koninklijke Philips N.V. | An image processing method for setting transparency values and color values of pixels in a virtual image |
EP4070865A1 (en) * | 2020-06-24 | 2022-10-12 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for displaying virtual scene, and device and storage medium |
-
2021
- 2021-06-21 CN CN202110686514.7A patent/CN113436343B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105072314A (zh) * | 2015-08-13 | 2015-11-18 | 黄喜荣 | 一种可自动跟踪目标的虚拟演播室实现方法 |
US20170097507A1 (en) * | 2015-10-06 | 2017-04-06 | Magic Leap, Inc. | Virtual/augmented reality system having reverse angle diffraction grating |
WO2018102615A1 (en) * | 2016-11-30 | 2018-06-07 | Logitech Europe S.A. | A system for importing user interface devices into virtual/augmented reality |
CN109803094A (zh) * | 2018-12-18 | 2019-05-24 | 北京美吉克科技发展有限公司 | 一种虚拟三维场景编辑***、方法及装置 |
EP3816942A1 (en) * | 2019-10-29 | 2021-05-05 | Koninklijke Philips N.V. | An image processing method for setting transparency values and color values of pixels in a virtual image |
CN111371966A (zh) * | 2020-03-24 | 2020-07-03 | 深圳市励得数码科技有限公司 | 一种在虚拟演播室中合成前景人物阴影的方法、装置及存储介质 |
CN111756956A (zh) * | 2020-06-23 | 2020-10-09 | 网易(杭州)网络有限公司 | 虚拟演播厅中虚拟灯光控制方法及装置、介质及设备 |
CN111698390A (zh) * | 2020-06-23 | 2020-09-22 | 网易(杭州)网络有限公司 | 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及*** |
EP4070865A1 (en) * | 2020-06-24 | 2022-10-12 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for displaying virtual scene, and device and storage medium |
CN111970453A (zh) * | 2020-09-01 | 2020-11-20 | 太仓中科信息技术研究院 | 一种用于摄像机器人的虚拟拍摄***及方法 |
CN112017264A (zh) * | 2020-09-10 | 2020-12-01 | 网易(杭州)网络有限公司 | 虚拟演播厅的显示控制方法及装置、存储介质、电子设备 |
CN112562056A (zh) * | 2020-12-03 | 2021-03-26 | 广州博冠信息科技有限公司 | 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备 |
CN112689064A (zh) * | 2020-12-25 | 2021-04-20 | 新奥特(北京)视频技术有限公司 | 视频画面处理方法和装置 |
CN112738361A (zh) * | 2020-12-28 | 2021-04-30 | 广州赞赏信息科技有限公司 | 一种视频直播虚拟演播厅的实现方法 |
Non-Patent Citations (3)
Title |
---|
MARSHALLWOLFF: "Translucency: Guide to Semi-Transparent Materials", 《CLIP STUDIO TIPS:HTTPS://TIPS.CLIP-STUDIO.COM/EN-US/ARTICLES/3454》 * |
杜瑶;王兆仲;: "单幅图像真实感虚拟试戴技术", 计算机***应用, no. 04 * |
羿川: "直播时各种背景是怎么实现, 虚拟背景背后的技术", 《视频云技术》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113905145A (zh) * | 2021-10-11 | 2022-01-07 | 浙江博采传媒有限公司 | 一种led环幕虚实相机焦点匹配方法及*** |
WO2023071603A1 (zh) * | 2021-10-25 | 2023-05-04 | 北京字节跳动网络技术有限公司 | 视频融合方法、装置、电子设备及存储介质 |
CN113989473A (zh) * | 2021-12-23 | 2022-01-28 | 北京天图万境科技有限公司 | 一种重新光照的方法和装置 |
CN114071067A (zh) * | 2022-01-13 | 2022-02-18 | 深圳市黑金工业制造有限公司 | 一种远程会议***和远程会议中的实物展示方法 |
CN114071067B (zh) * | 2022-01-13 | 2022-03-29 | 深圳市黑金工业制造有限公司 | 一种远程会议***和远程会议中的实物展示方法 |
CN114327083A (zh) * | 2022-03-04 | 2022-04-12 | 北京有竹居网络技术有限公司 | 房产、对象的展示方法、装置、可读存储介质和电子设备 |
CN115052114A (zh) * | 2022-08-12 | 2022-09-13 | 北京对啊网教育科技有限公司 | 一种电子半透明绿幕抠像录课***及方法 |
CN116778121A (zh) * | 2023-06-29 | 2023-09-19 | 南京云视全映科技有限公司 | 一种虚拟屏幕书写操控合成***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113436343B (zh) | 2024-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113436343B (zh) | 用于虚拟演播厅的画面生成方法及装置、介质及电子设备 | |
CN109427088B (zh) | 一种模拟光照的渲染方法及终端 | |
CN107018336B (zh) | 图像处理的方法和装置及视频处理的方法和装置 | |
CN111968215B (zh) | 一种体积光渲染方法、装置、电子设备及存储介质 | |
CN111968216A (zh) | 一种体积云阴影渲染方法、装置、电子设备及存储介质 | |
EP3533218B1 (en) | Simulating depth of field | |
US9183654B2 (en) | Live editing and integrated control of image-based lighting of 3D models | |
US8854392B2 (en) | Circular scratch shader | |
CN112562056A (zh) | 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备 | |
CN117372602B (zh) | 一种异构三维多对象融合渲染方法、设备及*** | |
CN112891946B (zh) | 游戏场景生成方法和装置、可读存储介质、电子设备 | |
CN116055800A (zh) | 一种移动端获得定制背景实时舞蹈视频的方法 | |
CN110853487A (zh) | 一种用于城市设计的数字化沙盘*** | |
CN115970275A (zh) | 虚拟对象的投影处理方法、装置、存储介质与电子设备 | |
CN115761105A (zh) | 光照渲染方法、装置、电子设备及存储介质 | |
EP4150560B1 (en) | Single image 3d photography with soft-layering and depth-aware inpainting | |
CN115526976A (zh) | 虚拟场景渲染方法、装置、存储介质和电子设备 | |
US8970626B2 (en) | System, method, and computer program product for adding computer-generated scene elements into a representation of a real-world scene, using path tracing | |
CN114832375A (zh) | 环境光遮蔽处理方法、装置及设备 | |
CN110766779B (zh) | 镜头光晕生成的方法及装置 | |
CN111243099B (zh) | 一种处理图像的方法和装置以及在ar设备中显示图像的方法和装置 | |
CN109729285B (zh) | 熔线格特效生成方法、装置、电子设备及存储介质 | |
CN110136239B (zh) | 一种增强虚拟现实场景光照与反射真实度的方法 | |
US20170221504A1 (en) | Photorealistic CGI Generated Character | |
US20230316640A1 (en) | Image processing apparatus, image processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |