CN117527995A - 一种基于空间模拟拍摄的模拟化实景拍摄方法及*** - Google Patents
一种基于空间模拟拍摄的模拟化实景拍摄方法及*** Download PDFInfo
- Publication number
- CN117527995A CN117527995A CN202311465922.5A CN202311465922A CN117527995A CN 117527995 A CN117527995 A CN 117527995A CN 202311465922 A CN202311465922 A CN 202311465922A CN 117527995 A CN117527995 A CN 117527995A
- Authority
- CN
- China
- Prior art keywords
- virtual
- real
- camera
- shooting
- scene picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000000694 effects Effects 0.000 claims abstract description 45
- 238000004088 simulation Methods 0.000 claims abstract description 28
- 230000002452 interceptive effect Effects 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000005286 illumination Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 230000015572 biosynthetic process Effects 0.000 abstract description 3
- 230000004075 alteration Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 241000226585 Antennaria plantaginifolia Species 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于空间模拟拍摄的模拟化实景拍摄方法及***，涉及摄影技术领域。本发明包括智能终端将数据库中的模型数据、图形数据和光照数据，与在基于空间模拟拍摄的摄影棚中通过虚拟摄像机所拍摄空间虚拟画面进行图像融合，从而生成包括多个虚拟基准标识的空间虚拟场景画面；本发明通过虚拟摄像机和真实摄像机对具有正确透视关系的虚拟场景画面和真实场景画面进行交互摄影，并对经过交互摄像的虚拟场景画面和真实场景画面进行图像融合，从而得到虚拟现实融合的影像数据，能够达到人物与景象在三维的空间世界里实时联动，从而能实时看到成片的效果，给后期制作节省大量的工作量，大量减少后期效果制作的工作周期。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于空间模拟拍摄的模拟化实景拍摄方法及***、以及存储介质和电子设备。
背景技术
传统的绿幕拍摄拍摄效果在现场很不直观，现场工作人员都不知道背景是什么，对于客户来说全都是靠想象来服务，这样理解上会产生很多问题，而灯光师只凭想象打光给后期合成的真实性增加了非常大的挑战，前期还需要贴上跟踪点，后期效果做起来需要很长的工作周期。
发明内容
本发明要解决的技术问题在于克服现有技术的不足，提供一种空间模拟拍摄的模拟化实景拍摄方法，包括以下步骤：
智能终端将数据库中的模型数据、图形数据和光照数据，与在基于空间模拟拍摄的摄影棚中通过虚拟摄像机所拍摄空间虚拟画面进行图像融合，从而生成包括多个虚拟基准标识的空间虚拟场景画面；
在真实模拟拍摄的摄影棚中拍摄包括多个真实基准标识的真实场景画面，智能终端获取空间虚拟场景画面并将空间虚拟场景画面显示在第一显示器中，获取真实场景画面并将真实场景画面显示在第二显示器中，将第二显示器的真实场景画面同步传输到第一显示器，在第一显示器中，将相应的虚拟基准标识和真实基准标识进行匹配，从而使得在将真实场景画面与空间虚拟场景画面进行图像匹配；
设置虚拟摄像机的虚拟位置和虚拟角度，通过真实摄像机的模拟定位***，实时获取真实摄像机的拍摄位置和画面数据，基于真实摄像机的拍摄位置和画面数据，使虚拟摄影机模拟真实摄像机的摄像机操作，计算虚拟摄像机和真实摄像机空间的三维坐标，并基于真实摄像机空间的三维坐标对虚拟摄像机的三维坐标进行修正，完成虚拟摄像机的位置跟踪校正，从而对经过图像匹配的空间虚拟场景画面和真实场景画面进行空间校准；
通过智能终端对经过空间校准的空间虚拟场景画面和真实场景画面进行图像特效处理，图像特效处理包括：背景画面虚拟化处理边界虚拟化处理和纹理虚拟化处理；
基于经过图像特效处理的空间虚拟场景画面和真实场景画面，确定具有正确透视关系的虚拟背景画面和真实背景画面，通过虚拟摄像机和真实摄像机对具有正确透视关系的虚拟场景画面和真实场景画面进行交互摄影，并对经过交互摄像的虚拟场景画面和真实场景画面进行图像融合，从而得到虚拟现实融合的影像数据。
可选的，设置虚拟摄像机的虚拟位置和虚拟角度，包括：
获取虚拟摄像机的位置变化和拍摄角度变化的控制信号；
获取虚拟摄像机进点的位置数据和角度数据；
基于虚拟摄像机进点的位置数据和角度数据，控制虚拟摄像机步的位置移动轨迹和摄像角度调节轨迹，从而设置虚拟摄像机的虚拟位置和虚拟角度。
可选的，还包括，基于虚拟摄像机的虚拟位置和虚拟角度，同步控制真实摄像机和虚拟摄像机的位置移动轨迹和摄像角度调节轨迹，从而同步获取虚拟摄像机拍摄的虚拟场景和真实摄像机同步拍摄的真实对象。
可选的，还包括虚拟摄像机校正，虚拟摄像机校正包括：利用软件工具对虚拟摄像机进行几何校正、色彩校正以及位置校正；
还包括，真实摄像机和虚拟摄像机的几何的校正、色彩的校正、软件校正工具的校正以及自动校正模块的校正，软件校正工具和自动校正模块用于控制摄影机位置、角度校正等数据；
几何校正：几何校正主要用于校正真实摄像机和虚拟摄像机镜头的畸变，包括桶形畸变、枕形畸变和畸变等，根据真实摄像机和虚拟摄像机的内外数据，通过对图像进行几何变换来纠正畸变；
色彩校正：色彩校正主要用于校正真实摄像机和虚拟摄像机镜头的色差，包括色差和色偏等，通过第一显示屏和第二显示屏的色彩传感器和智能终端中的色彩校正算法，对图像的色彩校正来校正色差问题；
自动校正模块：自动校正模块包括传感器、图像处理单元和校正算法等组件，可以实时监控和校正真实摄像机和虚拟摄像机的图像输出，用于自动检测和校正真实摄像机和虚拟摄像机的畸变问题和色差问题，并通过自动校正模块完成真实摄像机和虚拟摄像机的跟踪校正，并对真实摄像机和虚拟摄像机进行空间校准；
软件校正工具：提供多种校正算法和数据调整选项，使用户可以根据自己具体的需求对真实摄像机和虚拟摄像机的图像进行校正，软件校正工具是一种用于校正真实摄像机和虚拟摄像机图像的软件应用程序；
可选的，还包括：对经过图像特效处理的空间虚拟场景画面进行实时渲染和对经过空间校准的真实场景画面进行实时渲染。
可选的，虚拟摄像机和真实摄像机对具有正确透视关系的虚拟场景画面和真实场景画面进行交互摄影，包括：
利用虚拟摄像机对具有正确透视关系的虚拟场景画面进行拍摄，以获取虚拟场景拍摄数据；
利用真实摄像机对具有正确透视关系的真实场景画面进行拍摄，以获取真实场景拍摄数据；
实时将虚拟场景拍摄数据和真实场景拍摄数据传输至智能终端，使得智能终端基于虚拟场景拍摄数据和真实场景拍摄数据生成经过交互摄像的虚拟场景画面。
一种空间模拟拍摄的模拟化实景拍摄***，包括：
空间虚拟场景模拟模块，用于构建空间虚拟场景，拍摄空间虚拟场景画面和拍摄真实场景画面，获取空间虚拟场景画面的数据和真实场景画面的数据，并将空间虚拟场景画面的数据和真实场景画面的数据相互匹配；
虚拟摄像机设置模块，用于获取和调节虚拟摄像机的虚拟位置和虚拟角度；
真实摄像机定位模块，用于实时获取真实摄像机的拍摄位置和画面数据；
校正模块，基于真实摄像机的拍摄位置和画面数据，使虚拟摄影机模拟真实摄像机的摄像机操作，计算虚拟摄像机和真实摄像机空间的三维坐标，并基于真实摄像机空间的三维坐标对虚拟摄像机的三维坐标进行修正，完成虚拟摄像机的位置跟踪校正，从而对经过图像匹配的空间虚拟场景画面和真实场景画面进行空间校准；
特效模块，用于对经过空间校准的空间虚拟场景画面和真实场景画面进行图像特效处理，图像特效处理包括：背景画面虚拟化处理边界虚拟化处理和纹理虚拟化处理；
后期合成模块，基于经过图像特效处理的空间虚拟场景画面和真实场景画面，确定具有正确透视关系的虚拟背景画面和真实背景画面，通过虚拟摄像机和真实摄像机对具有正确透视关系的虚拟场景画面和真实场景画面进行交互摄影，并对经过交互摄像的虚拟场景画面和真实场景画面进行图像融合，从而得到虚拟现实融合的影像数据；
显示模块，显示模块包括第一显示器和第二显示器，第一显示器用于显示虚拟场景画面，第二显示器用于显示真实场景画面；
智能终端包括一种电子设备和一种计算机可读存储介质。
可选的，真实摄像机定位模块包括真实摄像机、移动用的摄像机滑动轨道以及调节角度的转动装置以及定位***；
可选的，校正模块包括几何校正、色彩校正、软件校正***以及自动校正***，用于控制虚拟摄像机的虚拟位置和虚拟角度。
可选的，空间虚拟场景模拟模块还包括场景模型构建模块、模拟图形模块、模拟光照模块。
可选的，后期合成模块还包括控制模块，用于控制真实摄像机和虚拟摄像机同步拍摄，且实时更新位置数据和拍摄数据。
可选的，一种电子设备，电子设备包括：存储器和处理器，存储器和处理器耦合；存储器存储有程序指令，程序指令由处理器执行时，使得电子设备执行如上述任意一项的方法。
可选的，一种计算机可读存储介质，包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行如上述任意一项的方法。
采用上述技术方案后，本发明与现有技术相比具有以下有益效果，当然，实施本发明的任一产品并不一定需要同时达到以下所述的所有优点：
利用三维虚拟拍摄技术通过定位***对摄像机的数据采集，通过智能终端获取空间虚拟场景画面并显示在第一显示器中，获取真实场景画面并显示在第二显示器中，并通过处理模块将第一显示器的数据传输到第二显示器上，使第二显示器中的数据与第一显示器的数据匹配，基于经过图像特效处理的空间虚拟场景画面和真实场景画面，确定具有正确透视关系的虚拟背景画面和真实背景画面，通过虚拟摄像机和真实摄像机对具有正确透视关系的虚拟场景画面和真实场景画面进行交互摄影，并对经过交互摄像的虚拟场景画面和真实场景画面进行图像融合，从而得到虚拟现实融合的影像数据，能够达到人物与景象在三维的空间世界里实时联动，从而能实时看到成片的效果，给后期制作节省大量的工作量，大量减少后期效果制作的工作周期。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本发明一示例性实施例提供的基于空间模拟拍摄的模拟化实景拍摄方法的流程示意图；以及
图2是本发明一示例性实施例提供的基于空间模拟拍摄的模拟化实景拍摄***的结构示意图。
具体实施方式
下面，将参考附图详细地描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本发明实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本发明实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
实施例1：
图1是本发明一示例性实施例提供的基于空间模拟拍摄的模拟化实景拍摄方法的流程示意图。如图1所示，模拟化实景拍摄方法100，包括以下步骤：
步骤101，智能终端将数据库中的模型数据、图形数据和光照数据，与在基于空间模拟拍摄的摄影棚中通过虚拟摄像机所拍摄空间虚拟画面进行图像融合，从而生成包括多个虚拟基准标识的空间虚拟场景画面；
步骤102，在真实模拟拍摄的摄影棚中拍摄包括多个真实基准标识的真实场景画面，智能终端获取空间虚拟场景画面并将空间虚拟场景画面显示在第一显示器中，获取真实场景画面并将真实场景画面显示在第二显示器中，将第二显示器的真实场景画面同步传输到第一显示器，在第一显示器中，将相应的虚拟基准标识和真实基准标识进行匹配，从而使得在将真实场景画面与空间虚拟场景画面进行图像匹配；
步骤103，设置虚拟摄像机的虚拟位置和虚拟角度，通过真实摄像机的模拟定位***，实时获取真实摄像机的拍摄位置和画面数据，基于真实摄像机的拍摄位置和画面数据，使虚拟摄影机模拟真实摄像机的摄像机操作，计算虚拟摄像机和真实摄像机空间的三维坐标，并基于真实摄像机空间的三维坐标对虚拟摄像机的三维坐标进行修正，完成虚拟摄像机的位置跟踪校正，从而对经过图像匹配的空间虚拟场景画面和真实场景画面进行空间校准；
步骤104，通过智能终端对经过空间校准的空间虚拟场景画面和真实场景画面进行图像特效处理，图像特效处理包括：背景画面虚拟化处理边界虚拟化处理和纹理虚拟化处理；
步骤105，基于经过图像特效处理的空间虚拟场景画面和真实场景画面，确定具有正确透视关系的虚拟背景画面和真实背景画面，通过虚拟摄像机和真实摄像机对具有正确透视关系的虚拟场景画面和真实场景画面进行交互摄影，并对经过交互摄像的虚拟场景画面和真实场景画面进行图像融合，从而得到虚拟现实融合的影像数据；从而能够达到人物与景象在三维的空间世界里实时联动，从而能实时看到成片的效果，给后期制作节省大量的工作量，大量减少后期效果制作的工作周期。
优选地，智能终端可以包括一种电子设备和一种计算机可读存储介质。
本实施例的设置虚拟摄像机的虚拟位置和虚拟角度，包括：
获取虚拟摄像机的位置变化和拍摄角度变化的控制信号；
获取虚拟摄像机进点的位置数据和角度数据；
基于虚拟摄像机进点的位置数据和角度数据，控制虚拟摄像机步的位置移动轨迹和摄像角度调节轨迹，从而设置虚拟摄像机的虚拟位置和虚拟角度。
本实施例的还包括，基于虚拟摄像机的虚拟位置和虚拟角度，同步控制真实摄像机和虚拟摄像机的位置移动轨迹和摄像角度调节轨迹，从而同步获取虚拟摄像机拍摄的虚拟场景和真实摄像机同步拍摄的真实对象。
本实施例的还包括虚拟摄像机校正，虚拟摄像机校正包括：利用软件工具对虚拟摄像机进行几何校正、色彩校正以及位置校正；
还包括，真实摄像机和虚拟摄像机的几何的校正、色彩的校正、软件校正工具的校正以及自动校正模块的校正，软件校正工具和自动校正模块用于控制摄影机位置、角度校正等数据；
几何校正：几何校正主要用于校正真实摄像机和虚拟摄像机镜头的畸变，包括桶形畸变、枕形畸变和畸变等，根据真实摄像机和虚拟摄像机的内外数据，通过对图像进行几何变换来纠正畸变；
色彩校正：色彩校正主要用于校正真实摄像机和虚拟摄像机镜头的色差，包括色差和色偏等，通过第一显示屏和第二显示屏的色彩传感器和智能终端中的色彩校正算法，对图像的色彩校正来校正色差问题；
自动校正模块：自动校正模块包括传感器、图像处理单元和校正算法等组件，可以实时监控和校正真实摄像机和虚拟摄像机的图像输出，用于自动检测和校正真实摄像机和虚拟摄像机的畸变问题和色差问题，并通过自动校正模块完成真实摄像机和虚拟摄像机的跟踪校正，并对真实摄像机和虚拟摄像机进行空间校准；
软件校正工具：提供多种校正算法和数据调整选项，使用户可以根据自己具体的需求对真实摄像机和虚拟摄像机的图像进行校正，软件校正工具是一种用于校正真实摄像机和虚拟摄像机图像的软件应用程序。
本实施例的还包括：对经过图像特效处理的空间虚拟场景画面进行实时渲染和对经过空间校准的真实场景画面进行实时渲染。
本实施例的虚拟摄像机和真实摄像机对具有正确透视关系的虚拟场景画面和真实场景画面进行交互摄影，包括：
利用虚拟摄像机对具有正确透视关系的虚拟场景画面进行拍摄，以获取虚拟场景拍摄数据；
利用真实摄像机对具有正确透视关系的真实场景画面进行拍摄，以获取真实场景拍摄数据；
实时将虚拟场景拍摄数据和真实场景拍摄数据传输至智能终端，使得智能终端基于虚拟场景拍摄数据和真实场景拍摄数据生成经过交互摄像的虚拟场景画面。
可替换地，本申请还提供一种空间模拟拍摄的模拟化实景拍摄方法，包括以下步骤：
步骤一：模拟空间虚拟场景：智能终端生成构建空间虚拟场景，构建空间虚拟场景包括模拟场景模型、模拟图形、模拟光照等方面的处理，在空间模拟拍摄的摄影棚中的拍摄空间虚拟场景画面，在真实模拟拍摄的摄影棚中拍摄真实场景画面，智能终端获取空间虚拟场景画面并显示在第一显示器中，获取真实场景画面并显示在第二显示器中，并通过处理模块将第一显示器的数据传输到第二显示器上，使第二显示器中的数据与第一显示器的数据匹配；
步骤二：摄像机参数设置：首先对摄影机校正，然后通过设置虚拟摄像机的位置、角度等数据，通过定位***，实时获取真实摄像机的拍摄位置和摄像机数据，模拟真实拍摄中的摄像机操作，计算空间的三维坐标，完成虚拟摄像机的跟踪校正，并对虚拟摄像机和虚拟显示屏进行空间校准；其中，摄像机设置还包括摄像机校正，校正模块包括几何校正、色彩校正、软件校正工具以及自动校正模块，软件校正工具和自动校正模块用于控制摄影机位置、角度校正等数据；摄像机模块包括真实摄像机、移动用的摄像机滑动轨道以及调节角度的转动装置以及定位***；获取虚拟摄像机进点的位置数据和角度数据，通过计算得到的虚拟摄像机进点的位置数据和角度数据，控制虚拟摄像机步的位置移动轨迹和摄像角度调节轨迹，达到同步控制真实摄像机和虚拟摄像机的位置移动轨迹和摄像角度调节轨迹的效果，从而同步获取虚拟摄像机拍摄的虚拟场景和真实摄像机同步拍摄的真实对象；
几何校正：几何校正主要用于校正摄像机镜头的畸变，包括桶形畸变、枕形畸变和畸变等，根据摄像机的内外数据，通过对图像进行几何变换来纠正畸变；
色彩校正：色彩校正主要用于校正相机镜头的色差，包括色差和色偏等，通过相机的色彩传感器和色彩校正算法，通过对图像的色彩校正来校正色差问题；
自动校正模块：自动校正模块包括传感器、图像处理单元和校正算法等组件，可以实时监控和校正摄像机的图像输出，用于自动检测和校正摄像机的畸变问题和色差问题，并通过自动校正模块完成虚拟摄像机的跟踪校正，并对虚拟摄像机和虚拟显示屏进行空间校准；
软件校正工具：提供多种校正算法和数据调整选项，使用户可以根据具体需要对相机图像进行校正，软件校正工具是一种用于校正相机图像的软件应用程序；
步骤三：制作特效：通过智能终端生成的方式制作特效，包括虚拟背景、特效、光影效果等；其中制作特效包括虚拟背景画面的实时渲染和真实背景画面的实时渲染；
步骤四：后期合成：第一显示器加载并运行虚拟场景，虚拟场景制作软件根据真实摄像机的实时拍摄位置和镜头信息，计算出具有正确透视关系的虚拟背景画面，通过虚拟背景画面和现实摄像机交互摄影，将虚拟拍摄的结果与真实场景相结合；其中，后期合成对拍摄的虚拟场景和真实对象进行融合，得到虚拟现实融合影像。
实施例2：
图2是本发明一示例性实施例提供的基于空间模拟拍摄的模拟化实景拍摄***的结构示意图。模拟化实景拍摄***，包括：
空间虚拟场景模拟模块201，用于构建空间虚拟场景，拍摄空间虚拟场景画面和拍摄真实场景画面，获取空间虚拟场景画面的数据和真实场景画面的数据，并将空间虚拟场景画面的数据和真实场景画面的数据相互匹配；
虚拟摄像机设置模块202，用于获取和调节虚拟摄像机的虚拟位置和虚拟角度；
真实摄像机定位模块203，用于实时获取真实摄像机的拍摄位置和画面数据；
校正模块204，基于真实摄像机的拍摄位置和画面数据，使虚拟摄影机模拟真实摄像机的摄像机操作，计算虚拟摄像机和真实摄像机空间的三维坐标，并基于真实摄像机空间的三维坐标对虚拟摄像机的三维坐标进行修正，完成虚拟摄像机的位置跟踪校正，从而对经过图像匹配的空间虚拟场景画面和真实场景画面进行空间校准；
特效模块205，用于对经过空间校准的空间虚拟场景画面和真实场景画面进行图像特效处理，图像特效处理包括：背景画面虚拟化处理边界虚拟化处理和纹理虚拟化处理；
后期合成模块206，基于经过图像特效处理的空间虚拟场景画面和真实场景画面，确定具有正确透视关系的虚拟背景画面和真实背景画面，通过虚拟摄像机和真实摄像机对具有正确透视关系的虚拟场景画面和真实场景画面进行交互摄影，并对经过交互摄像的虚拟场景画面和真实场景画面进行图像融合，从而得到虚拟现实融合的影像数据；
显示模块207，显示模块包括第一显示器和第二显示器，第一显示器用于显示虚拟场景画面，第二显示器用于显示真实场景画面；
本实施例的真实摄像机定位模块包括真实摄像机、移动用的摄像机滑动轨道以及调节角度的转动装置以及定位***；
本实施例的校正模块包括几何校正、色彩校正、软件校正***以及自动校正***，用于控制虚拟摄像机的虚拟位置和虚拟角度。
本实施例的空间虚拟场景模拟模块还包括场景模型构建模块、模拟图形模块、模拟光照模块。
本实施例的后期合成模块还包括控制模块，用于控制真实摄像机和虚拟摄像机同步拍摄，且实时更新位置数据和拍摄数据。
可替换地，本申请还提供一种空间模拟拍摄的模拟化实景拍摄***，包括：
模拟空间虚拟场景模块，用于构建空间虚拟场景，拍摄空间虚拟场景画面和拍摄真实场景画面，获取空间虚拟场景画面的数据和真实场景画面的数据，并将空间虚拟场景画面的数据和真实场景画面的数据相互匹配；
摄像机参数设置模块，用于对摄影机校正，实时获取真实摄像机的拍摄位置和摄像机数据，模拟真实拍摄中的摄像机操作，计算空间的三维坐标，完成虚拟摄像机的跟踪校正，并对虚拟摄像机和虚拟显示屏进行空间校准；
制作特效模块，通过智能终端生成的方式制作特效，包括虚拟背景、特效、光影效果；
后期合成模块，通过虚拟背景画面和现实摄像机交互摄影，将虚拟拍摄的数据与真实场景相结合
显示模块，显示模块包括第一显示器和第二显示器，所述第一显示器用于显示虚拟场景画面，第二显示器中设置有第一虚拟摄像机，所述第二显示器用于显示拍摄的真实场景画面，第二显示器中设置有第二虚拟摄像机；
智能终端包括处理模块和控制模块。
本实施例的摄像机设置模块包括校正模块和摄像机模块，校正模块包括几何校正、色彩校正、软件校正***以及自动校正***，用于控制摄影机位置、角度校正数据；摄像机模块包括真实摄像机、移动用的摄像机滑动轨道以及调节角度的转动装置以及定位***。
本实施例的后期合成模块根据真实摄像机的实时拍摄位置和镜头信息，计算出具有正确透视关系的虚拟背景画面，通过虚拟背景画面和真实摄像机交互摄影，将虚拟拍摄的画面与真实场景相结合。
本实施例的模拟空间虚拟场景模块还包括场景模型构建模块、模拟图形模块、模拟光照模块。
本实施例的后期合成模块通过定位***读取第二虚拟摄像机的位置数据和拍摄数据，然后通过控制模块控制摄像机设置模块，摄像机设置模块控制第二虚拟摄像机的位置数据和拍摄数据，从而控制真实摄像机和第一虚拟摄像机同步拍摄，且实时更新位置数据和拍摄数据，之后将虚拟拍摄的结果与真实场景相结合。
本实施例的一种电子设备，电子设备包括：存储器和处理器，存储器和处理器耦合；存储器存储有程序指令，程序指令由处理器执行时，使得电子设备执行如上述任意一项的方法。
本实施例的一种计算机可读存储介质，包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行如上述任意一项的方法。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (13)
1.一种基于空间模拟拍摄的模拟化实景拍摄方法，其特征在于，包括以下步骤：
智能终端将数据库中的模型数据、图形数据和光照数据，与在基于空间模拟拍摄的摄影棚中通过虚拟摄像机所拍摄空间虚拟画面进行图像融合，从而生成包括多个虚拟基准标识的空间虚拟场景画面；
在真实模拟拍摄的摄影棚中拍摄包括多个真实基准标识的真实场景画面，智能终端获取空间虚拟场景画面并将空间虚拟场景画面显示在第一显示器中，获取真实场景画面并将真实场景画面显示在第二显示器中，将第二显示器的真实场景画面同步传输到第一显示器，在第一显示器中，将相应的虚拟基准标识和真实基准标识进行匹配，从而使得在将真实场景画面与空间虚拟场景画面进行图像匹配；
设置虚拟摄像机的虚拟位置和虚拟角度，通过真实摄像机的模拟定位***，实时获取真实摄像机的拍摄位置和画面数据，基于真实摄像机的拍摄位置和画面数据，使虚拟摄影机模拟真实摄像机的摄像机操作，计算虚拟摄像机和真实摄像机空间的三维坐标，并基于真实摄像机空间的三维坐标对虚拟摄像机的三维坐标进行修正，完成虚拟摄像机的位置跟踪校正，从而对经过图像匹配的空间虚拟场景画面和真实场景画面进行空间校准；
通过智能终端对经过空间校准的空间虚拟场景画面和真实场景画面进行图像特效处理，所述图像特效处理包括：背景画面虚拟化处理边界虚拟化处理和纹理虚拟化处理；
基于经过图像特效处理的空间虚拟场景画面和真实场景画面，确定具有正确透视关系的虚拟背景画面和真实背景画面，通过虚拟摄像机和真实摄像机对具有正确透视关系的虚拟场景画面和真实场景画面进行交互摄影，并对经过交互摄像的虚拟场景画面和真实场景画面进行图像融合，从而得到虚拟现实融合的影像数据。
2.根据权利要求1所述的模拟化实景拍摄方法，其特征在于，所述设置虚拟摄像机的虚拟位置和虚拟角度，包括：
获取虚拟摄像机的位置变化和拍摄角度变化的控制信号；
获取虚拟摄像机进点的位置数据和角度数据；
基于虚拟摄像机进点的位置数据和角度数据，控制虚拟摄像机步的位置移动轨迹和摄像角度调节轨迹，从而设置虚拟摄像机的虚拟位置和虚拟角度。
3.根据权利要求3所述的模拟化实景拍摄方法，其特征在于，还包括，基于虚拟摄像机的虚拟位置和虚拟角度，同步控制真实摄像机和虚拟摄像机的位置移动轨迹和摄像角度调节轨迹，从而同步获取虚拟摄像机拍摄的虚拟场景和真实摄像机同步拍摄的真实对象。
4.根据权利要求1所述的模拟化实景拍摄方法，其特征在于，还包括虚拟摄像机校正，虚拟摄像机校正包括：利用软件工具对虚拟摄像机进行几何校正、色彩校正以及位置校正。
5.根据权利要求1所述的模拟化实景拍摄方法，其特征在于，还包括：对经过图像特效处理的空间虚拟场景画面进行实时渲染和对经过空间校准的真实场景画面进行实时渲染。
6.根据权利要求1所述的模拟化实景拍摄方法，其特征在于，虚拟摄像机和真实摄像机对具有正确透视关系的虚拟场景画面和真实场景画面进行交互摄影，包括：
利用虚拟摄像机对具有正确透视关系的虚拟场景画面进行拍摄，以获取虚拟场景拍摄数据；
利用真实摄像机对具有正确透视关系的真实场景画面进行拍摄，以获取真实场景拍摄数据；
实时将虚拟场景拍摄数据和真实场景拍摄数据传输至智能终端，使得智能终端基于虚拟场景拍摄数据和真实场景拍摄数据生成经过交互摄像的虚拟场景画面。
7.一种基于空间模拟拍摄的模拟化实景拍摄***，其特征在于，包括：
空间虚拟场景模拟模块，用于构建空间虚拟场景，拍摄空间虚拟场景画面和拍摄真实场景画面，获取空间虚拟场景画面的数据和真实场景画面的数据，并将空间虚拟场景画面的数据和真实场景画面的数据相互匹配；
虚拟摄像机设置模块，用于获取和调节虚拟摄像机的虚拟位置和虚拟角度；
真实摄像机定位模块，用于实时获取真实摄像机的拍摄位置和画面数据；
校正模块，基于真实摄像机的拍摄位置和画面数据，使虚拟摄影机模拟真实摄像机的摄像机操作，计算虚拟摄像机和真实摄像机空间的三维坐标，并基于真实摄像机空间的三维坐标对虚拟摄像机的三维坐标进行修正，完成虚拟摄像机的位置跟踪校正，从而对经过图像匹配的空间虚拟场景画面和真实场景画面进行空间校准；
特效模块，用于对经过空间校准的空间虚拟场景画面和真实场景画面进行图像特效处理，所述图像特效处理包括：背景画面虚拟化处理边界虚拟化处理和纹理虚拟化处理；
后期合成模块，基于经过图像特效处理的空间虚拟场景画面和真实场景画面，确定具有正确透视关系的虚拟背景画面和真实背景画面，通过虚拟摄像机和真实摄像机对具有正确透视关系的虚拟场景画面和真实场景画面进行交互摄影，并对经过交互摄像的虚拟场景画面和真实场景画面进行图像融合，从而得到虚拟现实融合的影像数据；
显示模块，显示模块包括第一显示器和第二显示器，所述第一显示器用于显示虚拟场景画面，所述第二显示器用于显示真实场景画面。
8.根据权利要求7所述的一种空间模拟拍摄的模拟化实景拍摄***，其特征在于，真实摄像机定位模块包括真实摄像机、移动用的摄像机滑动轨道以及调节角度的转动装置以及定位***。
9.根据权利要求7所述的一种空间模拟拍摄的模拟化实景拍摄***，其特征在于，校正模块包括几何校正、色彩校正、软件校正***以及自动校正***，用于控制虚拟摄像机的虚拟位置和虚拟角度。
10.根据权利要求7所述的一种空间模拟拍摄的模拟化实景拍摄***，其特征在于，空间虚拟场景模拟模块还包括场景模型构建模块、模拟图形模块、模拟光照模块。
11.根据权利要求7所述的一种空间模拟拍摄的模拟化实景拍摄***，其特征在于，后期合成模块还包括控制模块，用于控制真实摄像机和虚拟摄像机同步拍摄，且实时更新位置数据和拍摄数据。
12.一种电子设备，其特征在于，所述电子设备包括：存储器和处理器，所述存储器和所述处理器耦合；所述存储器存储有程序指令，所述程序指令由所述处理器执行时，使得所述电子设备执行如权利要求1至6任意一项所述的方法。
13.一种计算机可读存储介质，其特征在于，包括计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1至6任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311465922.5A CN117527995A (zh) | 2023-11-06 | 2023-11-06 | 一种基于空间模拟拍摄的模拟化实景拍摄方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311465922.5A CN117527995A (zh) | 2023-11-06 | 2023-11-06 | 一种基于空间模拟拍摄的模拟化实景拍摄方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117527995A true CN117527995A (zh) | 2024-02-06 |
Family
ID=89761780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311465922.5A Pending CN117527995A (zh) | 2023-11-06 | 2023-11-06 | 一种基于空间模拟拍摄的模拟化实景拍摄方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117527995A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102016200225A1 (de) * | 2016-01-12 | 2017-07-13 | Siemens Healthcare Gmbh | Perspektivisches Darstellen eines virtuellen Szenebestandteils |
| WO2019041351A1 (zh) * | 2017-09-04 | 2019-03-07 | 艾迪普（北京）文化科技股份有限公司 | 一种3d vr视频与虚拟三维场景实时混叠渲染的方法 |
| CN112040092A (zh) * | 2020-09-08 | 2020-12-04 | 杭州时光坐标影视传媒股份有限公司 | 一种实时虚拟场景led拍摄***及方法 |
| CN113810612A (zh) * | 2021-09-17 | 2021-12-17 | 上海傲驰广告文化集团有限公司 | 一种模拟化实景拍摄方法及*** |
| CN116260956A (zh) * | 2023-05-15 | 2023-06-13 | 四川中绳矩阵技术发展有限公司 | 一种虚拟现实拍摄方法及*** |
| CN116320364A (zh) * | 2023-05-25 | 2023-06-23 | 四川中绳矩阵技术发展有限公司 | 一种基于多层显示的虚拟现实拍摄方法及显示方法 |
-
2023
- 2023-11-06 CN CN202311465922.5A patent/CN117527995A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102016200225A1 (de) * | 2016-01-12 | 2017-07-13 | Siemens Healthcare Gmbh | Perspektivisches Darstellen eines virtuellen Szenebestandteils |
| WO2019041351A1 (zh) * | 2017-09-04 | 2019-03-07 | 艾迪普（北京）文化科技股份有限公司 | 一种3d vr视频与虚拟三维场景实时混叠渲染的方法 |
| CN112040092A (zh) * | 2020-09-08 | 2020-12-04 | 杭州时光坐标影视传媒股份有限公司 | 一种实时虚拟场景led拍摄***及方法 |
| CN113810612A (zh) * | 2021-09-17 | 2021-12-17 | 上海傲驰广告文化集团有限公司 | 一种模拟化实景拍摄方法及*** |
| CN116260956A (zh) * | 2023-05-15 | 2023-06-13 | 四川中绳矩阵技术发展有限公司 | 一种虚拟现实拍摄方法及*** |
| CN116320364A (zh) * | 2023-05-25 | 2023-06-23 | 四川中绳矩阵技术发展有限公司 | 一种基于多层显示的虚拟现实拍摄方法及显示方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112040092B (zh) | 一种实时虚拟场景led拍摄***及方法 | |
| CN107341832B (zh) | 一种基于红外定位***的多视角切换拍摄***和方法 | |
| CN111447340A (zh) | 混合现实虚拟预演拍摄*** | |
| US9699438B2 (en) | 3D graphic insertion for live action stereoscopic video | |
| CN108805801A (zh) | 一种全景图像校正方法及*** | |
| US10275898B1 (en) | Wedge-based light-field video capture | |
| CN107038724A (zh) | 全景鱼眼相机影像校正、合成与景深重建方法与*** | |
| US12008708B2 (en) | Method and data processing system for creating or adapting individual images based on properties of a light ray within a lens | |
| CN107862718B (zh) | 4d全息视频捕捉方法 | |
| CN113252309A (zh) | 一种用于近眼显示设备的测试方法、测试装置及存储介质 | |
| CN111461963B (zh) | 一种鱼眼图像拼接方法及装置 | |
| CN112738491B (zh) | 一种投影反射画面的校正方法 | |
| CN104094318A (zh) | 适用于拍摄视频电影的*** | |
| CN103533318A (zh) | 一种建筑外表面投影方法 | |
| CN111062869A (zh) | 一种面向曲面幕的多通道校正拼接的方法 | |
| CN111970453A (zh) | 一种用于摄像机器人的虚拟拍摄***及方法 | |
| CN106991706A (zh) | 一种拍摄校准方法及*** | |
| CN109788270A (zh) | 3d-360度全景图像生成方法及装置 | |
| US20160037148A1 (en) | 3d-mapped video projection based on on-set camera positioning | |
| CN108109111A (zh) | 通过软硬件结合组装调试多鱼眼镜头全景相机的方法 | |
| CN108632538B (zh) | 一种cg动画和相机阵列相结合的子弹时间拍摄***及方法 | |
| WO2014027986A1 (ru) | Способ автоматического корректирования видео-проекции с помощью обратного преобразования | |
| JP2002117413A (ja) | 光源環境変化をリアルタイムに反映する画像生成装置および画像生成方法 | |
| CN117527995A (zh) | 一种基于空间模拟拍摄的模拟化实景拍摄方法及*** | |
| CN212231547U (zh) | 混合现实虚拟预演拍摄*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |