CN107888897A - 一种视频增强场景的优化方法 - Google Patents
一种视频增强场景的优化方法 Download PDFInfo
- Publication number
- CN107888897A CN107888897A CN201711057783.7A CN201711057783A CN107888897A CN 107888897 A CN107888897 A CN 107888897A CN 201711057783 A CN201711057783 A CN 201711057783A CN 107888897 A CN107888897 A CN 107888897A
- Authority
- CN
- China
- Prior art keywords
- video camera
- visible
- video
- camera
- candidate set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000005457 optimization Methods 0.000 title claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 16
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 4
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种视频增强场景的优化方法,所述的方法包括以下步骤:(1)构建摄像机空间索引;(2)快速筛选可见摄像机候选集;(3)判断摄像机可见性。本发明通过将快速筛选和精细剪裁方法相结合,首先对摄像机集合快速筛选,获得可见候选集,然后对可见候选集中的摄像机采用三维光栅化方法精确统计可见像素比,确定是否剪裁摄像机。在确保融合效果的前提下,通过减少参与融合计算的摄像机数量,提高了视频增强场景的显示效率。
Description
技术领域
本发明涉及视频增强场景的显示优化技术,具体涉及一种视频增强场景的优化方法。
背景技术
三维场景的显示优化,目前现有的方法是基于主视点对场景进行剪裁,将视锥体与三维模型求交,剪裁不在当前视域范围内的三维模型,仅加载和显示视域范围内的模型,减少需要处理的数据量以提高显示效率。由于三维模型往往是由成千上万的小面片组成,求交运算相当低效,一般基于三维模型包围盒建立场景图来优化场景剪裁操作,但是剪裁效率往往是影响三维场景显示性能的瓶颈问题。
在视频增强的三维场景中,视频与场景的融合是影响三维场景显示性能的另一个瓶颈问题,在多路视频大场景中,视频与场景的融合效率甚至成为场景显示性能的主要瓶颈问题。视频与场景的融合,需要把视频逐帧加载到GPU内存,在GPU内逐像素计算融合结果,其中视频帧的加载和逐像素的融合计算极大地影响了显示帧率。
在多路视频场景中,参与融合的摄像机视频越多,融合效率越低。对于这种情况,一种方法是让所有摄像机都参与融合计算,这种方法适用于摄像机数目较小的场景;另一种方法是对摄像机分组,由于每组参与的摄像机数较少,可以提高融合效率。但是分组需要预先人为指定,分组结果和实际情况也不一定完全相符合,限制了这种方法的应用。
根据摄像机的实际视域减少参与融合计算的摄像机数量,能够提高视频增强场景显示性能。单纯基于视域包围盒的剪裁方法过于简单粗略,可能导致不可见摄像机误判为可见摄像机,而基于视锥体和视域几何求交的方法尽管很精确,但是过于复杂,也难以满足用户根据可见性像素比例来直观设置可见性规则的实际需求。因此,顾及用户的实际可操作性,对视频增强场景中的摄像机有效剪裁,是提高视频增强场景显示效率的关键。
发明内容
发明目的:针对上述现有技术的不足,本发明提供一种视频增强场景的优化方法,将快速筛选和精细剪裁方法相结合,减少参与融合计算的摄像机数量,提高了视频增强场景的显示效率。
技术方案:一种视频增强场景的优化方法,包括以下步骤:
(1)构建摄像机空间索引;
(2)快速筛选摄像机候选集;
(3)判断摄像机可见性。
进一步的,步骤(1)包括根据摄像机内外参数构建摄像机视域、求解摄像机视域包围盒,然后基于所有摄像机视域的包围盒构建摄像机空间索引;
进一步的,步骤(2)所述的筛选摄像机候选集包括潜在可见摄像机候选集筛选和可见摄像机候选集筛选。
更进一步的,步骤(2)对潜在可见摄像机集筛选通过摄像机空间索引获得与主视点视锥体包围盒相交的潜在可见摄像机集;对可见摄像机候选集筛选首先进行投影变换,然后在对主视点视锥体和潜在可见摄像机视域进行相离和包含测试,快速筛选出可见摄像机候选集。由于在投影空间,主视点视锥体是一个立方体,潜在可见摄像机视域是一个八顶点的凸多面体,因此相离和包含测试操作简单快速。
进一步的,所述的潜在可见摄像机候选集与主视点视锥体包围盒相交及其包括在内的摄像机候选集。
进一步的,所述的步骤(3)包括以下步骤:
(3.1)对摄像机视域进行三维光栅化处理,计算每个像素点的深度信息;
(3.2)判断每个像素点的可见性:所述的可见性为该点像素的x、y坐标位于视口范围内,且z坐标位于[-1,1]范围内,所述的视口范围为[0,0,宽,高],所述的宽和高为显示窗口的像素宽和像素高;
(3.3)统计可见像素数占总像素数的比例,得到可见像素比,保留可见像素比大于预先设定的剪裁阈值的摄像机,剔除可见像素小于剪裁阈值的摄像机。
更进一步的,统计可见像素数占总像素数的比例,得到可见像素比,如果可见像素比大于预先设定的剪裁阈值,说明该摄像机视域可见部分较多,应当予以保留,如果可见像素比小于剪裁阈值,说明该摄像机视域可见部分较小,剪裁的话对场景融合效果影响不大,应当予以剔除。
有益效果:本发明相比现有技术其显著的效果在于,本发明将快速筛选和精细剪裁方法相结合,通过快速摄像机集合快速筛选,获得可见候选集,然后对可见候选集中的摄像机采用三维光栅化方法精确统计可见像素比,确定是否剪裁摄像机。在确保融合效果的前提下,通过减少参与融合计算的摄像机数量,提高了视频增强场景的显示效率。
附图说明
图1是本发明的步骤流程示意图;
图2是本发明的摄像机视域图;
图3是本发明的摄像机视域平面图;
图4是本发明的投影变换前摄像机分布图;
图5是本发明投影空间摄像机分布图;
图6是本发明视椎体光栅化示意图;
图7是本发明视口范围内可见像素点的判断示意图。
具体实施方式
为了详细的说明本发明公开的技术方案,下面结合说明书附图和具体实施方式做进一步的阐述。
一种视频增强场景的优化方法,流程如图1所示,具体步骤如下:
(1)构建摄像机空间索引
(1.1)摄像机视域构建:根据摄像机参数构建摄像机视域。摄像机视域用4个参数加以定义,参数分别是垂直方向上的张角fovy、视域的宽高比aspect、近裁剪面到主视点距离n和远裁剪面到主视点距离f。如图2中,fovy为面EKL与面EJM的夹角,宽高比为BC/AB,近裁剪面为平面ABCD,远裁剪面为JKML,因此视域是一个四棱锥ABCDJKML,对应的二维截面如图3所示。
A点坐标(XA,YA,ZA):
B点坐标(XB,YB,ZB):
C点坐标(XC,YC,ZC):
D点坐标(XD,YD,ZD):
J点坐标(XJ,YJ,ZJ):
K点坐标(XK,YK,ZK):
L点坐标(XL,YL,ZL):
M点坐标(XM,YM,ZM):
(1.2)包围盒求解:对摄像机视域棱台求包围盒,如图2中的外包长方体所示,其包围盒是一个长方体,根据棱台八个顶点坐标的最大最小坐标构建;
(1.3)构建摄像机索引:如图4所示的是投影变换前摄像机分布图,首先获取所有摄像机视域的包围盒,然后根据摄像机视域的包围盒构建空间索引,可采用任何成熟的三维空间索引方法,这里三维空间的树状数据结构优选八叉树算法进行索引;
(2)可见摄像机候选集快速筛选
该步首先进视域范围内的所有摄像机进行初步的筛选,然后去除明显不在视域范围的摄像机集,随后进行如下的进一步的筛选。
(2.1)潜在可见摄像机集筛选:通过摄像机空间索引,获得与主视点视锥体包围盒相交和包含在内的潜在可见摄像机集,包括1、2、3、4、5、6、7号摄像机;
(2.2)可见摄像机候选集筛选:把主视点视锥体和潜在可见摄像机视域变换到投影空间,变换后的摄像机分布如图5所示,1号和3号摄像机完全在主视点视锥体之外,在视域范围内不可见,因此予以剔除,4号和5号摄像机完全位于视域内,因此保留;2号、6号和7号摄像机与主视点视锥体相交,需要在步骤(3)进一步判断。
(3)可见摄像机精确判断
在步骤(2)的快速筛选后,对于不能直接按照现有技术判断的摄像机需要做精准判断,精准判断的步骤如下:
(3.1)视锥体光栅化:对潜在可见摄像机视域进行光栅化处理,可使用X-扫描线算法或活性边表算法。如图6所示,梯形ABCD是视锥体的一个面,扫描线沿着y轴进行扫描,记录视锥体表面内每个像素点的x、y值和深度z值;
(3.2)判断像素可见性:对摄像机视域面进行光栅化以后,对每个像素进行可见性判断。如图7所示,只有x、y坐标位于视口(图7中的大长方体)范围内,且z坐标位于[-1,1]范围内,该像素才可见;
(3.3)精细剪裁:统计视锥体可见像素个数和总像素个数,得到可见像素比,如图7所示,2号和6号摄像机的可见像素比均超过60%,因此保留这2个摄像机,而7号摄像机的可见像素比为13%,小于给的阈值15%,因此予以剪裁。
Claims (6)
1.一种视频增强场景的优化方法,其特征在于,包括以下步骤:
(1)构建摄像机空间索引;
(2)快速筛选摄像机候选集;
(3)判断摄像机可见性。
2.根据权利要求1所述的一种视频增强场景的优化方法,其特征在于,步骤(1)包括根据摄像机内外参数构建摄像机视域、求解摄像机视域包围盒和基于所有摄像机视域的包围盒构建摄像机空间索引。
3.根据权利要求1所述的一种视频增强场景的优化方法,其特征在于,步骤(2)所述的筛选摄像机候选集包括潜在可见摄像机候选集筛选和可见摄像机候选集筛选。
4.根据权利要求1所述的一种视频增强场景的优化方法,其特征在于,步骤(2)对可见摄像机候选集筛选包括首先进行投影变换,然后再对主视点视锥体和潜在可见摄像机视域进行相离和包含测试,快速筛选出可见摄像机候选集。
5.根据权利要求3所述的一种视频增强场景的优化方法,其特征在于,所述的潜在可见摄像机候选集包括与主视点视锥体包围盒相交的摄像机。
6.根据权利要求1所述的一种视频增强场景的优化方法,其特征在于,所述的步骤(3)包括以下步骤:
(3.1)对摄像机视域进行三维光栅化处理,计算每个像素点的深度信息;
(3.2)判断每个像素点的可见性:所述的可见性为该点像素的x、y坐标位于视口范围内,且z坐标位于[-1,1]范围内,所述的视口范围为[0,0,宽,高],所述的宽和高为显示窗口的像素宽和像素高;
(3.3)统计可见像素数占总像素数的比例,得到可见像素比,保留可见像素比大于预先设定的剪裁阈值的摄像机,剔除可见像素小于剪裁阈值的摄像机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711057783.7A CN107888897B (zh) | 2017-11-01 | 2017-11-01 | 一种视频增强场景的优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711057783.7A CN107888897B (zh) | 2017-11-01 | 2017-11-01 | 一种视频增强场景的优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107888897A true CN107888897A (zh) | 2018-04-06 |
CN107888897B CN107888897B (zh) | 2019-11-26 |
Family
ID=61783360
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711057783.7A Active CN107888897B (zh) | 2017-11-01 | 2017-11-01 | 一种视频增强场景的优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107888897B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111210515A (zh) * | 2019-12-30 | 2020-05-29 | 成都赫尔墨斯科技股份有限公司 | 一种基于地形实时渲染的机载合成视觉*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102932605A (zh) * | 2012-11-26 | 2013-02-13 | 南京大学 | 一种视觉感知网络中摄像机的组合选择方法 |
CN104331918A (zh) * | 2014-10-21 | 2015-02-04 | 无锡梵天信息技术股份有限公司 | 基于深度图实时绘制室外地表遮挡剔除以及加速方法 |
CN104599243A (zh) * | 2014-12-11 | 2015-05-06 | 北京航空航天大学 | 一种多视频流与三维场景的虚实融合方法 |
-
2017
- 2017-11-01 CN CN201711057783.7A patent/CN107888897B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102932605A (zh) * | 2012-11-26 | 2013-02-13 | 南京大学 | 一种视觉感知网络中摄像机的组合选择方法 |
CN104331918A (zh) * | 2014-10-21 | 2015-02-04 | 无锡梵天信息技术股份有限公司 | 基于深度图实时绘制室外地表遮挡剔除以及加速方法 |
CN104599243A (zh) * | 2014-12-11 | 2015-05-06 | 北京航空航天大学 | 一种多视频流与三维场景的虚实融合方法 |
Non-Patent Citations (1)
Title |
---|
曾磊夫等: "基于凸包的视椎体裁剪精度优化", 《微电子学与计算机》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111210515A (zh) * | 2019-12-30 | 2020-05-29 | 成都赫尔墨斯科技股份有限公司 | 一种基于地形实时渲染的机载合成视觉*** |
Also Published As
Publication number | Publication date |
---|---|
CN107888897B (zh) | 2019-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112163251B (zh) | 建筑模型单体化方法、装置、存储介质及电子设备 | |
CN104134234B (zh) | 一种全自动的基于单幅图像的三维场景构建方法 | |
CN105225230B (zh) | 一种识别前景目标对象的方法及装置 | |
CN104331918B (zh) | 基于深度图实时绘制室外地表遮挡剔除以及加速方法 | |
CN113192179B (zh) | 一种基于双目立体视觉的三维重建方法 | |
CN108960011B (zh) | 部分遮挡的柑橘果实图像识别方法 | |
CN105205866A (zh) | 基于密集点云的城市三维模型快速构建方法 | |
CN110544300B (zh) | 一种基于二维手绘图像特征自动生成三维模型的方法 | |
CN113362247A (zh) | 一种激光融合多目相机的语义实景三维重建方法及*** | |
US11443452B2 (en) | Using spatial filter to reduce bundle adjustment block size | |
CN110379004A (zh) | 一种对倾斜摄影成果进行地物分类及单体化提取的方法 | |
US20200286285A1 (en) | Automated mesh generation | |
CN114332134B (zh) | 一种基于密集点云的建筑物立面提取方法和装置 | |
CN115600307B (zh) | 一种从城市场景的Mesh模型中生成单体化建筑的方法 | |
CN112907601B (zh) | 一种基于特征变换的隧道拱架点云自动提取方法及装置 | |
JP2016218694A (ja) | 3次元モデル生成装置、3次元モデル生成方法、及びプログラム | |
CN112749741A (zh) | 一种基于深度学习的手闸紧固故障识别方法 | |
CN107888897A (zh) | 一种视频增强场景的优化方法 | |
CN106231286B (zh) | 一种三维图像生成方法及装置 | |
CN112802175B (zh) | 大规模场景遮挡剔除方法、装置、设备及存储介质 | |
CN118015197B (zh) | 一种实景三维逻辑单体化方法、装置及电子设备 | |
WO2012076757A1 (en) | Method, system, processing unit and computer program product for point cloud visualization | |
CN106780693A (zh) | 一种通过绘制方式选择三维场景中物体的方法及*** | |
CN112686992A (zh) | 用于智慧城市occ树的几何图形视锥体实现方法、装置及存储介质 | |
CN111445571A (zh) | 一种用于室内设计多种效果图一次生成方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220107 Address after: No. 367, brick wall economic Park, Gaochun District, Nanjing, Jiangsu 211305 Patentee after: Nanjing Shuwei surveying and mapping Co.,Ltd. Address before: 210023 No. 1 Wenyuan Road, Qixia District, Nanjing City, Jiangsu Province Patentee before: NANJING NORMAL University |
|
TR01 | Transfer of patent right |