CN107333051A - 一种室内全景视频生成方法及装置 - Google Patents
一种室内全景视频生成方法及装置 Download PDFInfo
- Publication number
- CN107333051A CN107333051A CN201610280032.0A CN201610280032A CN107333051A CN 107333051 A CN107333051 A CN 107333051A CN 201610280032 A CN201610280032 A CN 201610280032A CN 107333051 A CN107333051 A CN 107333051A
- Authority
- CN
- China
- Prior art keywords
- flake
- hemisphere
- texture maps
- visual angle
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims abstract description 138
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 241000251468 Actinopterygii Species 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/16—Spatio-temporal transformations, e.g. video cubism
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明实施例公开了一种室内全景视频生成方法及装置,针对每一帧鱼眼视频图像,将该鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标,获得基于球坐标系的鱼眼半球图;根据预设的居室的形状,确定该鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数,根据该N个视角纹理图中每个视角纹理图的视景体参数,获得该鱼眼半球图对应的N个视角纹理图,将该N个视角纹理图渲染到所述预设的居室内部的N个面上,生成该鱼眼视频图像对应的全景视频图像。由此可见,本方案能够生成呈现出立体效果的全景视频图像;不使用复杂的图像拼接算法,提高了生成全景视频的实时性;不需要多个摄像头或航拍器,拍摄设备成本低。
Description
技术领域
本发明涉及视频监控技术领域,特别涉及一种室内全景视频生成方法及装置。
背景技术
随着科技的不断发展,全景视频已在诸多领域发挥出巨大价值和优势。例如:在视频监控***中,对室内场景进行监控时,比如对超市进行监控时,通过摄像头采集视频图像生成全景视频,以达到更好的监控效果。
目前,全景视频的生成方法有以下几种:
一、对同一场景从不同角度进行拍摄,将得到的视频图像采用图像拼接算法拼接成球体。采用这种方法,需要多个摄像头或使用航拍器,拍摄设备成本高,且图像拼接算法复杂,得到全景视频的实时性差。
二、利用鱼眼摄像头的超大视场角,对场景进行拍摄,将得到的画面通过PTZ(Pan/Tilt/Zoom,云台全方位(左右/上下)移动及镜头变倍、变焦控制矫正)展开,获得全景展开图。采用这种方法,通过PTZ展开的仍旧是一张二维图像,与传统视频观看效果区别不大,用户体验较差。
发明内容
本发明实施例的目的在于提供一种室内全景视频生成方法及装置,以提高生成全景视频的实时性,并呈现出立体效果。
为达到上述目的,本发明实施例公开了一种室内全景视频生成方法,应用于视频处理设备,包括:
获取鱼眼视频;
针对每一帧鱼眼视频图像,按照第一预设规则,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标,获得基于球坐标系的鱼眼半球图;
根据预设的居室的形状,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数,其中,所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定;
根据所述N个视角纹理图中每个视角纹理图的视景体参数,获得所述鱼眼半球图对应的N个视角纹理图,将所述N个视角纹理图渲染到所述预设的居室内部的N个面上,生成所述鱼眼视频图像对应的全景视频图像。
可选的,所述按照第一预设规则,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标,获得基于球坐标系的鱼眼半球图,可以包括:
按照下式,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u,v)转换为球坐标系的坐标(x,y,z),获得基于球坐标系的鱼眼半球图:
u-0.5=x=R*cos(α)*cos(θ)
v-0.5=y=R*cos(α)*sin(θ)
z=R*sin(α)
其中,R为所述鱼眼半球图中半球的半径,α为所述鱼眼半球图中的点与Y轴的夹角,θ为所述鱼眼半球图中的点与X轴的夹角。
可选的,当所述预设的居室为长方体形状居室时,所述根据预设的居室的形状,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数,可以包括:
构建所述鱼眼半球图对应的球体的内接长方体,所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同;
根据所述内接长方体,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。
可选的,所述视景体参数可以包括视景体的角度参数和视口参数;
所述根据所述内接长方体,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数,可以包括:
根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数,其中,所述角度参数包括方位角参数和仰角参数;
根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数,其中,其中,所述视口参数包括左、右、下、上、前和后边界参数。
可选的,当所述预设的居室为长方体形状居室时,所述获得所述鱼眼半球图对应的N个视角纹理图,可以包括:
获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。
可选的,所述将所述N个视角纹理图渲染到所述预设的居室内部的N个面上,可以包括:
绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面,并确定每个面对应的坐标;
根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数,将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标相对应的位置。
可选的,所述获取鱼眼视频,可以包括:
接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。
为达到上述目的,本发明实施例还公开了一种室内全景视频生成装置,应用于视频处理设备,包括:
获取模块,用于获取鱼眼视频;
转换模块,用于针对每一帧鱼眼视频图像,按照第一预设规则,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标,获得基于球坐标系的鱼眼半球图;
确定模块,用于根据预设的居室的形状,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数,其中,所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定;
获得模块,用于根据所述N个视角纹理图中每个视角纹理图的视景体参数,获得所述鱼眼半球图对应的N个视角纹理图;
生成模块,用于将所述N个视角纹理图渲染到所述预设的居室内部的N个面上,生成所述鱼眼视频图像对应的全景视频图像。
可选的,所述转换模块,具体可以用于:
按照下式,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u,v)转换为球坐标系的坐标(x,y,z),获得基于球坐标系的鱼眼半球图:
u-0.5=x=R*cos(α)*cos(θ)
v-0.5=y=R*cos(α)*sin(θ)
z=R*sin(α)
其中,R为所述鱼眼半球图中半球的半径,α为所述鱼眼半球图中的点与Y轴的夹角,θ为所述鱼眼半球图中的点与X轴的夹角。
可选的,所述确定模块,可以包括:
构建子模块,用于当所述预设的居室为长方体形状居室时,构建所述鱼眼半球图对应的球体的内接长方体,所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同;
确定子模块,用于根据所述内接长方体,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。
可选的,所述视景体参数包括视景体的角度参数和视口参数;所述确定子模块,可以包括:
角度参数确定子模块,用于根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数,其中,所述角度参数包括方位角参数和仰角参数;
视口参数确定子模块,用于根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数,其中,所述视口参数包括左、右、下、上、前和后边界参数。
可选的,所述获得模块,具体可以用于:
当所述预设的居室为长方体形状居室时,根据所述N个视角纹理图中每个视角纹理图的视景体参数,获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。
可选的,所述生成模块,可以包括:
居室绘制子模块,用于绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面,并确定每个面对应的坐标;
全景视频图像生成子模块,用于根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数,将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标相对应的位置,生成所述鱼眼视频图像对应的全景视频图像。
可选的,所述获取模块,具体可以用于:
接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。
由上述技术方案可见,应用本发明所示实施例,针对每一帧鱼眼视频图像,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标,获得基于球坐标系的鱼眼半球图;根据预设的居室的形状,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数,根据所述N个视角纹理图中每个视角纹理图的视景体参数,获得所述鱼眼半球图对应的N个视角纹理图,将所述N个视角纹理图渲染到所述预设的居室内部的N个面上,生成所述鱼眼视频图像对应的全景视频图像。由此可见,本发明实施例能够将对每一帧鱼眼视频渲染到预设居室内部的N个面上,生成了呈现出立体效果的全景视频图像。由于本发明实施例不使用复杂的图像拼接算法,因此提高了生成全景视频的实时性。另外,本发明实施例不需要将多个摄像头拍摄的多个视频图像进行拼接,也不需用航拍器进行拍摄,拍摄设备成本低。
当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种室内全景视频生成方法的流程示意图;
图2为图1所述的室内全景视频生成方法中获取的一帧鱼眼视频图像;
图3为图1所述的室内全景视频生成方法中获得的基于球坐标系的鱼眼半球图;
图4为本发明实施例提供的确定视角纹理图的视景体的方法示意图;
图5为图3所示的鱼眼半球图对应的5个视角纹理图;
图6为图2所示的鱼眼视频图像对应的全景视频图像;
图7为本发明另一个实施例中生成的带拐角的居室的全景视频图像;
图8为本发明另一个实施例中生成的包括多个长方体形状的居室的楼层的全景视频图像;
图9为本发明实施例提供的一种室内全景视频生成装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有技术问题,本发明实施例提供了一种室内全景视频生成方法及装置,应用于视频处理设备。下面首先对本发明实施例提供的一种室内全景视频生成方法进行详细说明。
图1为本发明实施例提供的一种室内全景视频生成方法的流程示意图,包括:
S101:获取鱼眼视频。
具体的,本步骤中可以包括:接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。
S102:针对每一帧鱼眼视频图像,按照第一预设规则,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标,获得基于球坐标系的鱼眼半球图。
具体的,本步骤中可以包括:按照下式,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u,v)转换为球坐标系的坐标(x,y,z),获得基于球坐标系的鱼眼半球图:
u-0.5=x=R*cos(α)*cos(θ)
v-0.5=y=R*cos(α)*sin(θ)
z=R*sin(α)
其中,R为所述鱼眼半球图中半球的半径,α为所述鱼眼半球图中的点与Y轴的夹角,θ为所述鱼眼半球图中的点与X轴的夹角。
S103:根据预设的居室的形状,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。其中,所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定。
具体的,当所述预设的居室为长方体形状居室时,本步骤中可以包括:
构建所述鱼眼半球图对应的球体的内接长方体,所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同;
根据所述内接长方体,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。
在本发明所示实施例中,视景体参数可以包括视景体的角度参数和视口参数;所述根据所述内接长方体,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数,可以包括:
根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数,其中,所述角度参数包括方位角参数和仰角参数;
根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数,其中,所述视口参数包括左、右、下、上、前和后边界参数。
S104:根据所述N个视角纹理图中每个视角纹理图的视景体参数,获得所述鱼眼半球图对应的N个视角纹理图。
在本发明所示实施例中,当所述预设的居室为长方体形状居室时,所述获得所述鱼眼半球图对应的N个视角纹理图,可以包括:获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。
S105:将所述N个视角纹理图渲染到所述预设的居室内部的N个面上,生成所述鱼眼视频图像对应的全景视频图像。
在本发明所示实施例中,本步骤中可以包括::
绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面,并确定每个面对应的坐标;
根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数,将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标相对应的位置。
假设居室为长方体形状的超市,接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。假设该鱼眼视频中的一帧图像如图2所示。
针对该帧鱼眼视频图像,按照下式,将该帧鱼眼视频图像的每个像素点在图像坐标系的坐标(u,v)转换为球坐标系的坐标(x,y,z),获得基于球坐标系的鱼眼半球图:
u-0.5=x=R*cos(α)*cos(θ)
v-0.5=y=R*cos(α)*sin(θ)
z=R*sin(α)
其中,R为所述鱼眼半球图中半球的半径,α为所述鱼眼半球图中的点与Y轴的夹角,θ为所述鱼眼半球图中的点与X轴的夹角。
获得的基于球坐标系的鱼眼半球图如图3所示。
假设该长方体形状的超市的长、宽、高之比为5:4:3,构建所述鱼眼半球图对应的球体的内接长方体,该内接长方体的长、宽、高之比为5:4:3。可以理解的是,当球的半径固定且内接长方体的长、宽、高之比固定时,可以根据
球的半径和长、宽、高之比确定该内接长方体的长、宽、高,假设Length,Width,Height分别为该内接长方体的长宽高。
根据该内接长方体,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。视景体参数可以包括视景体的角度参数和视口参数,其中,所述角度参数可以包括方位角参数和仰角参数,所述视口参数可以包括左、右、下、上、前和后边界参数。
在本发明所示实施例中,所述鱼眼半球图对应的N个视角纹理图可以为所述鱼眼半球图对应的四个墙壁方向Left wall、Back wall、Right wall、Front wall和一个地板方向Floor的视角纹理图。如图4所示,构建鱼眼半球图对应的球体的内接长方体,根据该内接长方体,确定该鱼眼半球图对应的5个视角纹理图中每个视角纹理图的视景体,进而得到视景体参数。具体的,可以根据表1确定鱼眼半球图对应的5个视角纹理图中每个视角纹理图的视景体参数。
表1
根据上述5个视角纹理图中每个视角纹理图的视景体参数,获得所述鱼眼半球图对应的5个视角纹理图。本领域技术人员可以理解的是,根据视景体参数获得鱼眼半球图对应的视角纹理图为现有技术,在此不作赘述。获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图,如图5所示。
在实际应用中,该视频处理设备可以展示一个输入界面以使用户输入该长方体形状的超市的实际的长、宽、高的数值。该视频处理设备将该实际的长、宽、高的数值等比例缩小至与该5个视角纹理图相匹配,具体的,假设所述鱼眼半球图的R为0.1m,该长方体形状的超市的实际的长、宽、高的数值分别为5m,4m,3m,则将该实际的长、宽、高的数值除以长、宽、高中最大的数值5,再乘以鱼眼半球图的R 0.1,得到等比例缩小后的长、宽、高对应的数值分别为0.1m、0.08m、0.06m。
按照上述确定的数值,绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面,并确定每个面对应的坐标。根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数,确定每个视角纹理图对应的绘制出的面,将每个视角纹理图的坐标调整到与该视角纹理图对应的面的坐标相对应的位置。本领域技术人员可以理解的是,将一张视角纹理图渲染到一个面上为现有技术,在此不作赘述。生成的该鱼眼视频图像对应的全景视频图像如图6所示,与该长方体超市的实际效果一致。
将获取的鱼眼视频的每一帧鱼眼视频图像,都应用上述方法进行处理,进而得到了该鱼眼视频对应的室内全景视频。
应用本发明图1所示实施例,针对每一帧鱼眼视频图像,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标,获得基于球坐标系的鱼眼半球图;根据预设的居室的形状,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数,根据所述N个视角纹理图中每个视角纹理图的视景体参数,获得所述鱼眼半球图对应的N个视角纹理图,将所述N个视角纹理图渲染到所述预设的居室内部的N个面上,生成所述鱼眼视频图像对应的全景视频图像。由此可见,本发明实施例能够将对每一帧鱼眼视频渲染到预设居室内部的N个面上,生成了呈现出立体效果的全景视频图像。由于本发明实施例不使用复杂的图像拼接算法,因此提高了生成全景视频的实时性。另外,本发明实施例不需要将多个摄像头拍摄的多个视频图像进行拼接,也不需用航拍器进行拍摄,拍摄设备成本低。
在实际应用中,当预设的居室为带拐角的居室时,也可以利用上述方法,生成针对该带拐角的居室的室内全景视频。
假设预设的居室带一个拐角,则N为7。针对每一帧鱼眼视频图像,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标,获得基于球坐标系的鱼眼半球图;确定所述鱼眼半球图对应的7个视角纹理图的视景体参数,并获得所述鱼眼半球图对应的7个视角纹理图。将所述7个视角纹理图渲染到所述预设的居室内部的7个面上,生成该带拐角的居室的全景视频图像如图7所示。
在实际应用中,当一个楼层中包括多个长方体形状的居室时,可以利用上述方法,生成针对每个长方体形状的居室的室内全景视频图像。将生成的多个室内全景视频图像按照长方体形状的居室的实际位置进行展现,效果如图8所示。
与上述的方法实施例相对应,本发明实施例还提供一种室内全景视频生成装置。
图9为本发明实施例提供的一种室内全景视频生成装置的结构示意图,包括:
获取模块901,用于获取鱼眼视频;
在实际应用中,获取模块901,具体可以用于接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。
转换模块902,用于针对每一帧鱼眼视频图像,按照第一预设规则,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标,获得基于球坐标系的鱼眼半球图;
在实际应用中,转换模块902,具体可以用于按照下式,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u,v)转换为球坐标系的坐标(x,y,z),获得基于球坐标系的鱼眼半球图:
u-0.5=x=R*cos(α)*cos(θ)
v-0.5=y=R*cos(α)*sin(θ)
z=R*sin(α)
其中,R为所述鱼眼半球图中半球的半径,α为所述鱼眼半球图中的点与Y轴的夹角,θ为所述鱼眼半球图中的点与X轴的夹角。
确定模块903,用于根据预设的居室的形状,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数,其中,所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定;
在实际应用中,确定模块903,可以包括:构建子模块和确定子模块(图中未示出),其中,
构建子模块,用于当所述预设的居室为长方体形状居室时,构建所述鱼眼半球图对应的球体的内接长方体,所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同;
确定子模块,用于根据所述内接长方体,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。
具体的,所述视景体参数包括视景体的角度参数和视口参数;所述确定子模块,可以包括:角度参数确定子模块和视口参数确定子模块(图中未示出),其中,
角度参数确定子模块,用于根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数,其中,所述角度参数包括方位角参数和仰角参数;
视口参数确定子模块,用于根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数,其中,所述视口参数包括左、右、下、上、前和后边界参数。
获得模块904,用于根据所述N个视角纹理图中每个视角纹理图的视景体参数,获得所述鱼眼半球图对应的N个视角纹理图;
在实际应用中,获得模块904,具体可以用于:
当所述预设的居室为长方体形状居室时,根据所述N个视角纹理图中每个视角纹理图的视景体参数,获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。
生成模块905,用于将所述N个视角纹理图渲染到所述预设的居室内部的N个面上,生成所述鱼眼视频图像对应的全景视频图像。
在实际应用中,生成模块905,可以包括:居室绘制子模块和全景视频图像生成子模块(图中未示出),其中,
居室绘制子模块,用于绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面,并确定每个面对应的坐标;
全景视频图像生成子模块,用于根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数,将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标相对应的位置,生成所述鱼眼视频图像对应的全景视频图像。
应用本发明图8所示实施例,针对每一帧鱼眼视频图像,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标,获得基于球坐标系的鱼眼半球图;根据预设的居室的形状,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数,根据所述N个视角纹理图中每个视角纹理图的视景体参数,获得所述鱼眼半球图对应的N个视角纹理图,将所述N个视角纹理图渲染到所述预设的居室内部的N个面上,生成所述鱼眼视频图像对应的全景视频图像。由此可见,本发明实施例能够将对每一帧鱼眼视频渲染到预设居室内部的N个面上,生成了呈现出立体效果的全景视频图像。由于本发明实施例不使用复杂的图像拼接算法,因此提高了生成全景视频的实时性。另外,本发明实施例不需要将多个摄像头拍摄的多个视频图像进行拼接,也不需用航拍器进行拍摄,拍摄设备成本低。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (14)
1.一种室内全景视频生成方法,其特征在于,应用于视频处理设备,包括:
获取鱼眼视频;
针对每一帧鱼眼视频图像,按照第一预设规则,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标,获得基于球坐标系的鱼眼半球图;
根据预设的居室的形状,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数,其中,所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定;
根据所述N个视角纹理图中每个视角纹理图的视景体参数,获得所述鱼眼半球图对应的N个视角纹理图,将所述N个视角纹理图渲染到所述预设的居室内部的N个面上,生成所述鱼眼视频图像对应的全景视频图像。
2.根据权利要求1所述的方法,其特征在于,所述按照第一预设规则,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标,获得基于球坐标系的鱼眼半球图,包括:
按照下式,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u,v)转换为球坐标系的坐标(x,y,z),获得基于球坐标系的鱼眼半球图:
u-0.5=x=R*cos(α)*cos(θ)
v-0.5=y=R*cos(α)*sin(θ)
z=R*sin(α)
其中,R为所述鱼眼半球图中半球的半径,α为所述鱼眼半球图中的点与Y轴的夹角,θ为所述鱼眼半球图中的点与X轴的夹角。
3.根据权利要求1所述的方法,其特征在于,当所述预设的居室为长方体形状居室时,所述根据预设的居室的形状,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数,包括:
构建所述鱼眼半球图对应的球体的内接长方体,所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同;
根据所述内接长方体,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。
4.根据权利要求3所述的方法,其特征在于,所述视景体参数包括视景体的角度参数和视口参数;
所述根据所述内接长方体,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数,包括:
根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数,其中,所述角度参数包括方位角参数和仰角参数;
根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数,其中,其中,所述视口参数包括左、右、下、上、前和后边界参数。
5.根据权利要求1所述的方法,其特征在于,当所述预设的居室为长方体形状居室时,所述获得所述鱼眼半球图对应的N个视角纹理图,包括:
获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。
6.根据权利要求5所述的方法,其特征在于,所述将所述N个视角纹理图渲染到所述预设的居室内部的N个面上,包括:
绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面,并确定每个面对应的坐标;
根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数,将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标相对应的位置。
7.根据权利要求1-6任意一项所述的方法,其特征在于,所述获取鱼眼视频,包括:
接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。
8.一种室内全景视频生成装置,其特征在于,应用于视频处理设备,包括:
获取模块,用于获取鱼眼视频;
转换模块,用于针对每一帧鱼眼视频图像,按照第一预设规则,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标转换为球坐标系的坐标,获得基于球坐标系的鱼眼半球图;
确定模块,用于根据预设的居室的形状,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数,其中,所述预设的居室的形状根据所述鱼眼视频图像对应的场景设定;
获得模块,用于根据所述N个视角纹理图中每个视角纹理图的视景体参数,获得所述鱼眼半球图对应的N个视角纹理图;
生成模块,用于将所述N个视角纹理图渲染到所述预设的居室内部的N个面上,生成所述鱼眼视频图像对应的全景视频图像。
9.根据权利要求8所述的装置,其特征在于,所述转换模块,具体用于:
按照下式,将所述鱼眼视频图像的每个像素点在图像坐标系的坐标(u,v)转换为球坐标系的坐标(x,y,z),获得基于球坐标系的鱼眼半球图:
u-0.5=x=R*cos(α)*cos(θ)
v-0.5=y=R*cos(α)*sin(θ)
z=R*sin(α)
其中,R为所述鱼眼半球图中半球的半径,α为所述鱼眼半球图中的点与Y轴的夹角,θ为所述鱼眼半球图中的点与X轴的夹角。
10.根据权利要求8所述的装置,其特征在于,所述确定模块,包括:
构建子模块,用于当所述预设的居室为长方体形状居室时,构建所述鱼眼半球图对应的球体的内接长方体,所述内接长方体的长、宽、高之比与所述长方体形状居室的长、宽、高之比相同;
确定子模块,用于根据所述内接长方体,确定所述鱼眼半球图对应的N个视角纹理图中每个视角纹理图的视景体参数。
11.根据权利要求10所述的装置,其特征在于,所述视景体参数包括视景体的角度参数和视口参数;所述确定子模块,包括:
角度参数确定子模块,用于根据所述内接长方体的平面之间的角度确定每个视角纹理图的视景体的角度参数,其中,所述角度参数包括方位角参数和仰角参数;
视口参数确定子模块,用于根据所述内接长方体的棱长确定每个视角纹理图的视景体的视口参数,其中,所述视口参数包括左、右、下、上、前和后边界参数。
12.根据权利要求8所述的装置,其特征在于,所述获得模块,具体用于:
当所述预设的居室为长方体形状居室时,根据所述N个视角纹理图中每个视角纹理图的视景体参数,获得所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图。
13.根据权利要求12所述的装置,其特征在于,所述生成模块,包括:
居室绘制子模块,用于绘制所述预设的居室内部的四个墙壁所在的面和地板所在的面,并确定每个面对应的坐标;
全景视频图像生成子模块,用于根据所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的视景体参数,将所述鱼眼半球图对应的四个墙壁方向和一个地板方向的视角纹理图的坐标调整到与所述四个墙壁所在的面和地板所在的面对应的坐标相对应的位置,生成所述鱼眼视频图像对应的全景视频图像。
14.根据权利要求8-13任意一项所述的装置,其特征在于,所述获取模块,具体用于:
接收设置在居室顶棚中心位置的一个鱼眼摄像头发送的鱼眼视频。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610280032.0A CN107333051B (zh) | 2016-04-28 | 2016-04-28 | 一种室内全景视频生成方法及装置 |
US16/096,931 US10827117B2 (en) | 2016-04-28 | 2016-12-13 | Method and apparatus for generating indoor panoramic video |
PCT/CN2016/109600 WO2017185765A1 (zh) | 2016-04-28 | 2016-12-13 | 一种室内全景视频生成方法及装置 |
EP16900270.6A EP3451649B1 (en) | 2016-04-28 | 2016-12-13 | Method and apparatus for generating indoor panoramic video |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610280032.0A CN107333051B (zh) | 2016-04-28 | 2016-04-28 | 一种室内全景视频生成方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107333051A true CN107333051A (zh) | 2017-11-07 |
CN107333051B CN107333051B (zh) | 2019-06-21 |
Family
ID=60160645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610280032.0A Active CN107333051B (zh) | 2016-04-28 | 2016-04-28 | 一种室内全景视频生成方法及装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10827117B2 (zh) |
EP (1) | EP3451649B1 (zh) |
CN (1) | CN107333051B (zh) |
WO (1) | WO2017185765A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109714556A (zh) * | 2018-12-10 | 2019-05-03 | 珠海研果科技有限公司 | 一种单目全景缩时录像方法及装置 |
CN110874817A (zh) * | 2018-08-29 | 2020-03-10 | 上海商汤智能科技有限公司 | 图像拼接方法和装置、车载图像处理装置、电子设备、存储介质 |
CN111105485A (zh) * | 2018-10-09 | 2020-05-05 | 杭州海康威视数字技术股份有限公司 | 一种线条渲染方法、装置 |
CN112862895A (zh) * | 2019-11-27 | 2021-05-28 | 杭州海康威视数字技术股份有限公司 | 一种鱼眼摄像头标定方法、装置及*** |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102201763B1 (ko) * | 2018-10-02 | 2021-01-12 | 엘지전자 주식회사 | 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치 |
US11899124B2 (en) * | 2020-04-17 | 2024-02-13 | Raytheon Company | Interface for realtime, 3D radar activity visualization |
CN116883231B (zh) * | 2023-09-07 | 2024-02-02 | 深圳魔视智能科技有限公司 | 鱼眼相机的图像数据生成方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090041379A1 (en) * | 2007-08-06 | 2009-02-12 | Kuang-Yen Shih | Method for providing output image in either cylindrical mode or perspective mode |
CN101938599A (zh) * | 2009-06-30 | 2011-01-05 | 爱国者全景(北京)网络科技发展有限公司 | 生成互动的动态全景影像的方法 |
CN102222337A (zh) * | 2011-06-14 | 2011-10-19 | 重庆大学 | 用于图像拼接的鱼眼图像校正方法 |
CN103065318A (zh) * | 2012-12-30 | 2013-04-24 | 深圳普捷利科技有限公司 | 多摄像机全景***的曲面投影方法及装置 |
CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
CN104363421A (zh) * | 2014-11-04 | 2015-02-18 | 福建星网视易信息***有限公司 | 实现多角度摄像头监控效果的方法和装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7176960B1 (en) * | 1999-09-20 | 2007-02-13 | The Trustees Of Columbia University In The City Of New York | System and methods for generating spherical mosaic images |
US20040196282A1 (en) * | 2003-02-14 | 2004-10-07 | Oh Byong Mok | Modeling and editing image panoramas |
US9317108B2 (en) * | 2004-11-02 | 2016-04-19 | Pierre A. Touma | Hand-held wireless electronic device with accelerometer for interacting with a display |
US8525871B2 (en) * | 2008-08-08 | 2013-09-03 | Adobe Systems Incorporated | Content-aware wide-angle images |
JP5464955B2 (ja) * | 2009-09-29 | 2014-04-09 | 株式会社ソニー・コンピュータエンタテインメント | パノラマ画像表示装置 |
US8675013B1 (en) * | 2011-06-16 | 2014-03-18 | Google Inc. | Rendering spherical space primitives in a cartesian coordinate system |
US10044932B2 (en) * | 2015-03-13 | 2018-08-07 | Sensormatic Electronics, LLC | Wide angle fisheye security camera having offset lens and image sensor |
-
2016
- 2016-04-28 CN CN201610280032.0A patent/CN107333051B/zh active Active
- 2016-12-13 EP EP16900270.6A patent/EP3451649B1/en active Active
- 2016-12-13 WO PCT/CN2016/109600 patent/WO2017185765A1/zh active Application Filing
- 2016-12-13 US US16/096,931 patent/US10827117B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090041379A1 (en) * | 2007-08-06 | 2009-02-12 | Kuang-Yen Shih | Method for providing output image in either cylindrical mode or perspective mode |
CN101938599A (zh) * | 2009-06-30 | 2011-01-05 | 爱国者全景(北京)网络科技发展有限公司 | 生成互动的动态全景影像的方法 |
CN102222337A (zh) * | 2011-06-14 | 2011-10-19 | 重庆大学 | 用于图像拼接的鱼眼图像校正方法 |
CN103065318A (zh) * | 2012-12-30 | 2013-04-24 | 深圳普捷利科技有限公司 | 多摄像机全景***的曲面投影方法及装置 |
CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
CN104363421A (zh) * | 2014-11-04 | 2015-02-18 | 福建星网视易信息***有限公司 | 实现多角度摄像头监控效果的方法和装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110874817A (zh) * | 2018-08-29 | 2020-03-10 | 上海商汤智能科技有限公司 | 图像拼接方法和装置、车载图像处理装置、电子设备、存储介质 |
CN111105485A (zh) * | 2018-10-09 | 2020-05-05 | 杭州海康威视数字技术股份有限公司 | 一种线条渲染方法、装置 |
CN111105485B (zh) * | 2018-10-09 | 2024-02-27 | 杭州海康威视数字技术股份有限公司 | 一种线条渲染方法、装置 |
CN109714556A (zh) * | 2018-12-10 | 2019-05-03 | 珠海研果科技有限公司 | 一种单目全景缩时录像方法及装置 |
CN112862895A (zh) * | 2019-11-27 | 2021-05-28 | 杭州海康威视数字技术股份有限公司 | 一种鱼眼摄像头标定方法、装置及*** |
CN112862895B (zh) * | 2019-11-27 | 2023-10-10 | 杭州海康威视数字技术股份有限公司 | 一种鱼眼摄像头标定方法、装置及*** |
Also Published As
Publication number | Publication date |
---|---|
US10827117B2 (en) | 2020-11-03 |
EP3451649A4 (en) | 2019-07-31 |
EP3451649B1 (en) | 2022-06-29 |
EP3451649A1 (en) | 2019-03-06 |
CN107333051B (zh) | 2019-06-21 |
WO2017185765A1 (zh) | 2017-11-02 |
US20190124260A1 (en) | 2019-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107333051A (zh) | 一种室内全景视频生成方法及装置 | |
CN110663245B (zh) | 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法 | |
CN108600576B (zh) | 图像处理装置、方法和***以及计算机可读记录介质 | |
US7570280B2 (en) | Image providing method and device | |
CN101814181B (zh) | 一种鱼眼图像复原的展开方法 | |
CN108520232B (zh) | 立体环景影片产生方法及装置 | |
CN104519340B (zh) | 基于多深度图像变换矩阵的全景视频拼接方法 | |
EP3016065B1 (en) | Coordinate computation device and method, and image processing device and method | |
CN101938599A (zh) | 生成互动的动态全景影像的方法 | |
CN105516569A (zh) | 一种获得全景图像的方法和装置 | |
CN103295231A (zh) | 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法 | |
CN107967666B (zh) | 一种全景图像生成方法及装置 | |
WO2017193729A1 (zh) | 一种将镜头图像展开为全景图像的方法及装置 | |
CN104363421B (zh) | 实现多角度摄像头监控效果的方法和装置 | |
CN103546680B (zh) | 一种无变形的全方位鱼眼摄像装置及实现方法 | |
JP2012256274A (ja) | 画像生成装置、画像生成方法、及びコンピュータプログラム | |
JP2019101563A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
TWI683280B (zh) | 立體環景影片產生方法及裝置 | |
EP3991132A1 (en) | Imaging system, image processing apparatus, imaging device, and recording medium | |
Tan et al. | Multiview panoramic cameras using a mirror pyramid | |
CN110913199B (zh) | 一种vr图像传输方法 | |
CN108206909A (zh) | 全景实时图像处理方法 | |
CN110913198B (zh) | 一种vr图像传输方法 | |
CN101639621B (zh) | 以圆柱型模式或透视模式输出影像的方法 | |
CN108986183A (zh) | 一种全景地图的制作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |