CN118118645A - 一种基于vr技术的全景农场实现方法及装置 - Google Patents
一种基于vr技术的全景农场实现方法及装置 Download PDFInfo
- Publication number
- CN118118645A CN118118645A CN202410487231.3A CN202410487231A CN118118645A CN 118118645 A CN118118645 A CN 118118645A CN 202410487231 A CN202410487231 A CN 202410487231A CN 118118645 A CN118118645 A CN 118118645A
- Authority
- CN
- China
- Prior art keywords
- panoramic
- image
- point
- space
- farm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000005516 engineering process Methods 0.000 title claims abstract description 21
- 238000013506 data mapping Methods 0.000 claims abstract description 18
- 238000012634 optical imaging Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000004075 alteration Effects 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种基于VR技术的全景农场实现方法及装置,涉及智慧农场技术领域。所述方法包括:利用全景摄像机对农场进行全景拍摄,采集农场的全景图像;对于采集的全景图像,基于光学成像规律构建物空间与像空间的光场数据映射关系;基于物空间与像空间的光场数据映射关系,实现全景图像的初步拼接;对初步拼接的全景图像进行精细化调整,得到最终的三维图像。本发明利用人工智能算法降低3D光场图像像差,增大***视角,提高三维图像质量,为全景农场的实现提供了一种可行的方案。
Description
技术领域
本发明涉及智慧农场技术领域,特别是指一种基于VR技术的全景农场实现方法及装置。
背景技术
在人口老龄化日趋严重、人工成本不断增加、农业生产投入不断加大的现状下,无人农场建设为农业发展提供了有效技术支撑。利用虚拟现实(VR)技术搭建无人农场、实现大田农业操作成为当今智慧农场技术中亟需解决的关键问题。
通过虚拟现实技术,可以建立高度智能化的农场***,实现远程监控和操控各项农业活动。从播种、施肥到病虫害监测和作物采摘,所有环节都可以通过VR界面实时展示和操作。农场主可以利用VR设备,像置身于实地一样管理农场,提高生产效率的同时降低人力成本。此外,利用虚拟现实技术还可以进行模拟实验和预测农作物生长的情况,帮助农场主做出更加科学合理的决策。这种高科技手段不仅提升了农业生产的精准性和可控性,还有助于推动农业产业的数字化转型,为应对人口老龄化等社会挑战提供了新的解决途径。
现有技术中,在使用摄像机拍摄农场全景图像时,由于摄像机的镜头并非理想透镜,导致3D光场图像存在像差,从而影响***视角,降低三维图像的质量。
发明内容
针对上述问题,本发明的目的在于提供一种基于VR技术的全景农场实现方法及装置,利用人工智能算法降低3D光场图像像差,增大***视角,提高三维图像质量。
为解决上述技术问题,本发明提供如下技术方案:
一方面,提供了一种基于VR技术的全景农场实现方法,所述方法包括以下步骤:
S1、利用全景摄像机对农场进行全景拍摄,采集农场的全景图像;
S2、对于采集的全景图像,基于光学成像规律构建物空间与像空间的光场数据映射关系;
S3、基于物空间与像空间的光场数据映射关系,实现全景图像的初步拼接;
S4、对初步拼接的全景图像进行精细化调整,得到最终的三维图像。
可选地,所述步骤S1中,所述全景摄像机包括多个镜头,能够实现全景8K视频录制,内置FlowState防抖模块,且支持HDR模式。
可选地,所述全景摄像机包括柱透镜阵列,所述柱透镜阵列包括多个透镜,所述步骤S2中:
选用右手坐标系,令x轴与透镜的光轴重合,坐标原点为O点;P为物空间光场中任意一点,其位置矢量记为T,其初始光线方向记为单位矢量Q;初始光线经过透镜的折射点记为P’;
设透镜折射面顶点为O’,与透镜折射面相切的轴为y’轴,透镜折射面的曲率半径为r;由O’向初始光线作垂线,相交与点G,其位置矢量表示为M,折射点P’处的法线的单位矢量记为Q’;
那么对于任意点,能够建立物空间光场数据和像空间光场数据之间的映射关系。
可选地,所述步骤S2具体包括:
设像空间透镜左折射面顶点为O0,物空间透镜右折射面顶点为O1,物空间透镜左折射面顶点为O2;
对于像空间任一点P0,记为,坐标为(x0,y0,z0),T0代表点P0的位置矢量,的单位矢量Q0表示为(α0,β0,γ0);点P0在物空间的映射点记为P3;设点P1和点P2是位于P0和P3之间光路上的点,分别记为/>和/>,坐标分别为(x1,y1,z1)和(x2,y2,z2);
的单位矢量Q1表示为(α1,β1,γ1),/>的单位矢量Q2表示为(α2,β2,γ2),t1、t2分别表示O1、O2到透镜中心的垂直距离;
l1和l2分别表示物距和像距,点P3即是待求解的物空间中的未知点;
根据光学成像规律,得到以下公式:
其中,T1表示点P1的位置矢量,T2表示点P2的位置矢量,T3表示点P3的位置矢量,i为单位矢量;M1表示由O1向初始光线方向作垂线,相交与G1点后的位置矢量,O1所在折射面的曲率半径为r1;M2表示由O2向初始光线方向作垂线,相交与G2点后的位置矢量,O2所在折射面的曲率半径为r2;
d1和d2是根据拍摄的全景图像自动测得的中间参数;
n表示像空间与透镜之间的介质折射率,n’表示透镜的折射率;
对T1和Q1进行求解如下:
的单位矢量Q0表示为(α0,β0,γ0),因此α0、β0、γ0分别代表Q0的三维坐标,ρ1为O1所在折射面的曲率半径r1的倒数,即O1所在折射面的曲率;
为了使图像各点定位更准确,进一步限定如下:
其中,cosI表示坐标扭矩变换,cosI’表示坐标位移变换;
采用与求解T1和Q1同样的方法,得到T2和Q2,之后求得T3如下:
其中,f为透镜的焦距,,n”表示物空间与透镜之间的介质折射率,ρ2为O2所在折射面的曲率半径r2的倒数,即O2所在折射面的曲率;ω为参数,取值范围为[0,1];
并且,;
由此,求解出点P3的坐标(x3,y3,z3)。
可选地,所述步骤S3具体包括:
遍历像空间点集合,对每个像空间点进行映射关系的计算,得到对应的物空间点,完成物空间与像空间光场数据的映射和重构,进而实现全景图像的初步拼接。
可选地,所述步骤S4具体包括:
将初步拼接的全景图像分别绕其中心点旋转,直至全景摄像机镜头正面面对的方向,完成拼接并得到最终的三维图像。
可选地,设其中两幅全景图像分别为第一图像W1和第二图像W2,那么第二图像W2中的任一点通过下式计算其在第一图像W1中的坐标:
其中,第一图像W1和第二图像W2的中心点的坐标分别是(k1,q1)、(k2,q2),全景摄像机的每个像元尺寸是dx×dy,Hrigid表示刚性变换矩阵,offset_k代表在x方向的平移偏转量,offset_2q代表在y方向上平移偏转量的平方。
另一方面,提供了一种基于VR技术的全景农场实现装置,用于实现上述任一项所述的方法,所述装置包括:
采集模块,用于利用全景摄像机对农场进行全景拍摄,采集农场的全景图像;
计算模块,用于对于采集的全景图像,基于光学成像规律构建物空间与像空间的光场数据映射关系;
第一拼接模块,用于基于物空间与像空间的光场数据映射关系,实现全景图像的初步拼接;
第二拼接模块,用于对初步拼接的全景图像进行精细化调整,得到最终的三维图像。
另一方面,提供了一种电子设备,所述电子设备包括:
处理器;
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器加载并执行时,实现如上述全景农场实现方法的步骤。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行如上述全景农场实现方法的步骤。
本发明提供的技术方案带来的有益效果至少包括:
本发明提供的基于VR技术的全景农场实现方法及装置,利用全景摄像机对农场进行全景拍摄,采集农场的全景图像;对于采集的全景图像,基于光学成像规律构建物空间与像空间的光场数据映射关系;基于物空间与像空间的光场数据映射关系,实现全景图像的初步拼接;对初步拼接的全景图像进行精细化调整,得到最终的三维图像。本发明利用人工智能算法降低3D光场图像像差,增大***视角,提高三维图像质量,为全景农场的实现提供了一种可行的方案。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于VR技术的全景农场实现方法的流程图;
图2是本发明实施例提供的光场计算示意图之一;
图3是本发明实施例提供的光场计算示意图之二;
图4是本发明实施例提供的一种基于VR技术的全景农场实现装置的结构示意图;
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中,“示例地”、“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用示例的一词旨在以具体方式呈现概念。此外,在本发明实施例中,“和/或”所表达的含义可以是两者都有,或者可以是两者任选其一。本发明实施例中,“图像”,“图片”有时可以混用,应当指出的是,在不强调其区别时,其所要表达的含义是一致的。本发明实施例中,有时候下标如W1可能会写为非下标的形式如W1,在不强调其区别时,其所要表达的含义是一致的。
本发明实施例提供了一种基于VR技术的全景农场实现方法,该方法可以由电子设备实现,该电子设备可以是终端或服务器。如图1所示,该方法的处理流程可以包括如下的步骤:
S1、利用全景摄像机对农场进行全景拍摄,采集农场的全景图像。
作为本发明的一种可选实施方式,所述全景摄像机包括8个镜头,每个镜头都拥有8K摄像能力,能够实现全景8K视频录制。所述全景摄像机内置FlowState防抖模块,可稳定拍摄高分辨率图像和视频。并且,所述全景摄像机支持HDR模式,使图像在不同光线条件下保持细节丰富和色彩饱满,并支持全景实时预览,可通过手机或平板连接,实时查看全景画面,方便取景和调整。
S2、对于采集的全景图像,基于光学成像规律构建物空间与像空间的光场数据映射关系。
光场数据映射的基本原理如图2所示。全景摄像机包括柱透镜阵列,柱透镜阵列包括多个透镜,即图2中的悬浮透镜,或称柱透镜,本文中均表示一个意思。
选用右手坐标系,令x轴与透镜的光轴重合,坐标原点为O点;P为物空间光场中任意一点,其位置矢量记为T,其初始光线方向记为单位矢量Q;初始光线经过透镜的折射点记为P’;
设透镜折射面顶点为O’,与透镜折射面相切的轴为y’轴,透镜折射面的曲率半径为r;由O’向初始光线作垂线,相交与点G,其位置矢量表示为M,折射点P’处的法线的单位矢量记为Q’;
那么对于任意点,能够建立物空间光场数据和像空间光场数据之间的映射关系。
上述过程可以描述为:确定柱透镜阵列的焦平面,设定光线的单位向量,按照透镜成像规则,通过直线表达光路,并进行光路计算;遍历物空间中的空间点集合,寻找出对应的像空间点,最终实现物-像空间数据映射。
作为本发明的一种可选实施方式,可以通过拍摄的全景图像中的像空间点,构造与物空间点的映射关系,从而实现全景图像的拼接。
具体地,如图3所示,设像空间透镜左折射面顶点为O0,物空间透镜右折射面顶点为O1,物空间透镜左折射面顶点为O2;
对于像空间任一点P0,记为,坐标为(x0,y0,z0),T0代表点P0的位置矢量,的单位矢量Q0表示为(α0,β0,γ0);点P0在物空间的映射点记为P3;设点P1和点P2是位于P0和P3之间光路上的点,分别记为/>和/>,坐标分别为(x1,y1,z1)和(x2,y2,z2);
例如,P2在P3引出的光路(虚线)上,位于透镜中线以下,中间阴影虚线部分以左,P1在P0引出的光路(实线)上,位于透镜中线以下,中间阴影虚线部分以右;
的单位矢量Q1表示为(α1,β1,γ1),/>的单位矢量Q2表示为(α2,β2,γ2),t1、t2分别表示O1、O2到透镜中心的垂直距离;
l1和l2分别表示物距和像距,点P3即是待求解的物空间中的未知点;
根据光学成像规律,在多向背光单元里,像素点被放置在柱透镜节点上,通过一个单位向量来描述像素点的发射光线经过柱透镜后的出射点,得到以下公式:
其中,T1表示点P1的位置矢量,T2表示点P2的位置矢量,T3表示点P3的位置矢量,i为单位矢量;M1表示由O1向初始光线方向作垂线,相交与G1点后的位置矢量,O1所在折射面的曲率半径为r1;M2表示由O2向初始光线方向作垂线,相交与G2点后的位置矢量,O2所在折射面的曲率半径为r2;
d1和d2是根据拍摄的全景图像自动测得的中间参数;
n表示像空间与透镜之间的介质折射率,n’表示透镜的折射率;
对T1和Q1进行求解如下:
的单位矢量Q0表示为(α0,β0,γ0),因此α0、β0、γ0分别代表Q0的三维坐标,ρ1为O1所在折射面的曲率半径r1的倒数,即O1所在折射面的曲率;
为了使图像各点定位更准确,进一步限定如下:
其中,cosI表示坐标扭矩变换,cosI’表示坐标位移变换;
采用与求解T1和Q1同样的方法,得到T2和Q2,之后求得T3如下:
其中,f为透镜的焦距,,n”表示物空间与透镜之间的介质折射率,ρ2为O2所在折射面的曲率半径r2的倒数,即O2所在折射面的曲率;ω为参数,取值范围为[0,1];
并且,;
由此,求解出点P3的坐标(x3,y3,z3)。
以上的步骤可以描述为:使用嵌套循环来遍历多维空间,每个循环对应一个维度的遍历。对于三维空间,可以使用两个嵌套循环分别遍历 x,y,z方向的坐标,在每个空间点处,进行上述公式中描述的算法,计算光线的路径,通过有效地遍历空间点集合,可以实现光场数据空间的映射和重构,得到映射模型。
在无人农场建设中,可以通过上述模型计算水肥一体化装置,传感器等关键物体与图像之间的映射关系,可有效改善像差,优化图像,为图像拼接做准备。
S3、基于物空间与像空间的光场数据映射关系,实现全景图像的初步拼接。
遍历像空间点集合,对每个像空间点进行映射关系的计算,得到对应的物空间点,完成物空间与像空间光场数据的映射和重构,进而实现全景图像的初步拼接。
S4、对初步拼接的全景图像进行精细化调整,得到最终的三维图像。
将初步拼接的全景图像分别绕其中心点旋转,直至全景摄像机镜头正面面对的方向,完成拼接并得到最终的三维图像。
具体地,无论旋转角度为多少度,当旋转至镜头正面面对的方向时,其仍是标准的正直摄影,视轴相互平行,且相机坐标系中心到大地平面的距离相等,因此,全景图像的精细化拼接可认为是刚体平移变化。
设其中两幅全景图像分别为第一图像W1和第二图像W2,调整后,第二图像W2中的任一点通过下式计算其在第一图像W1中的坐标:
其中,第一图像W1和第二图像W2的中心点的坐标分别是(k1,q1)、(k2,q2),全景摄像机的每个像元尺寸是dx×dy,Hrigid表示刚性变换矩阵,offset_k代表在x方向的平移偏转量,offset_2q代表在y方向上平移偏转量的平方。
通过上述操作,即可实现多幅全景图像的精准拼接,从而为全景农场的实现提供一种可行的方案。
相应地,本发明的实施例还提供了一种基于VR技术的全景农场实现装置,如图4所示,该装置包括:
采集模块201,用于利用全景摄像机对农场进行全景拍摄,采集农场的全景图像;
计算模块202,用于对于采集的全景图像,基于光学成像规律构建物空间与像空间的光场数据映射关系;
第一拼接模块203,用于基于物空间与像空间的光场数据映射关系,实现全景图像的初步拼接;
第二拼接模块204,用于对初步拼接的全景图像进行精细化调整,得到最终的三维图像。
为了便于说明,图4仅示出了该装置的主要部件。本实施例的装置,可以用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
在示例性实施例中,本发明还提供一种电子设备,所述电子设备包括:
处理器;
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器加载并执行时,实现如上述基于VR技术的全景农场实现方法的步骤。
图5是本发明实施例提供的一种电子设备的结构示意图,如图5所示,电子设备300可以包括处理器3001和存储器3002。可选地,电子设备300还可以包括收发器3003。其中,处理器3001与存储器3002以及收发器3003,如可以通过通信总线连接。存储器3002上存储有计算机可读指令,所述计算机可读指令被处理器3001执行时,实现如上述基于VR技术的全景农场实现方法的步骤。
在具体的实现中,作为一种实施例,处理器3001可以包括一个或多个CPU,例如图5中所示出的CPU0和CPU1。
在具体实现中,作为一种实施例,电子设备300也可以包括多个处理器,例如图5中所示的处理器3001和处理器3004。这些处理器中的每一个可以是一个单核处理器(single-CPU),也可以是一个多核处理器(multi-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
其中,所述存储器3002用于存储执行本发明方案的软件程序,并由处理器3001来控制执行,具体实现方式可以参考上述方法实施例,此处不再赘述。
收发器3003,用于与网络设备通信,或者与终端设备通信。
可选地,收发器3003可以包括接收器和发送器。其中,接收器用于实现接收功能,发送器用于实现发送功能。
可选地,收发器3003可以和处理器3001集成在一起,也可以独立存在,并通过电子设备300的接口电路与处理器3001耦合,本发明实施例对此不作具体限定。
需要说明的是,图5中示出的电子设备300的结构并不构成对该电子设备的限定,实际的电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。此外,电子设备300的技术效果可以参考上述方法实施例的技术效果,此处不再赘述。
在示例性实施例中,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上述基于VR技术的全景农场实现方法的步骤。例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
在说明书中提到“一个实施例”、“实施例”、“示例性实施例”、“一些实施例”等指示所述的实施例可以包括特定特征、结构或特性,但未必每个实施例都包括该特定特征、结构或特性。另外,在结合实施例描述特定特征、结构或特性时,结合其它实施例(无论是否明确描述)实现这种特征、结构或特性应在相关领域技术人员的知识范围内。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系,但也可能表示的是一种“和/或”的关系,具体可参考前后文进行理解。
本发明中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a, b, c, a-b, a-c, b-c, 或a-b-c,其中a,b,c可以是单个,也可以是多个。
应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解,在以下本发明优选实施例中详细说明了具体的细节,而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外,为了避免对本发明的实质造成不必要的混淆,并没有详细说明众所周知的方法、过程、流程、元件和电路等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于VR技术的全景农场实现方法,其特征在于,包括以下步骤:
S1、利用全景摄像机对农场进行全景拍摄,采集农场的全景图像;
S2、对于采集的全景图像,基于光学成像规律构建物空间与像空间的光场数据映射关系;
S3、基于物空间与像空间的光场数据映射关系,实现全景图像的初步拼接;
S4、对初步拼接的全景图像进行精细化调整,得到最终的三维图像。
2.根据权利要求1所述的全景农场实现方法,其特征在于,所述步骤S1中,所述全景摄像机包括多个镜头,能够实现全景8K视频录制,内置FlowState防抖模块,且支持HDR模式。
3.根据权利要求1所述的全景农场实现方法,其特征在于,所述全景摄像机包括柱透镜阵列,所述柱透镜阵列包括多个透镜,所述步骤S2中:
选用右手坐标系,令x轴与透镜的光轴重合,坐标原点为O点;P为物空间光场中任意一点,其位置矢量记为T,其初始光线方向记为单位矢量Q;初始光线经过透镜的折射点记为P’;
设透镜折射面顶点为O’,与透镜折射面相切的轴为y’轴,透镜折射面的曲率半径为r;由O’向初始光线作垂线,相交与点G,其位置矢量表示为M,折射点P’处的法线的单位矢量记为Q’;
那么对于任意点,能够建立物空间光场数据和像空间光场数据之间的映射关系。
4.根据权利要求3所述的全景农场实现方法,其特征在于,所述步骤S2具体包括:
设像空间透镜左折射面顶点为O0,物空间透镜右折射面顶点为O1,物空间透镜左折射面顶点为O2;
对于像空间任一点P0,记为,坐标为(x0,y0,z0),T0代表点P0的位置矢量,/>的单位矢量Q0表示为(α0,β0,γ0);点P0在物空间的映射点记为P3;设点P1和点P2是位于P0和P3之间光路上的点,分别记为/>和/>,坐标分别为(x1,y1,z1)和(x2,y2,z2);
;
;
的单位矢量Q1表示为(α1,β1,γ1),/>的单位矢量Q2表示为(α2,β2,γ2),t1、t2分别表示O1、O2到透镜中心的垂直距离;
l1和l2分别表示物距和像距,点P3即是待求解的物空间中的未知点;
根据光学成像规律,得到以下公式:
;
其中,T1表示点P1的位置矢量,T2表示点P2的位置矢量,T3表示点P3的位置矢量,i为单位矢量;M1表示由O1向初始光线方向作垂线,相交与G1点后的位置矢量,O1所在折射面的曲率半径为r1;M2表示由O2向初始光线方向作垂线,相交与G2点后的位置矢量,O2所在折射面的曲率半径为r2;
;
d1和d2是根据拍摄的全景图像自动测得的中间参数;
;
n表示像空间与透镜之间的介质折射率,n’表示透镜的折射率;
对T1和Q1进行求解如下:
;
的单位矢量Q0表示为(α0,β0,γ0),因此α0、β0、γ0分别代表Q0的三维坐标,ρ1为O1所在折射面的曲率半径r1的倒数,即O1所在折射面的曲率;
为了使图像各点定位更准确,进一步限定如下:
;
其中,cosI表示坐标扭矩变换,cosI’表示坐标位移变换;
采用与求解T1和Q1同样的方法,得到T2和Q2,之后求得T3如下:
;
其中,f为透镜的焦距,,n”表示物空间与透镜之间的介质折射率,ρ2为O2所在折射面的曲率半径r2的倒数,即O2所在折射面的曲率;ω为参数,取值范围为[0,1];
并且,;
由此,求解出点P3的坐标(x3,y3,z3)。
5.根据权利要求4所述的全景农场实现方法,其特征在于,所述步骤S3具体包括:
遍历像空间点集合,对每个像空间点进行映射关系的计算,得到对应的物空间点,完成物空间与像空间光场数据的映射和重构,进而实现全景图像的初步拼接。
6.根据权利要求1所述的全景农场实现方法,其特征在于,所述步骤S4具体包括:
将初步拼接的全景图像分别绕其中心点旋转,直至全景摄像机镜头正面面对的方向,完成拼接并得到最终的三维图像。
7.根据权利要求6所述的全景农场实现方法,其特征在于,设其中两幅全景图像分别为第一图像W1和第二图像W2,调整后,第二图像W2中的任一点通过下式计算其在第一图像W1中的坐标:
;
其中,第一图像W1和第二图像W2的中心点的坐标分别是(k1,q1)、(k2,q2),全景摄像机的每个像元尺寸是dx×dy,Hrigid表示刚性变换矩阵,offset_k代表在x方向的平移偏转量,offset_2q代表在y方向上平移偏转量的平方。
8.一种基于VR技术的全景农场实现装置,所述装置用于实现如权利要求1至7中任一项所述的方法,其特征在于,所述装置包括:
采集模块,用于利用全景摄像机对农场进行全景拍摄,采集农场的全景图像;
计算模块,用于对于采集的全景图像,基于光学成像规律构建物空间与像空间的光场数据映射关系;
第一拼接模块,用于基于物空间与像空间的光场数据映射关系,实现全景图像的初步拼接;
第二拼接模块,用于对初步拼接的全景图像进行精细化调整,得到最终的三维图像。
9.一种电子设备,其特征在于,所述电子设备包括:
处理器;
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器加载并执行时,实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1至7中任一项所的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410487231.3A CN118118645B (zh) | 2024-04-23 | 2024-04-23 | 一种基于vr技术的全景农场实现方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410487231.3A CN118118645B (zh) | 2024-04-23 | 2024-04-23 | 一种基于vr技术的全景农场实现方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118118645A true CN118118645A (zh) | 2024-05-31 |
CN118118645B CN118118645B (zh) | 2024-07-19 |
Family
ID=91220891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410487231.3A Active CN118118645B (zh) | 2024-04-23 | 2024-04-23 | 一种基于vr技术的全景农场实现方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118118645B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102566251A (zh) * | 2012-01-06 | 2012-07-11 | 浙江大学 | 基于模块化拼接的空间三维显示装置及校正方法 |
CN103971375A (zh) * | 2014-05-22 | 2014-08-06 | 中国人民解放军国防科学技术大学 | 一种基于图像拼接的全景凝视相机空间标定方法 |
CN103971352A (zh) * | 2014-04-18 | 2014-08-06 | 华南理工大学 | 一种基于广角镜头的快速图像拼接方法 |
WO2018068719A1 (zh) * | 2016-10-12 | 2018-04-19 | 腾讯科技(深圳)有限公司 | 一种图像拼接方法及装置 |
CN107977998A (zh) * | 2017-11-30 | 2018-05-01 | 浙江大学 | 一种基于多视角采样的光场校正拼接装置及方法 |
WO2018081924A1 (zh) * | 2016-11-01 | 2018-05-11 | 深圳岚锋创视网络科技有限公司 | 一种全景图像的生成方法、***及拍摄装置 |
CN110099220A (zh) * | 2019-06-17 | 2019-08-06 | 广东中星微电子有限公司 | 一种全景拼接方法及装置 |
-
2024
- 2024-04-23 CN CN202410487231.3A patent/CN118118645B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102566251A (zh) * | 2012-01-06 | 2012-07-11 | 浙江大学 | 基于模块化拼接的空间三维显示装置及校正方法 |
CN103971352A (zh) * | 2014-04-18 | 2014-08-06 | 华南理工大学 | 一种基于广角镜头的快速图像拼接方法 |
CN103971375A (zh) * | 2014-05-22 | 2014-08-06 | 中国人民解放军国防科学技术大学 | 一种基于图像拼接的全景凝视相机空间标定方法 |
WO2018068719A1 (zh) * | 2016-10-12 | 2018-04-19 | 腾讯科技(深圳)有限公司 | 一种图像拼接方法及装置 |
WO2018081924A1 (zh) * | 2016-11-01 | 2018-05-11 | 深圳岚锋创视网络科技有限公司 | 一种全景图像的生成方法、***及拍摄装置 |
CN107977998A (zh) * | 2017-11-30 | 2018-05-01 | 浙江大学 | 一种基于多视角采样的光场校正拼接装置及方法 |
CN110099220A (zh) * | 2019-06-17 | 2019-08-06 | 广东中星微电子有限公司 | 一种全景拼接方法及装置 |
Non-Patent Citations (3)
Title |
---|
徐玮 等: "一种虚拟实景空间的自动生成***", ***仿真学报, vol. 19, no. 2, 31 January 2007 (2007-01-31) * |
解凯 等: "基于图像的虚拟环境建模技术", 高技术通讯, 30 November 2002 (2002-11-30) * |
解凯 等: "基于图像的虚拟环境建模技术", 高技术通讯, 30 November 2022 (2022-11-30) * |
Also Published As
Publication number | Publication date |
---|---|
CN118118645B (zh) | 2024-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112053446B (zh) | 一种基于三维gis的实时监控视频与三维场景融合方法 | |
CN107659774B (zh) | 一种基于多尺度相机阵列的视频成像***及视频处理方法 | |
CN108122191B (zh) | 鱼眼图像拼接成全景图像和全景视频的方法及装置 | |
CN106570938A (zh) | 基于opengl 的全景监控方法及*** | |
CN101908231B (zh) | 处理含有主平面场景的三维点云重建方法和*** | |
US20150103197A1 (en) | Technique for view synthesis | |
US10645364B2 (en) | Dynamic calibration of multi-camera systems using multiple multi-view image frames | |
CN108564617A (zh) | 多目相机的三维重建方法、装置、vr相机和全景相机 | |
JP2017112602A (ja) | パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム | |
CN109615663A (zh) | 全景视频校正方法及终端 | |
CN104778656B (zh) | 基于球面透视投影的鱼眼图像校正方法 | |
CN111161173B (zh) | 图像的校正信息获取、模型构建方法和装置、介质 | |
CN113808220A (zh) | 双目摄像机的标定方法、***、电子设备和存储介质 | |
CN107993276A (zh) | 一种全景图像的生成方法及装置 | |
CN110099220A (zh) | 一种全景拼接方法及装置 | |
CN113643414A (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
CN107341834B (zh) | 一种保持双目视差的全景立体校正方法及*** | |
CN114926612A (zh) | 空中全景图像处理与沉浸式显示*** | |
US20090059018A1 (en) | Navigation assisted mosaic photography | |
CN113436130B (zh) | 一种非结构光场智能感知***与装置 | |
CN118118645B (zh) | 一种基于vr技术的全景农场实现方法及装置 | |
CN112288878B (zh) | 增强现实预览方法及预览装置、电子设备及存储介质 | |
CN113225480A (zh) | 一种图像采集方法、装置、电子设备及介质 | |
CN106803874A (zh) | 一种全景摄像头 | |
CN107527323A (zh) | 镜头畸变的标定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |