CN109474783B - 一种环境光场采集***及方法 - Google Patents

Abstract

一种环境光场采集***，包括，光场采集装置及客户端，其中，所述光场采集装置，其接收所示客户端的远程控制，为相机提供一个球面的拍摄条件，实现半径可变的球面的环境光场的采集；所述客户端，其根据用户的操作，对所述光场采集装置的水平角旋转运动、仰角旋转运动和拍摄进行远程控制。本发明还提供一种环境光场采集方法，采用二自由度机械臂挂载相机的光场采集装置，使相机按照预设轨迹运动，采集场景不同角度的图像，并通过web服务提供接口进行远程控制，采集球面半径可变、拍摄过程全自动、支持远程遥控，可降低光场采集操作难度，降低设备成本，提高采集精度。

Description

一种环境光场采集***及方法

技术领域

本发明涉及环境光场采集技术领域，尤其涉及一种环境光场采集***及方法。

背景技术

光场采集与建模技术是对真实场景进行三维数字建模和重现的一种重要技术。进行光场采集时记录下场景中各个位置和方向的光信息，再在绘制时根据视点、成像模型信息通过数字处理生成新的图像。相比传统的拍摄环境全景图的虚拟现实建模与绘制方法，光场模型能提供在场景中进行6自由度漫游的体验，具有更强的沉浸感和空间感，能给观看者直观的空间感知；相比传统的三维几何建模与实时绘制方法，光场采集与建模方法能表现出环境中不同种类材质物体与光的真实交互，逼真地还原、重现真实场景。因此采集环境光场在影视娱乐、文化传播、文物保护、智慧城市等领域有着广泛的应用。现有技术中，光场采集主要有如下几种方式：

相机阵列，如平面相机阵列、球形相机阵列等，一般使用按照一定方式排布的十几个到上百个不等数量的相机，从不同位置同时采集场景的照片或视频，需要特殊采集硬件，成本高、体积大；

微镜头阵列，如微透镜掩膜等，通过在传感器前加入特殊微透镜阵列，构造特殊相机，采集场景一定范围的光场图像或视频，只能采集比较小范围的光场，设备制造成本很高；

移动单个相机，从多个位置拍摄物体或场景图像，对采集人员操作技能要求高，采集时间长，费时费力。

发明内容

为了解决现有技术存在的不足，本发明提供一种环境光场采集***及方法，采用二自由度机械臂挂载相机的光场采集装置，使相机按照预设轨迹运动，采集场景不同角度的图像，并通过web服务提供接口，可用计算机或移动设备远程控制。

为了达到上述目的，本发明提供的环境光场采集***，包括，光场采集装置及客户端，其中，

所述光场采集装置，其接收所示客户端的远程控制，为相机提供一个球面的拍摄条件，实现半径可变的球面的环境光场的采集；

所述客户端，其根据用户的操作，对所述光场采集装置的水平角旋转运动、仰角旋转运动和拍摄进行远程控制。

进一步地，所述客户端为智能移动终端或个人电脑。

进一步地，所述光场采集装置，包括，支撑结构、水平角旋转结构、仰角旋转结构、数控单元，以及通信接口单元，其中，

所述支撑结构，其将拍摄球面的球心抬高至人眼高度；

所述水平角旋转结构，为所述光场采集装置提供水平面的旋转自由度；

所述仰角旋转结构，为所述光场采集装置提供竖直平面的旋转自由度；

所述数控单元，其通过所述通信接口单元与所述客户端进行信息交互，接收所述客户端请求，控制所述光场采集装置的水平旋转、仰角旋转和相机的拍摄。

进一步地，所述数控单元，包括，电机控制模块、相机控制模块和电源单元，其中，

所述电机控制模块，其控制所述光场采集装置的水平旋转和仰角旋转；

所述相机控制模块，其控制相机在每次电平来临时进行拍摄；

所述电源单元，其为电机及其驱动器供电。

进一步地，所述支撑结构，包括，可伸缩底部支架和门型支架，为所述水平角旋转结构和仰角旋转结构提供支承和安装空间。

进一步地，所述水平角旋转结构，包括，水平角旋转电机、水平仪、水平旋转台，其中，所述水平角旋转电机和所述水平仪固定安装在所述水平旋转台的上表面，所述电源单元放置于所述水平旋转台上表面、所述支撑结构的门型支架中间。

进一步地，所述水平旋转台，进一步包括，水平旋转台上壳体、大齿轮、小齿轮、中轴、轴承、自锁紧螺母垫圈、轴承、水平旋转台下壳体、底部支架转接件，其中，

所述底部支架转接件、水平旋转台下壳体以及大齿轮固定在一起，并通过所述底部支架转接件安装至所述可伸缩底部支架上；

所述轴承卡在所述水平旋转台下壳体内部靠外一侧，嵌套于所述中轴和所述大齿轮之间；

所述水平旋转台上壳体固定在所述中轴上，所述水平角旋转电机安装在所述水平旋转台上壳体上表面，所述齿轮安装在所述水平角旋转电机转轴上。

更进一步地，所述仰角旋转结构，包括，仰角旋转电机、电机安装板、小带轮、同步带、大带轮、连轴件、旋转臂、直线导轨、伸缩臂、相机固定连接件、相机固定模块和相机，其中，

所述小带轮、同步带和大带轮共同构成减速比1：5的齿轮副，给旋转臂提供足够的扭矩力；

所述连轴件，其将所述旋转臂与所述大带轮固定；所述旋转臂的两端分别安装有所述直线导轨；

所述直线导轨上安装有所述伸缩臂，所述伸缩臂的末端通过所述相机固定连接件安装所述相机固定模块；

所述小带轮带动所述齿轮带和所述大带轮形成运动副，再通过所述连轴件将所述大带轮的旋转运动同轴传递给所述旋转臂，使臂末端的相机能够沿着竖直平面的圆形轨迹运动。

为了达到上述目的，本发明还提供一种光场采集方法，包括以下步骤，

客户端接收用户的输入，设置采集范围参数；

客户端采集光场采集装置的运行状态信息；

光场采集装置接收所述客户端的远程控制，调整水平旋转角度和仰角旋转角度，进行光场采集。

进一步地，其特征在于，所述采集范围参数，包括，方位角间隔、仰角间隔、方位角采集范围，以及仰角采集范围。

进一步地，所述光场采集装置的运行状态信息，包括，当前电机的位置、速度、传感器输入、采集完成百分比以及预计剩余时间。

更进一步地，所述光场采集装置接收所述客户端的远程控制，调整水平旋转角度和仰角旋转角度，进行光场采集的步骤，包括：

根据用户给定采样的方位角间隔

和仰角间隔

，以及方位角采集范围

和仰角采集范围

，进行内层、外层循环控制机械臂旋转；

所述内层循环，调整水平方位角，每层共旋转

次，奇数层每次水平旋转

度，偶数层每次水平旋转度；外层循环调整仰角，共旋转

次，每次旋转

度；当电机旋转到位后，发起相机快门指令请求，进入下一次循环。

本发明的一种环境光场采集***及方法，采用二自由度机械臂挂载相机的光场采集装置，使相机按照预设轨迹运动，采集场景不同角度的图像，并通过web服务提供接口进行远程控制，采集球面半径可变、拍摄过程全自动、支持远程遥控，可降低光场采集操作难度，降低设备成本，提高采集精度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明的远程控制环境光场采集***结构示意图；

图2为根据本发明的光场采集装置立体结构示意图；

图3为根据本发明的光场采集装置侧视图；

图4为根据本发明的光场采集装置水平旋转台结构示意图；

图5为根据本发明的环境光场采集方法流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为根据本发明的远程控制环境光场采集***结构示意图，如图1所示，本发明的本发明的远程控制环境光场采集***，包括，光场采集装置10、客户端20，其中，

光场采集装置10，其接收远程客户端20的控制，为相机提供一个球面的拍摄条件，实现高效率的半径可变的球面的环境光场的采集。

客户端20，其用于实现基于Web服务的远程控制微服务；基于Web的HTML5静态页面，为用户提供远程控制用户界面，根据用户的操作向光场采集装置10远程控制微服务提交请求，对光场采集装置10的运动和拍摄进行远程控制。优选地，本发明的客户端20，为包括智能手机、平板电脑等智能移动终端或个人电脑。

光场采集装置10的运动包括，水平角旋转运动，以及仰角旋转运动。

本发明的光场采集装置10，包括，支撑结构、水平角旋转结构、仰角旋转结构、数控单元，以及通信接口单元，其中，

支撑结构，其将拍摄球面的球心抬高至人眼高度附近。

水平角旋转结构，为光场采集装置除底部支撑结构以外的结构提供水平面的旋转自由度。

仰角旋转结构，包含可伸缩机械臂和相机固定装置，仰角旋转结构可为机械臂和相机固定装置提供竖直平面的旋转自由度。

水平角旋转结构、仰角旋转结构相互配合，为相机提供一个球面的拍摄条件，以此实现高效率的半径可变的球面的环境光场采集。

数控单元，其通过通信接口单元接收远程客户端20的请求，控制光场采集装置10的水平旋转、仰角旋转和相机的拍摄。

本发明的数控单元，包括：

电机控制模块，本发明使用一种嵌入式控制终端作为主控芯片，通过RS485总线传输运动控制指令给两个控制不同方向的步进电机驱动器，控制光场采集装置10的水平旋转、仰角旋转。

相机控制模块，本发明使用上述嵌入式控制终端，从“通用输入/输出”口引出杜邦线使用电平触发照相机控制器触发快门。相机控制模块控制相机在每次电平来临时进行拍摄。

电源单元，本发明使用蓄电池作为主电源对电机及其驱动器供电。同时，本发明使用降压模块对蓄电池降压后，对嵌入式控制终端和照相机分别进行充电。

图2为根据本发明的光场采集装置立体结构示意图，图3为根据本发明的环境光场采集装置侧视图，如图2-3所示，本发明的光场采集装置，包括，可伸缩底部支架1、相机固定模块2、相机固定连接件3、水平角旋转电机4、伸缩臂5、仰角旋转电机6、直线导轨7、相机8、大带轮9、同步带11、门型支架12、电源13、水平仪14、水平旋转台15、电机安装版16、旋转臂17、连轴件18、小带轮19，其中，

可伸缩底部支架1和门型支架12组成了本发明的光场采集装置的支撑机构，可伸缩底部支架1采用了测绘三脚架，门型支架12则采用了三块铝型材。支撑结构的主要作用是将拍摄球面的球心抬高至人眼高度，以及给水平角旋转部分和仰角旋转部分的零件提供支承和安装空间。

水平角旋转电机4、电源13、水平仪14、水平旋转台15组成了本发明的光场采集装置的水平角旋转结构，水平角旋转电机4和水平仪14固定安装在水平旋转台15的上表面，电源13放置于水平旋转台上表面、门型支架12中间。

仰角旋转电机6、电机安装板16、小带轮19、同步带11、大带轮9、连轴件18、旋转臂17、直线导轨7、伸缩臂5、相机固定连接件3、相机固定模块2和相机8组成了本发明的光场采集装置的仰角旋转结构。小带轮19、同步带11和大带轮9共同构成减速比1：5的齿轮副，给旋转臂提供足够的扭矩力。连轴件18将旋转臂17的旋转轴心与大带轮9同轴固定。旋转臂17的臂两端固定安装2个直线导轨7，直线导轨7的自锁紧滑块上安装伸缩臂5，伸缩臂5的末端通过相机固定连接件3安装相机固定模块2。直线导轨7上的自锁紧滑块可手动进行位置调节来达到使伸缩臂5伸长至不同位置的作用，相机固定模块2提供自由安装和拆卸相机的功能。当仰角旋转电机6开始运动，小带轮19带动齿轮带11和大带轮9形成运动副，再通过连轴件18将大带轮9的旋转运动同轴传递给旋转臂17，使臂末端的相机8能够沿着竖直平面的圆形轨迹运动。

在旋转臂17上，还安装有定位用光电传感器（图中未示出），在每次初始化时确定旋转臂的位置为初始位置。

图4为根据本发明的光场采集装置水平旋转台结构示意图，如图3所示，本发明的光场采集装置水平旋转台，包括，水平旋转台上壳体24、大齿轮23、小齿轮25、中轴22、轴承26、自锁紧螺母垫圈21、轴承20、水平旋转台下壳体27、底部支架转接件28，其中，

底部支架转接件28、水平旋转台下壳体27以及大齿轮23由螺丝固定在一起，并通过底部支架转接件28将上述部分安装至可伸缩底部支架1上。轴承20卡在下壳体内部靠外一侧，承担装置旋转的纵向扭矩力。承担横向扭矩力的轴承26经过过盈配合嵌套于中轴22和大齿轮23之间，自锁紧螺母垫圈21进一步将轴承26紧固在中轴22的固定位置。上壳体24通过中间的四个螺丝孔固定在中轴22上，水平角旋转电机4倒置安装在上壳体24上表面，并在另一侧将齿轮25安装在电机转轴上，完成水平旋转台15的安装。当水平角旋转电机转动时，小齿轮25与大齿轮23产生相对运动，带动水平角旋转电机4，上壳体24，中轴22以及安装在上壳体上的所有结构绕大齿轮圆心轴产生水平旋转。

在固定好伸缩臂5的位置后，通过水平角旋转结构和仰角旋转结构的配合运动，可以达到使相机8在固定半径的球面的运动，来实现球面的环境光场采集行为。

本发明的数控单元使用嵌入式控制终端作为主控制器，通过步进电机驱动器对两个步进电机进行运动控制。嵌入式控制终端通过RS485通讯总线对步进电机驱动器传输控制信号，使其分别对各自控制的步进电机进行驱动。两个步进电机在驱动下分别带动竖直面和水平面方向的运动。具体运动方式为：步进电机带动竖直面方向水平旋转台运动5度后水平面方向再运动。水平面方向使用两个机械臂结构，以5度为一个单位，运动从初始位置到竖直方向为止，每一个基本单位将由嵌入式控制终端控制相机进行一次拍摄。

本发明对相机专用控制器进行了一定程度上的改装。具体改装方案为将相机专用控制器下方的四脚轻触开关的低电平位置引出，连结嵌入式微型终端的GND，同时将高电平脚引出，连接嵌入式微型终端的通用输入输出接口。使得相机专用控制器的快门触发受嵌入式控制终端的控制。为防止照相机在拍摄过程中出现电量不足中断拍摄的问题，使用了24V-5V的直流降压模块，在对蓄电池进行降压处理后对照相机进行充电。

在本实施方案中，本发明使用的嵌入式控制终端为Raspberry Pi 3B，使用的拍摄设备为Gopro Hero 5 。

图5为根据本发明的环境光场采集方法流程图，下面将参考图5，对本发明的环境光场采集方法进行详细描述。

首先，在步骤501，客户端10进行初始化，并启动、中止、设置采集范围参数。

在该步骤中，客户端10用JavaScript编写脚本，当用户点击用户界面中的启动、中止等功能按钮时，根据用户设置的参数和要求的装置动作，用xmlprc客户端库连接采集控制Web服务，发起控制请求。

在步骤502，客户端10采集光场采集装置20的运行状态信息。

在该步骤中，客户端10以一定时间间隔向采集控制Web服务发起状态查询请求，得到当前电机的位置、速度、传感器输入等运行状态信息；如果在采集过程进行中，还同时查询得到采集完成百分比以及预计剩余时间。

在步骤502，光场采集装置20接收客户端10的远程控制指令进行解析，根据用户给定的采集范围参数，调整水平旋转角度和仰角旋转角度，进行光场采集。

该步骤中，光场采集装置20根据用户给定采样的方位角间隔和仰角间隔、方位角采集范围，以及仰角采集范围，控制机械臂旋转，调整方位角和仰角。

本发明实施例提供一种远程控制环境光场采集方法，该方法包括：

实现两个线程，线程1为电机、相机通讯线程，线程2为控制逻辑线程；

线程1中实现嵌入式***与VDSM电机驱动器的基于串口通讯python程序，得到用户指令后，将指令按照电机驱动器协议分解、翻译为初始化、设置参数、使能、加速旋转、匀速旋转、减速旋转、停机等指令字符串；

通过串口向每个电机驱动器发送用户指定的指令字符串，然后同步读取电机驱动器的反馈字节流；

按照电机驱动通信协议解析VDSM电机驱动器的反馈字节流，得到当前电机的位置、速度、传感器输入等运行状态；

将每个电机的运行状态保存在线程安全的数据结构中；

线程1中还要实现嵌入式***与TTL相机快门线控制电路的通讯python程序，得到控制逻辑程序的快门指令后，通过串口向TTL控制电路发送高电平控制信号，并保持给定时间，再恢复低电平信号，触发快门。

线程2中实现光场采集的控制逻辑，根据用户给定采样的方位角间隔

和仰角间隔

，以及方位角采集范围

和仰角采集范围

，用两重循环控制机械臂旋转；内层循环调整水平方位角，每层共旋转

次，奇数层每次水平旋转

度，偶数层每次水平旋转度；外层循环调整仰角，共旋转

次，每次旋转

度；每次旋转向线程1发起旋转指令请求，然后读取线程安全的状态数据结构中存储的电机状态，等待电机旋转到位；当电机旋转到位后，向线程1发起相机快门指令请求，然后等待若干倍快门时间（如：等待3倍快门时间），确保照相机完成图片采集后，进入下一次循环。

本发明实施例提供一种将采集控制程序接口封装为Web服务的方法，该方法包括：

在嵌入式***上使用python 3的xmlrpc.server模块创建Web服务；

在服务器端程序设置中允许跨域CORS请求，以允许Web客户端页面直接调用；

将上述远程控制程序中初始化、设置旋转采集范围和间隔、启动、中止的逻辑接口注册为Web服务远程调用函数；

启动Web服务，监听网络指定端口p0。

本发明实施例提供一种采集装置远程控制Web用户界面的方法，该方法包括：

用HTML构造静态用户界面页，课包含启动、中止、设置采集范围参数等输入HTML控件，以及采集装置各种运行状态指示控件；

用JavaScript编写脚本，当用户点击用户界面中的启动、中止等功能按钮时，根据用户设置的参数和要求的装置动作，用xmlprc客户端库连接采集控制Web服务，发起控制请求；在JavaScript脚本中以一定时间间隔向采集控制Web服务发起状态查询请求，得到当前电机的位置、速度、传感器输入等运行状态信息；如果在采集过程进行中，还同时查询得到采集完成百分比以及预计剩余时间；

在客户端HTML页面中更新对应的***状态指示控件；

在嵌入式***中启动nginx或类似Web服务器程序，监听HTTP默认80端口，将上述用户界面页作为默认页面发布。

本发明的远程控制环境光场采集***及方法，基于web service进行远程控制光场采集装置。光场采集装置通过两个自由度的旋转实现少量相机的球面的光场采集功能，操作人员可使用手机或者计算机登陆操作网页，远程对装置进行操作。本发明的机械臂将在嵌入式控制终端的控制下，对环境进行精确地光场信息采集。

本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种环境光场采集***，包括，光场采集装置及客户端，其特征在于，

所述光场采集装置，其接收所示客户端的远程控制，为相机提供一个球面的拍摄条件，实现半径可变的球面的环境光场的采集；

所述光场采集装置，包括仰角旋转结构，所述仰角旋转结构，为所述光场采集装置提供竖直平面的旋转自由度；

所述仰角旋转结构，包括，仰角旋转电机、电机安装板、小带轮、同步带、大带轮、连轴件、旋转臂、直线导轨、伸缩臂、相机固定连接件、相机固定模块和相机，其中，

所述小带轮、同步带和大带轮共同构成减速比1：5的齿轮副，给旋转臂提供足够的扭矩力；

所述连轴件，其将所述旋转臂与所述大带轮固定；所述旋转臂的两端分别安装有所述直线导轨；

所述直线导轨上安装有所述伸缩臂，所述伸缩臂的末端通过所述相机固定连接件安装所述相机固定模块；

所述小带轮带动所述齿轮带和所述大带轮形成运动副，再通过所述连轴件将所述大带轮的旋转运动同轴传递给所述旋转臂，使臂末端的相机能够沿着竖直平面的圆形轨迹运动；

所述客户端，其根据用户的操作，对所述光场采集装置的水平角旋转运动、仰角旋转运动和拍摄进行远程控制。

2.根据权利要求1所述的环境光场采集***，其特征在于，所述客户端为智能移动终端或个人电脑。

3.根据权利要求1所述的环境光场采集***，其特征在于，所述光场采集装置，还包括，支撑结构、水平角旋转结构、数控单元，以及通信接口单元，其中，

所述支撑结构，其将拍摄球面的球心抬高至人眼高度；

所述水平角旋转结构，为所述光场采集装置提供水平面的旋转自由度；

所述数控单元，其通过所述通信接口单元与所述客户端进行信息交互，接收所述客户端请求，控制所述光场采集装置的水平旋转、仰角旋转和相机的拍摄。

4.根据权利要求3所述的环境光场采集***，其特征在于，所述数控单元，包括，电机控制模块、相机控制模块和电源单元，其中，

所述电机控制模块，其控制所述光场采集装置的水平旋转和仰角旋转；

所述相机控制模块，其控制相机在每次电平来临时进行拍摄；

所述电源单元，其为电机及其驱动器供电。

5.根据权利要求3所述的环境光场采集***，其特征在于，所述支撑结构，包括，可伸缩底部支架和门型支架，为所述水平角旋转结构和仰角旋转结构提供支承和安装空间。

6.根据权利要求4所述的环境光场采集***，其特征在于，所述水平角旋转结构，包括，水平角旋转电机、水平仪、水平旋转台，其中，所述水平角旋转电机和所述水平仪固定安装在所述水平旋转台的上表面，所述电源单元放置于所述水平旋转台上表面、所述支撑结构的门型支架中间。

7.根据权利要求5所述的环境光场采集***，其特征在于，所述水平旋转台，进一步包括，水平旋转台上壳体、大齿轮、小齿轮、中轴、轴承、自锁紧螺母垫圈、轴承、水平旋转台下壳体、底部支架转接件，其中，

所述底部支架转接件、水平旋转台下壳体以及大齿轮固定在一起，并通过所述底部支架转接件安装至所述可伸缩底部支架上；

所述轴承卡在所述水平旋转台下壳体内部靠外一侧，嵌套于所述中轴和所述大齿轮之间；

所述水平旋转台上壳体固定在所述中轴上，所述水平角旋转电机安装在所述水平旋转台上壳体上表面，所述齿轮安装在所述水平角旋转电机转轴上。

8.一种环境光场采集方法，应用到权利要求1-7任一项所述的环境光场采集***，其特征在于，包括以下步骤：

客户端接收用户的输入，设置采集范围参数；

客户端采集光场采集装置的运行状态信息；

光场采集装置接收所述客户端的远程控制，调整水平旋转角度和仰角旋转角度，进行光场采集。

9.根据权利要求8所述的环境光场采集方法，其特征在于，所述采集范围参数，包括，方位角间隔、仰角间隔、方位角采集范围，以及仰角采集范围。

10.根据权利要求8所述的环境光场采集方法，其特征在于，所述光场采集装置的运行状态信息，包括，当前电机的位置、速度、传感器输入、采集完成百分比以及预计剩余时间。

11.根据权利要求8所述的环境光场采集方法，其特征在于，所述光场采集装置接收所述客户端的远程控制，调整水平旋转角度和仰角旋转角度，进行光场采集的步骤，包括：

根据用户给定采样的方位角间隔

和仰角间隔

，以及方位角采集范围

和仰角采集范围

，进行内层、外层循环控制机械臂旋转；

所述内层循环，调整水平方位角，每层共旋转

次，奇数层每次水平旋转

度，偶数层每次水平旋转度；外层循环调整仰角，共旋转

次，每次旋转

度；当电机旋转到位后，发起相机快门指令请求，进入下一次循环。

Images