CN114615425B

CN114615425B - 双目usb相机的控制方法

Info

Publication number: CN114615425B
Application number: CN202210131262.6A
Authority: CN
Inventors: 龚成鹏; 许秋子
Original assignee: Shenzhen Realis Multimedia Technology Co Ltd
Current assignee: Shenzhen Realis Multimedia Technology Co Ltd
Priority date: 2020-12-21
Filing date: 2020-12-21
Publication date: 2024-04-16
Anticipated expiration: 2040-12-21
Also published as: CN112770046A; CN114615424A; CN114615425A; CN114615424B; CN112770046B

Abstract

本发明公开了一种双目USB相机的控制，对双目USB相机的寄存器上的地址和位域值进行设置，实现双目USB相机的控制参数设置；根据寄存器的地址和位域值的含义，编写对外接口，得到控制开发工具包。本发明还公开了一种基于控制开发工具包的双目USB相机的控制的控制方法。本发明通过开发一套红外相机控制开发工具包来对双目红外相机进行参数控制和数据获取，开发工具包的对外接口让开发者更好的去调用，而不用理解底层的功能实现和逻辑设计，通过接口调用来设置相机的各项参数，获取相机当前状态值，使得控制双目USB相机更加方便。

Description

双目USB相机的控制方法

技术领域

本发明涉及双目USB相机控制领域，具体涉及一种双目USB相机的控制SDK(开发工具包)的生成方法及双目USB相机控制方法。

背景技术

随着虚拟现实技术的迅速发展，在文娱行业，低成本小空间的多目相机跟踪定位***越来越受到青睐，但目前尚无相关的开发工具包，使得对多目相机的控制相当不方便。因此，有必要开发一套红外相机控制开发工具包来对双目红外相机进行参数控制和数据获取，输出高质量的数据，实现对反光物体的识别和跟踪。

发明内容

为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种双目USB相机的控制SDK的生成方法，使得控制双目USB相机更加方便。

本发明的目的通过以下技术方案实现：

一种双目USB相机的控制开发工具包的生成方法，对双目USB相机的寄存器上的地址和位域值进行设置，实现双目USB相机的控制参数设置；根据寄存器的地址和位域值的含义，编写对外接口，得到控制开发工具包；

所述对外接口包括双目USB相机设置接口、双目USB相机状态获取接口和双目USB相机数据获取接口。

具体的，所述双目USB相机设置接口包括打开双目USB相机接口、关闭双目USB相机接口、设置双目USB相机帧率接口、设置双目USB相机曝光时间接口、设置双目USB相机LED灯亮度接口、设置双目USB相机阈值接口、设置双目USB相机点坐标数据传输使能接口、设置双目USB相机图像数据传输使能接口和设置双目USB相机点数据镜像使能接口。

具体的，所述双目USB相机状态获取接口包括双目USB相机开启状态获取接口；双目USB相机是否开启点坐标传输获取接口；双目USB相机是否开启图像数据传输获取接口；双目USB相机是否开启点坐标镜像获取接口；双目USB相机的硬件版本信息获取接口；双目USB传感器的分辨率获取接口；双目USB相机传输图像压缩后的分辨率获取接口；双目USB相机的基本参数获取接口。

具体的，所述双目USB相机数据获取接口包括双目USB相机的左右点坐标数据获取接口和双目USB相机的左右图像数据获取接口。

具体的，所述双目USB相机的基本参数包括曝光时间、帧率、LED亮度和阈值。

具体的，所述寄存器的读写操作被封装成两个底层接口。

优选的，所述双目USB相机为红外双目USB相机。

优选的，所述双目USB相机包括左相机、右相机、FPGA芯片、寄存器和USB控制器，其中所述左相机和所述右相机分别与所述FPGA芯片连接，所述USB控制器与所述FPGA芯片连接，所述寄存器与所述FPGA芯片连接。

本发明的另一目的在于提供一种基于上述控制SDK的双目USB相机的控制方法，通过以下技术方案实现：

一种双目USB相机的控制方法，将所述的双目USB相机的控制开发工具包的生成方法生成的控制开发工具包通过USB驱动与双目USB相机连接，初始化双目相机的FPGA寄存器值，初始化点坐标数据和图像缓存的空间大小，开启数据接收线程，将接收到的左右相机的同类型数据根据帧号同步保存到数据缓存中，使用事件触发机制来保证坐标和图像数据的读和写同步。

优选的，所述数据接收线程的具体流程如下：

数据接收线程在接收标志位为真时，循环读取数据，通过对读取后的数据进行解析，通过表头和标志位，判读接收的是点坐标还是图像数据，区分数据属于双目USB相机的左相机还是右相机捕捉的，填充到数据缓存中，当左右相机的第N帧数据传输完后，将左右相机的数据进行事件触发同步对外输出；其中，N为正整数。

与现有技术相比，本发明具有以下优点和有益效果：

本发明通过开发一套红外相机控制开发工具包来对双目红外相机进行参数控制和数据获取，开发工具包的对外接口让开发者更好的去调用，而不用理解底层的功能实现和逻辑设计，通过接口调用来设置相机的各项参数，获取相机当前状态值，使得控制双目USB相机更加方便。

附图说明

图1为本发明的实施例的红外双目相机的组成框图。

具体实施方式

下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

图1为本发明的实施例的红外双目相机的组成框图，如图1所示，包括两个红外双目摄像头（分别为左相机和右相机）、FPGA芯片、寄存器和USB控制器，其中左相机和右相机分别与FPGA芯片电连接，USB控制器与FPGA芯片电连接，寄存器通过FPGA I2C驱动与FPGA芯片进行通信，I2C 是以16位地址模式和FPGA 通信。寄存器的读写操作被封装成第一底层接口i2cWrite和第二底层接口i2cRead；输入参数分别为寄存器地址，位域和对应的值。

本发明的实施例的红外双目相机的开发工具包的生成方法，具体为：对红外双目USB相机的FPGA寄存器上的地址和位域值进行设置，实现红外双目USB相机的控制参数设置；根据寄存器的地址和位域值的含义，编写对外接口，得到控制开发工具包。

本发明的实施例的控制参数具体通过对FPGA寄存器上特定地址上的值进行操作，来完成对应的参数设置。寄存器设计如下，包括地址和位域区间，以及位域值表示的含义：

0X00,位域[31:0]，表示固件版本号的高32位；

0X04,位域[31:0]，表示固件版本号的低32位；

0X08,位域[0]表示视频数据通道复位，高有效；位域[1]表示点数据通道复位，高有效；位域[2]表示slave fifo接口复位，高有效；位域[7:3]表示重置；位域[8]表示sensor触发信号（捕捉图像的时候，要触发一下才能捕捉，通过该信号数据可以让某一个信号可以或者不可以触发），当信号为1时，代表相机开始触发曝光并输出图像，为0时代表停止触发；位域[9]表示exp曝光控制信号来源选择，控制exp_pwm的输出持续时间，从而控制红外LED亮度，0: sen_IT sensor的曝光指示信号1: exp_gen本地曝光信号，由本地帧周期计数器控制产生的同步型号；位域[16]表示x方向点数据镜像,不影响原图；位域[17]表示y方向点数据镜像,不影响原图；位域[18]表示原图阈值模式，0：当原图像素值大于raw_thd为原值，小于时为0，1：当原图像素值大于raw_thd为原值-raw_thd，小于时为0。[25:24]表示主同步sensor选择，0：选择sensor0作为主同步sensor，1：选择sensor1作为主同步sensor，2，3：无效。

0x0c，位域[31:0]，表示exp_gen本地曝光信号的起点，在frame_cnt计数到exp_start_pos拉高exp_gen。

0x10，位域[31:0]，表示 exp_gen本地曝光信号的终点，在frame_cnt计数到exp_start_pos拉低exp_gen。

0x14，位域[31:0]，表示 sensor触发信号的起点，在frame_cnt计数到tig_start_pos拉高sensor触发信号tig_gen。

0x18，位域[15:0]，表示sensor触发信号tig_gen的脉冲宽度。

0x1c，位域[15:0]，表示exp曝光控制信号的PWM的低电平宽度；位域[31:16]，表示exp曝光控制信号的PWM的高电平宽度。

0x20，位域[31:0]，表示帧周期计数长度，控制周期计数器frame_cnt的计数范围。

0x24，位域[31:0]，表示sensor0 lvds接口的训练状态，train_status[31]:训练完成指示，train_status[4:0]:lvds各通道训练状态，为高是表示该通道训练通过。

0x28，位域[31:0]，表示sensor1 lvds接口的训练状态，train_status[31]:训练完成指示，train_status[4:0]:lvds各通道训练状态，为高是表示该通道训练通过。

0x34，位域[15:0]，表示点数据的y size，和图像高度一致，默认1024。位域[31:16]表示点数据的x size，和图像宽度一致，默认1280。

0x38，位域[31:0]，表示图像背景过滤阈值和阈值模式配合使用，[31:24]:图像区域3过滤阈值，[23:16]:图像区域2过滤阈值，[15:8] :图像区域1过滤阈值，[7:0]:图像区域0过滤阈值，通常都是配置同一个值。

0x3c，位域[0]表示传感器的SPI控制器读完成指示信号，为高表示读操作完成；位域[8]表示传感器的SPI控制器的ready信号，当控制命令数据配置好后使能此位，并通知传感器的SPI控制器取走命令数据。

0x40，位域[31:0]，表示传感器的SPI控制器的cmd和data，[31:28] cmd 0:读 1：写;[24:16] addr spi地址;[15:0]data spi写数据，读的时候不起作用。

0x48，位域[31:0]，表示读操作的回读数据高低16位，分别表示双目模式下的两个sensor的读操作返回数据。

本发明的实施例的控制开发工具包的对外接口包括红外双目USB相机设置接口、红外双目USB相机状态获取接口和红外双目USB相机数据获取接口。

其中，本发明的实施例的红外双目USB相机设置接口包括打开红外双目USB相机接口、关闭红外双目USB相机接口、设置红外双目USB相机帧率接口、设置红外双目USB相机曝光时间接口、设置红外双目USB相机LED灯亮度接口、设置红外双目USB相机阈值接口、设置红外双目USB相机点坐标数据传输使能接口、设置红外双目USB相机图像数据传输使能接口和设置红外双目USB相机点数据镜像使能接口。

其中，本发明的实施例的红外双目USB相机状态获取接口包括红外双目USB相机开启状态获取接口；红外双目USB相机是否开启点坐标传输获取接口；红外双目USB相机是否开启图像数据传输获取接口；红外双目USB相机是否开启点坐标镜像获取接口；红外双目USB相机的硬件版本信息获取接口；红外双目USB传感器的分辨率获取接口；红外双目USB相机传输图像压缩后的分辨率获取接口；红外双目USB相机的基本参数获取接口；所述红外双目USB相机的基本参数包括曝光时间、帧率、LED亮度和阈值。

其中，本发明的实施例的红外双目USB相机数据获取接口包括红外双目USB相机的左右点坐标数据获取接口和红外双目USB相机的左右图像数据获取接口。

利用本实施例的红外双目相机的开发工具包的生成方法所生成的开发工具软件包，本实施例的双目USB相机的控制方法可通过以下流程实现：将所述的控制开发工具包通过USB驱动与双目USB相机连接，初始化红外双目相机的寄存器值，初始化点坐标数据和图像缓存的空间大小，开启数据接收线程，将接收到的左右相机的同类型数据根据帧号同步保存到数据缓存中，使用事件触发机制来保证坐标和图像数据的读和写同步。

更具体地，本实施例的双目USB相机的控制方法的流程可为：

根据底层FPGA寄存器地址和位域值含义，定义FPGA的地址结构体ADDR，位域值结构体REG,包括红外双目USB相机的硬件版本信息、红外双目USB相机的基本参数配置，曝光时间的地址和位域配置等。然后通过CYAPI（一款USB驱动的开发工具集）的USB驱动接口连接上红外双目USB相机之后，通过i2cWrite和i2cRead接口输入ADDR和REG结构体中对应的值，来获取当前的相机状态信息和设置相机的参数，同时保存到红外双目USB相机的信息结构体中。开启数据接收线程后，将接收到的左右相机的同类型数据根据帧号同步保存到相机图像存储结构体或相机坐标存储结构体，使用事件触发机制来保证坐标和图像数据的读和写同步。

其中，本发明的实施例的红外双目USB相机的信息结构体包括硬件版本信息、帧率、阈值、曝光时间、LED灯亮度、坐标\图像传输使能状态等。

其中，本发明的实施例的相机图像信息存储结构体，包括上一帧图像数据的ID、当前图像帧ID、图像数据数组（存储了左右相机的图像数据）；其具体实现方式为：

struct BinocularCameraImgFrame 相机图像信息存储结构体

{

u8 prvFrmID; //上一帧图像数据的帧号

u8 curFrmID; //当前帧图像数据的帧号

*/u8* _images; //帧图像数据，字节指针，大小为图像尺寸

};

其中，本发明的实施例的相机坐标数据存储结构体，包括上一帧坐标数据的ID、当前坐标帧的ID和坐标信息（包括坐标区域、灰度值、X和Y方向上的值），其具体实现方式为：

struct BinocularCameraCoordFrame相机坐标数据存储结构体

{

struct Coord { //帧坐标数据

u32 prvFrmID : 8; //上一帧坐标数据的帧号

u32 curFrmID : 8;//当前帧坐标数据的帧号

u32 pointCnt : 16;//帧坐标数据的坐标点数目

struct Point { //帧坐标中的点数据

u32 area : 12; //点的灰度面积值

u32 gray : 8; //点的灰度值

u32 rsv : 12; //辅助值

u32 yf : 5; //点Y轴坐标位数值

u32 y : 11; //点Y轴坐标值

u32 xf : 5; //点X轴坐标位数值

u32 x : 11; //点X轴坐标值

}*_coords;

}LRM[3];//[0]-Left,[1]-Right

};

其中，本发明的实施例提供的数据接收线程的具体流程如下：

数据接收线程在接收标志位为真时，循环读取数据，通过对读取后的数据进行解析，通过表头和标志位，判读接收的是点坐标还是图像数据，区分数据属于双目相机的左相机还是右相机捕捉的，填充到数据缓存中，当左右相机的第N帧数据传输完后，将左右相机的数据进行事件触发同步对外输出；其中，N为正整数。

本发明的实施例通过开发一套红外相机控制开发工具包，对红外双目红外相机进行参数控制和数据获取，开发工具包的对外接口让开发者更好的去调用，而不用理解底层的功能实现和逻辑设计，通过接口调用来设置相机的各项参数，获取相机当前状态值，使得控制红外双目USB相机更加方便。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种双目USB相机的控制方法，其特征在于，包括：根据底层FPGA寄存器地址和位域值含义，定义FPGA的地址结构体ADDR、位域值结构体REG,通过USB驱动接口连接上红外双目USB相机之后，输入ADDR和REG结构体中对应的值，来获取当前的相机状态信息和设置相机的参数，同时保存到红外双目USB相机的信息结构体中，开启数据接收线程后，将接收到的左右相机的同类型数据根据帧号同步保存到相机图像信息存储结构体或相机坐标数据存储结构体，使用事件触发机制来保证坐标和图像数据的读和写同步，所述红外双目USB相机的信息结构体包括硬件版本信息、帧率、阈值、曝光时间、LED灯亮度、坐标\图像传输使能状态，所述相机图像信息存储结构体，包括上一帧图像数据的ID、当前图像帧ID、图像数据数组，所述图像数据数组包括左右相机的图像数据，所述相机坐标数据存储结构体，包括上一帧坐标数据的ID、当前坐标帧的ID和坐标信息。

2.根据权利要求1所述的双目USB相机的控制方法，其特征在于，所述坐标信息包括坐标区域、灰度值、X和Y方向上的值。

3.根据权利要求1所述的双目USB相机的控制方法，其特征在于，所述寄存器的读写操作被封装成两个底层接口。

4.根据权利要求3所述的双目USB相机的控制方法，其特征在于，所述两个底层接口包括：第一底层接口和第二底层接口。

5.根据权利要求1所述的双目USB相机的控制方法，其特征在于，所述数据接收线程的具体流程如下：

6.根据权利要求1-5任一项所述的双目USB相机的控制方法，其特征在于，所述双目USB相机包括左相机、右相机、FPGA芯片、寄存器和USB控制器，其中所述左相机和所述右相机分别与所述FPGA芯片连接，所述USB控制器与所述FPGA芯片连接，所述寄存器与所述FPGA芯片连接。