CN201837826U - 单相机全方位立体视觉*** - Google Patents

Abstract

本实用新型公开了一种新的基于单相机的全方位立体视觉***，包括一个透明圆筒，上下两个特定形状的反射镜面和一个透视相机。上侧镜面为双曲面、椭球面、抛物面、平面镜中二者构成的组合镜面；下侧镜面为双曲面或抛物面。透视相机安装于下侧镜面的内部，其主光轴与上下两个反射镜面的主轴共轴，镜头比下侧镜面顶部的通光孔略小。组合镜面的一部分单独成像、另一部分与下侧镜面构成折返***，在一个相机上形成物体的两个像，且对应像点都位于以图像中心为圆心的射线上。本实用新型结构紧凑、轻便小巧，能形成水平360度、垂直向上、向下各一定角度的三维视场，便于利用深度恢复算法获取立体视觉信息。

Description

单相机全方位立体视觉*** 

技术领域

本实用新型属于机器人视觉传感器装置，用于地面机器人、无人驾驶飞行器、自动除草机或其它智能***的全景视觉信息的获取，并可以通过深度恢复算法计算出三维空间的距离信息，具体的说是一种结构紧凑的全方位立体视觉***。 

背景技术

视觉***能够通过成像硬件设备快速获取周围环境的图像，通过软件模块分析图像中目标的表面特征、计算目标的深度数据，有很大的应用潜力。因此，在地面机器人、无人驾驶飞行器，及其他智能***中，视觉***已成为感知环境、辅助目标识别、路径规划等任务的重要手段。传统透视投影相机和全方位相机都是得到广泛使用的视觉***，后者因较大的可视范围而倍受青睐。 

与地面机器人和大型无人机相比，小型/微型无人机具有体积小、轻便灵活、能够垂直起降等优点，可为复杂环境下的侦查、遥感等应用提供理想的平台，但其有限的负载能力却使传感器的配置较为棘手。小型/微型无人机对尺寸和重量的限制是配置传感器要考虑的首要条件；此外，除了前进方向上的前向视野外，飞行器周围全三维空间的场景都需要进行关注。可见，小型/微型无人机对环境感知的要求更高，但负载能力却更差。因此，所设计的视觉***不仅要体积小、重量轻，而且在视场和分辨率等方面要具有令人满意的性能。 

全方位相机可由传统的透视相机加特定形状的反射镜面构成，水平可视范围为360度，垂直可视范围可达90度以上。当反射镜面形状为平面、椭球面、双曲面或抛物面时，相机具有单视点属性，即成像平面上像点的形成，是由于相机捕捉了特定方向上的光线。例如，在众多射向双曲面反射镜的光线中，只有沿焦点方向的光线，经镜面反射后才在位于另一焦点处的相机上成像。其优点是，在成像光路计算的过程中，无需获得光线入射处镜面的表面法向量，从而保证物点到像点几何投影计算的速度和精度，便于快速恢复物体的深度信息。用全方位相机构成立体视觉***可采用基于双相机和单相机两种基本构成方式： 

(1)与由两透视相机构成立体视觉***的方式类似，基于双相机的全方位立体视觉***由两个完全相同的全方位相机构成。该***具有全方位相机视场大 的优点，但位于下侧的全方位相机对上侧相机的视场会构成遮挡。更重要的是，该***在结构紧凑性和重量方面存在一定的局限性，较多的应用于地面机器人中； 

(2)基于单相机的全方位立体视觉***则是利用两个或多个反射镜面之间的特殊位置关系，在一个透视相机上产生同一场景的两个像。具体来说，一种结构是：采用两片双曲面反射镜，一反射镜的焦点与主光轴共线，而另一反射镜的焦点与光轴成一定夹角。该设计虽然实现了单相机成立体像，但存在基线较短、***装配较困难、对***结构紧凑性的改善并不明显等弊端。另一种结构如专利200510045648.1所述，由两双曲面反射镜面与一透视相机构成，两镜面主轴均与相机的主光轴共线，减小了***的横向尺寸、有效的延长了基线，并便于***装配。但由于透视相机位于反射镜面下侧一定距离处，整个***的高度仍较大，对小型/微型无人机飞行稳定性会带来不利影响。 

发明内容

本实用新型的目的在于提供一种结构更加紧凑的单相机全方位立体视觉***。 

实现本实用新型目的的技术解决方案为：一种单相机全方位立体视觉***，包括一个透明圆筒、两个反射镜面和一个透视相机，所述的反射镜面包括上侧镜面和下侧镜面，上侧镜面安装于透明圆筒的上端，下侧镜面安装于透明圆筒的下端；上侧镜面为双曲面、椭球面、抛物面、平面镜中二者构成的组合镜面，下侧镜面为双曲面或抛物面；下侧镜面顶部设有通光孔；上侧镜面与下侧镜面的外径相同，且上侧镜面与下侧镜面的外径作为***的直径，该直径小于透明圆筒的内径；所述的透视相机安装于下侧镜面内部，透视相机的镜头外径小于通光孔直径，透视相机主光轴与两反射镜面主轴共线。 

本实用新型与现有技术相比，其显著优点：(1)结构紧凑，由于采用相机位于镜面内部、以及三片镜片的组合设计，在保证立体成像***性能的同时，有效降低了***的高度，在对视觉***的体积和重量有严格限制的机器人***中有良好的应用前景；(2)较大的视场角，能够形成水平360度、垂直向上、向下各一定角度的三维视场，用于深度计算；同时，无法用于深度计算的图像区域，也能够根据运动恢复的相关理论，为机器人导航提供信息；(3)快速、精确的深度计 算，本发明的结构保证了立体视觉***具有合理的基线长，同时，立体像对的共线特征便于匹配像素的搜索，进而有利于提高深度计算的速度。本发明从小型/微型无人机的应用需求出发，但可广泛应用于其他需要获得大范围场景立体视觉信息的智能***中。 

附图说明

图1是本实用新型单相机全方位立体视觉***的结构示意图。 

图2是本实用新型实施例1的***结构示意图。 

图3是本实用新型实施例2的***结构示意图。 

图4是本实用新型实施例3的***结构示意图。 

图5是本实用新型实施例1所成图像的仿真图。 

图6是本实用新型实施例1的***结构及成像光路示意图 

具体实施方式

下面结合附图对本实用新型作进一步详细描述。 

本实用新型单相机全方位立体视觉***，包括一个透明圆筒4、两个反射镜面和一个透视相机3，所述的反射镜面包括上侧镜面1和下侧镜面2，上侧镜面1安装于透明圆筒4的上端，下侧镜面2安装于透明圆筒4的下端；上侧镜面1为双曲面、椭球面、抛物面、平面镜中二者构成的组合镜面，下侧镜面2为双曲面或抛物面；下侧镜面2顶部设有通光孔；上侧镜面1与下侧镜面2的外径相同，且上侧镜面1与下侧镜面2的外径作为***的直径，该直径略小于透明圆筒4的内径；所述的透视相机3通过紧固螺丝5安装于下侧镜面2内部，透视相机3的镜头外径略小于通光孔直径，透视相机3主光轴与两反射镜面主轴共线。 

本实用新型单相机全方位立体视觉***，上侧镜面1中一片镜面作为单独成像镜面1a，另一片镜面作为折返镜面1b，折返镜面1b与下侧镜面2共同构成折返***成像，在透视相机3的成像平面上，物体的两个像位于以图像中心为圆心的射线上；当折返镜面1b为平面镜、椭球面或双曲面时，单独成像镜面1a均可为双曲面或椭球面，下侧镜面2为双曲面；当折返镜面1b为抛物面时，单独成像镜面1a可为双曲面或椭球面，下侧镜面2为抛物面。 

本实用新型单相机全方位立体视觉***，所述折返镜面1b为平面镜时，透视相机3光心与单独成像镜面1a的远焦点重合，并且平面镜与光心和下侧镜面 2的远焦点距离相等；当折返镜面1b为椭球面或双曲面时，透视相机3光心与单独成像镜面1a的远焦点和折返镜面1b的远焦点三点重合；当折返镜面1b为抛物面时，透视相机3光心与折返镜面1b的焦点和单独成像镜面1a的远焦点三点重合。 

***的结构如图1所示。设计全方位立体视觉***，需确定镜面形状和镜面与相机间的相对位置参数，具体描述如下： 

(1)镜面形状：具有解析表达式的平面镜及旋转曲面中的椭球面、双曲面及抛物面形状的镜面均满足普通全方位相机的单视点约束，是常用的反射镜面。为了进一步构成结构紧凑的立体视觉***，上侧镜面由两部分组成：单独成像镜面和折返镜面。前者接收入射光线并反射后直接在相机上成像；后者与下侧镜面构成折返***，入射光线经过两次反射后，在相机上成另一个像。折返镜面的形状可为双曲面、椭球面、抛物面或平面，单独成像镜面可为双曲面、椭球面或抛物面；下侧镜面可为双曲面或抛物面。具体的说，当折返镜面为平面镜、椭球面或双曲面时，单独成像镜面均可为双曲面或椭球面，下侧镜面为双曲面；当折返镜面为抛物面时，单独成像镜面可为双曲面或椭球面，下侧镜面为抛物面。 

(2)各组成部分间的位置关系：在单视点属性约束下，上侧的组合镜面与下侧镜面、相机光心的相对位置关系需满足下列条件：上侧镜面中的折返镜面为平面镜时，相机光心O与单独成像镜面的远焦点F′_a重合，并且平面镜与光心和下侧镜面的远焦点F′₂距离相等，如图3；当折返镜面为椭球面或双曲面时，相机光心O与单独成像镜面的远焦点F′_a和折返镜面的远焦点F′_b三点重合，如图4；当折返镜面为抛物面时，相机光心O与折返镜面的焦点F和单独成像镜面的远焦点F′_a三点重合。 

按照上述原则选择镜面形状及其参数所建立的视觉***，能够利用一个相机获取场景的两幅图像，其成像的仿真图如图5所示，三维空间中一个球体和一个棋盘各成了两个像，分别位于两个同心圆中。本例中的成像***，上侧镜面为双曲面和平面镜的组合、下侧镜面为双曲面。图像的外圈为单独成像镜面的成像结果，内圈为折返***的成像结果。根据成像光路，如图6，即可由图像计算出特定物点的深度。图6中，物点P的一束光线经线经单独成像镜面反射后，在相机 的成像平面上成像点p1；同时另一束光线经折返***形成另一个像点p2。并且，两个像位于以图像中心为圆心的射线上。因此，可在该射线上进行特征搜索，得到像素点p1所对应的匹配像素p2。此后，在以单独成像镜面焦点为坐标原点、平行于成像平面的水平和竖直方向为x轴和y轴、垂直于成像平面且向上的方向为z轴的坐标系F_aXYZ中，物点P的三维坐标(X，Y，Z)可通过以下公式计算获得： 

令p1的像素坐标为(u₁，v₁)，p2的像素坐标为(u₂，v₂)，则图6所示的成像过程可用下述公式来描述： 

$u_1=\frac{f_0\·X}{\sqrt{k_1\·(k_1-2)}\·R-(k_1-1)\·Z}+u_0,---\left(1\right)$

$v_1=\frac{f_0\·Y}{\sqrt{k_1\·(k_1-2)}\·R-(k_1-1)\·Z}+v_0,---\left(2\right)$

$u_2=\frac{f_0\·X}{\sqrt{k_2\·(k_2-2)}\·R^{\′}+(k_2-1)\·(c_1-d+c_2+Z)}+u_0,---\left(3\right)$

$v_2=\frac{f_0\·Y}{\sqrt{k_2\·(k_2-2)}\·R^{\′}+(k_2-1)\·(c_1-d+c_2+Z)}+v_0,---\left(4\right)$

其中，f₀为相机焦距，(u₀，v₀)为相机光心所在的像素坐标，c₁，k₁与c₂，k₂分别为上下双曲面的参数，d为相机光心到下侧双曲面远焦点的距离，这些成像***的参数可由标定过程确定； 

公式(1)-(4)四个方程中含有的三个未知数X，Y，Z，故能求出唯一解。 

在坐标系F_aXYZ下，单独成像镜面为双曲面、椭球面和抛物面的数学表达式分别如式(5)-(7)所示： 

${(Z-\frac{c_a}{2})}^2-(X^2+Y^2)(\frac{k_a}{2}-1)=\frac{c_a^2}{4}\left(\frac{k_a-2}{k_a}\right),k_a>2,c_a>0---\left(5\right)$

${(Z-\frac{c_a}{2})}^2+(X^2+Y^2)(1+\frac{c_a^2}{2k_a})=\left(\frac{{2k}_a+c_a^2}{4}\right),k_a>0,c_a\≥0---\left(6\right)$

$Z=l-\frac{(X^2+Y^2)}{4l}---\left(7\right)$

其中c_a为焦距，k_a为与镜面离心率相关的系数，l为抛物面顶点到焦点的距离。当折返镜面和下侧镜面为上述三种形状时，其表达式与(5)-(7)形式类似，仅在z轴方向有一定的平移，平移量的大小受到单视点属性以及视觉***高度、半径等因素的制约。此外，当折返镜面为平面镜时，其表达式为： 

$Z=\frac{d}{2}---\left(8\right)$

其中，d为相机光心到下侧镜面远焦点的距离。 

由于本***中，上侧镜面为两种不同形状的镜面拼合而成，由上述方程可知，所采用的双曲面、椭球面和抛物面均为旋转曲面。平面镜为一定口径的圆形平面。两片镜面的结合处直径相同，直径的大小由结合的具***置确定。 

实施例1 

根据图1的基本结构，本实施实例中1a和2均为双曲面，二者相对放置、分别与顶板和底板相连，1b为圆形平面镜，其半径取决于与1a结合的位置。1a和2的口径相同且1、2的中心轴重合。3为透视相机，其电路板通过螺钉5固定于镜面2的内部，相机主光轴与所有镜面的主轴重合。4为玻璃、水晶、亚克力(acrylic)或其他高分子透明材料制成的透明圆筒，内径比1a和2的口径略大，以便于安装。 

在垂直方向上，上述各零部件的相对位置关系需符合以下原则：相机3的光心与单独成像镜面的远焦点重合，同时，折返镜面与下侧镜面远焦点和光心的距离相等。因此，整个***中待定的参数包括c₁，k₁，c₂，k₂，d，w，其中c₁，k₁，c₂，k₂为控制上下双曲镜面的形状参数(见公式1)，参数d决定了平面镜位置、进而确定了平面镜的直径，w为整个视觉***的半径。这六个***参数既决定了***的外观尺寸，如半径和高度，又决定了***的成像性能，如视场角。 

图2所示的实施实例具有如下***参数：c₁＝11.96，k₁＝5.71，c₂＝23.88，k₂＝9.76，d＝22.58，w＝1.8。在相机坐标系下，两双曲镜面和一平面镜的方程如公式(9)-(11)所示： 

${(Z-\frac{c_1}{2})}^2-(X^2+Y^2)(\frac{k_1}{2}-1)=\frac{c_1^2}{4}\left(\frac{k_1-2}{k_1}\right)---\left(9\right)$

${[Z-(d-c_2/2)]}^2-(X^2+Y^2)(\frac{k_2}{2}-1)=\frac{c_2^2}{4}\left(\frac{k_2-2}{k_2}\right)---\left(10\right)$

$Z=\frac{d}{2}---\left(11\right)$

上述***参数是以***外观尺寸(w≤1.8cm，h≤15cm)和视场角(α≥14°，β≥20°，γ≥10°)为约束条件、以最大基线长为目标函数所建立的数学模型求得的结果。最终***的高度为15cm，半径为1.8cm，向上的视场角为14°，向下的视场角为13.3°，基线长为13.15cm。 

实施例2 

如图3所示，与实施例1不同的是，本实例的上侧镜面采用椭球面和平面镜的组合。 

实施例3 

如图4所示，与实施例1不同的是，本实例的上侧镜面采用椭球面和双曲面的组合。 

Claims (4)

1.一种单相机全方位立体视觉***，其特征在于：包括一个透明圆筒[4]、两个反射镜面和一个透视相机[3]，所述的反射镜面包括上侧镜面[1]和下侧镜面[2]，上侧镜面[1]安装于透明圆筒[4]的上端，下侧镜面[2]安装于透明圆筒[4]的下端；上侧镜面[1]为双曲面、椭球面、抛物面、平面镜中二者构成的组合镜面，下侧镜面[2]为双曲面或抛物面；下侧镜面[2]顶部设有通光孔；上侧镜面[1]与下侧镜面[2]的外径相同，且上侧镜面[1]与下侧镜面[2]的外径作为***的直径，该直径小于透明圆筒的内径；所述的透视相机[3]安装于下侧镜面[2]内部，透视相机[3]的镜头外径小于通光孔直径，透视相机[3]主光轴与两反射镜面主轴共线。

2.根据权利要求1所述的单相机全方位立体视觉***，其特征在于：上侧镜面[1]中一片镜面作为单独成像镜面[1a]，另一片镜面作为折返镜面[1b]，折返镜面[1b]与下侧镜面[2]共同构成折返***成像，在透视相机[3]的成像平面上，物体的两个像位于以图像中心为圆心的射线上；当折返镜面[1b]为平面镜、椭球面或双曲面时，单独成像镜面[1a]均可为双曲面或椭球面，下侧镜面[2]为双曲面；当折返镜面[1b]为抛物面时，单独成像镜面[1a]可为双曲面或椭球面，下侧镜面[2]为抛物面。

3.根据权利要求1所述的单相机全方位立体视觉***，其特征在于：所述折返镜面[1b]为平面镜时，透视相机[3]光心与单独成像镜面[1a]的远焦点重合，并且平面镜与光心和下侧镜面[2]的远焦点距离相等；当折返镜面[1b]为椭球面或双曲面时，透视相机[3]光心与单独成像镜面[1a]的远焦点和折返镜面[1b]的远焦点三点重合；当折返镜面[1b]为抛物面时，透视相机[3]光心与折返镜面[1b]的焦点和单独成像镜面[1a]的远焦点三点重合。

4.根据权利要求1所述的单相机全方位立体视觉***，其特征在于：透明圆筒[4]的材质是玻璃、水晶或亚克力。 

Images