CN108415037B - 一种红外和视觉特征的避障装置及控制方法 - Google Patents
一种红外和视觉特征的避障装置及控制方法 Download PDFInfo
- Publication number
- CN108415037B CN108415037B CN201810458440.XA CN201810458440A CN108415037B CN 108415037 B CN108415037 B CN 108415037B CN 201810458440 A CN201810458440 A CN 201810458440A CN 108415037 B CN108415037 B CN 108415037B
- Authority
- CN
- China
- Prior art keywords
- infrared
- obstacle
- image
- camera
- infrared light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Closed-Circuit Television Systems (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明公开一种红外和视觉特征的避障装置及控制方法,该方法通过控制所述第一红外发射管和所述第二红外发射管启闭输出相位互补的脉冲信号及调节所述摄像头的采样帧率,采集来自障碍物反射红外光的图像,并基于所述采集的图像亮度变化特征训练样本,得到对应所述避障装置的感测位中心线的左右两侧障碍物的分类器,进而判断所述障碍物的位置。最后根据判断的位置驱动所述避障装置进行避障动作。相对于现有技术,用摄像头结合低成本的红外部件,有利于实现所述障碍物在一个确定的方位上依靠所述摄像头捕获来自两个不同距离的红外发光管的发射信号强度差异而带来的图像亮度特征变化进行定位,从而消除不同反射面的影响,提高对环境特征描述的准确性。
Description
技术领域
本发明涉及自主行动机器人技术领域,具体涉及一种红外和视觉特征的避障装置及控制方法。
背景技术
环境的感知依赖于各种传感器数据的获取,目前常见的传感器包括:红外光强传感器、红外测距传感器、超声波传感器、视觉传感器、激光传感器等等。从精度上看,红外测距传感器、超声波传感器、激光传感器都可以获得比较高的精度,但是成本比较高,同时除了激光传感器外覆盖的角度比较小,需要比较多的数目才能够减小检测的盲区,而激光传感器主要感知一个很窄的二维平面,垂直方向存在盲区。视觉传感器如果需要做到测距,则需要至少两个摄像头,成本比较高,精度欠佳,模具上也需要专门的孔洞来放置。从成本上和外观考虑,红外光强传感器无疑是最为便宜和应用最广的,但目前的用法都是基于单光强检测,不同的材质对红外的发射不同,导致对障碍物的适应性比较差。
发明内容
一种红外和视觉特征的避障装置,包括检测模块和图像处理模块;
所述检测模块包括承载机构、红外发射管及摄像头,红外发射管和摄像头彼此呈夹角地设置于所述承载机构上,所述红外发射管有两个,各个红外发射管与摄像头中心线有共同一个交叉点;
所述图像处理模块,用于将所述摄像头接收障碍物反射红外光的图像作为样本进行训练,再利用训练好的分类器去判断所述避障装置前方的障碍物的位置,并根据判断结果控制避障装置执行相应的避障动作;
其中,所述障碍物处于所述避障装置前方所述摄像头和所述各个红外发射管的视角范围内。
进一步地,所述各个红外发射管与所述摄像头中心线有一个共同的交叉点的实现方式为:设置所述各个红外发射管与所述摄像头的夹角相同和/或水平距离相同。
进一步地,所述摄像头设置于所述承载机构的感测位中心线上;所述红外发射管包括第一红外发射管和第二红外发射管,所述第一红外发射管设置于所述感测位中心线的左侧,所述第二红外发射管设置于所述感测位中心线的右侧。
进一步地,所述第一红外发射管和所述第二红外发射管分别与所述感测位中心线呈锐角夹角。
进一步地,所述图像处理模块先采集所述感测位中心线左侧的所述障碍物反射红外光的图像作为第一正样本,所述感测位中心线左侧没有所述障碍物反射红外光的图像作为第一负样本,进行训练得到第一分类器;
所述图像处理模块再采集所述感测位中心线右侧的所述障碍物反射红外光的图像作为第二正样本,所述感测位中心线右侧没有所述障碍物反射红外光的图像作为第二负样本,进行训练得到第二分类器;
将所述第一分类器和所述第二分类器按照预设权重组合成一个组合分类器,用来判断所感测的场景中的所述障碍物位置,其中所述预设权重根据所述障碍物反射的红外光的图像亮度特征决定。
一种基于所述避障装置的控制方法,包括:
步骤1、通过重复的控制周期控制所述第一红外发射管和所述第二红外发射管的启闭输出相位互补的脉冲信号,及调节所述摄像头的采样帧率,每一个控制周期的脉冲时序如下:
(1)在t0时刻之前,控制所述第一红外发射管和所述第二红外发射管关闭,摄像头没开始以所述采样帧率进行采样;
(2)t0时刻,控制开启所述第一红外发射管后,所述摄像头捕获到所述障碍物反射来自所述第一红外发射管的红外光的图像,作为第一帧图像;
(3)t1时刻,控制关闭所述第一红外发射管,并开启所述第二红外发射管,所述摄像头由第一帧图像切换到第二帧图像;
(4)t2时刻,所述摄像头捕获到所述障碍物反射来自所述第二红外发射管的红外光的图像,随后关闭所述第一红外发射管和所述第二红外发射管,作为第二帧图像;
(5)t3时刻,进入下一所述控制周期,所述摄像头开始捕获第三帧图像;
其中,所述控制周期都为t3-t0,其中t3-t2为死区时间段,所述采样帧率是所述摄像头采样每一帧图像的时间;
步骤2、将所述感测位中心线的左右两侧所述障碍物反射的红外光的图像作为样本,通过训练样本对分类器进行训练,得到对应所述感测位中心线的左右两侧所述障碍物的两个分类器,再对这两个分类器按照预设权重组合成一个组合分类器,用来判断所感测的场景中的所述障碍物位置,其中所述预设权重根据所述障碍物反射的红外光的图像亮度特征决定;
步骤3、当判断到所述感测位中心线的左侧存在所述障碍物时,驱动所述避障装置向所述感测位中心线的右侧转动;当判断到所述感测位中心线的右侧存在所述障碍物时,驱动所述避障装置向所述感测位中心线的左侧转动。
进一步地,在所述步骤2中,所述感测位中心线左侧的所述障碍物反射红外光的图像作为第一正样本,所述感测位中心线左侧没有所述障碍物反射红外光的图像作为第一负样本,对所述采样帧率内的图像的亮度特征进行选择和提取,从而对原始数据进行变换得到最能反映分类本质的特征,进而训练得到第一分类器;
所述感测位中心线右侧的所述障碍物反射红外光的图像作为第二正样本,所述感测位中心线右侧没有所述障碍物反射红外光的图像作为第二负样本,对所述采样帧率内的图像的亮度特征进行选择和提取,从而对原始数据进行变换得到最能反映分类本质的特征,进而训练得到第二分类器。
进一步地,当所述摄像头捕获到所述感测位中心线左侧所述障碍物反射红外光的图像时,所述控制周期的t0时刻,控制开启所述第一红外发射管后,所述摄像头捕获到的图像亮度为I10;所述控制周期的t1时刻,控制关闭所述第一红外发射管,同时控制开启所述第二红外发射管,所述摄像头捕获到的图像亮度为I11;其中I10>I11。
进一步地,当所述摄像头捕获到所述感测位中心线右侧所述障碍物反射红外光的图像时,所述控制周期的t0时刻,控制开启所述第一红外发射管后,所述摄像头捕获到的图像亮度为I20;所述控制周期的t2时刻,所述摄像头捕获到的图像亮度为I21;其中I20<I21。
进一步地,利用所述组合分类器进行所述障碍物的位置判断:用一个扫描子窗口在待检测的图像中不断的移位滑动计算窗口区域的亮度特征,并且通过训练好的所述组合分类器对该特征进行筛选,最终得到所要的分类结果。
本发明的有益效果:相对于现有技术,用摄像头结合低成本的红外部件,通过控制不同方位障碍物反射光的脉冲信号的180度的相位差和调制其脉冲信号的帧率与摄像头的采样帧率相等,有利于实现所述障碍物在一个确定的方位上依靠所述摄像头捕获来自两个不同距离的红外发光管的发射信号强度差异而带来的图像亮度特征变化进行定位,从而消除不同反射面的影响,进而执行避障操作,提高对环境特征描述的准确性。
附图说明
图1为本发明实施例提供的一种红外和视觉特征的避障装置的结构示意图;
图2为本发明实施例提供的所述避障装置中检测模块的构造示意图;
图3为本发明实施例提供的所述避障装置的控制时序图;
图4为本发明中检测所述避障装置前方感测中心线位左侧障碍物的实施例,提供的所述检测模块的摄像头捕获图像的亮度变化时序图;
图5为本发明中检测所述避障装置前方感测中心线位右侧障碍物的实施例,提供的所述检测模块的摄像头捕获图像的亮度变化时序图;
图6为本发明实施例提供的一种红外和视觉特征的避障装置的控制方法的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明:
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
在发明的描述中,需要理解的是,术语“中心”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述发明和简化描述,而不是指示或暗示所指装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对发明的限制。
本发明实施例中的一种红外和视觉特征的避障装置可以以移动机器人的方式来实施,包括扫地机器人、AGV等等移动机器人。下面假设所述避障装置装设在扫地机器人上。然而本领域技术人员将理解的是,除了特别用于移动机器人之外,根据本发明的实施方式的构造能扩展应用于移动终端。
一种红外和视觉特征的避障装置,包括检测模块和图像处理模块;如图1所示,所述检测模块包括承载机构106、第一红外发射管E1、第二红外发射管E2及摄像头D,第一红外发射管E1和第二红外发射管E2分别设置于摄像头D的两侧,并彼此呈夹角地设置于所述承载机构106上,各个红外发射管与摄像头中心线有共同的交叉点O。其中,承载机构106用来固定和隔离两个红外发射管和摄像头D。
所述图像处理模块,用于将所述摄像D头接收障碍物反射红外光的图像作为样本进行训练,再利用训练好的分类器去判断所述避障装置前方的障碍物的位置,并根据判断结果控制避障装置执行相应的避障动作;其中,所述障碍物处于所述避障装置前方所述摄像头D和所述各个红外发射管的视角范围内。如图1所示,第一红外发射管E1的视角标记为104,第二红外发射管E2的视角标记为103,摄像头D的视角标记为105。
本发明实施例中,第一红外发射管E1和第二红外发射管E2分别与所述摄像头中心线(所述承载机构106的感测位中心线107)有一个共同的交叉点O的实现方式为:如图1所示,所述第一红外发射管E1与所述摄像头D中心线107的夹角标记为102,所述第二红外发射管E2与所述摄像头D中心线107的夹角标记为101,夹角102和夹角101相等;所述承载机构106上,所述第一红外发射管E1的孔位和所述第二红外发射管E2的孔位分别与所述摄像头D的孔位水平距离相等。
具体地,所述摄像头D设置于所述承载机构的感测位中心线107上;所述红外发射管包括第一红外发射管E1和第二红外发射管E2,所述第一红外发射管E1设置于所述感测位中心线107的左侧,所述第二红外发射管设E2置于所述感测位中心线107的右侧。两个红外发射管的发射功率做成比较接近。
如图2所示,当障碍物位于所述感测位中心线107的左侧的位置A,位置A与所述第一红外发光管E1的距离小于位置A与所述第二红外发光管E2的距离,故障碍物接收所述第一红外发光管E1的光强比所述第二红外发光管E2的强,对应的位置A所在的竖直方向的平面上接收的光强情况也是一样,从右往左,在所述第一红外发射管E1的视角104和所述第二红外发射管E2的视角103范围内,随着所述障碍物越来越远离所述感测位中心线107,所述障碍物接收到的E1发射的红外信号一直比E2发射的红外信号强。当障碍物位于所述感测位中心线107的右侧的位置B,位置B与所述第一红外发光管E1的距离大于位置B与所述第二红外发光管E2的距离,故障碍物接收所述第一红外发光管E1的光强比所述第二红外发光管E2的弱,对应的位置B所在的竖直方向的平面上接收的光强情况也是一样,从左往右,在所述第一红外发射管E1的视角104和所述第二红外发射管E2的视角103范围内,随着所述障碍物越来越远离所述感测位中心线107,所述障碍物接收到的E2发射的红外信号一直比E1发射的红外信号强;同时反射信号的强度也会受到E1的视角104、E2的视角103与所述摄像头D的接收视角的相交范围的影响,所述障碍物的反射信号视角与所述相交范围的相交面积越大,所述摄像头D捕获的图像亮度越大。
所述摄像头D与各个红外发射管的中心线交叉点O位于所述感测位中心线107上,点O是所述摄像头D接收光线最强烈点,该位置上的障碍物反射比较强;所述感测位中心线107对应的平面是接收和反射最强烈的平面,从所述感测位中心线107的左右两侧开始,由近及远,从交叉点O到位置A,或者从交叉点O到位置B,越远离交叉点O,障碍物反射回所述摄像头的光线的强度值越小。其中位置A和位置B处于所述摄像头D的视角105的接收范围内,且没有超出所述第一红外发射管E1的视角104和所述第二红外发射管E2的视角103。因为所述障碍物的不同反射面存在着的相同距离接收强度不同的问题,所以采用本发明实施提供的所述避障装置在不同方位上所述障碍物接收E1和E2发射的红外信号的强度不同,有利于实现所述障碍物在一个确定的方位上依靠所述摄像头捕获来自两个不同距离的红外发光管的发射信号强度差异而带来的图像亮度特征变化进行定位,从而消除不同反射面的影响。
进一步地,在应用过程中,需要避免机器人太靠近障碍物,同时,不同的障碍物反射红外强度不同,应用时所述障碍物与所述避障装置的距离大于防撞击距离。
进一步地,所述图像处理模块控制所述红外发射管发出调制的红外光脉冲信号,障碍物反射回的采样帧率的光信号被摄像头上的图像传感器以采样帧率接收,所述图像处理模块通过计算发射光信号和图像传感器各像素接收到的连续两帧图像的反射信号之间的时间差或相位差(即相关特征点的视差),结合三角测量原理得到障碍物的深度信息。
作为本发明实施的一种方式,所述图像处理模块依靠所述感测位中心线的左右两侧所述障碍物反射红外光的图像的亮度特征对应划分出两类图像特征数据进而训练相应的分类器。首先采集所述感测位中心线左侧的所述障碍物反射红外光的图像作为第一正样本,所述感测位中心线左侧没有所述障碍物反射红外光的图像作为第一负样本,进行训练得到第一分类器;所述图像处理模块再采集所述感测位中心线右侧的所述障碍物反射红外光的图像作为第二正样本,所述感测位中心线右侧没有所述障碍物反射红外光的图像作为第二负样本,进行训练得到第二分类器。本发明实施例将左右两侧障碍物发射红外光的图像提取出有差异的训练样本,再在各训练样本上训练生成对应的基分类器,然后对各基分类器分配预设权重组合成一个组合分类器,用来判断所感测的场景中的所述障碍物位置,提供分类器的性能和分类精度。其中所述预设权重根据所述障碍物反射的红外光的图像亮度特征决定。
为了实现多红外辅助摄像头判断障碍物的功能,需要做相应的时序控制方法,如图3所示,图中画了所述摄像头D和两个红外发射管控制的时序,上部分信号是所述摄像头D的控制的采样帧信号,中间部分信号是所述第一红外发射管E1控制的输出脉冲信号,下部分信号是所述第二红外发射管E2控制的输出脉冲信号。所述步骤1中通过重复的控制周期控制所述第一红外发射管E1和所述第二红外发射管E2的启闭输出相位互补的脉冲信号,及调节所述摄像头D的采样帧率,每一个控制周期的脉冲时序如下:
(1)在t0时刻之前,控制所述第一红外发射管E1和所述第二红外发射管E2关闭,摄像头没开始以所述采样帧率进行采样;
(2)t0时刻,控制开启所述第一红外发射管E1后,所述摄像头捕获到所述障碍物反射来自所述第一红外发射管E1的红外光的图像,作为第一帧图像(采样帧中的第一个高电平信号),其中所述摄像头捕获到的图像忽略环境光信号的强度影响;
(3)t1时刻,控制关闭所述第一红外发射管E1,并开启所述第二红外发射管E2,所述摄像头D由第一帧图像切换到第二帧图像的时间间隔,即所述摄像头D控制的采样帧信号中的t1时刻所处的低电平间隔;
(4)t2时刻,所述摄像头捕D获到所述障碍物反射来自所述第二红外发射管E2的红外光的图像,随后关闭所述第一红外发射管E1和所述第二红外发射管E2,作为第二帧图像(采样帧中的第二个高电平信号);
(5)t3时刻,进入下一所述控制周期,所述摄像头开始捕获第三帧图像;
其中,所述控制周期都为t3-t0,其中t3-t2为死区时间段,所述第一红外发射管E1和所述第二红外发射管E2输出脉冲信号相位相差180度,对应地所述摄像头D在成像平面上接收的有效亮度值也相等,所述采样帧率是所述摄像头D采样每一帧图像的时间。步骤1中所述第一红外发射管E1和所述第二红外发射管E2调制输出的互补脉冲信号有利于后续步骤中所述感测位中心线左右两侧的障碍物判断。
具体地,红外发光二极管的发射强度因发射方向而异。当方向角度越小即代表元件之指向性越灵敏。一般使用红外线发光二极管均附有透镜,使其指向性更灵敏。红外发光管的辐射强度,依光轴上的距离而变,亦随受光元件的不同而变。基本上光量度是随距离的平方成反比,且和受光元件特性不同有关。发射红外线去控制相应的受控装置时,其辐射的强度随着发射传播距离呈指数衰减。同时为了方便摄像头采样红外发光管发射光线的图像亮度变化,红外发光管工作于脉冲状态,脉冲光的调制频率与所述摄像头D的采样帧率一样;为了辅助所述摄像头区分捕获到的所述感测位中心线左右两侧所述障碍物反射红外光的图像亮度在时序上的变化差异,所述第一红外发射管E1与所述第二红外发射管E2的占空比相同且互补,即两者输出调制波形的相位相差180度。
优选地,当所述摄像头捕获到所述感测位中心线左侧所述障碍物反射红外光的图像时,如图4所示,上部分为所述摄像头D控制的采样帧信号,下部分为所述摄像头D接收的图像亮度变化信号,所述控制周期的t0时刻,控制开启所述第一红外发射管E1后,所述摄像头D捕获到的图像亮度为I10,该亮度值一直持续到t1时刻,时间长度为所述摄像头D由第一帧图像切换到第二帧图像的时间间隔;所述控制周期的t1时刻,控制关闭所述第一红外发射管E1,同时控制开启所述第二红外发射管E2,所述摄像头捕获到的图像亮度为I11。在本发明实施例中,如图2所示,当障碍物位于所述感测位中心线107的左侧的位置A,位置A与所述第一红外发光管E1的距离小于位置A与所述第二红外发光管E2的距离,故障碍物接收所述第一红外发光管E1的光强比所述第二红外发光管E2的强,所述障碍物反射第一红外发光管E1的光强比所述第二红外发光管E2的强,故在一个控制周期内,所述摄像头D在t0~t1时间段捕获到图像亮度I10比在t1~t2时间段捕获到图像亮度I11大,其中所述摄像头D捕获的图像亮度为所述障碍物反射所述第一红外发光管E1的光强和所述第二红外发光管E2的光强叠加的强度值,这会因所述障碍物的位置而在时序上产生亮度的差异,将作为后续控制方法中训练所述第一分类器的样本特征选择依据。
优选地,当所述摄像头捕获到所述感测位中心线右侧所述障碍物反射红外光的图像时,如图5所示,上部分为所述摄像头D控制的采样帧信号,下部分为所述摄像头D接收的图像亮度变化信号,所述控制周期的t0时刻,控制开启所述第一红外发射管E1后,所述摄像头D捕获到的图像亮度为I20,该亮度值一直持续到t1时刻,时间长度为所述摄像头D由第一帧图像切换到第二帧图像的时间间隔;所述控制周期的t1时刻,控制关闭所述第一红外发射管E1,同时控制开启所述第二红外发射管E2,所述摄像头捕获到的图像亮度为I21。在本发明实施例中,如图2所示,当障碍物位于所述感测位中心线107的右侧的位置B,位置B与所述第一红外发光管E1的距离大于位置B与所述第二红外发光管E2的距离,故障碍物接收所述第一红外发光管E1的光强比所述第二红外发光管E2的弱,所以所述障碍物反射第一红外发光管E1的光强比所述第二红外发光管E2的弱,故在一个控制周期内,所述摄像头D在t0~t1时间段捕获到图像亮度I20比在t1~t2时间段捕获到图像亮度I21小,其中所述摄像头D捕获的图像亮度为所述障碍物反射所述第一红外发光管E1的光强和所述第二红外发光管E2的光强叠加的强度值,这会因所述障碍物的位置而在时序上产生亮度的差异,将作为后续控制方法中训练所述第二分类器的样本特征选择依据。
优选地,当所述障碍物出现在所述感测位中心线上时,作为两个红外发射管发出的光交叉最强烈的区域,所述摄像头捕获到的所述障碍物反射红外光的图像的亮度为所述第一红外发射管E1与所述第二红外发射管E2输出的相位互补的脉冲信号,使得所述摄像头捕获的图像亮度保持一定时序上的恒定亮度值。
作为本发明实施其中一种实施例,在所述步骤2中,所述图像处理模块依靠所述感测位中心线的左右两侧所述障碍物反射红外光的图像的亮度特征对应划分出两类图像特征数据进而训练相应的分类器。对于所述摄像头采集的样本的处理方法如下:
所述感测位中心线左侧的所述障碍物反射红外光的图像作为第一正样本,所述感测位中心线左侧没有所述障碍物反射红外光的图像作为第一负样本,所有的样本图片都被归一化为同样的尺寸;由于图像或波形所获得的数据量是相当大的,为了有效地实现分类识别,需要对所述采样帧率内的图像的亮度特征进行选择和提取,从而对原始数据进行变换得到最能反映分类本质的特征,进而训练得到所述第一分类器。
所述感测位中心线右侧的所述障碍物反射红外光的图像作为第二正样本,所述感测位中心线右侧没有所述障碍物反射红外光的图像作为第二负样本,所有的样本图片都被归一化为同样的尺寸;由于图像或波形所获得的数据量是相当大的,为了有效地实现分类识别,需要对所述采样帧率内的图像的亮度特征进行选择和提取,从而对原始数据进行变换得到最能反映分类本质的特征,进而训练得到所述第二分类器。
本发明实施例将左右两侧障碍物发射红外光的图像提取出有差异的训练样本,再在各训练样本上训练生成对应的基分类器,然后对各基分类器分配预设权重组合成一个组合分类器,用来判断所感测的场景中的所述障碍物位置,提供分类器的性能和分类精度。其中所述预设权重根据所述障碍物反射的红外光的图像亮度特征决定。
作为本发明实施的一种方式,利用按照所述预设权重训练好的组合分类器对所述障碍物的位置判断的方法:首先用一个扫描子窗口在待检测的图像中不断的移位滑动,子窗口每到一个位置,就会计算出该区域的特征;其次用所述组合分类器对该特征进行筛选,判定该区域是否为目标;然后因为目标在图像的大小可能和训练分类器时使用的样本图片大小不一样,所以就需要对这个扫描的子窗口变大或者变小(或者将图像变小) ,再在图像中滑动,再匹配一遍;最终得到分类结果。
以上实施例仅为充分公开而非限制本发明,凡基于本发明的创作主旨、未经创造性劳动的等效技术特征的替换,应当视为本申请揭露的范围。
Claims (9)
1.一种红外和视觉特征的避障装置,其特征在于,包括检测模块和图像处理模块;
所述检测模块包括承载机构、红外发射管及摄像头,红外发射管和摄像头彼此呈夹角地设置于所述承载机构上,所述红外发射管有两个,各个红外发射管与摄像头中心线有共同一个交叉点;
所述图像处理模块,用于将所述摄像头接收障碍物反射红外光的图像作为样本进行训练,再利用训练好的分类器去判断所述避障装置前方的障碍物的位置,并根据判断结果控制避障装置执行相应的避障动作;
其中,所述障碍物处于所述避障装置前方所述摄像头和所述各个红外发射管的视角范围内;
所述图像处理模块先采集感测位中心线左侧的所述障碍物反射红外光的图像作为第一正样本,感测位中心线左侧没有所述障碍物反射红外光的图像作为第一负样本,进行训练得到第一分类器;
所述图像处理模块再采集感测位中心线右侧的所述障碍物反射红外光的图像作为第二正样本,感测位中心线右侧没有所述障碍物反射红外光的图像作为第二负样本,进行训练得到第二分类器;
将所述第一分类器和所述第二分类器按照预设权重组合成一个组合分类器,用来判断所感测的场景中的所述障碍物位置,其中所述预设权重根据所述障碍物反射的红外光的图像亮度特征决定。
2.根据权利要求1所述的避障装置,其特征在于,所述各个红外发射管与所述摄像头中心线有一个共同的交叉点的实现方式为:设置所述各个红外发射管与所述摄像头的夹角相同和/或水平距离相同。
3.根据权利要求2所述的避障装置,其特征在于,所述摄像头设置于所述承载机构的感测位中心线上;所述红外发射管包括第一红外发射管和第二红外发射管,所述第一红外发射管设置于所述感测位中心线的左侧,所述第二红外发射管设置于所述感测位中心线的右侧。
4.根据权利要求1所述的避障装置,其特征在于,所述第一红外发射管和所述第二红外发射管分别与所述感测位中心线呈锐角夹角。
5.一种基于权利要求3所述避障装置的控制方法,其特征在于,包括:
步骤1、通过重复的控制周期控制所述第一红外发射管和所述第二红外发射管的启闭输出相位互补的脉冲信号,及调节所述摄像头的采样帧率,每一个控制周期的脉冲时序如下:
(1)在t0时刻之前,控制所述第一红外发射管和所述第二红外发射管关闭,摄像头没开始以所述采样帧率进行采样;
(2)t0时刻,控制开启所述第一红外发射管后,所述摄像头捕获到所述障碍物反射来自所述第一红外发射管的红外光的图像,作为第一帧图像;
(3)t1时刻,控制关闭所述第一红外发射管,并开启所述第二红外发射管,所述摄像头由第一帧图像切换到第二帧图像;
(4)t2时刻,所述摄像头捕获到所述障碍物反射来自所述第二红外发射管的红外光的图像,随后关闭所述第一红外发射管和所述第二红外发射管,作为第二帧图像;
(5)t3时刻,进入下一所述控制周期,所述摄像头开始捕获第三帧图像;
其中,所述控制周期都为t3-t0,其中t3-t2为死区时间段,所述采样帧率是所述摄像头采样每一帧图像的时间;
步骤2、将感测位中心线的左右两侧所述障碍物反射的红外光的图像作为样本,通过训练样本对分类器进行训练,得到对应所述感测位中心线的左右两侧所述障碍物的两个分类器,再对这两个分类器按照预设权重组合成一个组合分类器,用来判断所感测的场景中的所述障碍物位置,其中所述预设权重根据所述障碍物反射的红外光的图像亮度特征决定;
步骤3、当判断到感测位中心线的左侧存在所述障碍物时,驱动所述避障装置向所述感测位中心线的右侧转动;当判断到感测位中心线的右侧存在所述障碍物时,驱动所述避障装置向感测位中心线的左侧转动。
6.根据权利要求5所述控制方法,其特征在于,在所述步骤2中,所述感测位中心线左侧的所述障碍物反射红外光的图像作为第一正样本,所述感测位中心线左侧没有所述障碍物反射红外光的图像作为第一负样本,对所述采样帧率内的图像的亮度特征进行选择和提取,从而对原始数据进行变换得到最能反映分类本质的特征,进而训练得到第一分类器;
所述感测位中心线右侧的所述障碍物反射红外光的图像作为第二正样本,所述感测位中心线右侧没有所述障碍物反射红外光的图像作为第二负样本,对所述采样帧率内的图像的亮度特征进行选择和提取,从而对原始数据进行变换得到最能反映分类本质的特征,进而训练得到第二分类器。
7.根据权利要求6所述控制方法,其特征在于,当所述摄像头捕获到所述感测位中心线左侧所述障碍物反射红外光的图像时,所述控制周期的t0时刻,控制开启所述第一红外发射管后,所述摄像头捕获到的图像亮度为I10;所述控制周期的t1时刻,控制关闭所述第一红外发射管,同时控制开启所述第二红外发射管,所述摄像头捕获到的图像亮度为I11;其中I10>I11。
8.根据权利要求6所述控制方法,其特征在于,当所述摄像头捕获到所述感测位中心线右侧所述障碍物反射红外光的图像时,所述控制周期的t0时刻,控制开启所述第一红外发射管后,所述摄像头捕获到的图像亮度为I20;所述控制周期的t2时刻,所述摄像头捕获到的图像亮度为I21;其中I20<I21。
9.根据权利要求5所述控制方法,其特征在于,利用所述组合分类器进行所述障碍物的位置判断:用一个扫描子窗口在待检测的图像中不断的移位滑动计算窗口区域的亮度特征,并且通过训练好的所述组合分类器对该特征进行筛选,最终得到所要的分类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810458440.XA CN108415037B (zh) | 2018-05-14 | 2018-05-14 | 一种红外和视觉特征的避障装置及控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810458440.XA CN108415037B (zh) | 2018-05-14 | 2018-05-14 | 一种红外和视觉特征的避障装置及控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108415037A CN108415037A (zh) | 2018-08-17 |
CN108415037B true CN108415037B (zh) | 2023-06-13 |
Family
ID=63139287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810458440.XA Active CN108415037B (zh) | 2018-05-14 | 2018-05-14 | 一种红外和视觉特征的避障装置及控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108415037B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112902958A (zh) * | 2019-11-19 | 2021-06-04 | 珠海市一微半导体有限公司 | 一种基于激光视觉信息避障导航的移动机器人 |
JP2021094118A (ja) * | 2019-12-16 | 2021-06-24 | 日立グローバルライフソリューションズ株式会社 | 自律走行型掃除機 |
CN113452978B (zh) * | 2021-06-28 | 2023-01-17 | 深圳银星智能集团股份有限公司 | 一种障碍物检测方法及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622589A (zh) * | 2012-03-13 | 2012-08-01 | 辉路科技(北京)有限公司 | 一种基于gpu的多光谱人脸检测方法 |
CN107045352A (zh) * | 2017-05-31 | 2017-08-15 | 珠海市微半导体有限公司 | 基于多红外的机器人避障装置、其控制方法及机器人沿边控制方法 |
CN107368079A (zh) * | 2017-08-31 | 2017-11-21 | 珠海市微半导体有限公司 | 机器人清扫路径的规划方法及芯片 |
CN208432736U (zh) * | 2018-05-14 | 2019-01-25 | 珠海市一微半导体有限公司 | 一种红外和视觉特征的避障装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7859432B2 (en) * | 2007-05-23 | 2010-12-28 | Che Il Electric Wireing Devices Co., Ltd. | Collision avoidance system based on detection of obstacles in blind spots of vehicle |
-
2018
- 2018-05-14 CN CN201810458440.XA patent/CN108415037B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622589A (zh) * | 2012-03-13 | 2012-08-01 | 辉路科技(北京)有限公司 | 一种基于gpu的多光谱人脸检测方法 |
CN107045352A (zh) * | 2017-05-31 | 2017-08-15 | 珠海市微半导体有限公司 | 基于多红外的机器人避障装置、其控制方法及机器人沿边控制方法 |
CN107368079A (zh) * | 2017-08-31 | 2017-11-21 | 珠海市微半导体有限公司 | 机器人清扫路径的规划方法及芯片 |
CN208432736U (zh) * | 2018-05-14 | 2019-01-25 | 珠海市一微半导体有限公司 | 一种红外和视觉特征的避障装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108415037A (zh) | 2018-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11604277B2 (en) | Apparatus for acquiring 3-dimensional maps of a scene | |
EP3187895B1 (en) | Variable resolution light radar system | |
CN108415037B (zh) | 一种红外和视觉特征的避障装置及控制方法 | |
CN100524015C (zh) | 生成距景物距离的图象的方法和装置 | |
CN108627813A (zh) | 一种激光雷达 | |
CN109819173B (zh) | 基于tof成像***的深度融合方法和tof相机 | |
CN110325879A (zh) | 用于压缩三维深度感测的***和方法 | |
CN101171833A (zh) | 具有三角测量自动聚焦***的数字照相机以及相关方法 | |
EP2824418A1 (en) | Surround sensing system | |
US20200026031A1 (en) | Bokeh control utilizing time-of-flight sensor to estimate distances to an object | |
US12032063B2 (en) | Application specific integrated circuits for lidar sensor and multi-type sensor systems | |
CN111487648A (zh) | 一种基于飞行时间的非视域成像方法和*** | |
CN208432736U (zh) | 一种红外和视觉特征的避障装置 | |
US11280907B2 (en) | Depth imaging system | |
Hancock et al. | High-performance laser range scanner | |
CN109061606A (zh) | 智能感知激光雷达***及智能感知激光雷达控制方法 | |
CN109618085B (zh) | 电子设备和移动平台 | |
KR20110082734A (ko) | 자동 초점 조절 장치 및 그 방법 | |
CN100417915C (zh) | 无扫描器的成像测距方法及其测距仪 | |
TW202238172A (zh) | 感測系統 | |
Poppinga et al. | A characterization of 3D sensors for response robots | |
Ohya et al. | Intelligent escort robot moving together with human-methods for human position recognition | |
KR20210056577A (ko) | 자율 이동 로봇의 장애물 감지 장치 | |
KR20190129551A (ko) | 무인 이동체용 사물 유도 시스템 및 방법 | |
JPH063452A (ja) | 移動ロボット間の環境認識方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 519000 2706, No. 3000, Huandao East Road, Hengqin new area, Zhuhai, Guangdong Applicant after: Zhuhai Yiwei Semiconductor Co.,Ltd. Address before: 519000 room 105-514, No. 6, Baohua Road, Hengqin new area, Zhuhai, Guangdong Applicant before: AMICRO SEMICONDUCTOR Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |