CN105956559B - 基于无人机视频的特定目标检测方法 - Google Patents
基于无人机视频的特定目标检测方法 Download PDFInfo
- Publication number
- CN105956559B CN105956559B CN201610294924.6A CN201610294924A CN105956559B CN 105956559 B CN105956559 B CN 105956559B CN 201610294924 A CN201610294924 A CN 201610294924A CN 105956559 B CN105956559 B CN 105956559B
- Authority
- CN
- China
- Prior art keywords
- pixel
- point
- image
- target
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种在无人机航拍视频中使用嵌入式设备,在线实时检测特定目标位置的方法。本发明的方法不需要使用传统目标检测方法的滑动窗口法,而是基于如下流程:DSP将摄像头采集到的图像缩放为352*288大小以便于处理,根据像素的RGB值获得该像素的颜色类别、遍历每个像素点寻找与特定目标颜色分布符合的点(待定点)、对待定点进行分析以确定是否是目标上的点,如是,则在图像中在确定目标大小。利用本发明提出的方法,既可加快检测速度,还可以提高检测的准确率。
Description
技术领域
本发明涉及计算机视觉和模式识别领域,具体而言涉及一种基于无人机视频的特定目标检测方法。
背景技术
目标检测识别是计算机视觉中的一个重要领域,其目的是能够快速准确地自动检测出人们感兴趣的目标的位置,以根据检测结果做进一步处理。随着无人机技术的日渐成熟,使用无人机获取视频信息,基于无人机拍摄的视频进行目标检测的研究正在日渐增多。相比于固定的摄像头,无人机可以自由地在大范围内移动,对一大片区域进行检测。同时,当无人机飞行较低时,可以获得高清晰度的图像。无人机可用于未知的乃至危险区域进行检测,不仅成本低,更保证了人的安全。
使用无人机在线检测目标也有必须克服的难点。运动中的无人机对检测方法的实时性要求较高,而由于硬件条件的限制,像HOG+SVM,HAAR+Adaboost这样的已经在普通计算机上取得很好检测效果的机器学***台上运行,达不到实时检测的效果。
发明内容
本发明目的在于提供一种基于无人机视频的特定目标检测方法,以实现在嵌入式设备上进行快速准确检测特定目标位置。
本发明的上述目的通过独立权利要求的技术特征实现,从属权利要求以另选或有利的方式发展独立权利要求的技术特征。
为达成上述目的,本发明提出一种基于无人机视频的特定目标检测方法,包括以下步骤:
1)将DSP,连同摄像头固定在无人机上,摄像头镜头始终向下;
2)构建一个矩阵,用于计算一个像素点RGB值对应的颜色类别。
3)将输入图像缩放到352*288大小;
4)遍历每一个像素点,根据像素点的RGB值用公式计算每一个像素点对应的颜色类别;
5)得到图像中每个位置的颜色类别后,遍历每个点,寻找与目标颜色分布相符合的的待定点;
6)对找到的待定点进行分析,如果是目标上的点,在进一步确定目标大小,如果不是,则放弃,继续寻找下一个目标点,直至遍历完图像中的像素点;
应当理解,前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外,所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见,或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中,在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见,在每个图中,并非每个组成部分均被标记。现在,将通过例子并参考附图来描述本发明的各个方面的实施例,其中:
图1是基于无人机视频的特定目标检测方法流程图。
具体实施方式
为了更了解本发明的技术内容,特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面,附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解,上面介绍的多种构思和实施例,以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施,这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外,本发明公开的一些方面可以单独使用,或者与本发明公开的其他方面的任何适当组合来使用。
本发明所提出的基于无人机视频的特定目标检测方法,使用了图像中像素RGB值与视觉上颜色种类的对应解析,结合图像与特定目标的颜色分布信息来确定目标位置,避免了复杂的计算,使在实际应用中,可以用DSP这样的嵌入式设备进行目标检测。
下面结合附图,对本发明的一些示范性实施例加以说明。
根据本发明的实施例,提出一种基于无人机视频的特定目标检测方法,以克服现有目标检测方法难以在嵌入式设备上运行,或运行效率不高的缺点。结合图1所示,该方法的实现大致包括以下6个步骤:
1)将DSP,连同摄像头固定在无人机上,摄像头镜头始终向下;
2)构建一个矩阵,用于计算一个像素点RGB值对应的颜色类别;
3)将输入图像缩放到352*288大小;
4)遍历每一个像素点,根据像素点的RGB值用公式计算每一个像素点对应的颜色类别;
5)得到图像中每个位置的颜色类别后,遍历每个点,寻找与目标颜色分布相符合的的待定点;
6)对找到的待定点进行分析,如果是目标上的点,在进一步确定目标大小,如果不是,则放弃,继续寻找下一个目标点,直至遍历完图像中的像素点。
上述方法中,所述步骤2)具体为:
21)将现实世界中的颜色分为11个基本类别,分别是黑、蓝、褐、灰、绿、橘黄、粉红、紫、红、白、黄。按顺序用1~11给其编号;
22)构建一个矩阵用于计算像素点RGB值对应的颜色类别编号,矩阵的大小为32768*11。计算时会把像素点RGB值对应到矩阵的某一行。矩阵每一行的11个值,代表了该像素点是这11中颜色的概率。我们认为,概率最大的一个,便是该像素点的颜色类别。
我们所需的矩阵来源于:Van De Weijer,Joost,et al."Learning color namesfor real-world applications."Image Processing,IEEE Transactions on 18.7(2009):1512-1523.这篇论文的主要工作是现实世界图像中颜色名称的学习,即从现实世界的图片(如***搜素得到的图片)中学习像素点的RGB值与视觉上颜色类别的关系。我们把RGB与颜色的对应关系,应用到无人机视频上的特定目标检测中。
如图1的流程图所示,上述方法中,所述步骤4)具体为:
41)将采集到的图像存放在一个352*288*3的一维数组里。数组中每三个元素代表图像中对应的一个像素点的RGB值。352是图像的宽度,288是图像的高度,图像共有352*288个像素点,故需要352*288*3个元素存储图像数据
42)对每一个像素,使用如下公式计算索引值:
index=1+floor(R/8)+32*floor(G/8)+32*32*floor(B/8);
在实际的程序中,可使用左移右移运算来加快速度。
floor()表示向下取整逻辑运算,R表示某一像素点的R值对应的元素,G表示某一像素点的G值对应的元素,B表示某一像素点的B值对应的元素;
43)根据得到的index值,查阅第二步所得的矩阵的第index行,概率最大的就是该像素点所属的颜色类别。将所得结果存储在大小为352*288的一维数组里,数组中每个元素在1~11间,代表图像该位置的颜色类别。
上述方法中,若目标为单一颜色,则所述步骤5)具体为:
51)遍历图像中的点,使用公式计算像素点的颜色,把遇到的与目标颜色一致的点作为待定点;
52)每找到一个待定点,以之为中心选定5*5的邻域进行区域扩充。扩充方向依次为y轴负方向,x轴正方向,y轴正方向,x轴负方向。扩充的原则为:若扩充方向对应的边界上,中间五个像素点颜色都为目标颜色,则区域向此方向扩充一个单位,并继续计算,到不满足扩充条件为止。最终扩充后的区域大小与目标预期大小一致时,我们认为是有效区域,即目标。否则放弃该区域,寻找其他待定点,直至遍历完图像。
53)对找到的待定点,如已经属于一个确定的有效区域,则直接跳过。
上述方法中,若目标为多种颜色的,所述步骤5)具体包括:
51)遍历图像中的点,使用公式计算像素点的颜色。把邻域颜色种类,与目标上相邻颜色种类一致的点作为待定点。
52)每找到一个待定点,以之为中心选定5*5的邻域进行区域扩充。扩充方向依次为y轴负方向,x轴正方向,y轴正方向,x轴负方向。扩充的原则为:若扩充方向对应的边界上,中间五个像素点颜色都为目标上颜色,且分布情况与目标一致时,则区域向此方向扩充一个单位,并继续计算,到不满足扩充条件为止。最终扩充后的区域大小与目标预期大小一致时,我们认为是有效区域,即目标。否则放弃该区域,寻找其他待定点,直至遍历完图像。
53)对找到的待定点,如已经属于一个确定的有效区域,则直接跳过。
当目标为多种颜色组成时,用特定目标上颜色交界出的特征来选取待定点,可以有效减少背景的颜色对目标检测的影响。
综上所述,本发明提出了一种基于无人机视频的特定目标检测方法。该方法使用DSP这样的设备,从无人机航拍的视频中在线检测所需的目标位置,克服了现有目标检测方法难以在嵌入式设备上运行,或运行效率不高的缺点,具体步骤可划分为硬件平台的搭建、图像RGB值到颜色种类的对应、待定点的选取与目标区域大小的确定。
利用本发明提出的方法,可以基于无人机平台,在DSP这样运算能力不强的嵌入式设备上快速准确的检测目标位置。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。
Claims (4)
1.一种基于无人机视频的特定目标检测方法,其特征在于,包括以下步骤:
1)将DSP连同摄像头固定在无人机上,并且摄像头镜头始终向下,采集图像;
2)构建一个矩阵,用于计算一个像素点RGB值对应的颜色类别;
3)将采集输入的图像缩放到352*288大小;
4)遍历图像每一个像素点,根据像素点的RGB值确定每一个像素点对应的颜色类别;具体包括:
31)将采集到的图像存放在一个352*288*3的一维数组里,数组中每三个元素代表图像中对应的一个像素点的RGB值,352是图像的宽度,288是图像的高度,图像共有352*288个像素点,故需要352*288*3个元素存储图像数据;
32)对每一个像素,使用如下公式计算索引值:
index=1+floor(R/8)+32*floor(G/8)+32*32*floor(B/8);
其中,floor()表示向下取整逻辑运算,R表示某一像素点的R值对应的元素,G表示某一像素点的G值对应的元素,B表示某一像素点的B值对应的元素;
33)根据得到的索引值index,查阅步骤2)的矩阵的第index行,概率最大的就是该像素点所属的颜色类别;将所得结果存储在大小为352*288的一维数组里,数组中每个元素在1~11间,代表图像该像素点的颜色类别;
5)得到图像中每个像素点的颜色类别后,遍历每个点,寻找与目标颜色分布相符合的待定点;
6)对找到的待定点进行分析,如果是目标上的点,则进一步确定目标大小,如果不是,则放弃,继续寻找下一个目标点,直至遍历完图像中所有的像素点。
2.根据权利要求1所述的基于无人机视频的特定目标检测方法,其特征在于,所述步骤2)具体包括以下步骤:
21)将现实世界中的颜色分为11个基本类别,分别是黑、蓝、褐、灰、绿、橘黄、粉红、紫、红、白、黄,按顺序用1~11进行编号;
22)构建一个矩阵用于计算像素点RGB值对应的颜色类别编号,矩阵的大小为32768*11,计算时将像素点RGB值对应到矩阵的某一行,矩阵每一行的11个值,代表了该像素点是这11中颜色的概率,概率最大的一个,便是该像素点的颜色类别。
3.根据权利要求1所述的基于无人机视频的特定目标检测方法,其特征在于,若目标为单一颜色的,所述步骤5)具体包括:
41)遍历图像中的点,计算像素点的颜色,把遇到的与目标颜色一致的点作为待定点;
42)每找到一个待定点,以之为中心选定5*5的邻域进行区域扩充;扩充方向依次为y轴负方向,x轴正方向,y轴正方向,x轴负方向;扩充的原则为:若扩充方向对应的边界上,中间五个像素点颜色都为目标颜色,则区域向此方向扩充一个单位,并继续计算,到不满足扩充条件为止;最终扩充后的区域大小与目标预期大小一致时,则认为是有效区域,即目标;否则放弃该区域,寻找其他待定点,直至遍历完图像;
43)对找到的待定点,如已经属于一个确定的有效区域,则直接跳过。
4.根据权利要求3所述的基于无人机视频的特定目标检测方法,其特征在于,若目标为多种颜色的,所述步骤5)具体包括:
51)遍历图像中的点,计算像素点的颜色,并把邻域颜色种类,与目标上相邻颜色种类一致的点作为待定点;
52)每找到一个待定点,以之为中心选定5*5的邻域进行区域扩充;扩充方向依次为y轴负方向,x轴正方向,y轴正方向,x轴负方向;扩充的原则为:若扩充方向对应的边界上,中间五个像素点颜色都为目标上颜色,且分布情况与目标一致时,则区域向此方向扩充一个单位,并继续计算,到不满足扩充条件为止;最终扩充后的区域大小与目标预期大小一致时,则认为是有效区域,即目标;否则放弃该区域,寻找其他待定点,直至遍历完图像;
53)对找到的待定点,如已经属于一个确定的有效区域,则直接跳过。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610294924.6A CN105956559B (zh) | 2016-05-05 | 2016-05-05 | 基于无人机视频的特定目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610294924.6A CN105956559B (zh) | 2016-05-05 | 2016-05-05 | 基于无人机视频的特定目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105956559A CN105956559A (zh) | 2016-09-21 |
CN105956559B true CN105956559B (zh) | 2019-05-07 |
Family
ID=56914675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610294924.6A Active CN105956559B (zh) | 2016-05-05 | 2016-05-05 | 基于无人机视频的特定目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105956559B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10268907B2 (en) * | 2017-01-11 | 2019-04-23 | GM Global Technology Operations LLC | Methods and systems for providing notifications on camera displays for vehicles |
CN107194340B (zh) * | 2017-05-15 | 2022-03-01 | 窦露 | 利用计算机视觉搜索登山遇险人员的方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101334835A (zh) * | 2008-07-28 | 2008-12-31 | 上海高德威智能交通***有限公司 | 颜色识别方法 |
CN102289663A (zh) * | 2011-07-29 | 2011-12-21 | 四川长虹电器股份有限公司 | 一种基于颜色和形状的台标识别方法 |
CN102915544A (zh) * | 2012-09-20 | 2013-02-06 | 武汉大学 | 基于纹理检测和颜色分割的视频图像运动目标提取方法 |
CN104537354A (zh) * | 2015-01-09 | 2015-04-22 | 博康智能网络科技股份有限公司 | 用于视频监控的目标颜色识别方法及其*** |
CN105141903A (zh) * | 2015-08-13 | 2015-12-09 | 中国科学院自动化研究所 | 一种基于颜色信息的在视频中进行目标检索的方法 |
-
2016
- 2016-05-05 CN CN201610294924.6A patent/CN105956559B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101334835A (zh) * | 2008-07-28 | 2008-12-31 | 上海高德威智能交通***有限公司 | 颜色识别方法 |
CN102289663A (zh) * | 2011-07-29 | 2011-12-21 | 四川长虹电器股份有限公司 | 一种基于颜色和形状的台标识别方法 |
CN102915544A (zh) * | 2012-09-20 | 2013-02-06 | 武汉大学 | 基于纹理检测和颜色分割的视频图像运动目标提取方法 |
CN104537354A (zh) * | 2015-01-09 | 2015-04-22 | 博康智能网络科技股份有限公司 | 用于视频监控的目标颜色识别方法及其*** |
CN105141903A (zh) * | 2015-08-13 | 2015-12-09 | 中国科学院自动化研究所 | 一种基于颜色信息的在视频中进行目标检索的方法 |
Non-Patent Citations (1)
Title |
---|
Learning Color Names for Real-World Application;Joost van de Weijer et al.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20090731;第8卷(第7期);第1512-1523页 |
Also Published As
Publication number | Publication date |
---|---|
CN105956559A (zh) | 2016-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hall et al. | Probabilistic object detection: Definition and evaluation | |
US10872262B2 (en) | Information processing apparatus and information processing method for detecting position of object | |
CN109636771B (zh) | 基于图像处理的飞行目标检测方法及*** | |
CN110910341B (zh) | 一种输电线路锈蚀区缺陷检测方法及装置 | |
CN105354862A (zh) | 一种监控视频中运动目标的阴影检测方法、*** | |
CN107784291A (zh) | 基于红外视频的目标检测跟踪方法和装置 | |
CN104134071A (zh) | 一种基于颜色描述的可变形部件模型物体检测方法 | |
KR20120069331A (ko) | 영상의 전경과 배경을 분리하는 방법 | |
CN102087790B (zh) | 一种低空对地车辆检测与运动分析的方法和*** | |
CN105096307A (zh) | 在成对的立体图像中检测物体的方法 | |
US9536174B2 (en) | Fault-aware matched filter and optical flow | |
EP3107038A1 (en) | Method and apparatus for detecting targets | |
US20180047184A1 (en) | Image processing apparatus for processing images captured by a plurality of imaging units, image processing method, and storage medium storing program therefor | |
Sirmacek et al. | Automatic crowd density and motion analysis in airborne image sequences based on a probabilistic framework | |
Somawirata et al. | Road detection based on the color space and cluster connecting | |
CN105893957A (zh) | 基于视觉湖面船只检测识别与跟踪方法 | |
CN105956559B (zh) | 基于无人机视频的特定目标检测方法 | |
CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
WO2014205787A1 (zh) | 一种基于混合图像模板的车辆检测方法 | |
JP2010008159A (ja) | 外観検査処理方法 | |
KR102260556B1 (ko) | 전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 방법 및 장치 | |
CN113508395B (zh) | 用于检测由像素构成的图像中的对象的方法和设备 | |
KR100695128B1 (ko) | 컬러 영상으로부터의 조명색 추출 방법 | |
CN108875560A (zh) | 面向无人驾驶的交通标志检测方法、设备、介质及*** | |
JP2007139421A (ja) | 形態分類装置及び方法、並びに変化領域抽出装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |