CN116805397A - 用于使用机器学习算法检测和识别图像中的小对象的***和方法 - Google Patents

用于使用机器学习算法检测和识别图像中的小对象的***和方法 Download PDF

Info

Publication number
CN116805397A
CN116805397A CN202211641775.8A CN202211641775A CN116805397A CN 116805397 A CN116805397 A CN 116805397A CN 202211641775 A CN202211641775 A CN 202211641775A CN 116805397 A CN116805397 A CN 116805397A
Authority
CN
China
Prior art keywords
interest
image
drone
search parameters
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211641775.8A
Other languages
English (en)
Inventor
弗拉基米尔·E·图罗夫
弗拉基米尔·Y·克莱施宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaspersky Lab AO
Original Assignee
Kaspersky Lab AO
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/978,311 external-priority patent/US20230306715A1/en
Application filed by Kaspersky Lab AO filed Critical Kaspersky Lab AO
Publication of CN116805397A publication Critical patent/CN116805397A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了用于使用无人机(UAV)基于图像分析来检测小尺寸对象的***和方法。该方法包括:获得对象搜索参数,其中,所述搜索参数包括感兴趣对象的至少一个特征;在所述UAV的飞行期间,生成包含高分辨率图像的至少一个图像;基于所获得的搜索参数,使用机器学习算法分析所生成的图像;如果在分析期间在所述图像中检测到满足所述搜索参数的至少一个对象,则使用机器学习算法识别所述感兴趣对象;以及响应于将检测到的对象识别为所述感兴趣对象,确定所述检测到的对象的位置。

Description

用于使用机器学习算法检测和识别图像中的小对象的***和 方法
技术领域
本发明总体上涉及计算数据处理领域,具体地涉及用于使用机器学习算法检测和识别图像中的小对象的***和方法。
背景技术
无人机(UAV)在各种应用中越来越受欢迎。例如,UAV在业余爱好者和热衷者中很流行,并且越来越被认为是可行的包裹递送载具。在UAV机载航拍中,图像的处理和分析通常在UAV返回地面并从中提取数据后进行。
同时,有几种常规解决方案允许直接在UAV上执行数据处理,但在这种情况下,对图像中对象的大小以及照片和视频录制都提出严格要求。优选地,图像中的对象应该足够大,并且由于UAV的计算能力有限,照片的大小应该相对较小。通常,在这样的图片中,对象的大小应该占据图像的重要部分,例如但不限于超过20%。
已知的解决方案通常不允许用户执行与快速搜索相对于整个图像大小的小尺寸和超小尺寸对象相关的一些任务。这种任务的示例包括但不限于搜索图像以寻找失踪人员、搜索和计数紧急区域内的受影响人员和/或建筑物。搜索任务可包括:检测和/或识别对象(例如,人、宠物、建筑物、汽车)。因此,很少有优化的解决方案专门用于图像中的小对象和超小对象的联合检测和识别。
本领域中的现有解决方案还未解决的另一项任务是处理图像,以便使用机器学习算法直接在UAV上检测和识别小对象和超小对象。通常,如果UAV缺乏一定的计算能力,则识别对象或将其分类的可能性可显著降低,和/或图像处理的时间可显著增加。因此,所需计算资源的缺乏可导致信息、时间的损失(例如,如果UAV已经离开感兴趣区域),并可导致实时检测对象的效率低。应当注意,所提到的通过UAV使用机器学习图像处理算法的图像处理方法通常只意味着非常简化的分类。在这种分类中,类别的数量通常很少(2至3个),或者分类中的类别具有非常不同的特征。对于可以馈送到共享相似形状和大小(例如,不同类型的设备)的分类器中的一组特征,分类的精度通常不够高。通常,识别的对象的大小越小,分类任务就越困难。
因此,需要直接在UAV上实时有效地对小尺寸对象和超小尺寸对象进行检测、识别和分类。
发明内容
公开了一种直接在UAV上使用包括机器学习算法的计算模块检测和识别高分辨率光学图像上的小对象的新方法。有利地,所公开的解决方案另外能够将所检测的对象分类。
在一个方面,机器学习算法可包括卷积神经网络。有利地,所公开的解决方案可使用任何类型的UAV实现,包括但不限于:飞机、直升机等。所公开的方法允许使用无线电信道或蜂窝网络向地面接收站的操作者实时通知所检测的对象的检测和识别的结果。
在一个方面,一种用于使用无人机(UAV)基于图像分析来检测小尺寸对象的方法包括:获得对象搜索参数,其中,搜索参数包括感兴趣对象的至少一个特征;在所述UAV的飞行期间,生成包含高分辨率图像的至少一个图像;基于所获得的搜索参数,使用机器学习算法分析所生成的图像;如果在分析期间在所述图像中检测到满足所述搜索参数的至少一个对象,则使用机器学习算法识别所述感兴趣对象;以及响应于将检测到的对象识别为感兴趣对象,确定检测到的对象的位置。
附图说明
包含在本说明书中并构成本说明书一部分的附图示出了本发明的一个或多个示例方面,并与详细描述一起用于解释这些示例方面的原理和实现方式。
图1示意性地示出根据本发明的方面的飞行器(例如,UAV)的特定示例,该飞行器被配置为使用机器学习算法来促进图像中的小对象的检测和识别。
图2是示出根据本发明的方面的用于使用由UAV执行的机器学习算法来检测和识别图像中的小对象的示例方法的流程图。
图3A-图3C示出根据本发明的方面的所检测和识别的感兴趣对象的示例,所述感兴趣对象呈现为从中识别出感兴趣对象的图像的片段。
图4呈现根据本发明的方面的显示所检测和识别的小对象的捕获图像的示例。
图5示出其中表示所检测和识别的小对象的图像的两个示例。
图6示出可以在其上实现本文公开的***和方法的不同方面的计算机***的示例。
具体实施方式
本文在使用机器学习算法检测和识别图像中的小对象的***、方法和计算机程序产品的上下文中描述了示例性方面。本领域普通技术人员将认识到,以下描述仅是说明性的,并不旨在以任何方式进行限制。了解了本发明的本领域技术人员将很容易想到其他方面。现在将详细参考如附图所示的示例方面的实现方式。在整个附图和以下描述中,对于相同或类似的项目将尽可能使用相同的附图标记。
术语表:本文定义了许多术语,这些术语将用于描述本发明的不同方面。
本文使用的“操作者”是指所公开***的“用户”。
本文中使用的“小对象”是指图像中尺寸相对较小或超小的光点,而该光点的亮度与其周围环境的亮度不同。术语“小对象”特别是指在具有至少4K像素、例如6000x4000像素的分辨率的图像(帧)中占据几十个像素的对象的图像。通过上述对象的大小与图像本身的大小的比率,图像中的小对象的示例可以是私人住宅或汽车的图片,超小对象的示例可以是人。应当注意,借助高分辨率图像,所公开的***一方面能够分析覆盖大面积土地的图像。另一方面,当图像覆盖如此广大面积的区域时,所公开的***对分析图像本身提出了额外的要求以检测地面上的对象。例如,UAV飞行高度为150米,并形成尺寸为6000x4000像素(2400万像素)的照片帧,其中图像尺寸为70米x46米,分辨率为每厘米1.2像素,那么一个帧的覆盖面积将等于3320平方米。
本发明的方面通过提供用于使用被配置为实现至少一种机器学习算法的计算模块,基于对高分辨率照片或视频图像的分析来检测和识别小对象的方法和设备,能够解决现有***的缺点。
图1示意性地示出根据本发明的方面的飞行器(例如,UAV)的特定示例,该飞行器被配置为使用机器学习算法来促进图像中小对象的检测和识别。
转向图1所示的UAV 100。UAV 100可根据商业航空标准设计,并可包括多个余度以确保可靠性。具体地,UAV 100可包括在机载处理计算机125的控制下或至少部分地在机载处理计算机125的控制下操作的多个***或子***,例如在微型计算机(嵌入式微处理器***)上,所述微型计算机具有用于安装在UAV上的小尺寸,并且允许执行所要求保护的方面的必要计算。
在一个方面,UAV 100可包括图1中所示的至少以下部件:检测模块110和计算模块120(其可实现人工神经网络)、GPS/Glonass模块130和数据传输模块140。此外,UAV 100可包含飞行一段时间所需的元件。此外,每个UAV 100可使用被配置为彼此交互并实现其目的的软件。上述模块之间的通信可至少通过有线通信(电缆连接)提供。
在一个方面,检测模块110可以被配置为能够在UAV 100飞行期间生成UAV100的高分辨率图像的无反射镜照相机。例如,检测模块110可以包括Sony Alpha6000照相机等。计算模块120可以在机载处理计算机125上实现,例如,在微型计算机(嵌入式微处理器***)上,该微型计算机具有适合安装在UAV上的尺寸并且允许以所需速度(例如,对于图像处理和分析不超过1秒)执行所要求保护的方面的必要计算。在一个方面,微型计算机可以是模块板形式的独立设备,包含处理器、GPU、电源管理***、高速接口等。这种独立设备的示例可以是使用NVIDIA(R)JetsonTM实现的设备或诸如来自《STC“Modul”》的MB164.01的模块。GPS/Glonass模块130可以被配置为传输位置信息(例如,UAV 100的GPS坐标)。数据传输模块140可以是用于通过通信信道(例如无线信道和/或蜂窝通信)传送和接收数据的标准设备。
图2是示出用于使用由UAV执行的机器学习算法来检测和识别图像中的小对象的示例方法的流程图。
应当注意的是,在方法200的描述中,该方法的特征可以以单数和复数形式使用,而在方法的各个方面,可以使用两种形式,除非明确指出。例如,术语“对象”可以既指一个感兴趣对象,也可以指多个感兴趣对象。因此,术语“指定参数”可以指一个搜索对象的参数,也可以指多个搜索对象的参数。
检测和识别小对象的结果可以是选择与图像上描绘的感兴趣对象相关的一组像素,并使用所选择的一组像素确定感兴趣对象。
如图2所示,所要求保护的用于使用实现至少一种机器学习算法的计算模块120检测和识别从检测模块110获得的图像中的小对象的方法200可以包括由组成UAV 100的部件执行的一系列依次步骤。
根据图2所示的流程图,在步骤210,检测模块110可以在UAV 100飞行期间生成至少一个图像用于分析。在一个方面,UAV 100可以沿着给定的路线并且在实时控制下飞行,而UAV 100还可以被配置为动态地调整路线。在一个方面,检测模块110可以从空中每秒至少一次生成地面图像。生成的图像的结果尺寸以及相应地由图像呈现的图片可以被调整,并且可以取决于检测模块110自身的能力以及可以实现计算模块120的自主设备的计算能力。同时,所获得的图像中的图片应该具有用于分析的高分辨率,因为UAV 100的飞行可以在超过100米的高度(例如150米)进行,从而可以分析所获得的图像。
在一个方面,步骤210可以在图像生成之前另外指定UAV 100的飞行路径、摄影模式和参数(例如,帧/秒频率、图像分辨率)。此外,计算模块120可以获得关于至少一个对象的数据,以在所获得的图像中搜索该对象。关于对象的数据可以是表示对象的另一图像、对象的描述、对象的形状、颜色、估计尺寸等。
在一个方面,在步骤220,响应于获得图像,检测模块110可以将获得的数据发送到计算模块120。发送的数据可以包含描绘所检测的对象的至少一个图像。此外,实时地,计算模块120可以另外接收生成图像时的位置信息(例如,UAV100的GPS坐标和高度)。
在一个方面,在步骤230,计算模块120可以利用机器学习算法实时分析每个接收到的图像,以搜索满足搜索选项中提供的标准的至少一个对象。
应当注意,在一个方面,机器学习算法可以包括人工神经网络(ANN)。在一个方面,可以预先选择ANN来搜索生成的图像,以基于指定的参数来执行感兴趣对象的检测和识别。此外,ANN可以被预训练,并且可以被配置为动态地执行附加训练。可以基于准备好的图像列表来执行训练,在这些图像上,在不同的气候条件下、从不同的角度和以不同的背景照明描绘了相似的感兴趣对象。有利地,训练过程可以利用在有限可见性条件下制成的感兴趣对象的图像。此外,可以基于提供的搜索参数恰好在开始搜索感兴趣对象之前训练ANN。搜索参数可以是表征感兴趣对象的参数,例如但不限于尺寸、颜色、几何形状或形状集合。例如,如果感兴趣对象是人,则提供的搜索参数可以包括但不限于人的大小、头发颜色、他们可能穿着的衣服的类型和颜色。如果感兴趣对象是建筑物或车辆,则搜索参数可以包括但不限于对象或其部分的尺寸、颜色、对象的类型。换句话说,建筑物或车辆的特征元素可以被指定为搜索参数。
如本文所使用的,有限可见性指的是困难的天气条件(雾、侧光、夕阳等),以及从UAV 100上方或与UAV 100的飞行成一定角度观察感兴趣对象可能仅部分可见的其他原因。例如,当夏天在森林中寻找一个人时,枝叶通常覆盖了土地的大部分表面,也可能覆盖了感兴趣对象的绝大部分。因此,可以训练ANN以检测感兴趣对象的片段,例如但不限于在图像中仅能检测到的人体的部位(手臂、腿、肩膀、头部等)。ANN还可以被训练以基于对检测到的片段的分析来做出检测到感兴趣对象的决定。
在一个方面,卷积神经网络(CNN)可以用作机器学习算法,其可以允许更有效地检测和识别图像中的对象。
在步骤240,响应于在所分析的图像中初步检测到满足指定参数的对象,计算模块120可以利用机器学习算法识别检测到的对象,以便对所发现的对象和感兴趣对象之间的匹配做出最终决定。在这种情况下,根据特定实现方式,可以使用与检测对象相同的机器学习算法和/或使用可以由计算模块220实现的另一种机器学习算法来进行识别。
在一个方面,识别可以包括确定检测到的对象与感兴趣对象的至少一些指定参数之间的匹配。例如,如果至少75%的参数匹配,则可以将检测到的对象宣布为感兴趣对象。
在一个方面,在步骤250,响应于感兴趣对象的成功识别,可以通过分析由GPS/Glonass模块130获得的位置数据来确定对象的位置。考虑到与图像相关的数据(大小和格式)以及来自图像的数据(例如对象的大小(以像素为单位)及其在图像中的位置),位置数据可以包含关于生成图像时UAV 100的坐标和高度的信息。基于指定信息,计算感兴趣对象的位置(坐标)。此外,为了确定感兴趣对象的坐标,使用UAV 100的检测模块110使用的图像传感器(例如,上述照相机使用的镜头)的光学数据。在一个方面,可以使用50mm固定镜头。
在一个方面,在附加步骤260,可以组织文件。该文件可以包含检测和识别到感兴趣对象的图像的一部分(片段),以及计算出的感兴趣对象的坐标。所选择的片段303、306、309的示例如图3A-图3C所示。
在一个方面,在步骤270,传输模块140可以将生成的文件传输到地面接收站,而在连接不可用的情况下,传输模块140可以等到连接可用并且可以重新传输。根据实现方式,地面接收站可以是固定的或移动的(例如,配备有接收信息和可视化信息的必要设备的车辆)。
在一个方面,在可选步骤280,地面接收站可以使用来自文件的数据,在包含搜索位置的地图上可视化感兴趣对象的位置。地面接收站可以使用例如具有类似特性的web界面或软件应用程序用于可视化。
应当注意,在一个方面,所公开的***可以实现为包括多个UAV 100和至少一个地面接收站的***。当搜索(检测和识别)对象时,可以在不同的UAV 100之间交换数据,以便更有效地搜索。可以在UAV 100和与UAV 100通信的地面接收站之间交换数据。同时,可以从地面接收站控制每个UAV 100,例如,关于感兴趣对象、飞行路径和搜索模式的数据的传输。在该***中,UAV 100可以被实现为各种类型的UAV。例如,一个UAV 100可以是飞机类型,而另一个是直升机类型。有利地,多个UAV 100的联合使用可以在单个接口(在地面接收站)中聚合来自它们的数据。多个UAV 100的使用同时可以将搜索面积增加到至少几平方公里。
图3A-图3C示出根据本发明的方面的作为识别出感兴趣对象的图像的片段呈现的检测和识别的感兴趣对象的示例。更具体地,图3A-图3C显示以下图像的示例:
包含图像301、304、307的快照的形成;
发现的对象302、305、308的检测和识别的结果;
表示所识别的搜索对象310的图像301、304、307的片段303、306、309。
图4呈现根据本发明的方面的显示所检测和识别的小对象的捕获图像的示例。更具体地,图4示出所公开的用于检测和识别若干对象的方法的应用结果。图像402示出城市的一部分的图片,其中检测并识别出三种类型的对象。第一类型的对象404是人。在图像402中发现并识别为人的每个对象404在图中被标记为“pedestrian(行人)”,同时还指示由ANN计算的置信度,该置信度可以用百分比表示。在图像402中发现并识别为小客车的每个对象406由单词“car(小汽车)”标记,同时还指示置信度。作为第三类型的对象408,检测并识别出“van(面包车)”类型的大型汽车,并在图像402中以名称“van”和相应的置信度呈现。
图5示出显示所检测和识别的感兴趣的小对象的图像的两个示例。在这些示例中,寻找对象的任务是搜索位于河流附近的房屋。
在示例1中,呈现图像502,其中在第一种情况下,图像504表示应用所公开的方法之前的图像,并且图像505表示应用所述方法之后的图像。在示例2中,呈现第二图像506,其中图像508是传入方法,图像510示出使用所公开的方法的结果。
图6示出了可以在其上实现本文所公开的***和方法的各方面的计算机***的示例。计算机***20可以表示用于检测和识别图像中的小对象的***,并且可以是多个计算设备的形式,也可以是单个计算设备的形式,例如台式电脑、笔记本电脑、手提电脑、移动计算设备、智能手机、平板电脑、服务器、主机、嵌入式设备和其他形式的计算设备。
如图所示,计算机***20包括中央处理单元(Central Processing Unit,CPU)21、***存储器22和连接各种***部件的***总线23,各种***部件包括与中央处理单元21相关联的存储器。***总线23可以包括总线存储器或总线存储器控制器、***总线、以及能够与任何其他的总线架构交互的本地总线。总线的示例可以包括PCI、ISA、PCI-Express、超传输TM(HyperTransportTM)、无限带宽TM(InfiniBandTM)、串行ATA、I2C、和其他合适的互连。中央处理单元21(也称为处理器)可以包括单组或多组具有单核或多核的处理器。处理器21可以执行实现本发明的技术的一种或多种计算机可执行代码。***存储器22可以为用于存储本文中所使用的数据和/或可由处理器21执行的计算机程序的任何存储器。***存储器22可以包括易失性存储器(诸如随机存取存储器(Random Access Memory,RAM)25)和非易失性存储器(诸如只读存储器(Read-Only Memory,ROM)24、闪存等)或其任意组合。基本输入/输出***(Basic Input/Output System,BIOS)26可以存储用于在计算机***20的元件之间传输信息的基本程序,例如在使用ROM 24加载操作***时的那些基本程序。
计算机***20可以包括一个或多个存储设备,诸如一个或多个可移除存储设备27、一个或多个不可移除存储设备28、或其组合。所述一个或多个可移除存储设备27以及一个或多个不可移除存储设备28通过存储设备接口32连接到***总线23。在一方面,存储设备和相应的计算机可读存储介质为用于存储计算机指令、数据结构、程序模块、和计算机***20的其他数据的电源独立的模块。***存储器22、可移除存储设备27和不可移除存储设备28可以使用各种各样的计算机可读存储介质。计算机可读存储介质的示例包括:机器存储器,诸如缓存、SRAM、DRAM、零电容RAM、双晶体管RAM、eDRAM、EDO RAM、DDR RAM、EEPROM、NRAM、RRAM、SONOS、PRAM;闪存或其他存储技术,诸如在固态驱动器(Solid State Drive,SSD)或闪存驱动器中;磁带盒、磁带、和磁盘存储器,诸如在硬盘驱动器或软盘中;光学存储器,诸如在光盘(CD-ROM)或数字通用光盘(Digital Versatile Disk,DVD)中;以及可用于存储期望数据且可被计算机***20访问的任何其他介质。
计算机***20的***存储器22、可移除存储设备27和不可移除存储设备28可以用于存储操作***35、附加的应用程序37、其他程序模块38和程序数据39。计算机***20可以包括用于传送来自输入设备40的数据的***接口46,所述输入设备40诸如键盘、鼠标、手写笔、游戏控制器、语音输入设备、触摸输入设备、或其他***设备,诸如借助一个或多个I/O端口的打印机或扫描仪,该一个或多个I/O端口诸如串行端口、并行端口、通用串行总线(Universal Serial Bus,USB)、或其他***接口。显示设备47(诸如一个或多个监控器、投影仪或集成显示器)也可以通过输出接口48(诸如视频适配器)连接到***总线23。除了显示设备47之外,计算机***20还可以装配有其他***输出设备(未示出),诸如扬声器和其他视听设备。
计算机***20可以使用与一个或多个远程计算机49的网络连接而在网络环境中工作。所述一个或多个远程计算机49可以为本地计算机工作站或服务器,其包括前面在描述计算机***20的性质时所述的元件中的大多数元件或全部元件。其他设备也可以存在于计算机网络中,诸如但不限于路由器、网络站点、对等设备或其他网络节点。计算机***20可以包括用于通过一个或多个网络而与远程计算机49通信的一个或多个网络接口51或网络适配器,该一个或多个网络诸如计算机局域网(Local-Area Network,LAN)50、计算机广域网(Wide-Area Network,WAN)、内联网、和互联网。网络接口51的示例可以包括以太网接口、帧中继接口、SONET(同步光纤网)接口、和无线接口。
本发明的各个方面可以为***、方法和/或计算机程序产品。计算机程序产品可以包括一种或多种计算机可读存储介质,该计算机可读存储介质上具有用于使处理器执行本发明的各方面的计算机可读程序指令。
计算机可读存储介质可以为有形设备,该有形设备可以保持且存储指令或数据结构的形式的程序代码,该程序代码可以被计算设备(诸如计算机***20)的处理器访问。计算机可读存储介质可以为电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备、或其任何合适的组合。作为示例,这类计算机可读存储介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、便携式光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、闪存、硬盘、便携式电脑磁盘、记忆棒、软盘、或甚至机械编码设备,诸如在其上记录有指令的凹槽中的打孔卡或凸起结构。如在本文中所使用的,计算机可读存储介质不应被视为暂时性信号本身,暂时性信号诸如无线电波或其他自由传播的电磁波、通过波导或传输介质传播的电磁波、或通过电线传输的电信号。
可以将本文中所描述的计算机可读程序指令从计算机可读存储介质下载到相应的计算设备、或通过网络(例如,互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。该网络可以包括铜传输电缆、光学传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。在每个计算设备中的网络接口从网络接收计算机可读程序指令并转发该计算机可读程序指令,用以存储在相应的计算设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以为汇编指令、指令集架构(Instruction-Set-Architecture,ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或以一种或多种编程语言(包括面向对象的编程语言和传统程序化编程语言)的任何组合编写的源代码或目标代码。计算机可读程序指令(作为独立的软件包)可以完全地在用户的计算机上、部分地在用户的计算机上、部分地在用户的计算机上且部分地在远程计算机上、或完全地在远程计算机或服务器上执行。在后一种情况中,远程计算机可以通过任何类型的网络(包括LAN或WAN)连接到用户的计算机,或可以进行与外部计算机的连接(例如通过互联网)。在一些实施方式中,电子电路(包括例如可编程逻辑电路、现场可编程门阵列(FPGA)、或可编程逻辑阵列(Programmable Logic Array,PLA))可以通过利用计算机可读程序指令的状态信息而执行计算机可读程序指令,以使该电子电路个性化,从而执行本发明的各方面。
在各个方面,本发明中所描述的***和方法可以按照模块来处理。如本文中所使用的术语“模块”指的是例如现实世界的设备、部件、或使用硬件(例如通过专用集成电路(ASIC)或FPGA)实现的部件的布置,或者指的是硬件和软件的组合,例如通过微处理器***和实现模块功能的指令集(该指令集在被执行时将微处理器***转换成专用设备)来实现这样的组合。一个模块还可以被实现为两个模块的组合,其中单独地通过硬件促进某些功能,并且通过硬件和软件的组合促进其他功能。在某些实现方式中,模块的至少一部分(以及在一些情况下,模块的全部)可以在计算机***的处理器上运行。因此,每个模块可以以各种适合的配置来实现,而不应受限于本文中所例示的任何特定的实现方式。
为了清楚起见,本文中没有公开各个方面的所有例行特征。应当领会的是,在本发明的任何实际的实现方式的开发中,必须做出许多特定实现方式的决定,以便实现开发者的特定目标,并且这些特定目标将对于不同的实现方式和不同的开发者变化。应当理解的是,这种开发努力会是复杂的且费时的,但对于了解本发明的优点的本领域的普通技术人员来说仍然是工程的例行任务。
此外,应当理解的是,本文中所使用的措辞或术语出于描述而非限制的目的,从而本说明书的术语或措辞应当由本领域技术人员根据本文中所提出的教导和指导结合(一个或多个)相关领域技术人员的知识来解释。此外,不旨在将本说明书或权利要求中的任何术语归于不常见的或特定的含义,除非明确如此阐述。
本文中所公开的各个方面包括本文中以说明性方式所引用的已知模块的现在和未来已知的等同物。此外,尽管已经示出并描述了各个方面和应用,但是对于了解本发明的优点的本领域技术人员将明显的是,在不脱离本文中所公开的发明构思的前提下,相比于上文所提及的内容而言的更多修改是可行的。

Claims (20)

1.一种用于使用无人机基于图像分析来检测小尺寸对象的方法,包括以下步骤:
获得对象搜索参数,其中,所述搜索参数包括感兴趣对象的至少一个特征;
在所述无人机的飞行期间,生成包含高分辨率图像的至少一个图像;
基于所获得的搜索参数,使用机器学习算法分析所生成的图像;
如果在分析期间在所述图像中检测到满足所述搜索参数的至少一个对象,则使用机器学习算法识别所述感兴趣对象;和
响应于将检测到的对象识别为所述感兴趣对象,确定所述检测到的对象的位置。
2.根据权利要求1所述的方法,其中,所述感兴趣对象的检测由所述无人机实时执行。
3.根据权利要求1所述的方法,其中,基于与所述感兴趣对象相对应的所述搜索参数来训练所述机器学习算法。
4.根据权利要求1所述的方法,其中,图像的生成频率包括每秒约1个图像。
5.根据权利要求1所述的方法,其中,所述机器学习算法包括卷积神经网络。
6.根据权利要求1所述的方法,其中,所述感兴趣对象的位置是基于在生成发现所述感兴趣对象的图像时所述无人机的GPS坐标和所述无人机的高度、以及基于来自所述图像的关于所述感兴趣对象的大小和所述感兴趣对象在所获得的图像内的位置的数据来确定的。
7.根据权利要求1所述的方法,其中,表示所述感兴趣对象的所述图像的片段以放大形式呈现,并且其中,所述片段指示所述感兴趣对象的位置。
8.根据权利要求7所述的方法,其中,所述图像的片段包含关于所述感兴趣对象的类型和相应的匹配概率的信息。
9.根据权利要求7所述的方法,其中,通过通信信道向接收方发送生成的文件,所述生成的文件包括具有所述感兴趣对象的所生成的图像的片段和所述感兴趣对象的位置。
10.根据权利要求9所述的方法,其中,所述接收方包括地面接收站,并且其中,接收者是所述无人机的操作员。
11.根据权利要求10所述的方法,其中,所述地面接收站基于从所述无人机接收的数据在地图上可视化所述感兴趣对象的位置。
12.一种用于使用无人机基于图像分析来检测小尺寸对象的***,包括:
存储器和硬件处理器,所述硬件处理器被配置为:
获得对象搜索参数,其中,所述搜索参数包括感兴趣对象的至少一个特征;
在所述无人机的飞行期间,生成包含高分辨率图像的至少一个图像;
基于所获得的搜索参数,使用机器学习算法分析所生成的图像;
如果在分析期间在所述图像中检测到满足所述搜索参数的至少一个对象,则使用机器学习算法识别所述感兴趣对象;和
响应于将检测到的对象识别为所述感兴趣对象,确定所述检测到的对象的位置。
13.根据权利要求12所述的***,其中,所述感兴趣对象的检测由所述无人机实时执行。
14.根据权利要求12所述的***,其中,基于与所述感兴趣对象相对应的所述搜索参数来训练所述机器学习算法。
15.根据权利要求12所述的***,其中,图像的生成频率包括每秒约1个图像。
16.根据权利要求12所述的***,其中,所述感兴趣对象的位置是基于在生成发现所述感兴趣对象的图像时所述无人机的GPS坐标和所述无人机的高度、以及基于来自所述图像的关于所述感兴趣对象的大小和所述感兴趣对象在所获得的图像内的位置的数据来确定的。
17.根据权利要求12所述的***,其中,表示所述感兴趣对象的所述图像的片段以放大形式呈现,并且其中,所述片段指示所述感兴趣对象的位置。
18.根据权利要求17所述的***,其中,所述图像的片段包含关于所述感兴趣对象的类型和相应的匹配概率的信息。
19.根据权利要求17所述的***,其中,通过通信信道向接收方发送生成的文件,所述生成的文件包括具有所述感兴趣对象的所生成的图像的片段和所述感兴趣对象的位置。
20.一种无人机,所述无人机被配置为:
获得对象搜索参数,其中,所述搜索参数包括感兴趣对象的至少一个特征;
在所述无人机的飞行期间,生成包含高分辨率图像的至少一个图像;
基于所获得的搜索参数,使用机器学习算法分析所生成的图像;
如果在分析期间在所述图像中检测到满足所述搜索参数的至少一个对象,则使用机器学习算法识别所述感兴趣对象;和
响应于将检测到的对象识别为所述感兴趣对象,确定所述检测到的对象的位置。
CN202211641775.8A 2022-03-24 2022-12-20 用于使用机器学习算法检测和识别图像中的小对象的***和方法 Pending CN116805397A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2022107829 2022-03-24
US17/978,311 2022-11-01
US17/978,311 US20230306715A1 (en) 2022-03-24 2022-11-01 System and method for detecting and recognizing small objects in images using a machine learning algorithm

Publications (1)

Publication Number Publication Date
CN116805397A true CN116805397A (zh) 2023-09-26

Family

ID=88078565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211641775.8A Pending CN116805397A (zh) 2022-03-24 2022-12-20 用于使用机器学习算法检测和识别图像中的小对象的***和方法

Country Status (1)

Country Link
CN (1) CN116805397A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456386A (zh) * 2023-10-26 2024-01-26 西湾智慧(广东)信息科技有限公司 一种用于无人设备的ai视觉识别***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456386A (zh) * 2023-10-26 2024-01-26 西湾智慧(广东)信息科技有限公司 一种用于无人设备的ai视觉识别***

Similar Documents

Publication Publication Date Title
US10728516B2 (en) Determining stereo distance information using imaging devices integrated into propeller blades
US10802509B2 (en) Selective processing of sensor data
WO2019033747A1 (zh) 无人机智能跟随目标确定方法、无人机和遥控器
CN109145680A (zh) 一种获取障碍物信息的方法、装置、设备和计算机存储介质
US11079242B2 (en) System and method for determining autonomous vehicle location using incremental image analysis
US20200012756A1 (en) Vision simulation system for simulating operations of a movable platform
US10846326B2 (en) System and method for controlling camera and program
CN111913492B (zh) 无人机安全降落方法和装置
Cetin et al. Improving real-time drone detection for counter-drone systems
CN111767831A (zh) 用于处理图像的方法、装置、设备及存储介质
CN116805397A (zh) 用于使用机器学习算法检测和识别图像中的小对象的***和方法
Nahar et al. Autonomous UAV forced graffiti detection and removal system based on machine learning
CN115019060A (zh) 目标识别方法、目标识别模型的训练方法及装置
US11869236B1 (en) Generating data for training vision-based algorithms to detect airborne objects
EP4250251A1 (en) System and method for detecting and recognizing small objects in images using a machine learning algorithm
US20230306715A1 (en) System and method for detecting and recognizing small objects in images using a machine learning algorithm
Kristiani et al. Flame and smoke recognition on smart edge using deep learning
RU2799078C1 (ru) Способ обнаружения и распознавания малоразмерных объектов на изображениях при помощи алгоритма машинного обучения и устройство для его реализации
Al Baghdadi et al. Unmanned aerial vehicles and machine learning for detecting objects in real time
US11704895B2 (en) Camera data normalization for an autonomous vehicle
US20240242599A1 (en) Intelligent collaboration between autonomous and non-autonomous vehicles
JP7401068B1 (ja) 情報処理システム、情報処理方法及びプログラム
Bănică et al. Onboard visual tracking for UAV’S
US20240201697A1 (en) Unmanned aerial vehicle deployment parameter modification
US20240161028A1 (en) Orchestrating vehicles and remote operating clients

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination