CN110088762B - 用傅立叶风扇进行的对象检测和分类 - Google Patents

用傅立叶风扇进行的对象检测和分类 Download PDF

Info

Publication number
CN110088762B
CN110088762B CN201780075370.3A CN201780075370A CN110088762B CN 110088762 B CN110088762 B CN 110088762B CN 201780075370 A CN201780075370 A CN 201780075370A CN 110088762 B CN110088762 B CN 110088762B
Authority
CN
China
Prior art keywords
image
keypoints
environment surrounding
feature value
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780075370.3A
Other languages
English (en)
Other versions
CN110088762A (zh
Inventor
菲拉斯·穆阿拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SMR Patents SARL
Original Assignee
SMR Patents SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SMR Patents SARL filed Critical SMR Patents SARL
Publication of CN110088762A publication Critical patent/CN110088762A/zh
Application granted granted Critical
Publication of CN110088762B publication Critical patent/CN110088762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

对象检测和分类***包含安装在车辆上并配置成捕获所述车辆周围环境的一部分的图像的至少一个图像传感器。可以存储和分析所述图像以检测和分类所捕获的图像中可见的对象。从所述图像中提取关键点并根据特征函数进行评估。可以对新的描述符函数进行采样以产生样本值，所述描述符函数取决于在复杂空间中的查询点与所述图像中的所述关键点之间的距离并且取决于所述关键点的特征值。如果所述样本值将所述对象分类为满足潜在的危险条件，则所述样本值可以向所述车辆的操作者触发信号以响应所述对象。

Description

用傅立叶风扇进行的对象检测和分类
技术领域
本发明涉及用于车辆的对象检测和分类***。本发明还涉及用于对象检测和分类的方法和实施该方法的***。
背景技术
图像特征描述符可用于识别和分类用在危险检测和信息***中的捕获图像中的对象。可能希望图像特征描述符具有某些特质，例如辨别力、尺度和旋转不变性以及数学可解释性。
发明概述
对象检测和分类***分析由用于危险检测和信息***的图像传感器(例如在车辆上的图像传感器)捕获的图像。提取电路被配置为从由车辆周围环境的图像传感器捕获的图像中的一个或多个关键点提取至少一个特征值。从周期性描述符函数导出新的图像特征描述符，所述周期性描述符函数取决于至少一个所述关键点与复杂空间中的所选查询点之间的距离并且取决于所述图像中的至少一个所述关键点的特征值。
查询点评估电路被配置为对来自车辆周围环境的所述图像中的所选查询点进行周期性描述符函数采样以产生样本值(sample value)。查询点的所述样本值可以被评估以确定所述查询点是否是对象的中心或者被评估以确定所述查询点是何种类型的对象的一部分。
如果所评估的查询点满足潜在的危险条件，例如如果所述对象被分类为易受攻击的道路使用者或构成碰撞威胁的对象，则信号总线被配置为传输信号以警示所述车辆的操作者注意所述对象。附加地或替代地，所述信号总线可以将信号传输到所述车辆的控制装置以改变所述车辆的速度和/或方向以避免与所述对象碰撞。
这里披露的所述对象检测和分类***可以用在运输区域中，以用于识别和分类在车辆周围环境中遇到的对象，例如在道路、铁路、水路、上空等上遇到的对象，并且如果所述***确定所遇到的对象构成危险，例如对所述车辆或对所述区域中的其他车辆或人员构成碰撞危险或威胁，则警示所述车辆的操作者或自主地控制所述车辆。
提供本发明概述以便以简化的形式介绍精选的概念，这些概念将在下文的发明详述中进一步描述。本发明概述不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
本文还描述和叙述了其他实现方式。
附图说明
图1示出了具有对象检测和分类***的车辆的后视图。
图2示出了具有查询点和多个关键点的图像捕获的示意图。
图3示出了可用于实现本文披露的实现方式的***的框图。
图4示出了用于检测和分类对象并将信号传输到警报***和/或车辆控制***的示例操作。
图5披露了适用于实现具有傅立叶风扇(Fourier fans)的对象检测和分类***的一个或多个方面的示例处理器***的框图。
具体实施方式
本文披露的实现方式涉及用于各种背景的对象检测和分类***。本披露内容包含新颖的特征描述符，其将关于特征是什么的信息与关于所述特征相对于查询点在何处位置的信息进行组合。此特征描述符提供优于现有特征描述符的优点，因为通过将“是什么”与“在何处”进行组合，它减少了检测和分类对象所需的资源，这是因为可以使用单个描述符来替代多个特征描述符。因此，所得到的***比现有***更有效，并且可以在硬件和/或软件资源有限的情况下更准确地检测和分类对象。
图1示出了具有根据本披露内容的对象检测和分类***100的车辆102的后视图。车辆102包含图像传感器104以捕获车辆102周围环境的图像106。所述图像可以包含通过角度108的视野范围，因此图像106仅可以描绘由角度108限定的车辆102周围的区域的一部分。图像106可以包含对象110。对象110可以是车辆102周围环境中的任何物理对象，例如行人、另一车辆、自行车、建筑物、道路标志、道路碎片等。所述对象检测和分类***100可以将分类分配给对象110。所述分类可以包含道路对象的类型、所述对象是有生命的还是无生命的、所述对象是否可能突然改变方向等。对象检测和分类***100可以进一步向对象110分配一系列特性，例如尺寸、距离、表示所述对象的中心的点、所述对象的速度、预期的加速度范围等。
图像传感器104可以是各种类型的光学图像传感器，包含但不限于数码相机、测距相机、电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)传感器或任何其他类型的能够捕获连续的实时图像的图像传感器。在一实现方式中，车辆102具有多个图像传感器104，每个图像传感器104可以定位成提供车辆102周围环境的仅一部分的视图。作为一组，多个图像传感器104可以涵盖来自车辆102的各种视图，包含车辆102的路径中的对象的前视图，用于捕获车辆102周围的环境的图像106(包含车辆102后面的对象)的后向图像传感器104，和/或用于从侧面捕获靠近或接近车辆102的对象的图像106的侧向图像传感器104。在一实现方式中，图像传感器102可以位于所述车辆的各个部分上。例如但不限于，图像传感器102可以集成到车辆102的外后视镜(exterior mirror)中，例如集成在驾驶员侧的外后视镜112上。替代地或附加地，图像传感器102可以位于车辆102的后部，例如位于后照灯单元114中。图像传感器102可以是前向的并且位于车辆102的内部后视镜、仪表板或前大灯单元中。
在捕获车辆102周围的环境的图像106后，对象检测和分类***100可以将图像106存储在存储器中并对图像106执行分析。由对象检测和分类***100对图像106执行的一种类型的分析是关键点和关联的关键点数据的识别。关键点，也称为兴趣点，是图像106中的定义可能感兴趣的位置的空间位置或点。关键点检测方法可以由第三方库提供，例如在OpenCV(开源计算机视觉)库中可用的SURF和FAST方法。关键点检测的其他方法包含但不限于SIFT(尺度不变特征变换)。关键点数据可以包含指向所述关键点的中心的向量，所述向量描述所述关键点的大小和取向，以及所述关键点附近的视觉外观、形状和/或纹理，和/或与所述关键点有关的其他数据。
可以将函数应用于关键点以生成关键点值。函数可以将关键点作为参数并计算所述关键点的某些特性。作为一个示例，函数可以测量特定关键点的图像强度。这样的函数可以表示为f(zk)，其中f是图像强度函数，并且zk是图像中的第k个关键点。还可以应用其他函数，例如视觉词索引中的视觉词。
图2示出了由车辆上的图像传感器202获取的图像捕获204的示意图200。图像捕获204包含查询点(xc,yc)和多个关键点z0-z4。查询点是可以是或可以不是关键点的兴趣点，所述对象检测和分类***可以对此进行选择以进行进一步分析。在一实现方式中，所述对象检测和分类***可以尝试确定查询点是否是对象的中心以帮助对所述对象进行分类。
图像捕获204中的点可以参考笛卡尔坐标系描述，其中每个点由有序对表示，所述对的第一个数字指沿着水平轴或x轴的所述点的位置，而所述对的第二个数字指沿着垂直轴或y轴的所述点的位置。所述水平轴和垂直轴相对于图像204的取向由轴206示出。替代地，图像捕获204中的点可以用复数表示，其中每个点以x+iy的形式描述，其中i＝√(-1)。在另一实现方式中，查询点可以用作坐标系的原点，并且关键点相对于所述查询点的位置可以被描述为从所述查询点到每个所述关键点的向量。
图像检测和分类***100使用新描述符函数，以产生对图像204中的查询点的评估，所述评估将关于所述特征是什么和关于所述特征相对于所述查询点在何处位置的表示组合成单个表示。对于在查询点(xc,yc)附近具有一组关键点z0-z4的任何图像204，所述查询点的描述符如下：
Figure GDA0002085222510000041
其中N是来自查询点附近车辆周围环境的图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，f(zk)是第k个关键点的所述特征值，并且ζ是所述描述符函数F(ζ)的连续自变量。
要获得对尺度和取向不变的描述符，可以通过使zm为zk值的平均值来修改等式(1)：
Figure GDA0002085222510000042
通过将等式(1)的右侧除以|zm|，获得所述描述符的尺度不变版本。另一方面，通过将等式(1)的两侧除以
Figure GDA0002085222510000043
获得所述描述符的旋转不变版本。为了写出在尺度和取向上都不变的描述符，除以zm获得以下描述符：
Figure GDA0002085222510000044
由于关键点数的贡献已经通过除以zm而被中和，因此从等式(3)中省略除以N。由于等式(3)与逆傅立叶级数的公式的相似性，等式(3)在本文中可称为傅立叶风扇。
由于等式(3)是连续变量ζ的函数，因此可以对其进行采样以用于对象检测和分类***100。在一实现方式中，可以选择大于2max(f)的采样频率，其中max()指示函数f的最大值。等式(3)的另一个特性是它在变量ζ的域上是无穷的。对无穷等式进行采样将导致无穷数量的样本，这对于在对象检测和分类***100中的使用来说可能是不实际的。然而，如果等式(3)是周期函数，那么仅采样等式(3)的一个单一周期而忽略其余的周期就足够了。在一实现方式中，通过要求函数f的所有值都是单个频率f0的整数倍，使等式(3)成为周期性的。就此而言，对于能够被采样的等式(3)，函数f必须具有已知的最大值，并且为了使等式(3)成为周期性的，函数f必须被量化，使得f的值是f0的整数倍。
在一实现方式中，函数f可以不仅仅表示简单的特征，例如图像强度。相反，函数f可以是每个所述关键点的描述符函数，例如本文中提到的那些描述符(例如，SIFT和/或SURF描述符)。这样的描述符通常不是简单的标量值，而更可能是不能以简单的方式直接并入方程(3)中的高维特征向量。然而，可能通过将描述符集群在整个训练数据集中来将复杂描述符合并为特征值并且使用相应集群的索引作为f的值。这样的集群中心可以被称为f的“视觉词”。使fk成为关键点k的描述符，如果fk取整数值，例如3，则在位于zk-zc处的关键点处存在描述符，所述描述符可以被分配给集群3。应当理解，在该示例中，f被量化并且集群的数量是已知的函数的最大值。这些特性是相关的，因为它们是使等式(3)能够被采样和周期性所需的f的特性。
在一实现方式中，对视觉词集群中心施加顺序，使得f的输出不是分类值。换句话说，在没有顺序的情况下，集群2和集群3之间的距离不一定小于集群2和集群10之间的距离，因为数值仅仅是所述集群的标识符。可以使用多维缩放(MDS)技术来施加所述视觉词的顺序。使用MDS，我们可以找到从高维特征空间到低维特征空间的投影，使得在所述低维特征空间中的距离与所述高维特征空间中的距离尽可能相似。使用MDS应用于所述视觉词，可以将所述集群中心投影到一维空间中以用作f的参数。在一实现方式中，选择一维特征空间作为所述低维特征空间，因为一维空间是可能完全排序的唯一空间。
可以根据训练数据集来调谐所述对象检测和分类***，在此期间可以选择和改进用于所述***的参数。例如，可以选择描述符值和类型，可以设置查询点周围附近的大小，选择关键点的方法、每个图像选择的关键点的数量等可以进行选择。由于所述对象检测和分类***的调谐是一种机器学习，因此可能容易受到已知为“过度拟合”的问题的影响。当机器分类器过度学习所述训练数据，从而产生不能很好地概括其他数据的模型时，过度拟合自身便表现出来，所述其他数据在这里被称为“测试数据”。在等式(3)的描述符中，如果关于训练数据，所述对象检测和分类***过度拟合所述关键点相对于所述查询点的位置，则可能发生过度拟合。当对测试数据起作用时，所述对象检测和分类***将不会总是很好地处理由于噪声和类内方差而发生的所述关键点的位置变化，而所述变化在训练数据中并不存在。为了解决过度拟合的事宜，在每个查询点(xc,yc)处，可以提取由集合Mf(例如，15f)表示的多个随机风扇，而不是对训练数据提取单个傅立叶风扇方程(3)。每个所述随机风扇仅含有在所述查询点(xc,yc)附近的可用N个关键点的子集。之后，当所述对象检测和分类***在测试数据上运行时，提取相同的随机傅立叶风扇集合Mf，并且根据随机傅立叶风扇集合之间的多数一致性确认结果。随机傅立叶风扇还允许所述对象检测和分类***从少量图像中学习，因为在每个对象中心处提取了若干特征向量。
在将等式(3)，“傅立叶风扇”与逆傅立叶级数的公式进行比较时，应该理解两者之间存在一些差异。例如，只有属于查询点附近的那些频率可用于每个傅立叶风扇。作为另一示例，常数za所示的所有系数zk的移位，即对象中心的移位，不等于在所述ζ域中添加狄拉克脉冲，即使假设在新查询点附近可获得相同的关键点。这是正确的，因为添加的za并不是在任何情况下都是常数，而是仅对可用频率来说是常数，并且对于其他频率来说为零。
图3示出了可用于本文披露的实现方式的对象检测和分类***300的框图。对象检测和分类***300包含指向车辆周围环境的图像传感器302。图像传感器302可以捕获所述车辆周围环境的图像，以供对象检测和分类***300进一步分析。在捕获后，来自车辆周围环境的图像可以存储在存储器304中。存储器304可以包含易失性或非易失性存储器，并且可以存储由所述图像传感器捕获的图像以及通过分析由所述图像传感器捕获的所述图像产生的数据。处理器306可以对存储在存储器304中的所述图像执行操作。存储器304还可以以程序模块的形式存储可以由处理器306执行的可执行程序代码。存储在存储器304上的程序模块包含但不限于危险检测程序模块、图像分析程序模块、镜头妨碍程序模块、盲点检测程序模块、阴影检测程序模块、交通标志检测程序模块、停车辅助程序模块、碰撞控制和警告程序模块等。
存储器304可以进一步存储用于对象检测和分类***300的操作的参数和设置。例如，与所述训练数据有关的参数可以存储在存储器304上，所述存储器304包含用于随机傅立叶风扇的运算和计算的函数f和关键点设置库。存储器304可以进一步通信地耦合到用于从存储在存储器304上的所述图像中提取关键点的提取电路308。存储器304可以进一步通信地耦合到查询点评估电路310，所述查询点评估电路310用于利用关键点和关联的关键点数据进行图像捕获并且根据傅立叶风扇利用关键点和关键点数据评估所述图像，以产生采样的傅立叶风扇值。
如果由查询点评估电路310产生的所述采样的傅立叶风扇值满足潜在的危险条件，则信号总线电路312可以向警报***314和/或车辆控制***316发送信号。采样的傅立叶风扇值可以首先由驻留在存储器304上的一个或多个程序模块处理，以确定采样值(sampled values)是否满足潜在的危险条件。可能满足潜在的危险条件的采样值的示例是被确定为对所述车辆构成碰撞风险的对象、被确定为处于被所述车辆撞击的风险的易受攻击的道路使用者的对象、表示所述车辆正在道路的错误部分或在错误的道路上行驶的道路标志对象、指示所述车辆可能撞击的静止对象的对象、表示位于所述车辆的操作者的盲点的车辆的对象。
如果傅立叶风扇函数的所述采样值满足潜在的危险条件，则信号总线电路312可以将一个或多个信号发送到警报***314。在一实现方式中，发送到警报***312的信号包含对所述车辆的操作者的声音警告。声音警告的示例包含针对所述车辆的操作者的铃声或嘟嘟声、计算机化或记录的人类语言语音指令以提示补救措施过程以避免样本值满足潜在的危险条件的致因。在另一实现方式中，发送到警报***314的信号包含对所述车辆的操作者的触知或触觉反馈。向所述车辆的操作者的触知或触觉反馈的示例包含但不限于摇动或振动所述车辆的方向盘或控制结构；对踏板的触知反馈，所述踏板例如如果被推动则可以避免导致所述傅立叶风扇的所述样本值满足所述潜在的危险条件的情况的踏板；对驾驶员的座位的振动或触觉反馈等。在另一实现方式中，发送到警报***314的信号包含显示给所述车辆的操作者的视觉警报。显示给所述车辆的操作者的视觉警报的示例包含出现在仪表板、平视显示器(heads-up display)和/或对于所述车辆的操作者来说可见的镜子上的灯光或指示。在一个实现方式中，向所述车辆的操作者的所述视觉警报包含补救措施的指示，如果所述车辆的操作者采取所述补救措施，则可以避免所述傅立叶风扇的所述样本值满足所述潜在的危险条件的所述致因。补救措施的示例包含对所述车辆的盲点中的另一车辆的指示、另一车辆快要超过所述车辆的指示、所述车辆将反向撞击对所述车辆的操作员来说可能不可见的对象的指示，等等。
在另一实现方式中，如果傅立叶风扇函数的所述采样值满足潜在的危险条件，则信号总线电路312可以将一个或多个信号发送到车辆控制***316。发送到车辆控制***316的信号的示例包含发送到转向***的信号，以改变所述车辆的方向，以试图避免作为所述傅立叶风扇函数的所述采样值满足所述潜在的危险条件的致因的对象。在另一实现方式中，发送到车辆控制***316的信号可以包含这样的信号，其用于使所述车辆的喇叭发声以警示导致所述傅立叶风扇函数的所述样本值满足具有所述对象检测和分类***的所述车辆所存在的危险条件的对象。在又一实现方式中，发送到车辆控制***316的信号包含用于接合所述车辆的制动器以避免与检测到的对象碰撞的信号。
图4示出了用于在傅立叶风扇的样本值满足潜在的危险条件时检测和分类对象并输出信号的示例性操作400。捕获操作402利用图像传感器从***周围的环境捕获图像，来自所述***周围的环境的所述图像具有一个或多个关键点。来自所述***周围的所述环境的所述图像可以由安装在所述***上任何位置的图像传感器捕获。在一个实现方式中，所述***是车辆。所捕获的图像可以存储在对象检测和分类***中的存储器中。一旦存储，处理器便可以执行关键点检测程序模块以识别所述关键点。替代地或附加地，提取电路可以识别所述图像中的所述关键点。可以根据许多方法来识别所述关键点，例如由第三方库提供的方法，并且所述方法的数据参数，例如要提取的关键点的数量或关键点提取的条件可以存储在所述对象检测和分类***的所述存储器上。
提取操作404从来自所述***周围的环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值。处理器可以执行特征值提取程序模块以提取关键点的所述特征值。替代地或附加地，提取电路可以提取存储图像中的关键点的所述特征值。关键点的所述特征值可以根据函数f来确定。在一些实施方式中，函数f可以具有用于傅立叶风扇等式的某些特性：具有已知的最大值，使得采样率可以被设置为2max(f)；并且是周期性的，使得仅需要对f的一个周期进行采样。
采样操作406对来自所述***周围环境的图像中的查询点进行周期性描述符函数采样以产生采样值，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述车辆周围环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值。在一实现方式中，采样操作406中的所述采样周期性描述符函数是等式(3)。
在判定框408处，如果所述周期性描述符函数的所述样本值不满足潜在的危险条件，则所述方法结束或返回到捕获操作402。如果所述周期性描述符函数的所述样本值确实满足潜在的危险条件，则输出操作410经由信号总线发送信号。在输出操作410中经由所述信号总线发送的所述信号可以是车辆的警报***，其可以向所述车辆的操作者显示关于作为所述样本值超过潜在的危险条件的致因的所述对象的声学或视觉信号。在另一实施方式中，所述信号总线在输出操作410处向车辆控制***发送信号。发送到所述车辆控制***的信号可以使所述车辆在没有所述车辆的操作者干预的情况下改变速度或方向，以避免与导致所述样本值超过潜在的危险状况的所述对象的碰撞。
图5披露了适用于实现具有傅立叶风扇的对象检测和分类***的一个或多个方面的处理器***500的框图。处理器***500能够执行在有形处理器可读存储介质中体现的处理器程序产品。数据和程序文件可以输入到处理器***500，处理器***500使用一个或多个处理器读取文件并在其中执行程序。处理器***500的一些元件在图5中示出，其中示出了处理器502具有输入/输出(I/O)部分504、中央处理单元(CPU)506和存储器部分508。可以存在一个或多个处理器502，使得计算***500的处理器502包括单个中央处理单元506或多个处理单元。所述处理器可以是单核或多核处理器。所描述的技术可选地在加载在存储器508、盘存储单元512中的软件中实现，和/或经由载波信号上的有线或无线网络链路514(例如，以太网、3G无线、5G无线、LTE(长期)进化))传送，从而将图5中的处理***500转换为用于实现所述操作的专用机器。盘存储单元512可以包含易失性存储器、非易失性存储器、固态存储器、闪存、混合和/或传统的磁旋转数据存储介质。
I/O部分504可以连接到一个或多个用户接口设备(例如，移动设备、触摸屏显示单元518等)或盘存储单元512。含有根据所描述的技术实现***和方法的机制的处理器程序产品可以驻留在这种***500的存储器部分508中或存储单元512上。
通信接口524能够经由网络链路514将处理器***500连接到企业网络，处理器***500可以通过网络链路514接收和/或发送载波中体现的指令和数据。通信接口524可以经由图像传感器接收表示来自所述***周围的环境的图像的信号和数据。所述通信接口可以将来自处理器***500的信号发送到所述图像检测和分类***，所述信号包含但不限于发送给车辆的操作者的可听警报信号；发送到对于车辆的操作员来说可见的HUD(平视显示器)的数据信号、发送到对于车辆的操作者来说是可见的以显示关于对象和/或警报的信息的诸如显示器518的视频屏幕的数据信号；用于改变车辆的控制以避免危险的车辆控制信号等。
当在局域网(LAN)环境中使用时，处理器***500通过作为一种类型的通信设备的通信接口524连接(通过有线连接或无线方式)到本地网络。当在广域网(WAN)环境中使用时，处理器***500通常包含调制解调器、网络适配器或任何其他类型的用于在所述广域网上建立通信的通信设备。在联网环境中，相对于处理器***500或其部分描述的程序模块可以存储在远程存储器存储设备中。应当理解，所示的网络连接是用于在所述处理器和其他设备之间建立通信链路的通信设备的示例，并且可以使用用于在所述处理器和其他设备之间建立通信链路的其他手段。
在示例性实现方式中，企业网络的网络代理可以由存储在存储器508和/或存储单元512中并由处理器502执行的指令来体现。此外，本地计算***、远程数据源和/或服务以及其他相关逻辑表示固件、硬件和/或软件，其可以被配置为经由所述网络代理在所述企业网络外部传输数据。所述企业网络的所述网络代理可以使用通用计算机和专用软件(例如执行服务软件的服务器)、专用计算***和专用软件(例如执行服务软件的移动设备或网络家电)或其他计算配置来实现。另外，数据选择策略和数据传输准备策略可以存储在存储器508和/或存储单元512中并由处理器502执行。
示例性***包含图像传感器，所述图像传感器安装在***上并被配置为从所述***周围环境捕获图像，来自所述***周围的所述环境的所述图像包含一个或多个关键点；提取电路，所述提取电路被配置为从来自所述***周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值；查询点评估电路，所述查询点评估电路通信地耦合到所述图像传感器和所述提取电路并且被配置为通过对来自所述***周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生样本值来对对象进行分类，所述周期描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期描述符函数进一步取决于从来自所述***周围的环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值；以及信号总线，所述信号总线被配置为在所述样本值满足警报条件时将信号发送到所述***的操作者。
任何前述***的示例性***包含所述周期性描述符函数定义如下：
Figure GDA0002085222510000101
其中N是在所述查询点附近的来自所述***周围的所述环境的所述图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，f(zk)是第k个关键点的所述特征值，并且ζ是所述描述符函数F(ζ)的连续自变量。
任何前述***的示例性***包含所述周期性描述符函数是如下定义的尺度不变或旋转不变函数：
Figure GDA0002085222510000102
其中
Figure GDA0002085222510000103
任何前述***的示例性***包含发送到所述***的操作员的所述信号是可听警报。
任何前述***的示例性***包含发送到所述***的操作员的所述信号是视觉警报。
任何前述***的示例性***包含发送到所述***的操作者的所述信号包含触觉反馈。
任何前述***的示例性***包含所述至少一个特征值包含视觉外观特征。
任何前述***的示例性***包含所述至少一个特征值包含视觉词字典中的视觉词索引，所述视觉词索引具有通过多维缩放确定的顺序关系。
任何前述***的示例性***包含所述第k个关键点的所述特征值是单个频率f0的整数倍。
任何前述***的示例性***包含所述查询点评估电路进一步被配置为对多个随机化描述符函数进行采样，每个随机化描述符函数仅包含所述一个或多个关键点的子集。
任何前述***的示例性***包含所述***是车辆。
任何前述***的示例性***包含到所述***的所述信号是车辆控制信号。
示例性***包含用于利用图像传感器从***周围的环境捕获图像的装置，来自所述***周围的所述环境的所述图像具有一个或多个关键点。所述示例性***进一步包含用于从来自所述***周围的环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值的装置。所述示例性***进一步包含用于对来自所述***周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生用于分类对象的样本值的装置，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述***周围的所述环境的所述图像中的所述一个或多个关键点的至少一个提取的至少一个特征值。所述示例性***进一步包含用于在所述样本值满足警报条件时经由信号总线输出警报信号的装置。
示例性方法包含利用图像传感器从***周围的环境捕获图像，来自所述***周围的环境的所述图像具有一个或多个关键点；从来自所述***周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值；对来自所述***周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生用于分类对象的样本值，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述***周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值；并且在所述样本值满足警报条件时经由信号总线输出警报信号。
任何前述方法的示例性方法包含所述周期性描述符函数定义如下：
Figure GDA0002085222510000111
其中N是在所述查询点附近的来自所述***周围的所述环境的所述图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，f(zk)是第k个关键点的所述特征值，并且ζ是所述描述符函数F(ζ)的连续自变量。
任何前述方法的示例性方法包含所述警报信号导致可听警报。
任何前述方法的示例性方法包含所述警报信号导致视觉警报。
任何前述方法的示例性方法包含所述警报信号导致对所述***的操作者的触觉反馈。
任何前述方法的示例性方法包含所述至少一个特征包含图像强度。
任何前述方法的示例性方法包含所述至少一个特征值包含视觉词字典中的视觉词索引。
任何前述方法的示例性方法包含所述视觉词索引具有通过多维缩放确定的顺序关系。
任何前述方法的示例性方法包含所述第k个关键点的所述特征值是单个频率f0的整数倍。
任何前述方法的示例性方法包含周期性描述符函数是如下定义的标度不变或旋转不变函数：
Figure GDA0002085222510000121
其中：
Figure GDA0002085222510000122
任何前述方法的示例性方法包含所述采样操作包含对多个随机化描述符函数进行采样，每个随机化描述符函数仅包含所述一个或多个关键点的子集。
示例性***包含图像传感器，所述图像传感器安装在***上并被配置为从所述***周围环境捕获图像，来自所述***周围的所述环境的所述图像包含一个或多个关键点；一个或多个处理器；以及存储器，所述存储器存储处理器可执行的指令以执行以下操作：通过所述处理器，从来自所述***周围的环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值；通过所述处理器，对来自所述***周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生用于分类对象的样本值，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述***周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值，并且在所述样本值满足警报条件时，通过所述处理器，经由信号总线输出警报信号。
任何前述***的示例性***包含所述周期性描述符函数定义如下：
Figure GDA0002085222510000123
其中N是在所述查询点附近的来自所述***周围的所述环境的所述图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，f(zk)是第k个关键点的所述特征值，并且ζ是所述描述符函数F(ζ)的连续自变量。
任何前述***的示例性***包含所述警报信号导致可听警报。
任何前述***的示例性***包含所述警报信号导致视觉警报。
任何前述***的示例性***包含所述警报信号导致对所述***的操作者的触觉反馈。
任何前述***的示例性***包含所述至少一个特征包含图像强度。
任何前述方法的示例性方法包含所述至少一个特征值包含视觉词字典中的视觉词索引。
任何前述方法的示例性方法包含所述视觉词索引具有通过多维缩放确定的顺序关系。
任何前述***的示例性***包含所述第k个关键点的所述特征值是单个频率f0的整数倍。
任何前述***的示例性***包含所述周期性描述符函数是定义为如下的尺度不变或旋转不变函数：
Figure GDA0002085222510000131
其中：
Figure GDA0002085222510000132
任何前述***的示例性***包含所述采样操作包含对多个随机化描述符函数进行采样，每个随机化描述符函数仅包含所述一个或多个关键点的子集。
本文描述的实现方式可以利用诸如ASIC设计的电路实现为处理器实现的方法，或其任何组合。本文描述的***可以包含各种有形计算机可读存储介质和无形计算机可读通信信号。有形计算机可读存储器可以由可由所述对象检测和分类***访问的任何可用介质来体现，并且包含易失性和非易失性存储介质、可移动和不可移动存储介质两者。有形计算机可读存储介质不包含无形通信信号而包含以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动存储介质，所述信息例如可由处理器、数据结构、程序模块执行的计算机可读指令或其他数据。有形计算机可读存储介质包含但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CDROM、数字通用光盘(DVD)或其他光盘存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备，或可用于存储所需信息并且可由所述对象检测和分类***访问的任何其他有形介质。与有形计算机可读存储介质相比，无形计算机可读通信信号可以体现可由处理器、数据结构、程序模块执行的计算机可读指令或驻留在调制数据信号(例如载波或其他信号传输机制)中的其他数据。术语“调制数据信号”表示这样的信号，所述信号的一个或多个特性以对所述信号中的信息进行编码的方式设置或改变。作为示例而非限制，无形通信信号包含诸如有线网络或直接有线连接的有线介质，以及诸如声学、RF、红外和其他无线介质的无线介质。
一些实施方式可以包括制品。制品可以包括用于存储逻辑的有形存储介质。存储介质的示例可以包含能够存储电子数据的一种或多种类型的计算机可读存储介质，包含易失性存储器或非易失性存储器、可移动或不可移动存储器、可擦除或不可擦除存储器、可写入或可重新写入的存储器，等等。所述逻辑的示例可以包含各种软件元件，例如软件组件、程序、应用软件(applications)、计算机程序、应用程序、***程序、机器程序、操作***软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、词、值、符号或其任何组合。在一个实施方式中，例如，制品可以存储可执行的计算机程序指令，当由计算机执行时，所述计算机程序指令使所述计算机执行根据所描述的实施方式所述的方法和/或操作。所述可执行计算机程序指令可以包含任何合适类型的代码，例如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码等。所述可执行计算机程序指令可以根据预定义的计算机语言、方式或语法(syntax)来实现，以用于指示计算机执行特定功能。所述指令可以使用任何合适的高级、低级、面向对象、可视、编译和/或解释的编程语言来实现。
本文描述的实现方式被实现为一个或多个计算机***中的逻辑步骤。所述逻辑操作可以(1)实现为在一个或多个计算机***中执行的处理器实现的步骤的序列，以及(2)实现为在一个或多个计算机***内的互连机器或电路模块。实现方式是取决于所使用的计算机***的性能要求的选择问题。相应地，构成本文描述的实现方式的逻辑操作被不同地称为操作、步骤、对象或模块。此外，应该理解，逻辑操作可以以任何顺序执行，除非另有明确请求保护或者请求保护语言固有地需要特定顺序。以上说明书、示例和数据，连同附加的附录提供了对结构和示例性实现方式的完整描述。
虽然本示例可以在本文中被描述和示范为在智能手机或移动电话上实现，但是本示例适用于各种不同的计算设备，包含手持设备、电话、平板电脑、台式计算机和其他电子设备。

Claims (14)

1.一种用于对象检测和分类***，所述***包括：
图像传感器，其被配置为从所述***周围的环境捕获图像，来自所述***周围的所述环境的所述图像包含一个或多个关键点；
提取电路，其通信地耦合到所述图像传感器并且被配置为从来自所述***周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值；
查询点评估电路，其通信地耦合到所述图像传感器和所述提取电路并且被配置为通过对来自所述***周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生样本值来分类对象，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述***周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值，其中
所述周期性描述符函数定义如下：
Figure FDA0002577112350000011
其中N是在所述查询点附近的来自所述***周围的所述环境的所述图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，f(zk)是第k个关键点的所述特征值，并且ζ是所述描述符函数F(ζ)的连续自变量，或
所述周期性描述符函数是如下定义的尺度不变或旋转不变函数：
Figure FDA0002577112350000012
其中：
Figure FDA0002577112350000013
和
信号总线，其被配置为如果所述样本值满足警报条件则将信号发送到所述***的操作者。
2.如权利要求1所述的***，其中所述至少一个特征值包含视觉词字典中的视觉词索引。
3.如权利要求2所述的***，其中所述视觉词索引具有通过多维缩放确定的顺序关系。
4.如权利要求1所述的***，其中所述第k个关键点的所述特征值是单个频率f0的整数倍。
5.如权利要求1所述的***，其中所述***包括车辆。
6.如权利要求1所述的***，其中到所述***的所述信号包括车辆控制信号。
7.一种用于对象检测和分类方法，所述方法包括：
利用图像传感器从***周围的环境捕获图像，来自所述***周围的所述环境的所述图像具有一个或多个关键点；
从来自所述***周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值；
对来自所述***周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生样本值以分类对象，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述***周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值，其中
所述周期性描述符函数定义如下：
Figure FDA0002577112350000021
其中N是在所述查询点附近的来自所述***周围的所述环境的所述图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，f(zk)是第k个关键点的所述特征值，并且ζ是所述描述符函数F(ζ)的连续自变量，或
所述周期性描述符函数是如下定义的尺度不变或旋转不变函数：
Figure FDA0002577112350000022
其中：
Figure FDA0002577112350000023
以及
在所述样本值满足警报条件时经由信号总线输出警报信号。
8.如权利要求7所述的方法，其中所述至少一个特征值包含视觉词索引中的视觉词，所述视觉词索引具有通过多维缩放确定的顺序关系。
9.如权利要求7所述的方法，其中所述第k个关键点的所述特征值是单个频率f0的整数倍。
10.如权利要求7所述的方法，其中采样操作包含对多个随机化描述符函数进行采样，每个随机化描述符函数仅包含所述一个或多个关键点的子集。
11.一种用于对象检测和分类***，所述***包括：
图像传感器，其被配置为从所述***周围的环境捕获图像，来自所述***周围的所述环境的所述图像包含一个或多个关键点；
一个或多个处理器；以及
存储器，其存储计算机可执行指令以执行以下操作：
通过所述处理器，从来自所述***周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值；
通过所述处理器，对来自所述***周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生样本值以分类对象，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述***周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值，其中，
所述周期性描述符函数定义如下：
Figure FDA0002577112350000031
其中N是在所述查询点附近的来自所述***周围的所述环境的所述图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，f(zk)是第k个关键点的所述特征值，并且ζ是所述描述符函数F(ζ)的连续自变量，或
所述周期性描述符函数是如下定义的尺度不变或旋转不变函数：
Figure FDA0002577112350000032
其中：
Figure FDA0002577112350000033
以及
在所述样本值满足警报条件时，通过所述处理器，经由信号总线输出警报信号。
12.如权利要求11所述的***，其中所述警报信号导致对所述***的操作者的触觉反馈。
13.如权利要求11所述的***，其中所述至少一个特征值包含视觉外观特征。
14.如权利要求11所述的***，其中所述至少一个特征值包含视觉词字典中的视觉词索引。
CN201780075370.3A 2016-10-06 2017-10-02 用傅立叶风扇进行的对象检测和分类 Active CN110088762B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/287,554 US10395125B2 (en) 2016-10-06 2016-10-06 Object detection and classification with fourier fans
US15/287,554 2016-10-06
PCT/EP2017/074994 WO2018065370A1 (en) 2016-10-06 2017-10-02 Object detection and classification with fourier fans

Publications (2)

Publication Number Publication Date
CN110088762A CN110088762A (zh) 2019-08-02
CN110088762B true CN110088762B (zh) 2020-11-24

Family

ID=60001930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780075370.3A Active CN110088762B (zh) 2016-10-06 2017-10-02 用傅立叶风扇进行的对象检测和分类

Country Status (4)

Country Link
US (1) US10395125B2 (zh)
EP (1) EP3523749B1 (zh)
CN (1) CN110088762B (zh)
WO (1) WO2018065370A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10703299B2 (en) * 2010-04-19 2020-07-07 SMR Patents S.à.r.l. Rear view mirror simulation
US10261514B2 (en) 2017-08-16 2019-04-16 Uber Technologies, Inc. Systems and methods for communicating autonomous vehicle scenario evaluation and intended vehicle actions
US10429846B2 (en) 2017-08-28 2019-10-01 Uber Technologies, Inc. Systems and methods for communicating intent of an autonomous vehicle
CN108545021A (zh) * 2018-04-17 2018-09-18 济南浪潮高新科技投资发展有限公司 一种识别特殊目标的辅助驾驶方法及***
CN113808144B (zh) * 2021-09-22 2024-03-29 重庆师范大学 基于直方图拟合的密度峰值聚类土壤图像阴影检测方法
US12033346B2 (en) * 2022-02-01 2024-07-09 Zoox, Inc. Distance representation and encoding
CN115277294B (zh) * 2022-07-27 2024-03-26 中车青岛四方车辆研究所有限公司 一种差分总线在线健康诊断方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980250A (zh) * 2010-10-15 2011-02-23 北京航空航天大学 基于降维局部特征描述子和隐条件随机场的目标识别方法
CN103413154A (zh) * 2013-08-29 2013-11-27 北京大学深圳研究生院 基于归一化类谷歌量度矩阵的人体运动识别方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638116A (en) 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
US20050223031A1 (en) 2004-03-30 2005-10-06 Andrew Zisserman Method and apparatus for retrieving visual object categories from a database containing images
JP4991762B2 (ja) * 2006-01-09 2012-08-01 エルジー エレクトロニクス インコーポレイティド 映像信号のエンコーディング／デコーディング方法及び装置
US20100079481A1 (en) 2007-01-25 2010-04-01 Li Zhang Method and system for marking scenes and images of scenes with optical tags
US8446468B1 (en) 2007-06-19 2013-05-21 University Of Southern California Moving object detection using a mobile infrared camera
US8332097B2 (en) 2007-12-14 2012-12-11 Denso International America, Inc. Method of detecting an object near a vehicle
EP2070774B1 (en) 2007-12-14 2012-11-07 SMR Patents S.à.r.l. Security system and a method to derive a security signal
RU2484531C2 (ru) 2009-01-22 2013-06-10 Государственное научное учреждение центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики (ЦНИИ РТК) Устройство обработки видеоинформации системы охранной сигнализации
US8254697B2 (en) * 2009-02-02 2012-08-28 Microsoft Corporation Scalable near duplicate image search with geometric constraints
US8494259B2 (en) * 2009-12-28 2013-07-23 Teledyne Scientific & Imaging, Llc Biologically-inspired metadata extraction (BIME) of visual data using a multi-level universal scene descriptor (USD)
US8625902B2 (en) * 2010-07-30 2014-01-07 Qualcomm Incorporated Object recognition using incremental feature extraction
US9495760B2 (en) 2010-09-20 2016-11-15 Qualcomm Incorporated Adaptable framework for cloud assisted augmented reality
WO2012103193A1 (en) * 2011-01-26 2012-08-02 Magna Electronics Inc. Rear vision system with trailer angle detection
WO2012150591A2 (en) 2011-05-03 2012-11-08 Alon Atsmon Automatic content analysis method and system
CA2852614A1 (en) * 2011-10-19 2013-04-25 The University Of Sydney Image processing and object classification
US9131163B2 (en) 2012-02-07 2015-09-08 Stmicroelectronics S.R.L. Efficient compact descriptors in visual search systems
US8824733B2 (en) * 2012-03-26 2014-09-02 Tk Holdings Inc. Range-cued object segmentation system and method
JP6344638B2 (ja) 2013-03-06 2018-06-20 株式会社リコー 物体検出装置、移動体機器制御システム及び物体検出用プログラム
US10093247B2 (en) 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
US9886636B2 (en) 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
KR101775591B1 (ko) 2013-06-11 2017-09-06 퀄컴 인코포레이티드 데이터베이스 생성의 목적을 위한 대화식 및 자동 3-d 오브젝트 스캐닝 방법
US9740963B2 (en) 2014-08-05 2017-08-22 Sri International Multi-dimensional realization of visual content of an image collection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980250A (zh) * 2010-10-15 2011-02-23 北京航空航天大学 基于降维局部特征描述子和隐条件随机场的目标识别方法
CN103413154A (zh) * 2013-08-29 2013-11-27 北京大学深圳研究生院 基于归一化类谷歌量度矩阵的人体运动识别方法

Also Published As

Publication number Publication date
US20180101738A1 (en) 2018-04-12
WO2018065370A1 (en) 2018-04-12
EP3523749A1 (en) 2019-08-14
CN110088762A (zh) 2019-08-02
EP3523749B1 (en) 2023-05-03
US10395125B2 (en) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110088762B (zh) 用傅立叶风扇进行的对象检测和分类
US11282389B2 (en) Pedestrian detection for vehicle driving assistance
CN107851318B (zh) 用于对象跟踪的***和方法
US10503999B2 (en) System for detecting salient objects in images
Fan et al. A closer look at Faster R-CNN for vehicle detection
Murthy et al. ObjectDetect: A Real‐Time Object Detection Framework for Advanced Driver Assistant Systems Using YOLOv5
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
Wali et al. Comparative survey on traffic sign detection and recognition: a review
Hong et al. Fast multi-feature pedestrian detection algorithm based on histogram of oriented gradient using discrete wavelet transform
WO2016107561A1 (zh) 交通事件检测方法以及***
Chen et al. A Gaussian mixture model and support vector machine approach to vehicle type and colour classification
Webster et al. Improved raindrop detection using combined shape and saliency descriptors with scene context isolation
WO2019005255A2 (en) SYSTEM FOR DETECTING HIGHLIGHTS IN IMAGES
Luo et al. Seatbelt detection in road surveillance images based on improved dense residual network with two-level attention mechanism
Mantecón et al. New generation of human machine interfaces for controlling UAV through depth-based gesture recognition
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
CN115588187A (zh) 基于三维点云的行人检测方法、装置、设备以及存储介质
US11400860B2 (en) CMS systems and processing methods for vehicles
JP6365035B2 (ja) 交通オブジェクト検出装置
Bergstrom et al. Image quality and object detection performance of convolutional neural networks
Duan et al. Cascade feature selection and coarse-to-fine mechanism for nighttime multiclass vehicle detection
KR101643089B1 (ko) 멀티센서를 이용한 주행 이벤트 분류 및 주행 정보 시각화
Sheikh et al. Object detection based on multi-modal adaptive fusion using YOLOv3
Oroian-Boca et al. Intelligent lighting system using single shot multibox detector
Yellapantula et al. A Novel Approach for Traffic Rules Violation Detection Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant