CN102511046B - 使用近红外照相机对行人进行检测、分类并追踪的有成本效益的***及方法 - Google Patents
使用近红外照相机对行人进行检测、分类并追踪的有成本效益的***及方法 Download PDFInfo
- Publication number
- CN102511046B CN102511046B CN201080030194.XA CN201080030194A CN102511046B CN 102511046 B CN102511046 B CN 102511046B CN 201080030194 A CN201080030194 A CN 201080030194A CN 102511046 B CN102511046 B CN 102511046B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- image
- pixel
- roi
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/478—Contour-based spectral representations or scale-space representations, e.g. by Fourier analysis, wavelet analysis or curvature scale-space [CSS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种通过使用由设置在车辆上的近红外(IR)照相机捕捉的图像来对该车辆前出现的行人进行检测、分类和追踪的有成本效益的方法,所述方法包括用处理器实现的以下步骤:通过识别连接于图像最底部的光滑区域来估算地面区域,从而检测要关注的道路,以过滤在所述图像中的感兴趣区域(ROI)的物体;基于非地面物体到地面的距离,除去该非地面物体;通过为每个非ROI物体计算信噪比(SNR),基于这种物体的形状过滤该非ROI物体;通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩,除去该非垂直的物体;基于行人的形状对所分析的图像画面中的行人进行分类;以及使用均值偏移算法来追踪所分类行人的移动。
Description
发明领域
本发明总地涉及对行人进行检测、分类并追踪的***和方法。更具体地,本发明涉及一种通过使用由设置在车辆上的近红外(IR)照相机捕捉的实时图像来对该车辆前方的行人进行检测、分类和追踪的有成本效益的***和方法。
发明背景
牵涉到行人的道路事故在晚上发生的频率远远大于在白天发生的频率。在全世界,每年在道路交通碰撞中丧生的人数预计最多达到120万,而受伤的人数则高达5000万,这是世界最大的五个城市的总人口数。很多在这种事故中丧生的人都是行人。最重要的因素是司机的视觉范围显著减小了。如果车辆装备有与司机警告策略相结合的改进的行人检测***,则丧生或严重受伤的行人将较少。
我们所知的处理行人检测及追踪的一些发明如下:
Fujimura等人的US7139411示出了一种在低能见度条件或其他条件下用于检测并追踪行人的***和方法。夜视照相机定时地从单一的角度捕捉道路的红外线图像。行人检测模块通过处理所捕捉的图像来确定行人在画面中的位置。该行人检测模块包括支持向量机,用于将从所述夜视照相机获得的信息与训练数据库进行比较。行人追踪模块通过应用滤波器来估算所检测到的行人在接下来的画面中的移动。该追踪模块使用Kalman过滤以周期性地估算行人的移动并进行均值偏移(mean-shifting)以调整该估算的结果。
Ibrahim Burak Ozer的US7526102示出了用于提供拥挤环境的实时视频监视的方法和***。该方法包括几个物体检测及追踪处理,可对这几个物体检测及追踪处理进行自动地选择以根据输入视频的分辨率和遮挡水平来追踪各个物体或一组物体。可能感兴趣的物体(OOI)可以是人、动物、汽车等。该发明可用于追踪在拥挤环境中的人或在繁忙交通条件下的汽车。
Hiroshi Satoh的US7421091示出了,在具有两维设置的多个像素的图像捕捉单元的给定像素周围的像素的输出被添加至该给定像素的输出。
Min-Sub Lee的US5694487示出了这样一种方法,其基于与每个块中的每个像素相对应的梯度大小和变化来确定每个块的特征点。
这些已知设备、***和方法中的大部分为了检测并追踪行人都使用了复杂的方法,且成本较高。这些方法的精确度却不足以检测并追踪行人。
因此,考虑到上述背景技术,明显地需要一种***和方法,用于对在车辆前出现的行人进行检测、分类和追踪以防止碰撞,该***和方法是简单的、容易安装的,且以较低的成本提供较高的精确度。
发明目的
本发明的主要目的是提供一种***和方法,用于对在车辆前出现的行人进行检测、分类和追踪以防止碰撞,该***和方法是简单的、容易安装的,且以较低的成本提供较高的精确度。
本发明的另一个目的是提供一种***性的方法,用于通过使用近IR照相机对地面区域进行估算,从而检测道路区域。
本发明的又一个目的是提供一种***性的方法,用于通过使用近IR照相机基于非地面物体到地面的距离来除去该非地面物体。
本发明的还有一个目的是提供一种***性的方法,用于使用近IR照相机通过为每个非ROI物体计算信噪比(SNR),从而基于这些物体的形状来过滤这种非ROI物体。
本发明的还有一个目的是提供一种***性的方法,用于通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩,来从IR图像除去这种非垂直的物体。
本发明的又一个目的是提供一种***化的方法,用于通过使用近IR照相机,基于行人的形状对所分析的图像画面中的行人进行分类。
本发明的另一个目的是提供一种***化的方法,用于通过使用均值偏移算法来追踪被分类的行人的移动。
本发明的又一目的是提供一种用于对行人进行检测和追踪的***和方法,该***和方法是简单且有成本效益的。
发明内容
在对本发明的方法、***和硬件实现进行描述前,应该理解到本发明不局限于所描述的特定***和方法,本发明可有多个没有在本公开中明确说明的可能的实施例。还应理解到,本说明书中所使用的术语仅是为了描述特定版本或实施例的目的,不旨在限制仅由所附权利要求书限定的本发明的范围。
本发明提供一种***和方法,用于在驾驶的同时对在车辆前出现的行人进行检测、分类和追踪,以防止碰撞,该***和方法是简单的、容易安装的,且以较低的成本提供较高的精确度。
本发明具体实现为一种通过使用由设置在车辆上的近红外(IR)照相机捕捉的图像来对该车辆前出现的行人进行检测、分类和追踪的有成本效益的方法,其中所述方法包括用处理器实现的以下步骤:检测要关注的道路并通过识别连接于图像最底部的光滑区域来估算地面区域,从而过滤在所述图像中的感兴趣区域(ROI)的物体;基于非地面物体到地面的距离,除去该非地面物体;通过为每个非ROI物体计算信噪比(SNR),基于这些物体的形状来过滤该非ROI物体;通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩,除去该非垂直的物体;基于行人的形状对所分析的图像画面中的行人进行分类;以及使用均值偏移算法来追踪被分类的行人的移动。
在本发明的一个方面中,与行人有关的追踪数据还被处理器传递给输出装置。
在本发明的还有一个方面中,警报装置警告司机出现一个或多个行人,其中该警报装置可以是发出警告的音频和音频视觉设备、基于语音的告诫装置、指示器和显示器。
根据本发明的另一方面,近IR照相机可设置在车辆的仪表板上或者车辆的前侧、内部或顶部。在本发明的一个典型实施例中,近IR照相机可设置在车辆之前。
附图简述
以上内容、以及优选实施例的以下详细描述将在结合附图阅读时被更好地理解。为了示出本发明,在图中示出本发明的示例性构造;但本发明不局限于在附图中所公开的特定方法和***。
图1为流程图,其示出了根据本发明多个实施例的方法,该方法用于在驾驶的同时检测、分类和追踪在车辆前出现的行人,以避免碰撞。
发明的详细描述
现在将详细讨论本发明的一些实施例,说明其特征。词语“包含”、“具有”、“含有”和“包括”及其其他形式旨在含义相同并且是开放式的,在这些词语中任意一个之后的一个或多个事项并不意味着这一个或多个事项的穷举或意味着仅局限于所列举的一个或多个事项。还必需注意到,如本文以及所附权利要求书中所使用地,单数形式的“一”、“一种”以及“该”包括复数引用,除非上下文另外明确地指出相反情况。尽管在本发明的实施例的实践或测试中可使用与本文所描述的***和方法相类似或等效的任何***和方法,但是现在将描述优选的***和方法。所公开的实施例仅仅是本发明的示例,其可由本领域技术人员具体化为各种形式。
一种通过使用由设置在车辆上的近红外(IR)照相机捕捉的图像来对该车辆前出现的行人进行检测、分类和追踪的有成本效益的方法,所述方法包括用处理器实现的以下步骤:
a)通过识别连接于图像最底部的光滑区域来估算地面区域,从而检测要关注的道路以过滤在所述图像中的感兴趣区域(ROI)的物体;
b)基于非地面物体到地面的距离,除去该非地面物体;
c)通过为每个非ROI物体计算信噪比(SNR),基于这种物体的形状过滤该非ROI物体;
d)通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩,除去该非垂直的物体;
e)基于行人的形状对所分析的图像画面中的行人进行分类;和
f)使用均值偏移算法来追踪被分类的行人的移动。
本发明提供一种***和方法,用于在驾驶的同时对在车辆前出现的行人进行检测、分类和追踪,以防止碰撞,该***和方法是简单的、容易安装的,且以较低的成本提供较高的精确度。
根据本发明的一个典型实施例,一种有成本效益的***包括:设置在车辆上的近IR照相机,用于捕捉图像;以及处理器,用于实时分析所捕捉的图像,用以对出现在车辆前的行人进行检测、分类和追踪。
图1为流程图,其示出了根据本发明多种实施例的方法100,该方法用于在驾驶的同时检测、分类和追踪在车辆前出现的行人,以避免碰撞。
在本发明的一个实施例中,有成本效益的方法100通过使用由设置在车辆上的近红外(IR)照相机捕捉的图像来对该车辆前出现的行人进行检测、分类和追踪。根据本发明的另一方面,近IR照相机可设置在车辆的仪表板上或者车辆的前侧、内部或顶部。在本发明的一个示例实施例中,近IR照相机可设置在车辆之前。
根据本发明的一个方面,所述近IR照相机的分辨率可从640*480、720*480等中选择。在本发明的一个典型实施例中,近IR照相机的分辨率为720*480。根据本发明的一个方面,所述近IR照相机的IR范围可从(0.7-1)到5微米的范围中选择,用以对行人进行检测和追踪。在本发明的一个典型实施例中,所述近IR照相机的IR范围可从0.7到5微米的范围中选择。根据本发明的一个方面,所述近IR照相机的温度范围可从740到3,000-5,200开氏度的范围中选择,用以对行人进行检测和追踪。
根据本发明的一个方面,处理器可设置在所述近IR照相机的主体内或车辆的仪表板上。在本发明的一个典型实施例中,处理器设置在近IR照相机的主体内。根据本发明的另一个方面,处理器可从Davinci DM6446处理器、ADSP-BF533,750MHz Blackfin处理器的组中选择。
上述有成本效益的方法包括多个用处理器实现的步骤。在用机载近IR照相机进行物体检测的情况下,首先需要估算地面区域。在所提议方法的第一步骤中,通过估算地面区域,处理器检测要关注的道路以过滤在所述图像中的感兴趣区域(ROI)的物体。为了检测地面区域,处理器执行以下步骤:
最开始,使用sobel算子来完成图像微分102,然后使用Otsu算法来确定微分的图像104。根据本发明的一个方面,根据应用性可改变用于微分的图像的阈值参数。在微分二进制图像的阈值中,在沿着所述图像的宽度的每个最底部的像素向上穿越直到有0-1的转变。从最底部像素到0-1转变的区域106表示用于指示道路的光滑区域。将该区域值标注为‘X’的值。通过所述处理器为每个最底部的像素图像重复该工序。
为了检测完整的地面区域108,通过处理器将图像强度划分为16个面元。从最底部的像素向上穿越到达图像的一半高度。这些被标注为‘X’的像素被当作是籽像素(seed pixel)。选择籽像素,通过用处理器计算Eulidean距离(D)来检查相邻的像素并当该相邻的像素与籽像素相似时将该相邻的像素添加至地面区域。针对新添加像素中的每一个,重复该处理;如果没有更多的像素可被添加就停止。通过处理器,新添加的像素现在也被标注为‘X’。该方法基于这样的设想:道路具有相对恒定的温度,由此在边缘检测图像中不会产生边缘。
在所提议的方法的第二步骤中,所述处理器基于非地面物体到地面的距离来除去该非地面物体。为了除去所述非地面物体,处理器执行以下步骤:
最开始,使用Otsu算法对原始的灰度水平图像110取阈值。在被取阈值的二进制图像中,除去被标注为‘X’的像素。然后在二进制图像上执行连接分量分析。将′Lr′,′Hr′,′Lc′,′Hc′当作是用于构成一分量的边界框的最下面的行、最上面的行、最左面的栏和最右面的栏。接着计算所有分量的′Hr′上的平均值(μ)和标准差(σ)。通过处理器删除任何其′Hr′小于(μ+σ)的分量112。
在完成上述步骤之后,将有很多非ROI,它们为亮条纹物体114,诸如金属标记板、发光标记板、交通标记、前灯、电极和护栏的柱子。这些物体具有规则的形状。
在所提议的方法的第三步骤中,处理器通过为每个非ROI物体计算信噪比(SNR),基于这种物体的形状过滤该非ROI物体。为了检测这些规则形状,处理器执行以下步骤:
为每个分量,寻找外边界。边界像素是值为‘1’的像素,且为8个像素值为‘0’的相邻像素中的任何一个,然后处理器为斑点计算矩心(xc,yc)。接着计算从斑点的矩心到形状轮廓的距离(r(t))。
然后计算在r(n)上的N点DFT R(f)。接着搜索频率成分的幅度的局部最大值。如果局部最大值周期地出现,则对该周期进行计算。观察到,形状为规则的物体将具有周期的局部最大值,而形状为不规则的物体则不具有周期的局部最大值。然后,处理器计算R(f)的复制的版本
其中M是周期。
在下一个步骤中,计算上的N点IDFT并随后计算误差信号接着处理器计算信噪比(SNR),
SNR=10log(Sy/Se)
其中,且Se(n)=∑(e[n])2。
对于规则形状的物体SNR将非常得高,而对于不规则形状的物体SNR将较小。以这种方式,容易地除去街灯、车头灯、柱子和灯柱。
在所提议的方法的第四步骤中,处理器通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩,除去该非垂直的物体116。在灰度水平的被取阈值的二进制图像中,仍有更水平地对准而非垂直地对准的分量。行人等物体通常在本质上为垂直的。为了检测垂直伸长的物体118,通过处理器使用归一化的中心力矩。
其中Mx是关于质心的相对于X轴的惯性力矩。
其中My是关于质心的相对于Y轴的惯性力矩。
其中Mxy是关于质心的同时相对于X和Y轴的惯性力矩。
由于行人在本质上更加垂直,My>Mx。
如果则物体为垂直伸长的,否则其将为水平伸长的,这将被处理器删除。在本发明的一个典型实施例中,估算的阈值为大约3.2。
在所提议的方法的第五步骤中,所述处理器基于行人的形状对所分析的图像画面中的行人进行分类。一旦已经获得了关于行人的物体基本结构和定性提示,那么更精确的控制就是必需的。为了分类,将行人的形状用作提示。
为了对所分析的图像画面中的行人进行分类,处理器执行以下步骤:为每个ROI,处理器寻找外边界。边界像素是其值为‘1’的像素,且为8个像素值为‘0’的相邻像素中的任何一个。最开始,为斑点计算矩心(xc,yc)。将所述边界表示为复坐标函数Z(n)=[x(n)-xc]+i[y(n)-yc]。该转变使形状的表示对平移来说是不变的。物体形状和模型形状可具有不同的尺寸。结果,物体表示和模型表示的数据点的数量也将是不同的。为了避免该问题,物体和模型的形状边界必须被采样成具有相同数量的数据点。
a)假设K是沿着形状边界要被取样的候选点的总数目。相等的角度采样选择以相等角度θ=2∏/K间隔的候选点。
b)通过计算在复坐标函数上的32点FFT,获得傅里叶描述符(FD)。
c)通过忽略相位信息以及通过只取FD的幅度值,完成FD的非变化旋转。
d)然后通过使FD第一半的幅度值除以DC分量来获得标度不变性。
e)现在对于由FD特征索引的模型形状和由FD特征索引的数据形状,由于关于平移、旋转和比例缩放对该两组
特征进行归一化,所以在该两组特征向量之间的Euclidean距离可被用作相似性测量。
其中,Nc是索引形状所需要的谐波的截取数量。
最后,基于上述图像中的比较将行人进行分类。
在所提议的方法的最后一个步骤中,通过使用均值偏移算法,处理器追踪被分类的行人的移动120。为了追踪被分类的行人的移动,处理器执行以下步骤:
当在当前画面中定位行人之后,从下一个画面向前应用均值偏移追踪以追踪行人。所述均值偏移追踪算法为基于外观的追踪方法,且其应用均值偏移迭代以寻找候选目标,该候选目标与按照强度分布的给定模型最为相似,该两个分布的相似度由基于Bhattacharyya系数的度量来表示。从采样数据获得Bhattacharyya系数的过程包括对目标密度q和候选密度p的估算,在该估算中应用直方图公式。
首先,将行人斑点的矩心当作为中心x0,通过考虑特征空间来计算目标模型直方图。
基于被取阈值的图像计算边缘上的32面元直方图
目标模型: u=1,2,3,........32,
从下一个画面向前,对目标的中心在其先前的位置(y0)进行初始化,且通过考虑相同的特征空间来计算目标候选直方图。
基于被取阈值的图像更新边缘上的32面元直方图
现在计算目标模型和目标候选直方图之间的距离。
其中ρ[.]是p和q之间的bhattacharya系数。现在通过加权平均值对目标中心的偏移进行计算。
一旦找到了目标的新位置,则处理器执行以下步骤:
a.在新位置用相同的特征空间计算目标候选直方图,该特征空间包括直方图相等图像范围和低帽变换(bottom hat transform)的图像。
b.计算
c:当 时,
进行y1<-(y0+y1))/2
估算
d.如果||y1-y0||<ε,停止。
e.否则,通过处理器设置y0<-y1并得到权重,然后新位置,并且到步骤1。
上述方法还包括通过使用行人的追踪数据来警告驾驶员以防止碰撞的步骤,其中警报装置用于警告驾驶员,其中所述警报装置可以是音频和音频视觉装置,包括但不局限于警报器、基于语音的告诫装置或指示器。
已参考本发明的多个实施例进行了上述描述。本发明所属的本领域技术人员将理解,在不有意脱离本发明主旨、精神和范围的条件下,可对所描述的操作的处理和方法作出变化和改变。
发明优点
在本发明中所提议的***和方法具有如下优点:
1.本发明提供一种***和方法,用于在驾驶的同时对在车辆前出现的行人进行检测、分类和追踪,以防止碰撞,该***和方法是容易安装和执行的。
2.本发明的***还提供一种方法,用于在驾驶的同时对在车辆前出现的行人进行检测、分类和追踪,以防止碰撞,该***与现有的传统***相比具有相当高的精确度。
3.本发明还提供一种***和方法,用于在驾驶的同时对在车辆前出现的行人进行检测、分类和追踪,以防止碰撞,该***和方法与传统***相比具有成本效益。
Claims (9)
1.一种通过使用由设置在车辆上的近红外(IR)照相机捕捉的图像来对该车辆前方的行人进行检测、分类和追踪的方法,所述方法包括用处理器实现的以下步骤:
a)通过估算地面区域,检测要关注的道路,以过滤在所述图像中的感兴趣区域(ROI)的物体,其中,所述地面区域是通过下列步骤来估算的:
通过使用sobel算子对所述近红外(IR)照相机所捕捉的图像执行图像微分以便获得微分的图像,
对所述微分的图像应用Otsu算法以便获得被取阈值的二进制图像,和
检测沿着所述被取阈值的二进制图像的宽度的每个最底部像素在向上的方向上的穿越直到有0-1的转变,其中,从最底部像素到0-1转变的区域表示光滑区域,并且其中,所述光滑区域进一步表示标为‘X’的道路;
b)基于非地面物体到所述地面区域的距离,除去该非地面物体;
c)通过为每个非ROI物体计算信噪比(SNR),基于非ROI物体的形状,过滤该非ROI物体;
d)通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩,来除去该非垂直物体;
e)基于行人的形状,对所分析的图像画面中的行人进行分类;和
f)使用均值偏移算法来追踪行人的移动。
2.如权利要求1所述的方法,其特征在于,还包括通过使用行人的追踪数据来警告所述车辆的驾驶员以防止碰撞的步骤。
3.如权利要求1所述的方法,其特征在于,近红外(IR)照相机可被设置在车辆的仪表板上或者车辆的前侧、内部或顶部。
4.如权利要求1所述的方法,还包括通过用处理器实现的以下步骤来估算完整的地面区域:
a)将图像强度划分为16个面元,然后从最底部像素向上穿越到图像的一半高度处;
b)接着将标注的像素当作为籽像素,随后选择该籽像素;
c)通过计算Eulidean距离来检查相邻的像素并当该相邻的像素与籽像素相似时将该相邻的像素添加至所述地面区域;
d)针对每个新添加的像素重复上述当作、选择、检查和添加;和
e)如果没有更多的像素可被添加则停止上述当作、选择、检查和添加,并且最后将该新添加的像素标注为‘X’。
5.如权利要求1所述的方法,其特征在于,通过用处理器实现的以下步骤来除去非地面物体:
a)在原始的灰度水平图像上应用Otsu算法以对该原始的灰度水平图像取阈值;
b)忽略在被取阈值的二进制图像中被标注的像素;
c)在被取阈值的二进制图像中未被标注的像素上运行连接分量分析,其中最下面的行、最上面的行、最左面的栏和最右面的栏构成该图像的分量的边界框;和
d)计算所有分量的最上面行上的平均值和标准差,且如果分量的最上面行的值小于平均值和标准差之和的值,则接着删除该分量。
6.如权利要求1所述的方法,其特征在于,通过用处理器实现的以下步骤来计算信噪比(SNR):
a)为每个分量确定外边界;
b)为斑点计算矩心;
c)计算从斑点的所述矩心到形状轮廓的距离;
d)计算在形状轮廓上的所计算的距离的N点DFT;
e)搜索频率成分的幅度的局部最大值,且如果周期地出现一个或多个局部最大值,则接着计算该周期;
f)计算所计算的距离的所述N点DFT的复制版本;
g)计算在形状轮廓上的所计算的距离的N点IDFT;
h)计算误差信号;和
i)从误差信号计算每个分量的信噪比(SNR)。
7.如权利要求1所述的方法,其特征在于,通过用处理器实现的以下步骤来完成对行人的分类:
a)为每个ROI找出外边界;
b)为斑点计算矩心;
c)将边界表示为复坐标函数,其中,这种转变使形状的表示对平移来说是不变的;
d)对物体和模型的形状边界进行采样以使其具有相同数量的数据点;
e)将所述物体和模型的形状边界的数据值进行比较;和
f)基于上述比较对行人进行分类。
8.一种通过使用近红外(IR)照相机对车辆前方的行人进行检测、分类和追踪的***,所述***包括:
a)设置在车辆上的近IR照相机,用于捕捉图像;和
b)处理器,用于实时分析所捕捉的图像,以对车辆前方的行人进行检测、分类和追踪,实时分析所捕捉的图像包括:
通过估算地面区域,检测要关注的道路,以过滤在所述图像中的感兴趣区域(ROI)的物体,其中,所述地面区域是通过下列步骤来估算的:
通过使用sobel算子对所述近红外(IR)照相机所捕捉的图像执行图像微分以便获得微分的图像,
对所述微分的图像应用Otsu算法以便获得被取阈值的二进制图像,和
检测沿着所述被取阈值的二进制图像的宽度的每个最底部像素在向上的方向上的穿越直到有0-1的转变,其中,从最底部像素到0-1转变的区域表示光滑区域,并且其中,所述光滑区域进一步表示标为‘X’的道路;
基于非地面物体到所述地面区域的距离,除去该非地面物体;
通过为每个非ROI物体计算信噪比(SNR),基于非ROI物体的形状,过滤该非ROI物体;
通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩,来除去该非垂直的物体;
基于行人的形状,对所分析的图像画面中的行人进行分类;和
使用均值偏移算法来追踪行人的移动。
9.如权利要求8所述的***,其特征在于,还包括警报装置,用于通过使用行人的追踪数据来警告所述车辆的驾驶员以防止碰撞。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN2785MU2009 | 2009-12-02 | ||
IN2785/MUM/2009 | 2009-12-02 | ||
PCT/IN2010/000783 WO2011067790A2 (en) | 2009-12-02 | 2010-12-02 | Cost-effective system and method for detecting, classifying and tracking the pedestrian using near infrared camera |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102511046A CN102511046A (zh) | 2012-06-20 |
CN102511046B true CN102511046B (zh) | 2015-03-25 |
Family
ID=44115376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080030194.XA Active CN102511046B (zh) | 2009-12-02 | 2010-12-02 | 使用近红外照相机对行人进行检测、分类并追踪的有成本效益的***及方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8964033B2 (zh) |
EP (1) | EP2481012A2 (zh) |
JP (1) | JP5453538B2 (zh) |
CN (1) | CN102511046B (zh) |
WO (1) | WO2011067790A2 (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8121361B2 (en) | 2006-05-19 | 2012-02-21 | The Queen's Medical Center | Motion tracking system for real time adaptive imaging and spectroscopy |
US8890951B2 (en) * | 2008-04-24 | 2014-11-18 | GM Global Technology Operations LLC | Clear path detection with patch smoothing approach |
US9606209B2 (en) | 2011-08-26 | 2017-03-28 | Kineticor, Inc. | Methods, systems, and devices for intra-scan motion correction |
US8948449B2 (en) * | 2012-02-06 | 2015-02-03 | GM Global Technology Operations LLC | Selecting visible regions in nighttime images for performing clear path detection |
US9412025B2 (en) * | 2012-11-28 | 2016-08-09 | Siemens Schweiz Ag | Systems and methods to classify moving airplanes in airports |
US10327708B2 (en) | 2013-01-24 | 2019-06-25 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
US9305365B2 (en) | 2013-01-24 | 2016-04-05 | Kineticor, Inc. | Systems, devices, and methods for tracking moving targets |
US9717461B2 (en) | 2013-01-24 | 2017-08-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
WO2014120734A1 (en) | 2013-02-01 | 2014-08-07 | Kineticor, Inc. | Motion tracking system for real time adaptive motion compensation in biomedical imaging |
US10004462B2 (en) | 2014-03-24 | 2018-06-26 | Kineticor, Inc. | Systems, methods, and devices for removing prospective motion correction from medical imaging scans |
CN103902976B (zh) * | 2014-03-31 | 2017-12-29 | 浙江大学 | 一种基于红外图像的行人检测方法 |
CN106714681A (zh) | 2014-07-23 | 2017-05-24 | 凯内蒂科尔股份有限公司 | 用于在医学成像扫描期间追踪和补偿患者运动的***、设备和方法 |
CN105740862A (zh) * | 2014-10-27 | 2016-07-06 | 江苏慧眼数据科技股份有限公司 | 一种基于宏特征点描述的行人轮廓检测方法 |
CN104778725A (zh) * | 2015-04-14 | 2015-07-15 | 长兴泛亚照明电器有限公司 | 一种背景自适应更新的地下车库及隧道运动目标检测方法 |
US9943247B2 (en) | 2015-07-28 | 2018-04-17 | The University Of Hawai'i | Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan |
US20170032676A1 (en) * | 2015-07-30 | 2017-02-02 | Illinois Institute Of Technology | System for detecting pedestrians by fusing color and depth information |
CN105261017B (zh) * | 2015-10-14 | 2018-12-11 | 长春工业大学 | 基于路面约束的图像分割法提取行人感兴趣区域的方法 |
WO2017091479A1 (en) | 2015-11-23 | 2017-06-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
CN106845344B (zh) * | 2016-12-15 | 2019-10-25 | 重庆凯泽科技股份有限公司 | 人群统计方法及装置 |
CN106952293B (zh) * | 2016-12-26 | 2020-02-28 | 北京影谱科技股份有限公司 | 一种基于非参数在线聚类的目标跟踪方法 |
US10789727B2 (en) | 2017-05-18 | 2020-09-29 | Panasonic Intellectual Property Corporation Of America | Information processing apparatus and non-transitory recording medium storing thereon a computer program |
KR20190062635A (ko) * | 2017-11-15 | 2019-06-07 | 전자부품연구원 | 객체 추적 장치 및 객체 추적 방법 |
US11294380B2 (en) | 2018-05-11 | 2022-04-05 | Arnold Chase | Passive infra-red guidance system |
US10467903B1 (en) | 2018-05-11 | 2019-11-05 | Arnold Chase | Passive infra-red pedestrian detection and avoidance system |
US11062608B2 (en) | 2018-05-11 | 2021-07-13 | Arnold Chase | Passive infra-red pedestrian and animal detection and avoidance system |
US10750953B1 (en) | 2018-05-11 | 2020-08-25 | Arnold Chase | Automatic fever detection system and method |
JP2020086756A (ja) * | 2018-11-21 | 2020-06-04 | 富士ゼロックス株式会社 | 自律移動装置およびプログラム |
CN109800683A (zh) * | 2018-12-30 | 2019-05-24 | 昆明物理研究所 | 一种基于fpga的红外行人检测方法及装置 |
CN111126178B (zh) * | 2019-12-05 | 2023-07-04 | 大连民族大学 | 红外-可见光双目行人身体多部件融合的持续距离估计方法 |
CN112288765A (zh) * | 2020-10-30 | 2021-01-29 | 西安科技大学 | 一种用于车载红外行人检测跟踪的图像处理方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0171147B1 (ko) | 1995-03-20 | 1999-03-20 | 배순훈 | 그레디언트 변화를 이용한 특징점 선정장치 |
JP3263311B2 (ja) * | 1996-04-24 | 2002-03-04 | ニッタン株式会社 | 対象検知装置および対象検知方法および対象監視システム |
AU2003295318A1 (en) | 2002-06-14 | 2004-04-19 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
JP4228947B2 (ja) | 2003-05-20 | 2009-02-25 | 日産自動車株式会社 | 撮像装置 |
JP3922245B2 (ja) * | 2003-11-20 | 2007-05-30 | 日産自動車株式会社 | 車両周辺監視装置および方法 |
JP3903048B2 (ja) * | 2004-04-26 | 2007-04-11 | キヤノン株式会社 | 画像抽出方法 |
ES2259543B1 (es) * | 2005-02-04 | 2007-11-16 | Fico Mirrors, S.A. | Sistema para la deteccion de objetos en una zona exterior frontal de un vehiculos, aplicable a vehiculos industriales. |
US7526102B2 (en) | 2005-09-13 | 2009-04-28 | Verificon Corporation | System and method for object tracking and activity analysis |
JP4777196B2 (ja) * | 2006-09-11 | 2011-09-21 | 川崎重工業株式会社 | 運転支援装置 |
JP4813304B2 (ja) * | 2006-09-19 | 2011-11-09 | 本田技研工業株式会社 | 車両周辺監視装置 |
-
2010
- 2010-12-02 JP JP2012530411A patent/JP5453538B2/ja not_active Expired - Fee Related
- 2010-12-02 EP EP10822866.9A patent/EP2481012A2/en not_active Withdrawn
- 2010-12-02 US US13/380,559 patent/US8964033B2/en active Active
- 2010-12-02 WO PCT/IN2010/000783 patent/WO2011067790A2/en active Application Filing
- 2010-12-02 CN CN201080030194.XA patent/CN102511046B/zh active Active
Non-Patent Citations (4)
Title |
---|
A Multi-stage Classifier Based Algorithm of Pedestrian Detection in Night with a Near Infrared Camera in a Moving Car;Hui Sun, et al;《IEEE》;20041231;全文 * |
Detection and Classification of Moving Object for Smart Vision Sensor;Razali M.T.,et al;《IEEE》;20061231;全文 * |
Pedestrian Detection and Tracking with Night Vision;Fengliang Xu, et al;《IEEE》;20050331;全文 * |
Real-Time Pedestrian Detection and Tracking at Nighttime for Driver-Assistance Systems;Junfeng Ge,et al;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20090630;第10卷(第2期);第283-297页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2011067790A2 (en) | 2011-06-09 |
CN102511046A (zh) | 2012-06-20 |
JP5453538B2 (ja) | 2014-03-26 |
US20120229643A1 (en) | 2012-09-13 |
EP2481012A2 (en) | 2012-08-01 |
JP2013505509A (ja) | 2013-02-14 |
WO2011067790A3 (en) | 2011-10-06 |
US8964033B2 (en) | 2015-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102511046B (zh) | 使用近红外照相机对行人进行检测、分类并追踪的有成本效益的***及方法 | |
US10261574B2 (en) | Real-time detection system for parked vehicles | |
Kilicarslan et al. | Predict vehicle collision by TTC from motion using a single video camera | |
US9633436B2 (en) | Systems and methods for multi-dimensional object detection | |
EP1860594A2 (en) | Pedestrian detector and pedestrian detecting method | |
JP2020194263A (ja) | 事故分析装置、事故分析方法及びプログラム | |
CN113658427A (zh) | 基于视觉与雷达的路况监控方法及***、设备 | |
Park et al. | Vision-based surveillance system for monitoring traffic conditions | |
Srivastava et al. | Video-based real-time surveillance of vehicles | |
JP2020194528A (ja) | 事故分析装置、事故分析方法及びプログラム | |
Fries et al. | Monocular template-based vehicle tracking for autonomous convoy driving | |
Wu et al. | Overtaking Vehicle Detection Techniques based on Optical Flow and Convolutional Neural Network. | |
Ho et al. | Intelligent speed bump system with dynamic license plate recognition | |
Munajat et al. | Vehicle detection and tracking based on corner and lines adjacent detection features | |
Kanhere | Vision-based detection, tracking and classification of vehicles using stable features with automatic camera calibration | |
KR20150002040A (ko) | 호그 연속기법에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 보행자를 인식하고 추적하는 방법 | |
Dalka et al. | Vehicle classification based on soft computing algorithms | |
Cheong | Design of lane detection system based on color classification and edge clustering | |
Ponte et al. | Using specialised cyclist detection software to count cyclists and determine cyclist travel speed from video | |
Rogers et al. | Counting bicycles using computer vision | |
CN109344800B (zh) | 一种基于小运动目标的快速分类与识别方法 | |
Kadiķis et al. | Vehicle classification in video using virtual detection lines | |
Wang et al. | DetPS: A fully convolutional end-to-end parking slot detector | |
Borkar et al. | Lane detection and tracking using a layered approach | |
Teknomo et al. | Tracking algorithm for microscopic flow data collection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |