CN1448886A - 用于测量车辆队列长度的装置和方法 - Google Patents

用于测量车辆队列长度的装置和方法 Download PDF

Info

Publication number
CN1448886A
CN1448886A CN03107717A CN03107717A CN1448886A CN 1448886 A CN1448886 A CN 1448886A CN 03107717 A CN03107717 A CN 03107717A CN 03107717 A CN03107717 A CN 03107717A CN 1448886 A CN1448886 A CN 1448886A
Authority
CN
China
Prior art keywords
vehicle
feature
image
sum
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN03107717A
Other languages
English (en)
Other versions
CN1223964C (zh
Inventor
全晙皙
崔城训
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhenyu electricity production Corporation
Original Assignee
LG Industrial Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Industrial Systems Co Ltd filed Critical LG Industrial Systems Co Ltd
Publication of CN1448886A publication Critical patent/CN1448886A/zh
Application granted granted Critical
Publication of CN1223964C publication Critical patent/CN1223964C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/07Controlling traffic signals
    • G08G1/08Controlling traffic signals according to detected number or speed of vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

在一种用于测量车辆队列长度装置和方法中,通过在与道路上车辆行进方向相同的方向上安装摄像机,在车辆后部拍摄道路图像,并测量车辆队列长度,从而可以精确地测量车辆队列长度。该装置包括摄像机,用于拍摄道路上车辆的后部;图像转换器,用于将对应于摄像机拍摄的图像的模拟图像信号转换为数字图像信号;和控制单元,用于从转换的数字图像中提取车辆特征,根据提取的特征计算道路上车辆的位置,并根据计算的车辆位置计算道路上的车辆队列长度。

Description

用于测量车辆队列长度的装置和方法
技术领域
本发明涉及交通控制***,更准确地说,涉及一种用于测量车辆队列长度的装置和方法。
背景技术
在交通控制***中,使用线圈检测器来生成道路或十字路口的交通信息。
在线圈检测器中,把导电线圈安装在地表之下,电流在线圈中流动,当车辆经过地表时,通过电磁感应现象探测到车辆的存在。相应的,在一条交通车道中,地表下分离地安装两个线圈,通过计算两个线圈之间的检测时间差,从而计算出车辆速度;通过计算每一线圈占用的时间的代表值(即平均值),得到占用时间;根据计算出的速度和占用时间,计算车辆的队列长度。
使用线圈检测器计算车辆队列长度的方法提供高度可靠的关于交通容量、占用率和速度的信息。然而,由于线圈安装于地表之下,它破坏了道路表面,当地表条件恶化时,线圈可能被切断。而且,修复切断的线圈可能造成交通堵塞。另外,最近对于有关十字路口车辆队列长度的信息的需求正在增加,且要求这种信息不是基于传统的统计控制,而是在每一十字路口通过信号控制的实时交通信息。
然而,由于必须在地表下面安装若干线圈(回路线圈),所以要通过使用线圈检测器而得到预定区域内的交通信息(如车辆队列长度)所需的建造工作是困难的。因此,为了避免安装建造回路线圈的困难,仅在道路(道路表面)的若干位置安装回路线圈,来计算车辆队列长度。这样,由于队列长度是利用每一点安装的回路线圈的位置信息估算的,队列长度的准确度大为降低。
同时,为了提取交通信息,如通行量、速度、占用率、车辆队列长度等,已经开发了一种使用图像的技术,并将其应用于现场。更具体地,在交通相关领域中,为了提供交通信息,在主要道路和十字路口安装CCTV(闭路电视)或CCD(电荷耦合设备)摄像机。同时,已经出现了作为ITS(智能交通***)的ATMS(高级交通管理***)。
在ATMS中,为了优化交通流,利用各种交通信息检测技术,实时检测通行量变化,并识别道路上的各种无法预料的情况。依照这些,ATMS可以摸索控制方法,如交通信号灯开/关时间控制、道路容量考虑以及交通流控制。
同时,为了弥补传统交通信息采集传感器中线圈检测器的缺点,关于使用图像的交通信息采集传感器的研究正在活跃地进行中,它被看作下一代交通信息采集传感器之一。
另外,关于十字路口车辆队列长度的测量方法的研究也在进行中,目的是用于交通信号灯开/关时间控制,即信号控制。以下参照图1说明传统的测量车辆队列长度的方法。
图1说明了现有技术中,用于测量车辆队列长度的方法及测量结果中误差的发生。
如图1,将摄像机100安装在十字路口附近的建筑或交通信号灯的支撑柱上,使其具有预定的高度,以得到驶入十字路口的车辆的前部图像。
在现有的使用图像测量车辆队列线的方法中,使用图像处理技术来将车辆与道路表面或附加噪声区分开。现有的方法可分为两种:一种方法通过从摄像机获得的图像中提取车辆轮廓成分而检测车辆;另一种方法设置、存储低空气污染条件下无车辆道路的参考图像,将存储的参考图像与当前得到的图像比较,从而检测路面车辆。
但是,如图1所示,在现有方法中面对车辆的前表面安装摄像机镜头。更具体地说,因为摄像机对车辆前部拍照,由于摄像机和车辆之间的角度以及车辆高度,可能出现隐蔽区域,于是有可能在车辆队列长度的真实值和通过拍照并计算得到的测量值之间出现相应的误差。
为解决上面提到的问题,可以在拍照得到的图像的基础上测量出车辆的准确高度及其与摄像机的精确距离,然后补偿误差。但是,由于误差可能持续存在,甚至可能存在于根据照片图像测得的车辆高度中,所以从根本上不可能测量到准确的车辆队列长度。
另外,为了补偿测量队列长度的误差,不可能不计算每一车辆的高度而使用一个任意的估计值或统计值,但是,可能因测量车辆队列长度时的补偿而引起误差。更具体地,在现有技术中通过对车辆前部拍照而测量车辆队列长度,车辆高度越高,或者车辆与摄像机间距越大,误差也将越大,且误差几何地增长。
同时,在车辆前面测量队列长度,不仅会产生上面提到的几何误差,而且会接下来产生测量误差。
在现有技术中已经提出了两种图像处理方法。第一种方法通过提取车辆的特征作为(垂直、水平和对角)边界元素或者利用这些特征提取车辆轮廓,从而检测车辆。第二种方法对空的道路进行拍照并将图像存储作为参考图像,将参考图像与新得到的图像比较,当差异超过一个预定的阈值时,认为路上有车辆。但是,在第一种图像处理方法中,必须确定车辆的特征值和阈值作为预处理。在第二种图像处理方法中,因为需要随时间更新存储的参考图像,所以为了使用更新的参考值来检测车辆,必须有调整阈值的方法。
但是,在上述的两种图像处理方法中,在不同路况下都可能有需要适当的阈值微调的情况。在这里,如果阈值调整错误,精确度会急剧降低。例如,存在车辆被误判为不存在,或者反过来将不存在车辆误判为存在。
另外,在使用参考图像,即背景图像时,若背景图像的更新错误,则车辆的存在可能在输出中被误判,而且为了得到好的背景图像,需要相应的具体调整。然而,因为实际中许多车辆行驶于路上,不容易得到没有车辆的道路图像。如果更新参考图像一直失败,由于不能满足参考图像的更新水平,更新时间将被延迟。相应的,当参考图像由于突发的大气现象(天气和亮度等)改变而没有正常更新时,可能在判断车辆是否存在时发生错误,相应的队列长度的测量误差也增加。
下面参考图2介绍图像处理方法中的测量误差。
图2A和2B显示了由图1中的摄像机拍摄的夜间道路图像及其轮廓图像。
如图2所示,在现有技术中,对着车辆前部的方向拍摄道路,在夜间拍摄的图像(图2)中,在一个远离摄像机的圆形区域(2A-1)中,由于前灯的直射光及反射光,产生了光线模糊的现象,车辆轮廓无法显示,整个车辆图像被光覆盖,从而产生了无法测量队列长度的区域。
另外,在夜间的路上,由于光线条件剧烈改变,车辆轮廓的清晰度以每秒30幅图像(称为帧)的速度变化,很难将车身反射的光与道路反射的光区分开,如图2A所示,即使在未发生光线模糊现象的靠近摄像机的区域(2A-2)中,车辆前灯清楚地显示,然而车辆外侧模糊,只有当周围的光反射到车辆上时,才可以生成轮廓可识别区域。
因此,如图2B所示,在夜间拍摄的图像中,因为存在不能正确提取车辆轮廓的区域,车辆队列长度的可测区域减少,从而无法测量在道路上的最后一辆车。因此,根本无法测量到准确的车辆队列长度。
发明内容
为了解决上面提到的问题,本发明的一个目标是提供一种用于测量车辆队列长度且可以减少车辆队列长度的测量误差的装置和方法,该装置和方法在与车辆行进方向相同的方向上安装摄像机镜头,在车辆后方拍摄道路图像,并测量车辆队列长度。
本发明的另一个目标是提供一种用于测量车辆队列长度的装置和方法,该装置和方法通过安装摄像机从车辆后方拍摄道路图像来解决准确度降低的问题,这里准确度降低的问题是由于以下几点而造成的:几何上的隐蔽现象引起的误差、夜间车辆前灯引起的模糊现象以及车辆后部的模糊轮廓。
本发明还有一个目标是提供一种用于测量车辆队列长度的装置和方法,该装置和方法不考虑道路周围环境变化,通过跟踪车辆的特征而准确地测量车辆队列长度。
为了达到上面提到的目标,根据本发明的测量车辆队列长度的装置包括:摄像机,用于获取道路上车辆的后部图像;图像转换器,用于将对应于摄像机得到的图像的模拟图像信号转换为数字图像信号;以及控制单元,用于从转换的数字图像中提取车辆特征,根据提取的特征计算路上车辆的位置,并根据计算的车辆位置计算路面车辆队列长度。
为了达到上面提到的目标,本发明的测量车辆队列长度的方法包括:获取道路上车辆的后部图像;从获取的图像中除去噪声;从除噪后的图像中提取车辆特征并跟踪提取的特征;当特征的移动轨迹小于预定尺寸时,将特征确定为停止的车辆;并计算停止的车辆特征的位置与路面交通车道的参考位置之间的距离。
附图说明
附图帮助更好地理解本发明,并在此构成本发明说明书的一部分,附图说明本发明的实施例,并和说明书一起解释本发明的原理。
附图中:
图1说明了现有技术中用于测量车辆队列长度的方法以及测量结果中的误差产生;
图2A和2B显示了由图1中摄像机拍摄的夜间道路图像及其轮廓图像;
图3是本发明的用于测量车辆队列长度的装置的框图;
图4解释了用于测量车辆队列长度的摄像机的拍摄方向;
图5A~5D显示本发明的实施例在白天和晚上得到的道路图像以及所摄图像的轮廓;
图6A显示了图5A的圈中的原始图像;
图6B显示图5A的圈中的除噪后的图像;
图7A~7D显示了从除噪后的图像中提取的差异图像(Gx,Gy);
图8示例地显示了跟踪特征时的窗口尺寸和移动单元;和
图9显示了一个外切四边形的中心标记与相关车道的停车线之间的距离。
具体实施方式
下面将参考附图3~9详细描述用于测量车辆队列长度的装置和方法,其把摄像机安装为与路上车辆行进方向相同的方向,并从车辆后面获取道路图像,从而可以准确地测量车辆队列长度。
图3是本发明的用于测量车辆队列长度的装置的框图。
如图3所示,本发明的用于测量车辆队列长度的装置包括:摄像机310,用于从道路上车辆的后侧得到道路图像,并通过同轴电缆传送(输出)对应于拍摄的道路图像的模拟图像信号;图像抓取器320,用于将从摄像机320接收到的模拟图像信号转换为每秒30幅(帧)的数字图像信号;以及控制单元330,用于将图像抓取器320中转换的数字图像一帧帧地存储在存储器(未显示)中,并根据存储的图像计算车辆队列长度。在这里,本发明除了使用摄像机310,还可以使用多种方法来拍摄各种运动图片或静止图像;还可以使用多种图像转换器代替图像抓取器320,将模拟图像信号转换为数字图像信号。
下面详细介绍控制单元330的结构。
控制单元330包括:预处理单元331,它通过执行高斯滤波而对图像抓取器320中转换的数字图像(帧数据)在水平轴(X轴)和垂直轴(Y轴)方向除噪,并输出除噪后的图像;特征位置提取单元,用于在水平轴(X轴)和垂直轴(Y轴)上,从预处理单元331输出的图像中分别提取差异图像,并通过窗口单元提取特征(作为跟踪的对象),如垂直线、水平线、边缘等;特征跟踪单元333,用于将特征提取单元332提取的特征位置设置为参考模板,预测从存储于存储器中的下一帧(预定时间后输入的图像)中提取的特征位置,将预测的位置部分确定为搜索区域,计算所确定的搜索区域和通过窗口单元得到的参考模板之间的相关系数,对所计算的相关系数值中具有最大相关系数值的窗口(即包含相同图像的窗口)进行模板匹配,并选择匹配的窗口作为新特征;和队列长度测量单元334,通过分析从特征搜索单元333选择的特征之间的位置关系,从而检查成组的特征,当选择的特征构成组时,将特征识别为车辆,当预定的多个帧中被认作是车辆的特征的位置轨迹中没有不小于一个预定大小的运动时,将构成组的特征识别为静止车辆,计算静止车辆的特征在水平和垂直轴(X轴、Y轴)上的最大和最小位置,计算最大和最小位置的中心标记与车道的停车线之间的距离;并输出计算出的距离值作为车辆队列长度值。
在这里,特征提取单元332提取的特征包括车辆的垂直线、水平线和边缘元素,如对角线等。在多个具有多个特征的组中(每一组代表一静止车辆),队列长度测量单元334计算道路上每一车道中最后一组(静止车辆)与停车线之间的距离。另外,静止车辆是指最后的静止车辆,即道路上距停车线最远的车辆。因此,最后的静止车辆(距摄像机最近的车辆)与道路停车线之间的距离就是车辆队列长度。
下面详细介绍用于测量车辆队列长度的装置的操作。首先,参考图4详细叙述作为图像获取装置的摄像机310。
图4说明了用于测量车辆队列长度的摄像机的拍摄方向。
如图4所示,本发明的摄像机310安装在路边的装备310-1的一个预定高度上,拍摄方向与车辆行进方向相同,从而具有一个适于测量车辆队列长度的FOV(视场)。更具体的,摄像机310安装在通过道路的车辆的后侧。在这里,如图4所示,当安装了摄像机310并拍摄道路时,拍摄的道路图像显示车辆及车顶的后部。因此,将本发明中使用摄像机310拍摄车辆后部与现有技术中拍摄车辆前部相比,本发明的用于测量车辆队列长度的装置和方法至少具有以下四个优点:
1.可以得到道路上车辆的后部图像,并从得到的图像中容易地测量道路上最后一辆车,不必考虑或补偿车顶高度。
2.在获取道路上车辆的后部图像时,所获取的图像的测量值与队列长度的真实值之间有根本性的误差。但是由于误差对应于车辆轮胎的尺寸,因此远小于现有技术中对应于车辆高度的误差。
3.车辆队列长度越长,最后一辆车距十字路口的停车线越远,最后一辆车与摄像机310之间的距离越小,图像分辨率提高。因此提高了测量值的准确度。
4.在拍摄夜间道路车辆时,通过拍摄后部的尾灯或停止灯,而不是拍摄前部的前灯,可以防止模糊现象,通过从噪声中辨别车辆,可以准确测量车辆队列长度。
为了具有这些优点,摄像机310在车辆后侧拍摄道路图像,对应于所得到的图像的模拟图像信号被传送到图像抓取器320。在这里,参考图5A~5D介绍摄像机310在白天和夜晚拍摄的图像。
图5A~5D显示了本发明的实施例在白天和晚上拍摄的道路图像以及得到的图像的轮廓。更具体的,图5A和5C显示了摄像机310得到的白天和夜间图像。另外,图5B和5D显示了图像抓取器320从摄像机310拍摄的白天和夜间图像中提取的车辆轮廓图像。
图像抓取器320将摄像机310输出的模拟图像信号转换为数字图像信号,以执行图像处理。转换后的数字图像信号以帧为单位存储于存储器中。在这里,图像抓取器320转换的图像是图像帧,其中每一像素具有介于0~255之间的黑白灰度值,它们存储于控制单元330的存储器(未显示)中,且存储的图像帧以每秒30帧的速度更新。
然后,控制单元330通过实时地对图像帧进行图像处理,计算车辆队列长度。在这里,计算车辆队列长度的处理过程顺次在预处理单元331、特征提取单元332、特征跟踪单元333和队列长度测量单元334中执行,下面详细介绍。
首先,预处理单元331通过对从图像抓取器320接收的数字图像的原始图像在水平轴(X轴)进行高斯滤波,并对经高斯滤波的图像在垂直轴(Y轴)进行高斯滤波,从而除去从图像抓取器320接收的图像的噪声元素,然后将除噪后的图像传送至特征提取单元332。在这里,从图像抓取器320接收的图像通过高斯滤波器(未显示)滤波,在选择施加于每一像素的权重时,使用高斯分布(正态分布)的权重。更详细的,通过高斯滤波器,除去从预处理单元331接收道的图像的微小噪声元素。
接下来,参考图6A和6B介绍摄像机310拍摄的原始图像,以及通过在水平和垂直轴使用高斯滤波器对原始图像滤波除噪而得到的图像。
图6A显示了图5A的圈中的原始图像,图6B显示了图5A的圈中的除噪后的图像。更具体的,图6A显示了原始拍摄的图像,图6B显示了通过对原始拍摄的图像进行高斯滤波而得到的图像,即已除噪的图像。
然后,特征提取单元332通过一个具有权重的滤波器(未显示)从接收自预处理单元331的图像中提取两个空间差异图像(Gx,Gy),以从接收自预处理单元331的图像(已除噪的图像)中提取车辆特征。
图7A~7D显示了从除噪后的图像中提取的差异图像(Gx,Gy)。
如图7A所示,特征提取单元332在水平方向上对除噪后的图像进行滤波处理,从而得到水平方向上的空间差异图像(Gx),如图7B所示。另外,如图7C所示,特征提取单元332在水平轴上对除噪后的图像进行滤波处理,从而得到垂直方向上的空间差异图像(Gy)。
另外,特征提取单元332通过具有一定尺寸的窗口单元,从水平和垂直轴上得到的空间差异图像(Gx,Gy)中提取特征,作为要跟踪的对象。更具体的,一个特征有一定的窗口尺寸。这里,对应于窗口特征的特征值可以由下面的公式1计算。 MFV = ( Sum _ gxx + Sum _ gyy - ( Sum _ gxx - Sum _ gyy ) 2 + 4 Sum _ gxy ) 2 Sum _ gxx = Σ = 1 W gx × gx Sum _ gyy = Σ = 1 W gy × gy 公式1 Sum _ gxy = Σ = 1 W gx × gy
其中,Sum_gxx是Gx图像中的一个窗口内所有像素的平方和,Sum_gyy是Gy图像中的一个窗口内所有像素的平方和,Sum_gxy是Gx图像中的一个窗口内的像素乘以Gy图像中相同位置的窗口内的像素所得乘积的总和,w是窗口的尺寸。另外,为了从原始图像中提取特征,使用卷积函数,卷积函数是具有预定值的像素集,也可称为“核”。另外,Gx是通过“核”得到原始图像所有像素的水平方向边的图像,Gy是通过“核”得到原始图像所有像素的垂直方向边的图像。
下面,参考附图8介绍预定的窗口尺寸和移动单元。
图8说明了特征跟踪中的窗口尺寸和移动单元的一个示例。更具体的,在通过窗口单元计算对应于特征的预定值时,窗口上/下、左/右移动。更具体的,窗口逐像素地从最左移动到最右,当它达到最右时,窗口移动到最左边的向下一个像素,并再次向右移动。
因此,特征提取单元332通过公式1,利用窗口单元计算特征值(WFV),并通过下面的过程计算作为跟踪对象的特征值。
首先,特征提取单元332比较特征值(WFV)是否大于一个阈值(WFVth)。为了检测特征,阈值(WFVth)设置得尽量低,尽管在多云或天色暗下来时它显得模糊。
当特征值(WFV)大于阈值(WFVth)时,特征提取单元332以从大到小的顺序排列大于阈值(WFVth)的特征值(WFV)。
另外,特征提取单元332将顺序排列的特征值(WFV)与预先选择的特征值进行比较以检查相似性,选择预定数目的窗口互不一致的特征值并把选择的特征值传送到特征跟踪单元333。这里,根据环境的变化,通过排列大于阈值(WFVth)的特征值并选择预定数目的特征值,可以选择对应于特征(包括垂直线、水平线和边缘部分)的特征值。其中,对应于特征值的特征是跟踪对象。
特征跟踪单元333设置特征位置作为参考模板,预测当前帧中的特征位置,并将预测的特征位置确定为搜索区域。
然后,特征跟踪单元333利用窗口单元,通过将确定的搜索区域与参考模板进行模板匹配,跟踪特征值。更具体的,特征跟踪单元333以提取的特征的位置为基础,设置一个搜索区域,并将不小于一个预定阈值的特征值确定为车辆。下面顺序介绍一种用于跟踪特征的方法。
第一步,设置参考模板。更具体的,将特征提取单元332选择的特征,即包括若干像素的窗口的图像,设置为参考模板。这里,接收自预处理单元331的图像被用作参考模板图像。选择的特征的参考模板单元是与选择特征时的单元相同的窗口。
然后在第二步中确定搜索区域。首先,使用参考搜索区域确定搜索区域。然后,通过计算当前位置和先前位置之间的运动矢量,在下一帧中预测特征提取单元332中选择的特征的位置,并将一个包括被预测的特征的预定区域确定为搜索区域。
最后,在第三步中完成模板匹配步骤。更具体的,计算参考模板窗口与搜索区域中窗口的相关系数。这里,计算的相关系数值在-1~1的范围内,相关系数值越接近1,窗口中存在的图像互相越相似。更具体的,当相关系数值为1时,窗口中存在的图像是相同的(当图像相同,没有任何运动时,被确定为静止车辆)。相关系数值(γ)由下面的公式2计算得到。 γ = S xy S x S y , - 1 ≤ γ ≤ + 1 S xy = 1 n - 1 Σ ( X k - X ‾ ) ( Y k - Y ‾ ) S x = 1 n - 1 Σ ( X k - X ‾ ) 2 公式2 S y = 1 n - 1 Σ ( Y k - Y ‾ ) 2
其中,γ是相关系数,Xk是参考模板中各像素的灰度值, X是Xk的平均值,Yk是搜索区域中的窗口内各像素的灰度值, Y是Yk的平均值。这里,当它们互相一致时,公式2计算得到的值是+1。当Xk和Yk的绝对值相等而符号相反时,等式2计算得到的值是-1。其他情况下,等式2计算得到的值在-1~+1的范围内。
因此,在搜索区域内,特征跟踪单元333利用窗口单元在每一位置计算参考模板与搜索区域的相关系数,在预定的窗口中选择具有不小于一个阈值的最大相关系数(γ)的窗口,作为新的通过模板匹配得到的特征,并将选择的特征输出到队列长度测量单元334。
同时,在第三步中,当搜索区域中不存在具有不小于预定阈值的相关系数(γ)的窗口时,跟踪失败,因此跟踪停止。相反,当存在满足条件的窗口时,跟踪成功,重复执行第一步和第二步来跟踪下一帧。
下面,详细介绍队列长度测量单元334的操作。
通过检查特征跟踪单元333成功跟踪的特征的分组,队列长度测量单元334执行确定车辆的步骤;通过从确定的车辆中提取跟踪信息,执行判断车辆处于移动状态还是停止状态的步骤;并测量确定为停止状态的车辆的队列长度。下面顺序详细介绍队列长度测量方法。
首先,队列长度测量单元334分析被成功跟踪的特征的位置关系,识别出分离间距不小于一个预定值的特征,作为属于另一车辆的特征,并构成一个新的组。这里,一个组(包括预定的特征)代表一辆车。
然后,队列长度测量单元334分析所有特征的位置,并将特征分为预定的组(一个组代表一辆车),这里,只有包含不少于预定数目的特征的组被识别为一辆车。更具体的,当车辆通过分组检测被确定时,若干特征同属于一辆车。
队列长度测量单元334在每一帧计算若干特征的中心并记录。如果在预定数目的连续帧中,记录的特征的中心位置轨迹小于预定尺寸,即没有移动,则将记录的特征的组确定为停止于道路上的车辆。
另外,在确定为停止的车辆中,队列长度测量单元334在水平轴(X轴)和垂直轴(Y轴)上,计算属于最后的停止车辆的特征(组)的一个最大位置和一个最小位置;在计算的最大和最小位置值的基础上计算一个外切矩形(代表一辆车);并计算从外切矩形的中心到每一车道的停车线(或参考位置)的距离。
图9显示了一个外切矩形的中心标记与一条相关车道的停车线之间的距离。更具体的,外切矩形的中心标记到相关车道的停车线的距离代表队列长度。
如上所述,本发明通过安装一台摄像机从后部拍摄车辆队列长度,可以解决现有技术中准确度降低的问题。现有技术拍摄车辆前部图像,几何隐蔽现象引起的误差、夜间车辆前灯引起的模糊现象以及车辆后部的模糊轮廓都导致准确度降低。更具体的,在本发明中,通过把摄像机安装为拍摄方向与车辆移动方向相同,可以减少测量道路上最后一辆车所引起的几何误差,消除夜间前灯或反射光漫射引起的影响,从而可以提高队列长度测量值的准确度。
另外,通过安装摄像机从后部拍摄车辆队列长度,可以减小车辆队列长度的测量误差。
另外,本发明可以与道路环境无关地跟踪特征,从而精确地测量队列长度。更具体的,本发明中基于车辆特征,实时地确定道路上车辆是停止还是移动,从而可以提高测量队列长度的速度。
另外,本发明基于车辆特征,实时地确定道路上车辆是否停止,并测量车俩队列长度,不必根据环境变化或背景更新来调整阈值,因此可以精确地调整车辆队列长度。

Claims (18)

1.一种用于测量车辆队列长度的装置,包括:
摄像机,用于获取道路上车辆的后部图像;
图像转换器,用于将对应于摄像机获取的图像的模拟图像信号转换为数字图像信号;和
控制单元,用于从转换的数字图像中提取车辆特征,根据提取的特征计算道路上车辆的位置,并根据计算所得的车辆位置计算道路上的车辆队列长度。
2.根据权利要求1所述的装置,其中控制单元根据提取的特征及其位置轨迹,确定道路上的车辆是否处于停止状态;当道路上的车辆处于停止状态时,计算停止的车辆与道路参考位置之间的距离;并把计算值作为车辆队列长度输出。
3.根据权利要求1所述的装置,其中控制单元包括:
预处理单元,用于除去转换后的数字图像中的噪声;
特征提取单元,用于利用窗口单元从除噪后的图像中提取车辆特征;
特征跟踪单元,用于根据提取的特征的位置设置一个搜索区域,并在设置的搜索区域中识别不小于一个预定阈值的特征作为车辆;和
队列长度测量单元,用于根据被识别为车辆的特征的位置确定道路上的车辆是否处于停止状态,计算停止的车辆的特征的位置与道路车道的参考位置之间的距离,并将计算所得距离值作为车辆队列长度值输出。
4.根据权利要求3所述的装置,其中的特征包括垂直线、水平线和对角线的边界元素。
5.根据权利要求3所述的装置,其中预处理单元通过顺序地在垂直和水平轴上对转换后的数字图像进行滤波,从而除去噪声。
6.根据权利要求3所述的装置,其中特征提取单元提取水平轴差异图像Gx和垂直轴差异图像Gy,并利用所提取的差异图像Gx和Gy,计算对应于特定窗口单元的特征的特征值WFV。
7.根据权利要求6所述的装置,其中特征值WFV通过以下公式计算: MFV = ( Sum _ gxx + Sum _ gyy - ( Sum _ gxx - Sum _ gyy ) 2 + 4 Sum _ gxy ) 2 Sum _ gxx = Σ = 1 W gx × gx Sum _ gyy = Σ = 1 W gy × gy Sum _ gxy = Σ = 1 W gx × gy
其中,Sum_gxx是Gx图像中的窗口内各个像素的平方和,Sum_gyy是Gy图像中的窗口内各个像素的平方和,Sum_gxy是Gx图像中的窗口内的像素乘以Gy图像中相同位置的窗口内的像素所得乘积的总和。
8.根据权利要求3所述的装置,其中特征跟踪单元将从特征提取单元提取的特征的位置设置为参考模板;预测所提取的特征在下一个数字图像中的位置;将预测的位置部分确定为搜索区域,计算窗口单元确定的搜索区域与参考模板之间的相关系数;在计算出的相关系数值中对具有最大相关系数值的窗口进行模板匹配;并选择匹配的窗口作为新的特征。
9.根据权利要求8所述的装置,其中相关系数γ由以下公式计算: γ = S xy S x S y , - 1 ≤ γ ≤ + 1 S xy = 1 n - 1 Σ ( X k - X ‾ ) ( Y k - Y ‾ ) S x = 1 n - 1 Σ ( X k - X ‾ ) 2 S y = 1 n - 1 Σ ( Y k - Y ‾ ) 2
其中,γ是相关系数,Xk是参考模板窗口中各个像素的灰度值,X是Xk的平均值,Yk是搜索区域中的窗口内各个像素的灰度值, Y是Yk的平均值。
10.根据权利要求8所述的装置,其中队列长度测量单元根据特征之间的位置关系,检查选择自特征跟踪单元的特征的分组情况;选择的特征构成组时,将特征确定为车辆;在预定的多个帧中,确定为车辆的特征的位置轨迹小于一个预定的尺寸时,将特征组确定为停止的车辆;在水平和垂直轴上计算停止车辆的特征的最大和最小位置;计算从最大和最小位置的中心标记到道路车道的参考位置之间的距离;并把计算的距离值作为车辆队列长度值输出。
11.根据权利要求1所述的装置,其中控制单元包括:
预处理单元,用于在水平和垂直轴方向上对图像抓取器中转换的数字图像进行高斯滤波,以除去噪声,并输出除噪后的图像;
特征提取单元,用于从预处理单元输出的图像中分别在水平轴和垂直轴上提取一个差异图像,并用窗口单元从提取的差异图像中提取车辆的特征;
特征跟踪单元,用于将特征提取单元提取的特征位置设置为参考模板,预测存储于存储器中的下一帧上的特征位置,将预测的位置部分确定为搜索区域,按照窗口单元计算确定的搜索区域和参考模板之间的相关系数,在计算出的相关系数值中对具有最大相关系数值的窗口进行模板匹配,并选择模板匹配的窗口作为新特征;和
队列长度测量单元,用于在从特征跟踪单元选择的特征构成组时,将特征识别为车辆;当在预定的多个帧中,识别为车辆的特征的位置轨迹小于一个预定尺寸时,将构成组的特征确定为停止的车辆;在水平和垂直轴上计算停止车辆的特征的最大和最小位置;计算最大和最小位置的中心标记与道路车道参考线之间的距离;并将计算的距离值作为车辆队列长度值输出。
12.一种用于测量车辆队列长度的方法,包括:
拍摄道路上车辆的后部;
除去拍摄的图像中的噪声;
从除噪后的图像中提取车辆特征,并跟踪提取的特征;和
当特征的移动轨迹小于一个预定尺寸时,将特征确定为停止的车辆,计算停止车辆的特征的位置与道路上车道的参考位置之间的距离。
13.根据权利要求12所述的方法,其中跟踪步骤包括以下子步骤:
在水平和垂直轴上计算除噪后的图像的差异图像,从计算的差异图像中提取特征;
比较所提取的特征值是否大于一个预定的阈值;
依大小排列大于该预定阈值的特征值;和
从依大小顺序排列的特征值中,选择预定数目的与先前选择的特征值不一致的特征值。
14.根据权利要求13所述的方法,其中特征值WFV由以下公式计算: MFV = ( Sum _ gxx + Sum _ gyy - ( Sum _ gxx - Sum _ gyy ) 2 + 4 Sum _ gxy ) 2 Sum _ gxx = Σ = 1 W gx × gx Sum _ gyy = Σ = 1 W gy × gy Sum _ gxy = Σ = 1 W gx × gy
其中,Sum_gxx是Gx图像中的窗口内各个像素的平方和,Sum_gyy是Gy图像中的窗口内各个像素的平方和,Sum_gxy是Gx图像中的窗口内的像素乘以Gy图像中相同位置的窗口内的像素所得乘积的总和。
15.根据权利要求12所述的方法,其中特征跟踪步骤包括以下子步骤:
在水平和垂直轴上计算除噪后的图像的差异图像,利用预定的窗口单元从计算的差异图像中提取车辆特征;和
根据所提取的特征的位置确定一个搜索区域,并将搜索区域中不小于一个预定阈值的特征确定为车辆。
16.根据权利要求12所述的方法,其中特征跟踪步骤包括以下子步骤:
将从图像中提取的特征的位置设置为参考模板;
预测所提取的特征在下一图像上的位置,将预测的特征位置确定为搜索区域;
计算搜索区域中一个窗口和参考模板之间的相关系数;和
在计算出的相关系数值中选择具有最大相关系数值的窗口作为新特征。
17.根据权利要求16所述的方法,其中相关系数γ由以下公式计算: γ = S xy S x S y , - 1 ≤ γ ≤ + 1 S xy = 1 n - 1 Σ ( X k - X ‾ ) ( Y k - Y ‾ ) S x = 1 n - 1 Σ ( X k - X ‾ ) 2 S y = 1 n - 1 Σ ( Y k - Y ‾ ) 2
其中,γ是相关系数,Xk是参考模板中各个像素的灰度值, X是Xk的平均值,Yk是搜索区域中的窗口内各个像素的灰度值, Y是Yk的平均值。
18.根据权利要求17所述的装置,其中距离计算步骤包括以下子步骤:
根据所选择的特征的位置识别车辆;
当在预定的多个帧中,识别为车辆的特征的位置轨迹小于一个预定尺寸时,将识别的特征(车辆)确定为停止的车辆;
在水平和垂直轴上计算停止的车辆的特征的最大和最小位置;和
计算最大和最小位置的中心标记和道路上车道的参考位置之间的距离,将其作为车辆队列长度。
CNB03107717XA 2002-04-04 2003-04-02 用于测量车辆队列长度的装置和方法 Expired - Fee Related CN1223964C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2002-0018701A KR100459476B1 (ko) 2002-04-04 2002-04-04 차량의 대기 길이 측정 장치 및 방법
KR18701/2002 2002-04-04

Publications (2)

Publication Number Publication Date
CN1448886A true CN1448886A (zh) 2003-10-15
CN1223964C CN1223964C (zh) 2005-10-19

Family

ID=28673076

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB03107717XA Expired - Fee Related CN1223964C (zh) 2002-04-04 2003-04-02 用于测量车辆队列长度的装置和方法

Country Status (4)

Country Link
US (1) US20030190058A1 (zh)
JP (1) JP3816887B2 (zh)
KR (1) KR100459476B1 (zh)
CN (1) CN1223964C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366568A (zh) * 2013-06-26 2013-10-23 东南大学 交通路段车辆排队视频检测方法及***
CN103985251A (zh) * 2014-04-21 2014-08-13 东南大学 一种车辆排队长度测算的方法及***
CN103985264A (zh) * 2014-05-30 2014-08-13 北京易华录信息技术股份有限公司 一种能减少路口排队长度的路口控制***及方法
CN104094082A (zh) * 2012-01-13 2014-10-08 高通股份有限公司 虚拟尺
CN104376732A (zh) * 2014-10-30 2015-02-25 陕西科技大学 一种基于信号控制处理技术的智能红绿灯及信号控制方法
CN106971563A (zh) * 2017-04-01 2017-07-21 中国科学院深圳先进技术研究院 智能交通信号灯控制方法及***
CN107305739A (zh) * 2016-04-22 2017-10-31 沃尔沃汽车公司 用于为交通灯辅助应用提供对队列长度的适应的装置和方法
CN109506595A (zh) * 2018-12-14 2019-03-22 航天科工智能机器人有限责任公司 实时角度、长度测量***及方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7747041B2 (en) * 2003-09-24 2010-06-29 Brigham Young University Automated estimation of average stopped delay at signalized intersections
US7231288B2 (en) * 2005-03-15 2007-06-12 Visteon Global Technologies, Inc. System to determine distance to a lead vehicle
US8107676B2 (en) * 2007-07-30 2012-01-31 International Business Machines Corporation Line length estimation
US8447100B2 (en) * 2007-10-10 2013-05-21 Samsung Electronics Co., Ltd. Detecting apparatus of human component and method thereof
CN101470963A (zh) * 2007-12-26 2009-07-01 奥城同立科技开发(北京)有限公司 智能红绿灯控制***
JP4561919B2 (ja) * 2008-04-21 2010-10-13 ソニー株式会社 撮像装置、画像処理装置及び画像処理方法
AU2009304571A1 (en) * 2008-10-15 2010-04-22 National Ict Australia Limited Tracking the number of vehicles in a queue
AT507457B1 (de) * 2008-11-14 2011-01-15 Smartspector Artificial Perception Engineering Gmbh Verfahren zur automatischen feststellung des anhaltens von kraftfahrzeugen
CN101923784A (zh) * 2009-06-17 2010-12-22 鸿富锦精密工业(深圳)有限公司 交通信号灯调整***及方法
JP5462609B2 (ja) * 2009-12-09 2014-04-02 富士重工業株式会社 停止線認識装置
US9137443B2 (en) * 2011-04-26 2015-09-15 Blackberry Limited Fast estimation of binary data length using memory corruption
KR101316231B1 (ko) * 2011-07-26 2013-10-08 엘지이노텍 주식회사 다중 영상 처리 장치
JP5741310B2 (ja) * 2011-08-10 2015-07-01 富士通株式会社 車列長測定装置、車列長測定方法及び車列長測定用コンピュータプログラム
KR101313763B1 (ko) 2011-10-18 2013-10-01 (주)프리소프트 적분 영상 픽셀값을 이용한 차선 인식 방법
US8972093B2 (en) * 2013-04-08 2015-03-03 Toyota Motor Engineering & Manufacturing North America, Inc. Lane-based localization
CN103268706B (zh) * 2013-04-18 2015-02-18 同济大学 一种基于局部方差的车队列长度检测方法
JP5683663B1 (ja) * 2013-09-27 2015-03-11 パナソニックIpマネジメント株式会社 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
US10366604B1 (en) * 2014-12-12 2019-07-30 Robert Joseph Bermudez Taxi information system
CN105654507B (zh) * 2015-12-24 2018-10-02 北京航天测控技术有限公司 一种基于图像动态特征跟踪的车辆外廓尺寸测量方法
US10311456B2 (en) 2017-01-19 2019-06-04 Quick Bites, Inc. Dispensation delay prediction systems and methods
CN107644529A (zh) * 2017-08-03 2018-01-30 浙江浩腾电子科技股份有限公司 一种基于运动检测的车辆排队长度检测方法
JP7047482B2 (ja) * 2018-03-09 2022-04-05 株式会社Jvcケンウッド 測長システム、車両連結システム、測長方法、およびプログラム
CN111768613B (zh) * 2019-03-12 2021-11-09 北京嘀嘀无限科技发展有限公司 一种道路功能变化确定方法以及装置
KR102065337B1 (ko) * 2019-07-19 2020-01-14 대한민국 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법
CN111554111B (zh) * 2020-04-21 2021-04-20 河北万方中天科技有限公司 基于多源数据融合的信号配时优化方法、装置及终端
CN111781600B (zh) * 2020-06-18 2023-05-30 重庆工程职业技术学院 一种适用于信号交叉口场景的车辆排队长度检测方法
CN112215796B (zh) * 2020-09-11 2022-12-23 中国铁道科学研究院集团有限公司 一种适用于铁路货运检查的铁路货车车辆图像切割方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07210795A (ja) * 1994-01-24 1995-08-11 Babcock Hitachi Kk 画像式交通流計測方法と装置
JPH0869596A (ja) * 1994-08-29 1996-03-12 Fujitsu Ltd 交通監視装置
TW349211B (en) * 1996-01-12 1999-01-01 Sumitomo Electric Industries Method snd apparatus traffic jam measurement, and method and apparatus for image processing
JP3435623B2 (ja) * 1996-05-15 2003-08-11 株式会社日立製作所 交通流監視装置
US6188778B1 (en) * 1997-01-09 2001-02-13 Sumitomo Electric Industries, Ltd. Traffic congestion measuring method and apparatus and image processing method and apparatus
US6760061B1 (en) * 1997-04-14 2004-07-06 Nestor Traffic Systems, Inc. Traffic sensor
JP3567066B2 (ja) * 1997-10-31 2004-09-15 株式会社日立製作所 移動体組合せ検出装置および方法
JP3470172B2 (ja) * 1998-03-20 2003-11-25 株式会社日立製作所 交通流監視装置
JP2001216519A (ja) * 2000-02-04 2001-08-10 Fujitsu Ltd 交通監視装置
DE10022812A1 (de) * 2000-05-10 2001-11-22 Daimler Chrysler Ag Verfahren zur Verkehrslagebestimmung auf Basis von Meldefahrzeugdaten für ein Verkehrsnetz mit verkehrsgeregelten Netzknoten
JP2002042140A (ja) * 2000-07-28 2002-02-08 Mitsubishi Electric Corp 移動物体計測装置及び交通流計測画像処理装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094082A (zh) * 2012-01-13 2014-10-08 高通股份有限公司 虚拟尺
CN103366568A (zh) * 2013-06-26 2013-10-23 东南大学 交通路段车辆排队视频检测方法及***
CN103985251A (zh) * 2014-04-21 2014-08-13 东南大学 一种车辆排队长度测算的方法及***
CN103985264A (zh) * 2014-05-30 2014-08-13 北京易华录信息技术股份有限公司 一种能减少路口排队长度的路口控制***及方法
CN103985264B (zh) * 2014-05-30 2016-04-20 北京易华录信息技术股份有限公司 一种能减少路口排队长度的路口控制***及方法
CN104376732A (zh) * 2014-10-30 2015-02-25 陕西科技大学 一种基于信号控制处理技术的智能红绿灯及信号控制方法
CN107305739A (zh) * 2016-04-22 2017-10-31 沃尔沃汽车公司 用于为交通灯辅助应用提供对队列长度的适应的装置和方法
US11055995B2 (en) 2016-04-22 2021-07-06 Volvo Car Corporation Arrangement and method for providing adaptation to queue length for traffic light assist-applications
CN106971563A (zh) * 2017-04-01 2017-07-21 中国科学院深圳先进技术研究院 智能交通信号灯控制方法及***
CN106971563B (zh) * 2017-04-01 2020-05-19 中国科学院深圳先进技术研究院 智能交通信号灯控制方法及***
CN109506595A (zh) * 2018-12-14 2019-03-22 航天科工智能机器人有限责任公司 实时角度、长度测量***及方法

Also Published As

Publication number Publication date
CN1223964C (zh) 2005-10-19
JP2003346278A (ja) 2003-12-05
KR20030080285A (ko) 2003-10-17
KR100459476B1 (ko) 2004-12-03
JP3816887B2 (ja) 2006-08-30
US20030190058A1 (en) 2003-10-09

Similar Documents

Publication Publication Date Title
CN1223964C (zh) 用于测量车辆队列长度的装置和方法
CN110532896B (zh) 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
US7899211B2 (en) Object detecting system and object detecting method
KR100377067B1 (ko) 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및장치
EP0747870B1 (en) An object observing method and device with two or more cameras
CN104616502B (zh) 基于组合式车路视频网络的车牌识别与定位***
CN107315095B (zh) 基于视频处理的具有光照适应性的多车辆自动测速方法
US10699567B2 (en) Method of controlling a traffic surveillance system
EP2924653A1 (en) Image processing apparatus and image processing method
CN103886757A (zh) 用于自动分类运动中的车辆的方法
CN101303735A (zh) 探测车辆盲点区域内运动物体的方法及盲点探测装置
KR101735557B1 (ko) 실시간 목표 탐지에 의한 교통 정보 수집 시스템 및 방법
CN101030256A (zh) 车辆图像分割方法和装置
CN109272482B (zh) 一种基于序列图像的城市路口车辆排队检测***
CN111832536A (zh) 一种车道线检测方法及装置
CN102867417A (zh) 一种出租车防伪***及方法
CN103049909B (zh) 一种以车牌为焦点的曝光方法
JP3456339B2 (ja) 物体観測方法およびその方法を用いた物体観測装置、ならびにこの装置を用いた交通流計測装置および駐車場観測装置
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
CN112241004B (zh) 物体识别装置
CN108229447B (zh) 一种基于视频流的远光灯检测方法
JP2018055597A (ja) 車種判別装置および車種判別方法
KR102062579B1 (ko) 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템
KR101026778B1 (ko) 차량 영상 검지 장치
CN203020184U (zh) 一种基于双ccd的纯电动汽车车道标识线检测装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: ZHENYU ELECTRICITY PRODUCTION CO., LTD.

Free format text: FORMER OWNER: LG INDUSTRIAL SYSTEMS CO., LTD.

Effective date: 20140509

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140509

Address after: Seoul, South Kerean

Patentee after: Zhenyu electricity production Corporation

Address before: Seoul, South Kerean

Patentee before: LG Industrial Systems Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051019

Termination date: 20160402

CF01 Termination of patent right due to non-payment of annual fee