CN100595121C - 一种目标场所优化调度方法及*** - Google Patents
一种目标场所优化调度方法及*** Download PDFInfo
- Publication number
- CN100595121C CN100595121C CN200710179079A CN200710179079A CN100595121C CN 100595121 C CN100595121 C CN 100595121C CN 200710179079 A CN200710179079 A CN 200710179079A CN 200710179079 A CN200710179079 A CN 200710179079A CN 100595121 C CN100595121 C CN 100595121C
- Authority
- CN
- China
- Prior art keywords
- target
- elevator
- image
- classifier
- sample set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000001514 detection method Methods 0.000 claims description 49
- 238000012544 monitoring process Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000003825 pressing Methods 0.000 claims description 3
- 229920006395 saturated elastomer Polymers 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract description 17
- 238000004220 aggregation Methods 0.000 abstract 4
- 230000002776 aggregation Effects 0.000 abstract 4
- 238000007689 inspection Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 235000019557 luminance Nutrition 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种目标场所优化调度方法及***。该方法包括下列步骤:采集目标场所相应目标对应的正例样本集合和反例样本集合;在正例样本集合和反例样本集合中,提取图像特征并进行训练,得到用于目标场所目标检测的分类器;从获取的目标场所的实时视频图像中,利用分类器检测出目标,对目标场所进行优化调度。将从目标场所获取的实时视频图像检测出的目标所在区域作为正例样本,重复训练,进一步提高分类器的分类精确度。其对目标场所进行优化调度,提高目标场所的工作效率。
Description
技术领域
本发明涉及优化调度领域,特别是涉及一种目标场所优化调度方法及***。
背景技术
随着城市化进程的发展和社会经济的进步,高层建筑不断涌现,从而给各种场所带来了巨大的目标调度压力。例如,当今的电梯产品在满足用户基本搭乘需求的同时,正在向着节能型、智能化等方向发展,如何在电梯间对乘梯人目标进行优化调度,是各大电梯厂商和目标优化调度研发人员需要考虑的问题。
对电梯间乘梯人目标进行优化调度,可以从两方面来解决,一方面可以采用更加节能的设备,例如更先进的拖动方式、更节能的电机类型等。另一方面可以采用智能化调度,其目标是减少候梯时间、乘梯时间和能量损耗。在电梯的目标优化调度中,候梯时间可以用来评价电梯外乘客的满意度,乘梯时间可以用来评价电梯内乘客的满意度。
学者Peters于1998年提出了绿色电梯的概念,对电梯进行智能化调度,即根据电梯间的乘梯人,对其进行优化调度,其中一个目标就是要减少电梯的停层次数。
随着人工智能的发展,各种目标优化调度方法,例如电梯的群控机制,即有多部电梯响应呼梯信号。
目前的常用的目标优化调度方法有模糊理论、遗传方法(算法)等。
但目前的目标优化调度方法存在很大的缺陷,例如在电梯间的目标优化调度过程中,电梯基于指令响应的,如果某人按下按钮,由于某种原因随即离开,而电梯已经接收到该指令,仍然会在该楼层停靠;另外,如果电梯内人满的已经进不了人了,但没有超重,电梯仍然会响应下一个进人指令,造成无谓停靠。费时、费能,影响乘客和候梯人员的心情;而且,现有的目标优化调度方法无法捕获侯梯厅人数,从而无法根据欲乘梯人数进行目标优化调度,比如安排较空闲的电梯响应人多的楼层,或调多部电梯到人多的楼层等等。
为克服现有技术存在的缺陷,申请号CN200610053699.3的中国公开申请公开了一种基于图像识别技术的群控电梯智能调度装置。其利用图像信息辅助进行电梯的优化调度,但统计的是电梯间和电梯外空间的占有率,即利用当前图像减去相应的背景图像,求前景像素的面积,进而求前景面积占背景面积的比率,根据这个比率进行电梯的调度。
但是,该装置的缺陷是在电梯间和候梯厅这种面积较小,光照变化较为剧烈场景下,采用前景面积比的方法确定人体数目是不准确的,不合理的,无法很好地克服现有技术的缺陷。
发明内容
本发明所要解决的问题在于提供一种目标场所优化调度方法及***,其通过目标检测技术统计目标,对目标场所进行优化调度,提高目标场所的工作效率。
为实现本发明而提供的一种目标场所优化调度方法,包括下列步骤:
步骤A,采集视频图像的正例样本集合和反例样本集合;
步骤B,在正例样本集合和反例样本集合中,提取图像特征并进行训练,得到用于目标场所目标检测的分类器;
步骤C,从获取的目标场所的实时视频图像中,利用分类器检测出目标对目标场所进行优化调度。
所述正例样本,是根据目标优化调度的目标场所,对目标场所或者与目标场所相近似的场所进行监控录像,在所获得的视频图像中,将目标标注出来作为训练的正例样本。比如目标可以是人体。
所述反例样本,是指不包含目标的图像,来自采集的不包含目标的视频图像,或者收集的不包含目标的静止图像。
所述的目标场所优化调度方法,还可以包括下列步骤:
步骤D,将步骤C中从目标场所获取的实时视频图像作为检测出的目标所在区域正例样本,执行步骤B,进行训练,进一步提高分类器的分类精确度,然后再执行步骤C。
所述步骤A包括下列步骤:
A1.采集训练的正例样本集合;
A2.采集训练的反例样本集合。所述步骤B包括下列步骤:
步骤B1,在确定了正例样本集合和反例样本集合之后,确定训练使用的图像特征;
步骤B2,进行正例样本集合和反例样本集合的图像特征提取;
步骤B3,利用正例样本集合和反例样本集合,以及它们的视频图像的特征的值,进行训练,得到用于目标场所目标检测的分类器。
所述图像特征为利用矩形特征表示法表示。
所述矩形特征表示法为扩展Harr-like特征表示法。
所述图像特征提取是通过利用积分图方法实现的。
所述步骤B3中,训练得到用于目标场所目标检测的分类器,包括下列步骤:
步骤B31,利用迭代训练过程,每次训练得到一个弱分类器,将迭代得到的全部弱分类器线性组合形成一个强分类器;
步骤B32,将强分类器串联在一起形成分级分类器。
所述步骤C包括下列步骤:
步骤C1,根据每个目标场所的特点设定相应的检测区域,获取目标场所的实时视频图像;
步骤C2,从目标场所的实时视频图像中,根据目标场所的状态选择图像帧;
步骤C3,对获得的图像帧进行预处理,筛除未包含目标的视频图像的图像帧;
步骤C4,对包含目标的图像帧,利用分类器进行目标检测;
步骤C5,根据实时监控视频图像检测出的目标场所的目标信息,及目标场所的已知信息,对目标场所进行调度。
所述目标场所为电梯间;所述目标为乘梯人体。
所述正例样本为图像中的目标对应的图像区域,比如电梯监控视频图像中出现的人体头肩部区域。。
所述步骤C2包括下列步骤:
C21,在电梯关门并开始运行之后,选择电梯内的图像帧;
C22,对有电梯外呼梯请求的候梯人的图像帧进行统计。
所述步骤C4包括下列步骤:
C41,利用训练好的分类器对得到的预处理后的图像帧进行场景人体检测和人数统计;
C42,人体检测结果可以用框住人体头肩部的矩形窗口表示,判断检测结果的窗口关系,如果一个窗口全部包含在另一个窗口中,而且两个窗口的中心点位置相近,则保留大点的窗口,去除小的窗口,筛选出目标场所的精确目标。
所述步骤C5包括下列步骤:
步骤C51,如果电梯内人数超过数值N时,即使有其他的电梯外呼梯信号,如果没有出人信号,在该楼层不停靠;
步骤C52,针对有呼梯请求的厅层,如果候梯乘客按动电梯按钮后随即离开,即利用在时间T内再次检测时厅层没有候梯人员,则取消该呼梯指令,如果电梯在该层没有出人指令,则电梯在该楼层不停靠;
步骤C53,利用目前电梯内人数和各呼梯厅层人数,对电梯调度进行统一调配;
步骤C54,电梯内如果没人了,可以将电梯内的出人指令清零。
所述步骤C53中,进行统一调配,包括下列步骤:
如果电梯外候梯人数众多,而电梯内基本饱和,则该电梯不响应该楼层的呼梯信号,如果是多部电梯同时响应呼梯指令,可以找电梯内人数少的电梯响应该指令。
为实现本发明目的还提供一种目标场所优化调度***,包括:
样本采集模块,用于采集视频图像的正例样本集合和反例样本集合;
训练器,用于从正例样本集合和反例样本集合中,提取图像特征并进行训练,得到用于目标场所检测的分类器;
优化器,用于从获取的目标场所的实时视频图像中,利用分类器检测出目标,对目标场所进行优化调度。
所述样本采集模块,包括正例样本采集子模块和反例样本采集模块,其中:
所述正例样本采集子模块,是根据目标优化调度的目标场所,对目标场所或者与目标场所相近似的场所进行监控录像,在所获得的视频图像中,将目标标注出来作为训练的正例样本。比如目标可以是人体。
所述反例样本采集子模块,是针对所定义的目标,收集不包含目标的图像,可以来自采集的不包含目标的视频图像,或者收集的不包含目标的静止图像。
所述目标场所为电梯间;所述目标为乘梯人体。
所述正例样本为电梯监控视频图像中人体头肩部对应的图像区域。。
本发明的有益效果是:本发明的目标场所优化调度方法和***,结合图像处理和分析技术,利用视频信息检测目标场所的目标,进行目标优化调度,提高目标场所的工作效率,例如电梯的运送能力及服务水平,具有重要的应用价值和现实意义。
附图说明
图1是本发明目标场所优化调度方法流程图;
图2是本发明实施例电梯内场景示意图;
图3是本发明实施例电梯外候梯厅场景示意图;
图4是本发明实施例采集到的反例样本示意图;
图5是本发明实施例标注乘梯人目标的电梯外正例样本示意图;
图6A是本发明实施例Harr-like特征中4种边特征示意图;
图6B是本发明实施例Harr-like特征中8种线特征示意图;
图6C是本发明实施例Harr-like特征中2种中心特征示意图;
图7是本发明实施例积分图示意图;
图8是分级分类结构示意图;
图9是图2对应的感兴趣区域(白色部分)示意图;
图10是本发明实施例中对乘梯人目标头肩部检测结果示意图;
图11是电梯优化调度***的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明的一种目标场所优化调度的方法及***进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
本发明实施例以电梯这种目标场所,乘梯人为例,对本发明的目标优化调度方法进行详细的说明,但应当说明的是,本发明的目标场所并不限定于电梯,其也可以是商场、机场、办公室、楼宇等各种需要进行目标优化的调度的目标场所。同时,也应当说明的是,所述目标并不限定于人,其也可以是其它在目标场所需要调度的,如机场运送货物或者轮船运送货物等目标。
本发明实施例的一种目标场所优化调度的方法及***,利用电梯监控***采集的电梯监控视频图像,通过标注出目标图像区域作为正例样本集合,收集不包含目标的图像作为反例样本集合,进行视频图像的图像帧的特征提取,利用图像帧的特征进行分类训练,得到分类器,然后利用分类器对实时电梯监控视频图像进行分类,判断目标场所一电梯中目标乘梯人,统计人数,并将目标乘梯人的信息反馈给现有的电梯调度***,进行电梯的优化调度。
本发明要解决的技术问题包括:
1、采集视频图像。利用电梯监控***采集电梯监控的视频图像;
2、特征提取和分类训练。对采集的电梯监控视频图像标注出目标图像区域作为正例样本集合,收集不包含目标的图像作为反例样本集合,进行视频图像的图像帧的特征提取,利用所获得的正例样本集合的图像帧特征和反例样本集合的图像帧特征,进行分类训练,得到分类器;
3、实时视频图像检测。利用训练得到的分类器,对实时电梯监控视频图像进行目标检测,判别出电梯间中的乘梯人,统计人数。
4、电梯调度,将乘梯人等目标的信息传送给现有的电梯调度***,进行电梯调度的优化。
下面结合所要解决的问题详细介绍本发明一种目标场所优化调度方法,如图1所示,包括下列步骤:
步骤100:采集视频图像的正例样本集合和反例样本集合。
在进行特征提取和分类器训练之前,需要确定特征提取和分类器训练的正例样本集合和反例样本集合。
步骤110:采集训练的视频图像的正例样本集合。
所述视频图像的正例样本,是指包含优化调度目标在内的视频图像中目标对应的图像区域。如对电梯进行目标优化调度时,则将包含人体对应的图像区域作为正例样本。
较佳地,所述视频图像的正例样本,是根据目标优化调度的目标场所,对目标场所或者与目标场所相近似的场所进行监控录像获得视频图像,将图像中目标出现的图像区域标注出来作为正例样本。例如,对电梯的进行目标优化调度时,可以以电梯间的监控录像获得视频图像中人体目标对应的图像区域作以正例样本,或者来自于与电梯间相近似的场所,如商场的监控录像等。
直接利用电梯监控***对如图2所示的电梯内(轿厢)和如图3所示电梯外(厅层)的视频采集功能,采集电梯监控视频图像,包括电梯内和电梯外的视频图像。
作为一种可实施方式,现有的电梯监控***,可以利用有线摄像头或无线摄像头方式,获取电梯监控视频图像。
通过现有电梯监控***获取电梯监控视频是一种现有的公知技术,因此,在本发明中不再一一详细描述。
更佳地,针对电梯间视频监控的特点,所述正例样本集合是包含人体头肩部区域的图像集合。
步骤120:采集训练的反例样本集合。
反例样本集合是指不包含优化调度目标在内的视频图像。如对电梯进行目标优化调度时,则将不包含人体的视频图像作为反例样本,或者来自其它的不包含目标的静止图片。
如图4所示,可以从网络上或者现有图像数据库中得到的不包含人体的大量风景或建筑图片,作为视频图像的反例样本。
步骤200:在正例样本集合和反例样本集合中,提取图像特征提取并进行训练,得到用于目标场所检测的分类器;
为了减少计算量,提高准确度,作为一种可实施方式,本发明实施例对目标场所中的目标,如电梯间的人体特征进行标注,进行特征提取和分类器训练,
步骤210:在确定了正例样本集合和反例样本集合之后,确定训练使用的图像特征。
作为一种可实施方式,因为利用特征表述图像要比直接使用图像点的灰度值表述图像速度快很多,所以本发明实施例采用矩形特征表示方法来表征视频图像的图像特征,即包含电梯视频图像中的人体头肩部的视频图像的图像特征,以及反例样本集合中的视频图像的图像特征,确定训练使用的特征。
作为一种可实施方式,对包含人体头肩部的视频图像的正例样本集合的每一个图像,人工标注或者利用现有的图像识别方法,如人体识别方法,或者两者结合,以矩形图像的方式标注出视频图像中的人体目标,存储为标注文件,并在标注文件中存贮该图像名,以及人体头肩部个数,每个人体头肩部的左上角坐标,以及包含人体头肩部的矩形图像的宽和长。
将这些标注出的包含人体头肩部矩形图像将被作为训练的正例样本。
如图5所示,是部分人体头肩部标注示例图,可以看到人体姿态变化较大,有的是背影,有的是侧影,有的是正脸,有的被遮挡等现象,通过人工标注的方法,标注出包括给人体头肩部矩形图像,作为训练的正例样本。
作为一种可实施的方式,对不包含人体的视频图像的反例样本集合的每一个图像,以一定尺寸的窗口随机截取部分图像区域作为训练的反例样本。
较佳地,所述矩形特征表示方法为扩展Harr-like特征表示法来表征视频图像的图像特征,如电梯视频图像中的包含人体头肩部的矩形图像的特征;以及反例样本集合的视频图像的图像特征。
所述Harr-like特征具体包括视频图像的14种特征,如图6A、图6B、图6C所示,包括:
(1)4种边特征。
(2)8种线特征。
(3)2种中心特征。
步骤220:进行正例样本集合和反例样本集合的图像特征提取。
对图像进行特征提取,是一种现有技术,本领域技术人员根据所确定的视频图像,以及图像特征表示,可以利用相应的图像特征提取方法提取出视频图像的特征。
较佳地,作为一种可实施方式,本发明实施例利用积分图方法(算法)对矩形特征表示的正例样本集合和反例集本集的视频图像进行图像特征的提取。
用Harr-like特征表示方法进行图像特征时,可以用积分图方法(由Viola命名的一种与Harr-like特征表示方法相应的图像特征提取算法)对其视频图像进行特征提取。
所述积分图方法实现过程如下:
在一张积分图上,点x,y的值,如图7所示,是原图像上这个点的上方和左边所有点的亮度值的和,如式(1)所示:
在这里ii(x,y)是积分图,i(x,y)是原图象。利用式(2)和式(3),积分图可以只用遍历一次原图象所有点就可以计算出来。
s(x,y)=s(x,y-1)+i(x,y) (2)
其中,s(x,y)的初始值为0。
ii(x,y)=ii(x-1,y)+s(x,y) (3)
利用积分图,一个矩形图像区域内的所有点的亮度和可以通过引用其上下左右四个相对位置积分值得到。
其中,当相对位置积分值不存在(即上下左右四个位置中某个位置不存在)时,其积分值为0。
利用积分图对应位置的积分值可以通过矩形之间的加减运算快速得到相应的矩形特征的值。
步骤230:利用正例样本集合和反例样本集合,以及他们的视频图像的特征的值,进行训练,得到用于目标场所目标检测的分类器。
在确定了正例样本集合和反例样本集合,以及他们的视频图像的特征的值之后,训练一个用于目标场所一电梯内或电梯外的目标-人体检测的分类器。
作为一种可实施方式,本发明实施例使用Adaboost学习方法(算法)进行训练。这个方法能够同时完成选择特征和训练分类器两个任务。Adaboost学习方法原本是用来提高简单分类法的性能的,利用一个迭代的训练过程最终得到一个强分类器。Adaboost学习方法中,在第一次训练出一个弱分类器后,训练样本的权重得到调整,从而使没有被第一次训练出的弱分类器正确分类的样本的权重增加,如此迭代下去,最终得到的强分类器是对每次训练得到的弱分类器的一个线性组合。
所述步骤230中训练得到用于目标场所目标检测的分类器,包括下列步骤:
步骤231:利用迭代训练过程,每次训练得到一个弱分类器,将迭代得到的全部弱分类器线性组合形成一个强分类器;
较佳地,作为一种可实施方式,本发明实施中,包含检测目标的图像特征是指包含人体头肩部的矩形图像的特征。
已知n个训练样本:(x1,y1),...,(xn,yn)是训练样本集,其中xi∈X对应图像样本,yi∈Y={0,1}对应反例样本和正例样本。
第j个特征生成的简单分类器形式,如式(4)所示,为:
其中:hj表示简单分类器的值,θj为阈值,pj表示不等号的方向,只能取±1,fj(x)表示特征值。
作为一种可实施方式,其方法实现过程如下:
●初始化权重,设正例样本和反例样本特征分别有m,1个。则:
●For t=1,...,T:
ii)对每个特征j,训练一个弱分类器hj只使用这一个特征。计算加了权重的误差:
εj=∑iwi|hj(xi)-yi|。
iii)选择误差εj最小的弱分类器ht加入到强分类器中去。
其中
●最后输出最终得到的分类器,如式(5)所示,为:
步骤232:将强分类器串联在一起形成分级分类器。
然后需要将强分类器串联在一起形成分级分类器(classifier cascade)。
较佳地,串联时遵循“先重后轻”分级分类器,即将由更重要特征构成的结构较简单的强分类器放在前面,这样可以先排除大量的假样本,提高检测速度。
作为一种可实施方式,本发明实施例使用在电梯间人体检测的包含人体头肩部的视频图像的特征而得到分级分类器,提高目标检测的速度,在使用更为复杂的分类器来确认这个窗口是不是检测目标之前,利用简单的分类器先行排除掉大部分的非检测目标窗口。
如图8所示,是分级分类结构示意图,对于一个输入的电梯视频图像检测窗,如果它通过了第1级分类器,才能进入到第2级分类器,否则被当作不包含人体头肩部的视频图像窗口而被排除;接下来的各层分类器依次保留人体头肩部窗口,排除非人体头肩部窗口,得到电梯视频图像检测的分级分类器。
本发明在实验过程中,一共使用了来自1200幅图像中的1888个人体头肩部样本即正例样本,和8000个反例进行Adaboost训练,得到一组18个级联分类器。
步骤300:从获取的目标场所的实时视频图像中,利用分类器检测出目标,对目标场所进行优化调度。
步骤310:根据每个目标场所的特点设定相应的检测区域,获取目标场所的实时视频图像。
作为一种可实施方式,本发明实施例中,对电梯间进行优化调度时,根据电梯间的特点设定相应的检测区域,获取电梯间(包括电梯内和电梯外)等目标场所的实时视频图像。
电梯监控视频的场景一般是固定不变的,为了减少干扰和计算量,可以根据每个场景的特点设定相应的检测区域,即感兴趣区域。感兴趣区域在此是指人体经常出现的位置,可以根据每个场景的特点设定相应的检测区域,比如人体不可能出现在监控场景的上部,不可能出现在电梯壁上等等。
如图9所示,是图1代表的场景对应的感兴趣区域(白色部分),仅在该区域进行人体检测可以减少计算量,同时减少墙壁或电梯壁反光引起的误检。该感兴趣区域可以根据场景特点进行确定。
步骤320:从目标场所的实时视频图像中,根据目标场所的状态选择图像帧。
由于视频数据量大,每一秒就有25到30帧的图像数据,如果对每一帧图像进行分析,计算量巨大,无法满足电梯调度的实时性要求。因此,作为一种可实施方式,本发明实施例不对所有的电梯监控视频都进行实时的人数统计,而是仅选择有意义的图像帧,这些有意义的图像帧是结合电梯运行状态决定的。
步骤321:在电梯关门并开始运行之后,选择电梯内的图像帧;
如图2所示,由于电梯内采集的图像在电梯门开关过程中,环境光照会产生剧烈的变化,给人体检测带来很大的难度。另外,在电梯门关闭并运行的过程中,电梯内的人体基本处于静止状态,人数也不会发生明显变化,这个过程持续到电梯门再次开启为止。所以,本发明实施例对于电梯内图像帧的选择仅在电梯关门并开始运行之后。
步骤322:对有电梯外呼梯请求的候梯人的图像帧进行统计并且需要重复进行;
如图3所示,针对电梯外候梯人图像帧的选择问题,如果对每个楼层外的人数进行统计,非常耗时且达不到实时效果。电梯调度实际关心的是发出指令的那些楼层的候梯人数。作为一种可实施的方式,本发明实施例仅对有电梯外呼梯请求的候梯人的图像帧进行统计并且需要重复进行。
较佳地,在电梯到达该楼层前需要间隔一段时间T再选择电梯外候梯人的图像帧,这是一个循环过程,直到电梯到达该层。这种方法可以及时捕获电梯外呼梯需求的动态变化,比如一人按下电梯请求按钮后,随即离开的情况。
步骤330:对获得的图像帧进行预处理,筛除未包含目标的视频图像的图像帧。
本发明实施例采用一种分层的判断方式,为了减少计算时间,本发明采用由粗到细的分类统计方法。首先获取场景的背景图像,然后对待检测图像进行背景减除,初步判断是否有人。如果没人就不再进行后面的处理。
由于监控场景的背景是固定不变的,如果场景中出现人体,人体会覆盖部分背景,使得人体和其覆盖的背景有明显的不同。利用这一特点,首先获取不含人体的监控场景背景图像,然后求待检测图像和背景图像逐像素的差,如果差值不为零的像素比例小于一定的阈值,则判断图像中没有人体。否则,说明有人,然后再进行人体数目检测。
步骤340:对包含目标的图像帧,利用分类器进行目标检测。
步骤341:利用训练好的分类器对由步骤330得到的预处理后的图像帧进行场景人数统计。
作为一种可实施方式,本实施例针对经过预处理后的电梯间视频的图像帧,利用步骤240训练好的分级分类器进行人体目标检测,从而对场景人数进行统计。
作为一种可实施的方式,较佳地,在本发明利用分类器进行目标检测过程中,为了检测不同大小的人体目标,依据检测视频图像的图像帧,以根据正例样本的矩形图像而训练得到的分类器中的矩形窗口,扫描检测图像帧。
分类器对图像帧利用矩形窗口进行扫描检测该矩形窗口对应的被检测矩形图像,然后以一定步长将检测窗口移动到图像的下一个扫描检测位置,直到整个图像扫描检测完毕。只有矩形窗口对应的图像帧的矩形图像通过了所有的级联分类器,该矩形窗口对应的矩形图像才判别为包含目标。
步骤342:人体检测结果可以用框住人体头肩部的矩形窗口表示,判断检测结果的窗口关系,如果一个窗口全部包含在另一个窗口中,而且两个窗口的中心点位置相近,则保留大点的窗口,去除小的窗口,筛选出目标场所的精确目标。
由于仅利用该方法对图像进行检测,会有一些误报现象,例如重叠的人脸窗口,本发明根据头肩部检测结果的位置和大小关系,进一步进行后处理操作。具体的步骤是判断检测结果的窗口关系,如果一个窗口全部包含在另一个窗口中,而且两个窗口的中心点位置相近,则保留大点的窗口,去除小的窗口。通过后处理操作,减少了一些误报现象。
图10是利用训练出来的分类器并进行后处理之后,对电梯外视频进行人体头肩部检测的结果,大小根据头肩部大小改变。可以看到场景中存在的头肩部基本被找到,有些严重遮挡的,在图像上几乎看不到的没有找到,而且人体姿态是多样的,使用本发明的方法能够找到,目标检测速度在计算机上达到了实时效果。
图10是以电梯外的人体头肩部检测为例,而对本发明的目标优化调度方法进行详细说明,对于电梯内的图像,同样采用分类器检测人体头肩部的方法检测电梯内人数。但是由于摄像机角度关系,有些电梯内的人体在图像中根本看不到。另外,在人多情况下,存在严重遮挡,以及光照的变化等情况,导致头肩部检测不完全,存在漏检现象。这个可以结合电梯重量,以及人体平均体重,得到人数信息,来指导电梯内人数判断。
步骤350:根据实时监控视频图像检测出的目标场所的目标信息,及目标场所的已知信息,对目标场所进行调度。
本发明实施例以电梯间的目标优化调度为例,根据实时将得到的电梯内人数信息和电梯外候梯人数信息,以及包括电梯标号或厅层标号等已知信息,进行电梯调度的优化调度。
作为一种可实施方式,其可以根据这些信息进行以下几种情况下的优化:
步骤351,如果轿厢内人数超过一定数值N时,即使有其他的电梯外呼梯信号,如果没有出人信号,在该楼层不停靠;
步骤352,针对有呼梯请求的厅层,如果候梯乘客按动电梯按钮后随即离开,即利用在时间T内再次检测时厅层没有候梯人员,则取消该呼梯指令,如果电梯在该层没有出人指令,则电梯在该楼层不停靠;
步骤353,利用目前电梯内人数和各呼梯厅层人数,对电梯调度进行统一调配。如果电梯外候梯人数众多,而电梯内基本饱和,则该电梯不响应该楼层的呼梯信号,如果是多部电梯同时响应呼梯指令,可以找电梯内人数少的电梯响应该指令。
步骤354,电梯内如果没人了,可以将电梯内的出人指令清零。
更佳地,本发明的目标场所优化调度方法,其还包括下列步骤:
步骤400,将从目标场所获取的实时视频图像检测出的目标所在区域作为正例样本,重复步骤200,进行检测,进一步提高分类器的分类精确度。
本发明的目标场所优化调度方法,结合图像处理和分析技术,利用视频信息检测目标场所的目标,进行目标优化调度,提高目标场所的工作效率。
相应于本发明的一种目标场所优化调度方法,本发明还提供一种目标场所优化调度***,如图11所示,其包括:
样本采集模块100,用于采集视频图像的正例样本集合和反例样本集合;
所述样本采集模块,包括正例样本采集子模块110和反例样本采集子模块120,其中:
所述正例样本采集子模块110,用于根据目标优化调度的目标场所,对目标场所或者与目标场所相近似的场所进行监控录像获得视频图像,标注出图像中的目标区域作为正例样本。
例如,对电梯的进行目标优化调度时,可以以电梯间的监控录像获得的视频图像,标注出人体头肩部作为正例样本,或者以与电梯间相近似的场所,如商场的监控录像而获得正例样本。
所述反例样本采集子模块120,用于根据目标优化调度的目标场所,对于不包含目标的视频图像或其它的静止图片。可以从网络上或者现有图像数据库中得到的不包含人体的大量风景或建筑图片,作为视频图像的反例样本。
训练器200,用于从正例样本集合和反例样本集合中,提取图像特征提取并进行训练,得到用于目标场所检测的分类器;
优化器300,用于从获取的目标场所的实时视频图像中,利用分类器检测出目标,对目标场所进行优化调度;
本发明的一种目标场所优化调度***,采用与本发明的一种目标场所优化调度的方法相同的工作过程进行目标场所的优化调度,因此,在本发明实施例中,不再一一详细进行描述。
本发明提供的一种目标场所优化调度的方法及***,结合图像处理和分析技术,利用视频信息检测目标场所的目标,进行目标优化调度,提高目标场所的工作效率。如在电梯间的优化调度过程中,直接检测人体头肩目标,并统计具体人数,能够给电梯间调度提供更具体的准确的信息,进一步地,仅对有呼梯请求的候梯楼层检测人体数目,这样大大减少了计算量和需要传输给电梯调度***的参数。在实际应用中,本发明的目标场所优化调度***可作为一个软件模块嵌入目标场所优化调度算法中,或者做成嵌入式方式和实时监控***相连,并将统计到的目标信息通过有线或无线方式发送给优化调度***,优化调度***可以利用这些信息进行目标场所的优化调度,以提高目标场所的工作效率,如电梯的运送能力及服务水平。
通过以上结合附图对本发明具体实施例的描述,本发明的其它方面及特征对本领域的技术人员而言是显而易见的。
以上对本发明的具体实施例进行了描述和说明,这些实施例应被认为其只是示例性的,并不用于对本发明进行限制,本发明应根据所附的权利要求进行解释。
Claims (18)
1.一种目标场所优化调度方法,其特征在于,包括下列步骤:
步骤A,采集视频图像的正例样本集合和反例样本集合;
步骤B,在正例样本集合和反例样本集合中,提取图像特征并进行训练,得到用于目标场所目标检测的分类器;
步骤C,从获取的目标场所的实时视频图像中,利用分类器检测出目标,对目标场所进行优化调度;
所述正例样本,是根据目标优化调度的目标场所,对目标场所或者与目标场所相近似的场所进行监控录像,在所获得的视频图像中,将目标标注出来作为训练的正例样本;
所述反例样本,是指不包含目标的图像,是来自采集的不包含目标的视频图像,或者收集的不包含目标的静止图像。
2.根据权利要求1所述的目标场所优化调度方法,其特征在于,还包括下列步骤:
步骤D,将步骤C中从目标场所获取的实时视频图像检测出的目标所在区域作为正例样本,执行步骤B,进行训练,进一步提高分类器的分类精确度,然后再执行步骤C。
3.根据权利要求1或2所述的目标场所优化调度方法,其特征在于,所述步骤A包括下列步骤:
A1.采集训练的正例样本集合;
A2.采集训练的反例样本集合。
4.根据权利要求1或2所述的目标场所优化调度方法,其特征在于,所述步骤B包括下列步骤:
步骤B1,在确定了正例样本集合和反例样本集合之后,确定训练使用的图像特征;
步骤B2,进行正例样本集合和反例样本集合的图像特征提取;
步骤B3,利用正例样本集合和反例样本集合,以及它们的视频图像的特征的值,进行训练,得到用于目标场所目标检测的分类器。
5.根据权利要求4所述的目标场所优化调度方法,其特征在于,所述图像特征为利用矩形特征表示法表示。
6.根据权利要求5所述的目标场所优化调度方法,其特征在于,所述矩形特征表示法为扩展Harr-like特征表示法。
7.根据权利要求6所述的目标场所优化调度方法,其特征在于,所述图像特征提取是通过利用积分图方法实现的。
8.根据权利要求4所述的目标场所优化调度方法,其特征在于,所述步骤B3中,训练得到用于目标场所目标检测的分类器,包括下列步骤:
步骤B31,利用迭代训练过程,每次训练得到一个弱分类器,全部弱分类器线性组合形成一个强分类器;
步骤B32,将强分类器串联在一起形成分级分类器。
9.根据权利要求1所述的目标场所优化调度方法,其特征在于,所述步骤C包括下列步骤:
步骤C1,根据每个目标场所的特点设定相应的检测区域,获取目标场所的实时视频图像;
步骤C2,从目标场所的实时视频图像中,根据目标场所的状态选择图像帧;
步骤C3,对获得的图像帧进行预处理,筛除未包含目标的视频图像的图像帧;
步骤C4,对包含目标的图像帧,利用分类器进行目标检测;
步骤C5,根据实时监控视频图像检测出的目标场所的目标信息,及目标场所的已知信息,对目标场所进行调度。
10.根据权利要求9所述的目标场所优化调度方法,其特征在于,所述目标场所为电梯间;所述目标为乘梯人体。
11.根据权利要求10所述的目标场所优化调度方法,其特征在于,所述正例样本为包含人体头肩部的电梯监控视频图像。
12、根据权利要求9所述的目标场所优化调度方法,其特征在于,所述步骤C2包括下列步骤:
C21,在电梯关门并开始运行之后,选择电梯内的图像帧;
C22,对有电梯外呼梯请求的候梯人的图像帧进行统计。
13.根据权利要求9所述的目标场所优化调度方法,其特征在于,所述步骤C4包括下列步骤:
C41,利用训练好的分类器对得到的预处理后的图像帧进行场景人数统计;
C42,判断检测结果的窗口关系,如果一个窗口全部包含在另一个窗口中,而且两个窗口的中心点位置相近,则保留大点的窗口,去除小的窗口,筛选出目标场所的精确目标。
14.根据权利要求9所述的目标场所优化调度方法,其特征在于,所述步骤C5包括下列步骤:
步骤C51,如果电梯内人数超过数值N时,即使有其他的电梯外呼梯信号,如果没有出人信号,在该楼层不停靠;
步骤C52,针对有呼梯请求的厅层,如果候梯乘客按动电梯按钮后随即离开,即利用在时间T内再次检测时厅层没有候梯人员,则取消该呼梯指令,如果电梯在该层没有出人指令,则电梯在该楼层不停靠;
步骤C53,利用目前电梯内人数和各呼梯厅层人数,对电梯调度进行统一调配;
步骤C54,电梯内如果没人了,可以将电梯内的出人指令清零。
15.根据权利要求14所述的目标场所优化调度方法,其特征在于,所述步骤C53中,进行统一调配,包括下列步骤:
如果电梯外候梯人数众多,而电梯内基本饱和,则该电梯不响应该楼层的呼梯信号,如果是多部电梯同时响应呼梯指令,可以找电梯内人数少的电梯响应该指令。
16.一种目标场所优化调度***,其特征在于,包括:
样本采集模块,用于采集视频图像的正例样本集合和反例样本集合;
训练器,用于从正例样本集合和反例样本集合中,提取图像特征并进行训练,得到用于目标场所检测的分类器;
优化器,用于从获取的目标场所的实时视频图像中,利用分类器检测出目标,对目标场所进行优化调度;
所述样本采集模块,包括正例样本采集子模块和反例样本采集模块,其中:
所述正例样本采集子模块,是根据目标优化调度的目标场所,对目标场所或者与目标场所相近似的场所进行监控录像,在所获得的视频图像中,将目标标注出来作为训练的正例样本;所述反例样本采集子模块,是针对所定义的目标,收集不包含目标的图像,是来自采集的不包含目标的视频图像,或者收集的不包含目标的静止图像。
17.根据权利要求16所述的目标场所优化调度***,其特征在于,所述目标场所为电梯间;所述目标为乘梯人体。
18.根据权利要求17所述的目标场所优化调度***,其特征在于,所述正例样本为包含人体头肩部的电梯监控视频图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200710179079A CN100595121C (zh) | 2007-12-10 | 2007-12-10 | 一种目标场所优化调度方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200710179079A CN100595121C (zh) | 2007-12-10 | 2007-12-10 | 一种目标场所优化调度方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101200252A CN101200252A (zh) | 2008-06-18 |
CN100595121C true CN100595121C (zh) | 2010-03-24 |
Family
ID=39515657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200710179079A Expired - Fee Related CN100595121C (zh) | 2007-12-10 | 2007-12-10 | 一种目标场所优化调度方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100595121C (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106650593A (zh) * | 2016-09-30 | 2017-05-10 | 王玲 | 客流统计方法和装置 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101655914B (zh) * | 2008-08-18 | 2014-10-22 | 索尼(中国)有限公司 | 训练装置、训练方法及检测方法 |
CN102126655B (zh) * | 2010-12-30 | 2013-06-12 | 上海电机学院 | 一种电梯调度方法 |
CN102693427A (zh) * | 2011-03-22 | 2012-09-26 | 日电(中国)有限公司 | 形成和使用用于检测图像的检测器的方法和设备 |
CN103010874B (zh) * | 2011-09-26 | 2015-09-23 | 联想(北京)有限公司 | 一种电梯调度方法及*** |
CN103136534A (zh) * | 2011-11-29 | 2013-06-05 | 汉王科技股份有限公司 | 自适应的区域行人计数方法及装置 |
CN103303750A (zh) * | 2012-03-08 | 2013-09-18 | 鸿富锦精密工业(深圳)有限公司 | 智能型电梯***及控制方法 |
CN104573669B (zh) * | 2015-01-27 | 2018-09-04 | 中国科学院自动化研究所 | 图像物体检测方法 |
CN104961009B (zh) * | 2015-05-27 | 2016-10-05 | 山东建筑大学 | 基于机器视觉的多电梯并联运行协调控制方法及*** |
CN105035887B (zh) * | 2015-07-03 | 2017-06-20 | 穆国栋 | 一种基于计算机视觉检测的智能电梯主控*** |
CN105438899B (zh) * | 2015-12-31 | 2017-11-07 | 青岛高校信息产业股份有限公司 | 满载临界状态下的电梯控制方法和装置 |
CN105678322A (zh) * | 2015-12-31 | 2016-06-15 | 百度在线网络技术(北京)有限公司 | 样本标注方法和装置 |
US10586121B2 (en) * | 2017-01-27 | 2020-03-10 | Gentex Corporation | Image compensation for motorcycle banking |
CN108629230B (zh) * | 2017-03-16 | 2021-02-12 | 杭州海康威视数字技术股份有限公司 | 一种人数统计方法及装置和电梯调度方法及*** |
CN109019202B (zh) * | 2017-04-12 | 2020-10-16 | 绍兴柯桥富临纺织有限公司 | 一种呼叫登记*** |
CN108840188B (zh) * | 2017-04-12 | 2021-06-25 | 海南蒙鑫信息科技发展有限公司 | 一种呼叫登记*** |
CN109484935B (zh) * | 2017-09-13 | 2020-11-20 | 杭州海康威视数字技术股份有限公司 | 一种电梯轿厢监控方法、装置及*** |
CN109264518A (zh) * | 2018-11-13 | 2019-01-25 | 海南师范大学 | 多轿厢电梯优化调度设计方法 |
CN109941856B (zh) * | 2019-03-21 | 2021-04-27 | 武汉科技大学 | 电梯控制方法及装置 |
CN110135456A (zh) * | 2019-04-08 | 2019-08-16 | 图麟信息科技(上海)有限公司 | 一种目标检测模型的训练方法及装置 |
CN110342357A (zh) * | 2019-05-24 | 2019-10-18 | 深圳壹账通智能科技有限公司 | 一种电梯调度方法、装置、计算机设备和存储介质 |
CN111703990B (zh) * | 2020-07-02 | 2021-12-03 | 浪潮卓数大数据产业发展有限公司 | 基于大数据与人脸识别的电梯智能停靠实现方法及*** |
CN112390103B (zh) * | 2020-10-13 | 2022-06-21 | 日立楼宇技术(广州)有限公司 | 候梯监控方法、装置、计算机设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1045749A (zh) * | 1989-03-20 | 1990-10-03 | 株式会社日立制作所 | 电梯控制*** |
CN1570953A (zh) * | 2003-07-22 | 2005-01-26 | 中国科学院自动化研究所 | 移动计算环境下的人脸检测方法 |
CN1746900A (zh) * | 2005-09-23 | 2006-03-15 | 上海交通大学 | 基于迭代特征选择的快速人脸识别方法 |
CN1931697A (zh) * | 2006-09-29 | 2007-03-21 | 浙江工业大学 | 基于图像识别技术的群控电梯智能调度装置 |
-
2007
- 2007-12-10 CN CN200710179079A patent/CN100595121C/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1045749A (zh) * | 1989-03-20 | 1990-10-03 | 株式会社日立制作所 | 电梯控制*** |
CN1570953A (zh) * | 2003-07-22 | 2005-01-26 | 中国科学院自动化研究所 | 移动计算环境下的人脸检测方法 |
CN1746900A (zh) * | 2005-09-23 | 2006-03-15 | 上海交通大学 | 基于迭代特征选择的快速人脸识别方法 |
CN1931697A (zh) * | 2006-09-29 | 2007-03-21 | 浙江工业大学 | 基于图像识别技术的群控电梯智能调度装置 |
Non-Patent Citations (1)
Title |
---|
新型电梯群控***交通模式识别方法. 许玉格,罗飞.控制理论与应用,第22卷第6期. 2005 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106650593A (zh) * | 2016-09-30 | 2017-05-10 | 王玲 | 客流统计方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN101200252A (zh) | 2008-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100595121C (zh) | 一种目标场所优化调度方法及*** | |
CN109522793B (zh) | 基于机器视觉的多人异常行为检测与识别方法 | |
CN111199220B (zh) | 电梯内人员检测与人数统计的轻量化深度神经网络方法 | |
CN114283469B (zh) | 一种基于改进YOLOv4-tiny的轻量型目标检测方法及*** | |
CN106600631A (zh) | 基于多目标跟踪的客流统计方法 | |
CN106878674A (zh) | 一种基于监控视频的停车检测方法及装置 | |
CN109670404A (zh) | 一种基于混合模型的道路积水图像检测预警方法 | |
CN111126136A (zh) | 一种基于图像识别的烟雾浓度量化方法 | |
CN108629230B (zh) | 一种人数统计方法及装置和电梯调度方法及*** | |
CN101916383A (zh) | 基于多摄像机的车辆检测跟踪识别*** | |
CN106586738A (zh) | 一种基于视觉检测的多轿厢电梯调度方法 | |
CN112308032B (zh) | 一种视频检测的井下风门智能协同联动控制方法 | |
CN101645137A (zh) | 足球视频远景镜头中对足球位置的自动检测方法 | |
CN112001299B (zh) | 一种隧道车指器和照明灯故障识别方法 | |
CN111860390A (zh) | 一种电梯候梯人数检测统计方法、装置、设备及介质 | |
CN110255318B (zh) | 基于图像语义分割的电梯轿厢闲置物品检测的方法 | |
CN115303901B (zh) | 一种基于计算机视觉的电梯交通流量识别方法 | |
CN108038432A (zh) | 一种基于光流计数的公交人流统计方法及*** | |
CN111540203B (zh) | 基于Faster-RCNN调节绿灯通行时间的方法 | |
CN106650752A (zh) | 一种车身颜色识别方法 | |
CN115661720A (zh) | 一种被遮挡车辆的目标跟踪识别方法及*** | |
CN113192038A (zh) | 基于深度学习的已有火焰环境中异常烟火识别监测方法 | |
CN113450573A (zh) | 基于无人机图像识别的交通监测方法和交通监测*** | |
CN110562810A (zh) | 电梯调度方法、装置、计算机设备和存储介质 | |
CN110008834B (zh) | 一种基于视觉的方向盘干预检测与统计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100324 |
|
CF01 | Termination of patent right due to non-payment of annual fee |