CN108305187A - 基于计算机视觉的食堂就餐导引*** - Google Patents

基于计算机视觉的食堂就餐导引*** Download PDF

Info

Publication number
CN108305187A
CN108305187A CN201810052535.1A CN201810052535A CN108305187A CN 108305187 A CN108305187 A CN 108305187A CN 201810052535 A CN201810052535 A CN 201810052535A CN 108305187 A CN108305187 A CN 108305187A
Authority
CN
China
Prior art keywords
seat
window
dining room
dinner
computer vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810052535.1A
Other languages
English (en)
Inventor
胡中林
顾涵彬
李国栋
俞柯丞
高启瑞
陈爱军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201810052535.1A priority Critical patent/CN108305187A/zh
Publication of CN108305187A publication Critical patent/CN108305187A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于计算机视觉的食堂就餐导引***。本发明主要包括图像采集***、检测***和信息显示***，其中图像采集***，将食堂视频中的人物和座位图像提取出来，存储到人物及座位图像数据库中；检测***包括座位状态检测模块和窗口人数统计模块，座位状态检测模块用于判断视频中是否有座位，并进一步判断座位的位置以及该座位上是否被人员或物品占用；窗口人数统计模块用于检测窗口前排队的总人数；所述的信息显示***，将座位状态检测模块和窗口人数统计模块检测到的数据传输到显示设备上。本发明使得前来食堂就餐的人员能迅速了解各个食堂窗口前的队伍长度，并能迅速地找到合适的空位快速进行就座用餐，使得就餐人员能快速进行就餐。

Description

基于计算机视觉的食堂就餐导引***
技术领域
本发明涉及计算机视觉技术，特别涉及到一套基于计算机视觉的食堂就餐导引***。
背景技术
高校食堂在用餐高峰时，往往会出现人流量大、拥挤等情况，这种情况在学校学生数量多、食堂规模大的学校尤为显著。为了在用餐高峰期能合理分配人流，使食堂内用餐秩序井然，并充分利用好每一个空座位，在食堂内安装一种带有图像识别技术的摄像监控，可以实现识别监控范围内的座位上座情况以及各窗口排队长度，运用算法计算和统计后将数据传输至食堂门口的LED屏幕上，使前来就餐的学生可以直接从屏幕上得到各层、各窗口的人流量信息，从而选择较为空闲的地方进行用餐，在高峰期可以避免人群盲目流动而导致的部分楼层、窗口过分拥挤而其余窗口闲置的情况，做到合理分配人群，使食堂秩序井然。
随着计算机视觉技术的迅猛发展，计算机可以从大量图像数据中提取出目标物体，使得计算机可以识别人物图像及座位图像，通过对视频数据处理，***可以自动识别出窗口前排队的人数以及食堂座位的占用情况。
发明内容
本发明提供了一种可以实时监测食堂各窗口前的人员数量和食堂座位的占用情况的***，并将其显示在醒目位置，使得前来食堂就餐的人员能迅速了解各个食堂窗口前的队伍长度，并能迅速地找到合适的空位快速进行就座用餐，使得就餐人员能快速进行就餐。
本发明主要包括图像采集***、检测***和信息显示***，其中，
所述的图像采集***，将食堂视频中的人物和座位图像提取出来，存储到人物及座位图像数据库中。
所述的检测***包括座位状态检测模块和窗口人数统计模块，座位状态检测模块用于判断视频中是否有座位，并进一步判断座位的位置以及该座位上是否被人员或物品占用；窗口人数统计模块用于检测窗口前排队的总人数。
所述的信息显示***，将座位状态检测模块和窗口人数统计模块检测到的数据传输到显示设备上。
进一步，所述窗口人数统计模块可以实时处理从各个摄像头采集的窗口图像信息并统计出各窗口的排队人数，窗口人数统计模块的具体实现过程为：
（1）对于采集的视频画面，利用背景差分法框选出人物可能存在区域；
（2）采用Hough圆算法，在步骤（1）所得的区域中搜索圆形物体，框选出人头可能存在区域；
（3）对于步骤（2）所得的区域，利用HOG判断是否为人头区域；
（4）统计步骤（3）所得的人头区域总数量，得出总人数。
进一步，座位状态检测模块可以实时处理从各个摄像头采集的座位图像信息并统计出各座位的占用情况，座位状态检测模块具体实现过程为：
（1）用模板匹配算法检测出所有座位的存在区域；
（2）对于采集的视频画面，在步骤（1）所得的区域范围内进行座位图像的图像搜索匹配；
（3）统计步骤（2）的匹配成功个数，从而得到空闲与被占用的座位个数；
进一步，所述信息显示***采用数字结合图表的方式，显示每个窗口前队伍的人数和食堂中每个位置的占用情况。
本发明的有益效果：这套***使得前来食堂用餐的学生在食堂大门门口可以直接从屏幕显示中得到各层的人流量信息，从而选择较为空闲的楼层进行用餐。到了相应的楼层，有同样的LED屏幕显示该层各窗口的队伍长度和就餐空闲座位的分布情况，学生可据此选择合适窗口排队以及合适的空闲座位就餐。在高峰期可以避免人群盲目流动而导致的部分楼层、窗口过分拥挤而其余窗口闲置的情况，做到合理分配人群，使食堂秩序井然。
附图说明
图1是本发明的流程图。
图2是本发明的视频抓取示例图。
图3是本发明的窗口人数统计模块的算法流程图。
图4是本发明的检测***的流程图。
图5是本发明的信息显示模块队伍长度显示图。
图6是本发明的信息显示模块座位检测显示图。
具体实施方式
下面将结合本发明实施例和附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
食堂就餐导引***的整体框架如图1所示，主要包括图像采集***、检测***和信息显示***，在图1中食堂就餐导引***将食堂视频中的人物和座位图像提取出来，存储到人物及座位图像数据库中。
图像采集***利用摄像头进行图像抓取，每隔相同的时间摄像头向***传送一帧图片，见图2。
如图3和图4所示，检测***包括座位状态检测模块和窗口人数统计检测模块，座位监测模块用于判断视频中是否有座位，并进一步判断座位的位置以及该座位上是否被人员或物品占用；窗口人数统计模块：检测窗口前排队的总人数.
窗口人数统计检测模块，可以实时处理从各个摄像头采集的窗口图像信息并统计出各窗口的排队人数。
窗口人数统计检测模块中，具体统计检测步骤如下：
（1）对于采集的视频画面，利用背景差分法框选出人物可能存在区域；
（2）采用Hough圆算法，在步骤（1）所得的区域中搜索圆形物体，框选出人头可能存在区域；
（3）对于步骤（2）所得的区域，利用HOG算法判断是否为人头区域；
（4）统计步骤（3）所得的人头区域总数量，得出总人数。
采取基于背景差分法的人物区域定位的具体步骤为：首先选取没有杂物和人的画面作为背景图像，将图像采集***采集的图像与对应的背景图像作减法运算。对于得到的减法图像，采用高斯滤波法滤除噪点，然后采用形态学闭运算进行修补，最后，采用自适应二值化算法对图像进行二值化处理。经过上述步骤处理后，可以得到代表前景目标的白色连通域，进而可以得到白色连通域的最小外接矩形，作为人物可能存在区域。
采取基于HOG算法的人头区域判定的具体步骤为：（1）训练SVM分类器：使用5000张人头图片作为正样本，5000张易混淆图片作为负样本，进行HOG特征提取，用得到的HOG特征向量训练出一个SVM人头分类器；（2）实际使用：截取待判定区域的图片，采用Gamma校正法对输入图像进行颜色空间的归一化，然后对该图片进行HOG特征提取，将特征向量输入到（1）中训练好的SVM分类器中，计算得到0~1之间的预测值，如果预测值大于设定的阈值，则将该区域判定为人头区域，否则判定为非人头区域。
座位状态检测模块中，具体状态检测步骤如下：
（1）用模板匹配算法检测出所有座位的存在区域；
（2）对于采集的视频画面，在步骤（1）所得的区域范围内进行座位图像的图像搜索匹配；
（3）统计步骤（2）的匹配成功个数，从而得到空闲与被占用的座位个数；
采取基于模板匹配算法的座位区域检测的具体步骤为：
（1）选取模板椅子图像；
（2）将模板图像在待匹配图像上以划窗的方式滑动；
（3）计算模板图像与待匹配图像的子图像的欧氏距离；
（4）以欧氏距离的大小作为两张图像相似度评定的标准，距离小于设定阈值时，将该区域判定为座位区域。
信息显示***的具体实施方式如下，座位状态检测情况如附图5所示：黑色表示占用的座位，白色表示未占用座位；窗口人数检测情况如附图6所示： 用柱状图来表示当前窗口队伍长度，表格显示人数，使数据的显示更加直观。
最终，以上实施例和附图仅用以说明本发明的技术方案而非限制，尽管通过上述实施例己经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.基于计算机视觉的食堂就餐导引***，其特征在于，主要包括图像采集***、检测***和信息显示***，其中，
所述的图像采集***，将食堂视频中的人物和座位图像提取出来，存储到人物及座位图像数据库中；
所述的检测***包括座位状态检测模块和窗口人数统计模块，座位状态检测模块用于判断视频中是否有座位，并进一步判断座位的位置以及该座位上是否被人员或物品占用；窗口人数统计模块用于检测窗口前排队的总人数；
所述的信息显示***，将座位状态检测模块和窗口人数统计模块检测到的数据传输到显示设备上。
2.根据权利要求1所述的基于计算机视觉的食堂就餐导引***，其特征在于：所述窗口人数统计模块可以实时处理从各个摄像头采集的窗口图像信息并统计出各窗口的排队人数。
3.根据权利要求2所述的基于计算机视觉的食堂就餐导引***，其特征在于：所述窗口人数统计模块具体实现过程为：
（1）对于采集的视频画面，利用背景差分法框选出人物可能存在区域；
（2）采用Hough圆算法，在步骤（1）所得的区域中搜索圆形物体，框选出人头可能存在区域；
（3）对于步骤（2）所得的区域进行HOG特征提取并采用预先训练好的SVM分类器对其进行判别，如分类器计算所得的预测值大于设定的阈值，则将该区域判定为人头区域；
（4）统计步骤（3）所得的人头区域总数量，得出总人数。
4.根据权利要求1所述的基于计算机视觉的食堂就餐导引***，其特征在于：所述座位状态检测模块可以实时处理从各个摄像头采集的座位图像信息并统计出各座位的占用情况。
5.根据权利要求4所述的基于计算机视觉的食堂就餐导引***，其特征在于：所述座位状态检测模块具体实现过程为：
（1）用模板匹配算法检测出所有座位的存在区域；
（2）对于采集的视频画面，在步骤（1）所得的区域范围内进行座位图像的图像搜索匹配。
6.（3）统计步骤（2）的匹配成功个数，从而得到空闲与被占用的座位个数；
根据权利要求1所述的基于计算机视觉的食堂就餐导引***，其特征在于：所述信息显示***采用数字结合图表的方式，显示每个窗口前队伍的人数和食堂中每个位置的占用情况。
CN201810052535.1A 2018-01-19 2018-01-19 基于计算机视觉的食堂就餐导引*** Pending CN108305187A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810052535.1A CN108305187A (zh) 2018-01-19 2018-01-19 基于计算机视觉的食堂就餐导引***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810052535.1A CN108305187A (zh) 2018-01-19 2018-01-19 基于计算机视觉的食堂就餐导引***

Publications (1)

Publication Number Publication Date
CN108305187A true CN108305187A (zh) 2018-07-20

Family

ID=62865904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810052535.1A Pending CN108305187A (zh) 2018-01-19 2018-01-19 基于计算机视觉的食堂就餐导引***

Country Status (1)

Country Link
CN (1) CN108305187A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410093A (zh) * 2018-12-02 2019-03-01 马鞍山金顺来工业设计有限公司 一种用于大人流餐饮窗口的***
CN110005974A (zh) * 2018-10-29 2019-07-12 永康市道可道科技有限公司 基于人体密度分析的可控型表贴灯
CN110287892A (zh) * 2019-06-26 2019-09-27 海尔优家智能科技（北京）有限公司 空位识别方法及装置
CN110545192A (zh) * 2019-01-25 2019-12-06 杨利容 网络切断管控方法
CN111195100A (zh) * 2018-11-16 2020-05-26 余姚市雷阵雨电器有限公司 铝线电机转速切换平台
CN111611850A (zh) * 2020-04-09 2020-09-01 吴子华 一种座位使用状态的分析处理方法、***和存储介质
CN112991016A (zh) * 2021-03-25 2021-06-18 北京市商汤科技开发有限公司 一种信息推送方法及装置、电子设备、存储介质
CN113642389A (zh) * 2021-07-06 2021-11-12 西安商汤智能科技有限公司 就餐指引方法及***、电子设备、计算机存储介质
CN114462653A (zh) * 2022-01-24 2022-05-10 广东天地和实业控股集团有限公司 一种o2o式的校园自助餐饮管理方法、***、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615311A (zh) * 2009-06-19 2009-12-30 无锡骏聿科技有限公司 一种基于视觉的排队时间评估方法
CN102495997A (zh) * 2011-10-30 2012-06-13 南京师范大学 基于视频检测与gis图像可视化的阅览室智能管理***
CN102646297A (zh) * 2012-04-27 2012-08-22 徐汉阳 院线观众人数智能统计***及方法
CN102867188A (zh) * 2012-07-26 2013-01-09 中国科学院自动化研究所 一种基于级联结构的会场内座位状态检测方法
CN103473403A (zh) * 2013-08-31 2013-12-25 安徽工程大学 一种智能食堂排队***
CN104123579A (zh) * 2014-08-12 2014-10-29 中国电影科学技术研究所 院线影片放映效果评估及观影人数智能统计***
CN105574503A (zh) * 2015-12-16 2016-05-11 陕西科技大学 实时查询地铁乘客分布及满座率的装置及其方法
CN106156177A (zh) * 2015-04-17 2016-11-23 上海物态智能科技有限公司 一种餐厅座位状态检测方法及***
CN106327519A (zh) * 2016-08-19 2017-01-11 杭州智诺科技股份有限公司 基于Hough变换的人头检测方法
CN106971150A (zh) * 2017-03-15 2017-07-21 国网山东省电力公司威海供电公司 基于逻辑回归的排队异常检测方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615311A (zh) * 2009-06-19 2009-12-30 无锡骏聿科技有限公司 一种基于视觉的排队时间评估方法
CN102495997A (zh) * 2011-10-30 2012-06-13 南京师范大学 基于视频检测与gis图像可视化的阅览室智能管理***
CN102646297A (zh) * 2012-04-27 2012-08-22 徐汉阳 院线观众人数智能统计***及方法
CN102867188A (zh) * 2012-07-26 2013-01-09 中国科学院自动化研究所 一种基于级联结构的会场内座位状态检测方法
CN103473403A (zh) * 2013-08-31 2013-12-25 安徽工程大学 一种智能食堂排队***
CN104123579A (zh) * 2014-08-12 2014-10-29 中国电影科学技术研究所 院线影片放映效果评估及观影人数智能统计***
CN106156177A (zh) * 2015-04-17 2016-11-23 上海物态智能科技有限公司 一种餐厅座位状态检测方法及***
CN105574503A (zh) * 2015-12-16 2016-05-11 陕西科技大学 实时查询地铁乘客分布及满座率的装置及其方法
CN106327519A (zh) * 2016-08-19 2017-01-11 杭州智诺科技股份有限公司 基于Hough变换的人头检测方法
CN106971150A (zh) * 2017-03-15 2017-07-21 国网山东省电力公司威海供电公司 基于逻辑回归的排队异常检测方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110005974A (zh) * 2018-10-29 2019-07-12 永康市道可道科技有限公司 基于人体密度分析的可控型表贴灯
CN111195100A (zh) * 2018-11-16 2020-05-26 余姚市雷阵雨电器有限公司 铝线电机转速切换平台
CN111195100B (zh) * 2018-11-16 2021-05-25 南通益纳森智能科技有限公司 铝线电机转速切换平台
CN109410093A (zh) * 2018-12-02 2019-03-01 马鞍山金顺来工业设计有限公司 一种用于大人流餐饮窗口的***
CN110545192A (zh) * 2019-01-25 2019-12-06 杨利容 网络切断管控方法
CN110545192B (zh) * 2019-01-25 2020-06-26 航天欧华信息技术有限公司 网络切断管控装置
CN110287892A (zh) * 2019-06-26 2019-09-27 海尔优家智能科技（北京）有限公司 空位识别方法及装置
CN111611850A (zh) * 2020-04-09 2020-09-01 吴子华 一种座位使用状态的分析处理方法、***和存储介质
CN112991016A (zh) * 2021-03-25 2021-06-18 北京市商汤科技开发有限公司 一种信息推送方法及装置、电子设备、存储介质
CN113642389A (zh) * 2021-07-06 2021-11-12 西安商汤智能科技有限公司 就餐指引方法及***、电子设备、计算机存储介质
CN114462653A (zh) * 2022-01-24 2022-05-10 广东天地和实业控股集团有限公司 一种o2o式的校园自助餐饮管理方法、***、设备及介质
CN114462653B (zh) * 2022-01-24 2022-09-30 广东天地和实业控股集团有限公司 一种o2o式的校园自助餐饮管理方法、***、设备及介质

Similar Documents

Publication Publication Date Title
CN108305187A (zh) 基于计算机视觉的食堂就餐导引***
CN106997629B (zh) 门禁控制方法、装置及***
Marana et al. Estimating crowd density with Minkowski fractal dimension
CN103186763B (zh) 人脸识别***及方法
WO2017141454A1 (ja) 混雑解析装置、混雑解析方法および混雑解析プログラム
GB2431718A (en) Estimation of the number of individuals in an image
CN108171162B (zh) 人群拥挤度检测方法、装置及***
CN105844242A (zh) 图像中的肤色检测方法
CN106682578A (zh) 基于眨眼检测的人脸识别方法
US20230206688A1 (en) Information processing device, information processing method, and program
CN110443179A (zh) 离岗检测方法、装置以及存储介质
CN108109220A (zh) 一种基于监控摄像头的教室考勤统计***
JP6851221B2 (ja) 画像監視装置
CN107977613A (zh) 提高人脸识别效率的方法和人脸识别***
Zhang et al. Head detection for video surveillance based on categorical hair and skin colour models
CN109214367A (zh) 一种基于视觉注意机制的人脸检测方法
CN108491798A (zh) 基于个性化特征的人脸识别方法
CN108446639A (zh) 低功耗增强现实设备
JP6851246B2 (ja) 物体検出装置
Bo et al. Detection of a hand-raising gesture by locating the arm
JP6893812B2 (ja) 物体検出装置
CN109344689A (zh) 一种基于Kinect的哑语手势识别方法
CN112818728B (zh) 年龄识别的方法及相关产品
JP6920944B2 (ja) 物体検出装置
CN109410169B (zh) 一种图像背景干扰度的识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180720