CN109035633A - 一种基于图像识别的菜单推送方法及*** - Google Patents

Abstract

本发明公开了一种基于图像识别的菜单推送方法及***，所述方法包括：步骤S1，采集用餐客人的影像资料，并对采集的影像资料进行人脸识别处理，识别出用餐客人的人脸特征数据；步骤S2，将识别出的用餐客人的人脸特征数据与顾客画像分析库中的记录进行匹配，根据匹配结果产生相应的个性化菜单；步骤S3，将生成的个性化菜单通过终端设备予以输出显示；步骤S4,接收下单支付请求，并于支付成功后进入步骤S5；步骤S5，于所述顾客画像分析库中存录该用餐客人本次的用餐信息以更新所述顾客画像分析库，本发明可提升餐饮者的服务效率及精准性，有效节省餐饮服务时间。

Description

一种基于图像识别的菜单推送方法及***

技术领域

本发明涉及餐饮管理技术领域，特别是涉及一种基于图像识别的菜单推送方法及***。

背景技术

传统的点餐一般采用人工的方式，即由服务员通过纸笔记录客人所点的内容，这种传统使用纸笔的点餐方式需要服务人员来回在各个餐桌之间，传递菜单并记录客人需要的菜单，最后将订单传送至服务台和厨房进行备菜。

随着移动技术的普及，人们的生活节奏也愈来愈快，传统的人工点餐方式已经无法满足人们对效率的要求。近来出现了使用手持设备进行点菜，与传统方法类似，只是将纸质的订单改为由手持设备记录，传统及使用手持设备的点餐方式需要由服务人员进行记录，加上人工备菜的顺序混乱，在用餐高峰期的时候会出现人员不足或上菜慢的情况，从而导致客户因等待时间过长而感到不满。

同时，在客人点菜时，由于餐厅的推陈出新，人们往往会面对越来越厚的菜单,在数量繁多的菜品中选择出与就餐者的个人饮食信息相匹配的菜品，往往需要用户浏览很多用户并不需要的菜品，同时也增加了就餐者的选餐时长和选餐难度，加上点菜时客人往往由于处于纠结的选择中，还需要耗费一定的时间，进一步导致餐厅内的工作效率降低，而现有的餐饮***中，还没有一款能够向不同的客人推送准确菜单的菜单推送***，来提高餐厅的服务效率和服务质量，以及提高客人的用餐体验。

另一方面，在目前的餐饮领域，也采用了摄像头、人脸识别以及POS硬件装置等产品，但是在目前的餐饮领域，监视摄像镜头仍然仅仅只是监控之作用，人脸识别***，目前仅用於门禁识别较多；餐饮POS硬件装置，也仅是传统餐饮服务，无法结合用户数据，提供有效的营销方案，目前上述三者各自独立，其虽然能够对餐饮经营起到一定帮助，但不能有效节省餐饮服务的时间，以及不能实时提供有效的营销方案，并实时获取用户据进行分析，以达到精准行销的目的。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于图像识别的菜单推送方法及***，以提升餐饮者的服务效率及精准性，有效节省餐饮服务时间。

为达上述目的，本发明提出一种基于图像识别的菜单推送方法，包括：

步骤S1，采集用餐客人的影像资料，并对采集的影像资料进行人脸识别处理，识别出用餐客人的人脸特征数据；

步骤S2，将识别出的用餐客人的人脸特征数据与顾客画像分析库中的记录进行匹配，根据匹配结果产生相应的个性化菜单；

步骤S3，将生成的个性化菜单通过终端设备予以输出显示；

步骤S4,接收下单支付请求，并于支付成功后进入步骤S5；

步骤S5，于所述顾客画像分析库中存录该用餐客人本次的用餐信息以更新所述顾客画像分析库。

优选地，于步骤S2中，若识别出的用餐客人的人脸特征数据与顾客画像分析库中的数据得以匹配，则根据其历史用餐记录产生相应的个性化菜单。

优选地，根据所述顾客画像分析库中该用餐客人对应的个人餐饮偏好信息对所述个性化菜单进行排序。

优选地，于步骤S2中，在产生个性化菜单的同时，于餐馆推出新品或新推出菜品活动时，根据新品或新推出的菜品活动生成推荐菜单。

优选地，于步骤S2中，当推出新品或新推出菜品活动时，根据该用餐客人的个人餐饮偏好信息生成推荐菜单。

优选地，于步骤S2中，若该顾客画像分析库中没有能与识别出的用餐客人的人脸特征数据得以匹配的数据，则采用预设菜单作为该新用餐客人的个性化菜单。

优选地，所述预设菜单为商家根据自己特色预先设置的菜单，或根据所有的用餐客人的评分而选取的评分高的菜品生成的菜单。

优选地，于步骤S3中，在将生成的个性化菜单通过终端设备予以输出显示的同时，将所述推荐菜单也通过所述终端设备输出显示。

优选地，于步骤S5中，若该用餐客人为老顾客，则将本次下单记录存录于该顾客画像分析库中对应的用餐客人信息中，若该用餐客人为新顾客，则于所述顾客画像分析库中建立新记录，以记录该新顾客的人脸特征数据及本次的下单交易信息。

为达到上述目的，本发明还提供一种基于图像识别的菜单推送***，包括：

人脸识别处理单元，用于采集用餐客人的影像资料，并对采集的影像资料进行人脸识别处理，识别出用餐客人的人脸特征数据；

人脸特征匹配单元，用于将识别出的用餐客人的人脸特征数据与顾客画像分析库中的记录进行匹配，根据匹配结果产生相应的个性化菜单；

菜单输出单元，用于将生成的个性化菜单通过终端设备予以输出显示；

支付下单单元，用于接收下单支付请求，并于支付成功后于启动顾客画像分析库更新单元以存录该用餐客人本次的用餐信息；

顾客画像分析库更新单元，用于于所述顾客画像分析库中存录该用餐客人本次的用餐信息，并对其进行分析，以更新所述顾客画像分析库。

与现有技术相比，本发明一种基于图像识别的菜单推送方法及***通过采集用餐客人的影像资料，对采集的影像资料进行人脸识别处理，识别出用餐客人的人脸特征数据，并将识别出的用餐客人的人脸特征数据与顾客画像分析库中的记录进行匹配，根据匹配结果产生相应的个性化菜单，最后将生成的个性化菜单通过终端设备予以输出显示，本发明能够节省餐饮门店人员点餐服务时间，提高了服务效率，并有利现场人员进行更精准的商品推广，同时也节省用餐客人的时间，提高了用餐客人的用餐体验。

附图说明

图1为本发明一种基于图像识别的菜单推送方法的步骤流程图；

图2为本发明一种基于图像识别的菜单推送***的***架构图；

图3为本发明具体实施例中基于图像识别的菜单推送的流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种基于图像识别的菜单推送方法的步骤流程图。如图1所示，本发明一种基于图像识别的菜单推送方法，包括：

步骤S1，采集用餐客人的影像资料，并对采集的影像资料进行人脸识别处理，识别出用餐客人的人脸特征数据。在本发明具体实施例中，可通过利用摄像头获取用餐客人的图像或视频流，摄像头可设置于服务柜台上方，或者餐厅内各餐桌的上方，当用餐客人于服务柜台进行排队时或进入餐厅于餐桌边就坐时，设置于其上方的摄像头对用餐客人进行图像或视频流采集，然后对采集的图像或者视频流，首先判断其是否存在人脸,如果存在人脸，则进一步进行人脸特征提取，例如每个脸的位置、大小和各个主要面部器官的位置信息。由于人脸识别技术已是现有的成熟技术，本发明利用的也是现有的人脸识别技术，在此不予赘述。

步骤S2，将识别出的用餐客人的人脸特征数据与顾客画像分析库中的记录进行匹配，根据匹配结果产生相应的个性化菜单。在本发明中，顾客画像分析库为预先建立，即每个用餐客人完成结账后，则会于顾客画像分析库中存录该用餐客人的相关数据(即生成历史用餐记录)，较佳地，顾客画像分析库中还存储有根据其用餐记录分析获得的对应该用餐客人的个人餐饮偏好信息。这里的个人餐饮偏好信息可包括菜系偏好信息、口味偏好信息、忌口食物信息和素食肉食偏好信息、消费额度中任一者或多者。

具体地，步骤S2进一步包括：

步骤S200，若识别出的用餐客人的人脸特征数据与顾客画像分析库中的数据得以匹配，则说明该用餐客人为老顾客，则根据其历史用餐记录产生相应的个性化菜单。举例来说，假如小王为本餐馆的老顾客，则于该顾客画像分析库中会有小王的人脸特征数据，对应小王的则有其历史用餐记录，例如“2018/6/12，三宝饭，25元”、“2018/6/13，酸菜鱼，30元”、“2018/6/14，辣子鸡块，26元”、“2018/6/15，回锅肉盖浇饭，20元”、“2018/6/16，酸菜鱼，30元”等等。当某日小王再次来到本餐馆的服务柜台，服务柜台上方的摄像头则会采集到小王的图像，对小王的图像进行人脸识别处理，识别出其人脸特征数据后，则会于顾客画像分析库中匹配得到小王的历史用餐记录，根据历史用餐记产生相应的个性化菜单，例如“三宝饭，25元，酸菜鱼，30元，辣子鸡块，26元，回锅肉盖浇饭，20元”。较佳地，于步骤S200中，还可以根据该顾客画像分析库中该用餐客人对应的个人餐饮偏好信息对个性化菜单进行排序，例如顾客画像分析库中根据其用餐记录分析获得的对应该用餐客人的个人餐饮偏好信息有“川菜”，“消费额度为20-30元”等，则于步骤S200中，则会对个性化菜单的菜品进行排序如下“酸菜鱼，30元，辣子鸡块，26元，回锅肉盖浇饭，20元，三宝饭，25元”。

优选地，于步骤S200中，在产生个性化菜单的同时，于餐馆推出新品或推出菜品活动时，还可以生成推荐菜单。例如当本餐馆推出新品水煮鱼时，则在根据历史用餐记录产生个性化菜单的同时，还生成推荐菜单，该推荐菜单则包括“水煮鱼，26”。较佳地，当推出新品或推出新的菜品活动时，根据个人餐饮偏好信息生成推荐菜单，例如该用餐客人的个人餐饮偏好为“川菜”，“消费额度为20-30元”，假设推出的新品为“糖醋排骨，40元”，不符合该用餐客人的个人餐饮偏好，则不将其加入推荐菜单，而若推出的新品为“水煮鱼，28元”，则符合该用餐客人的个人餐饮偏好，则将其加入推荐菜单。

步骤S201，若顾客画像分析库中没有能与识别出的用餐客人的人脸特征数据得以匹配的数据，则说明该用餐客人为新顾客，则采用预设菜单作为该新用餐客人的个性化菜单，即对新顾客采用默认的菜单推荐方案。优选地，所述预设菜单可以是商家根据自己特色预先设置的菜单，也可以是根据所有的用餐客人的评分而选取的评分高的菜品生成的菜单，本发明不以此为限。

步骤S3，将生成的个性化菜单通过终端设备予以输出显示。在本发明具体实施例中，所述终端设备可以是终端POS机，即将生成的该用餐客人的个性化菜单及时显示于终端POS机上，以便服务人员快速协助用餐客人进行点餐，以小王为例，当于终端POS机上输出其个性化菜单时，即“酸菜鱼，30元，辣子鸡块，26元，回锅肉盖浇饭，20元，三宝饭，25元”，若小王想点其喜好的菜品“酸菜鱼，30元”，则服务人员可以快速地协助小王选择其理想的菜品“酸菜鱼，30元”，大大节省了服务人员与小王的时间，提高了餐饮服务的效率。较佳地，于步骤S3中，于将生成的个性化菜单通过终端设备予以输出显示的同时，将推荐菜单也通过终端设备输出显示，即当生成的推荐菜单“水煮鱼，28元”，将生成的推荐菜单与个性化菜单均于终端POS机上予以显示，则小王可以很快地看到符合其偏好的新品，以决定是否选择新品进行尝试。

步骤S4，接收下单支付请求，并于支付成功后进入步骤S5，以存录该用餐客人本次的用餐信息。

步骤S5，于所述顾客画像分析库中存录该用餐客人本次的用餐信息，例如用餐时间，菜品以及价格，若为老顾客，则将本次下单记录存录于对应的用餐客人信息中，若为新顾客，则建立新记录，记录该新顾客的人脸特征数据及本次的下单交易记录。

图2为本发明一种基于图像识别的菜单推送***的***架构图。如图2所示，本发明一种基于图像识别的菜单推送***，包括：

人脸识别处理单元201，用于采集用餐客人的影像资料，并对采集的影像资料进行人脸识别处理，识别出用餐客人的人脸特征数据。在本发明具体实施例中，可通过利用摄像头获取用餐客人的图像或视频流，摄像头可设置于服务柜台上方，或者餐厅内各餐桌的上方，当用餐客人于服务柜台进行排队时或进入餐厅于餐桌边就坐时，设置于其上方的摄像头对用餐客人进行图像或视频流采集，然后对采集的图像或者视频流，首先判断其是否存在人脸,如果存在人脸，则进一步进行人脸特征提取，例如每个脸的位置、大小和各个主要面部器官的位置信息。由于人脸识别技术已是现有的成熟技术，本发明利用的也是现有的人脸识别技术，在此不予赘述。

人脸特征匹配单元202，用于将识别出的用餐客人的人脸特征数据与顾客画像分析库中的记录进行匹配，根据匹配结果产生相应的个性化菜单。在本发明中，顾客画像分析库为预先建立，即每个用餐客人完成结账后，则会于顾客画像分析库中存录该用餐客人的相关数据(即生成历史用餐记录)，较佳地，顾客画像分析库中还存储有根据其用餐记录分析获得的对应该用餐客人的个人餐饮偏好信息。这里的个人餐饮偏好信息可包括菜系偏好信息、口味偏好信息、忌口食物信息和素食肉食偏好信息、消费额度中任一者或多者。

具体地，人脸特征匹配单元202进一步包括：

第一匹配结果处理单元，于识别出的用餐客人的人脸特征数据与顾客画像分析库中的数据得以匹配时，则说明该用餐客人为老顾客，则根据其历史用餐记录产生相应的个性化菜单。举例来说，假如小王为本餐馆的老顾客，则于该顾客画像分析库中会有小王的人脸特征数据，对应小王的则有其历史用餐记录，例如“2018/6/12，三宝饭，25元”、“2018/6/13，酸菜鱼，30元”、“2018/6/14，辣子鸡块，26元”、“2018/6/15，回锅肉盖浇饭，20元”、“2018/6/16，酸菜鱼，30元”等等。当某日小王再次来到本餐馆的服务柜台，服务柜台上方的摄像头则会采集到小王的图像，对小王的图像进行人脸识别处理，识别出其人脸特征数据后，则会于顾客画像分析库中匹配得到小王的历史用餐记录，根据历史用餐记产生相应的个性化菜单，例如“三宝饭，25元，酸菜鱼，30元，辣子鸡块，26元，回锅肉盖浇饭，20元”。较佳地，于步骤S200中，还可以根据该顾客画像分析库中该用餐客人对应的个人餐饮偏好信息对个性化菜单进行排序，例如顾客画像分析库中根据其用餐记录分析获得的对应该用餐客人的个人餐饮偏好信息有“川菜”，“消费额度为20-30元”等，则于步骤S200中，则会对个性化菜单的菜品进行排序如下“酸菜鱼，30元，辣子鸡块，26元，回锅肉盖浇饭，20元，三宝饭，25元”。

优选地，第一匹配结果处理单元在产生个性化菜单的同时，于餐馆推出新品或推出菜品活动时，还可以生成推荐菜单。例如当本餐馆推出新品水煮鱼时，则在根据历史用餐记录产生个性化菜单的同时，还生成推荐菜单，该推荐菜单则包括“水煮鱼，26”。较佳地，当推出新品或推出新的菜品活动时，根据个人餐饮偏好信息生成推荐菜单，例如该用餐客人的个人餐饮偏好为“川菜”，“消费额度为20-30元”，假设推出的新品为“糖醋排骨，40元”，不符合该用餐客人的个人餐饮偏好，则不将其加入推荐菜单，而若推出的新品为“水煮鱼，28元”，则符合该用餐客人的个人餐饮偏好，则将其加入推荐菜单。

第二匹配结果处理单元，于顾客画像分析库中没有能与识别出的用餐客人的人脸特征数据得以匹配的数据时，则说明该用餐客人为新顾客，则采用预设菜单作为该新用餐客人的个性化菜单，即对新顾客采用默认的菜单推荐方案。优选地，所述预设菜单可以是商家根据自己特色预先设置的菜单，也可以是根据所有的用餐客人的评分而选取的评分高的菜品生成的菜单，本发明不以此为限。

菜单输出单元203，用于将生成的个性化菜单通过终端设备予以输出显示。在本发明具体实施例中，所述终端设备可以是终端POS机，即将生成的该用餐客人的个性化菜单及时显示于终端POS机上，以便服务人员快速协助用餐客人进行点餐，以小王为例，当于终端POS机上输出其个性化菜单时，即“酸菜鱼，30元，辣子鸡块，26元，回锅肉盖浇饭，20元，三宝饭，25元”，若小王想点其喜好的菜品“酸菜鱼，30元”，则服务人员可以快速地协助小王选择其理想的菜品“酸菜鱼，30元”，大大节省了服务人员与小王的时间，提高了餐饮服务的效率。较佳地，于步骤S3中，于将生成的个性化菜单通过终端设备予以输出显示的同时，将推荐菜单也通过终端设备输出显示，即当生成的推荐菜单“水煮鱼，28元”，将生成的推荐菜单与个性化菜单均于终端POS机上予以显示，则小王可以很快地看到符合其偏好的新品，以决定是否选择新品进行尝试。

支付下单单元204，用于接收下单支付请求，并于支付成功后于启动顾客画像分析库更新单元以存录该用餐客人本次的用餐信息。

顾客画像分析库更新单元205，用于于所述顾客画像分析库中存录该用餐客人本次的用餐信息，并对其进行分析，以更新所述顾客画像分析库，本次的用餐信息例如用餐时间，菜品以及价格，具体地，若为老顾客，顾客画像分析库更新单元205则将本次下单记录存录于对应的用餐客人信息中，若为新顾客，支付下单单元204则建立新记录，记录该新顾客的人脸特征数据及本次的下单交易记录，所述顾客画像分析库更新单元205还会根据新增的记录对该用餐客人的个人餐饮偏好信息进行再次分析，以更新该用餐客人的个人餐饮偏好信息。

图3为本发明具体实施例中基于图像识别的菜单推送的流程图。如图3所示，本发明之基于图像识别的菜单推送过程如下：

步骤S1，于服务柜台上方设置人脸识别摄像镜头，连接人脸识别单元，当用餐顾客在服务柜台进行排队时，利用该摄像镜头进行摄像，传入人脸识别单元进行记录存储影像资料后，进行人脸识别，识别出该图像中的人脸特征。

步骤S2，进行顾客资料的匹配，即于顾客画像分析库中筛选或新建顾客资料；

步骤S3，根据匹配结果生成个性化菜单，并传送至餐厅POS(Pointofsales)硬件端。具体地，将识别出的人脸特征与顾客画像分析库中的数据进行匹配，若为旧用餐客户，则分析用餐顾客的影像、性别、消费额度、用餐时间、喜好、当日气温等，根据历史用餐记录组合常用菜单，生成个性化的菜单，并传送至餐厅POS(Pointofsales)硬件端，若为新用餐用户，则采用默认菜单及默认的推荐用餐方案生成个性化菜单传送至POS(Pointofsales)硬件端；

步骤S4，餐厅POS(Pointofsales)硬件端收到个性化菜单后，会变更POS(Pointofsales)硬件端缩小显示，由柜台服务人员在POS(Pointofsales)屏幕点开，为顾客实行点单，或当下推荐用餐方案给用餐顾客。

步骤S5，当用餐顾客点单完成结帐后，餐厅POS(Pointofsales)硬件端将用餐客户的点单讯息、结帐金额，回传至顾客画像分析库更新单元，进行资料录入及更新。

综上所述，本发明一种基于图像识别的菜单推送方法及***通过采集用餐客人的影像资料，对采集的影像资料进行人脸识别处理，识别出用餐客人的人脸特征数据，并将识别出的用餐客人的人脸特征数据与顾客画像分析库中的记录进行匹配，根据匹配结果产生相应的个性化菜单，最后将生成的个性化菜单通过终端设备予以输出显示，本发明能够节省餐饮门店人员点餐服务时间，提高了服务效率，并有利现场人员进行更精准的商品推广，同时也节省用餐客人的时间，提高了用餐客人的用餐体验。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于图像识别的菜单推送方法，包括：

步骤S1，采集用餐客人的影像资料，并对采集的影像资料进行人脸识别处理，识别出用餐客人的人脸特征数据；

步骤S2，将识别出的用餐客人的人脸特征数据与顾客画像分析库中的记录进行匹配，根据匹配结果产生相应的个性化菜单；

步骤S3，将生成的个性化菜单通过终端设备予以输出显示；

步骤S4,接收下单支付请求，并于支付成功后进入步骤S5；

步骤S5，于所述顾客画像分析库中存录该用餐客人本次的用餐信息以更新所述顾客画像分析库。

2.如权利要求1所述的一种基于图像识别的菜单推送方法，其特征在于：于步骤S2中，若识别出的用餐客人的人脸特征数据与顾客画像分析库中的数据得以匹配，则根据其历史用餐记录产生相应的个性化菜单。

3.如权利要求2所述的一种基于图像识别的菜单推送方法，其特征在于：根据所述顾客画像分析库中该用餐客人对应的个人餐饮偏好信息对所述个性化菜单进行排序。

4.如权利要求3所述的一种基于图像识别的菜单推送方法，其特征在于：于步骤S2中，在产生个性化菜单的同时，于餐馆推出新品或新推出菜品活动时，根据新品或新推出的菜品活动生成推荐菜单。

5.如权利要求4所述的一种基于图像识别的菜单推送方法，其特征在于：于步骤S2中，当推出新品或新推出菜品活动时，根据该用餐客人的个人餐饮偏好信息生成所述推荐菜单。

6.如权利要求1所述的一种基于图像识别的菜单推送方法，其特征在于：于步骤S2中，若该顾客画像分析库中没有能与识别出的用餐客人的人脸特征数据得以匹配的数据，则采用预设菜单作为该新用餐客人的个性化菜单。

7.如权利要求6所述的一种基于图像识别的菜单推送方法，其特征在于：所述预设菜单为商家根据自己特色预先设置的菜单，或根据所有的用餐客人的评分而选取的评分高的菜品生成的菜单。

8.如权利要求5所述的一种基于图像识别的菜单推送方法，其特征在于：于步骤S3中，在将生成的个性化菜单通过终端设备予以输出显示的同时，将所述推荐菜单也通过所述终端设备输出显示。

9.如权利要求1所述的一种基于图像识别的菜单推送方法，其特征在于：于步骤S5中，若该用餐客人为老顾客，则将本次下单记录存录于该顾客画像分析库中对应的用餐客人信息中，若该用餐客人为新顾客，则于所述顾客画像分析库中建立新记录，以记录该新顾客的人脸特征数据及本次的下单交易信息。

10.一种基于图像识别的菜单推送***，包括：

人脸识别处理单元，用于采集用餐客人的影像资料，并对采集的影像资料进行人脸识别处理，识别出用餐客人的人脸特征数据；

人脸特征匹配单元，用于将识别出的用餐客人的人脸特征数据与顾客画像分析库中的记录进行匹配，根据匹配结果产生相应的个性化菜单；

菜单输出单元，用于将生成的个性化菜单通过终端设备予以输出显示；

支付下单单元，用于接收下单支付请求，并于支付成功后于启动顾客画像分析库更新单元以存录该用餐客人本次的用餐信息；

顾客画像分析库更新单元，用于于所述顾客画像分析库中存录该用餐客人本次的用餐信息，并对其进行分析，以更新所述顾客画像分析库。