CN109767258A - 基于眼部图像识别的智能导购方法及装置 - Google Patents
基于眼部图像识别的智能导购方法及装置 Download PDFInfo
- Publication number
- CN109767258A CN109767258A CN201811537267.9A CN201811537267A CN109767258A CN 109767258 A CN109767258 A CN 109767258A CN 201811537267 A CN201811537267 A CN 201811537267A CN 109767258 A CN109767258 A CN 109767258A
- Authority
- CN
- China
- Prior art keywords
- user
- shopping guide
- watching direction
- classification
- commodity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001508 eye Anatomy 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003860 storage Methods 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 16
- 231100001035 ocular change Toxicity 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000287181 Sturnus vulgaris Species 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像识别领域,公开了一种基于眼部图像识别的智能导购方法、装置、计算机设备及存储介质,其方法包括:侦测用户的目光注视方向,选取所述目光注视方向上的商品分类;在显示画面上显示有多个商品分类,每个商品分类对应一个目光注视方向;计算用户在所述目光注视方向上的停留时间;当用户在所述目光注视方向的停留时间达到预设阈值时,确定所述目光注视方向上的商品分类为目标商品分类;获取与所述目标商品分类关联的导购信息,并输出所述导购信息。本发明通过眼部交互的方式实现了导购功能,可以通过搜索商品品类的位置帮助用户快速寻找到自己需要购买的商品的所在位置,大大节省了顾客寻找商品的时间,增强了顾客的用户体验。
Description
技术领域
本发明涉及图像识别领域,尤其涉及一种基于眼部图像识别的智能导购方法、装置、计算机设备及存储介质。
背景技术
在大型超市购物时,由于超市商品种类繁多,顾客往往难以找到自己需要购买的商品。此时,顾客往往会向现场的工作人员求助,询问需要购买的商品的所在位置。然而,当工作人员对商品位置不熟悉时,顾客往往要询问多个工作人员之后才获知商品的所在位置。
然而这种沟通方式效率较低,顾客的体验不佳。
发明内容
基于此,有必要针对上述技术问题,提供一种基于眼部图像识别的智能导购方法、装置、计算机设备及存储介质,以帮助顾客寻找需要购买的商品,并节省寻找商品所花费的时间。
一种基于眼部图像识别的智能导购方法,包括:
侦测用户的目光注视方向,选取所述目光注视方向上的商品分类;在显示画面上显示有多个商品分类,每个商品分类对应一个目光注视方向;
计算用户在所述目光注视方向上的停留时间;
当用户在所述目光注视方向的停留时间达到预设阈值时,确定所述目光注视方向上的商品分类为目标商品分类;
获取与所述目标商品分类关联的导购信息,并输出所述导购信息。
一种基于眼部图像识别的智能导购装置,包括:
选取分类模块,用于侦测用户的目光注视方向,选取所述目光注视方向上的商品分类;在显示画面上显示有多个商品分类,每个商品分类对应一个目光注视方向;
计算停留时间模块,用于计算用户在所述目光注视方向上的停留时间;
确定分类模块,用于当用户在所述目光注视方向的停留时间达到预设阈值时,确定所述目光注视方向上的商品分类为目标商品分类;
输出导购信息模块,用于获取与所述目标商品分类关联的导购信息,并输出所述导购信息。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于眼部图像识别的智能导购方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于眼部图像识别的智能导购方法的步骤。
上述基于眼部图像识别的智能导购方法、装置、计算机设备及存储介质,其方法包括:侦测用户的目光注视方向,选取所述目光注视方向上的商品分类;在显示画面上显示有多个商品分类,每个商品分类对应一个目光注视方向;计算用户在所述目光注视方向上的停留时间;当用户在所述目光注视方向的停留时间达到预设阈值时,确定所述目光注视方向上的商品分类为目标商品分类;获取与所述目标商品分类关联的导购信息,并输出所述导购信息。本发明通过眼部交互的方式实现了导购功能,可以通过搜索商品品类的位置帮助用户快速寻找到自己需要购买的商品的所在位置,大大节省了顾客寻找商品的时间,增强了顾客的用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于眼部图像识别的智能导购方法的一应用环境示意图;
图2是本发明一实施例中基于眼部图像识别的智能导购方法的一流程示意图;
图3是本发明一实施例中基于眼部图像识别的智能导购方法的一应用场景示意图;
图4是本发明一实施例中基于眼部图像识别的智能导购方法的一流程示意图;
图5是本发明一实施例中基于眼部图像识别的智能导购方法的一流程示意图;
图6是本发明一实施例中基于眼部图像识别的智能导购方法的一流程示意图;
图7是本发明一实施例中基于眼部图像识别的智能导购方法的一流程示意图;
图8是本发明一实施例中基于眼部图像识别的智能导购方法的一流程示意图;
图9是本发明一实施例中基于眼部图像识别的智能导购装置的一结构示意图;
图10是本发明一实施例中基于眼部图像识别的智能导购装置的一结构示意图;
图11是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例提供的基于眼部图像识别的智能导购方法,可应用在如图1的应用环境中,其中,智能导购装置通过网络与服务端进行通信。其中,智能导购装置设置有拍摄装置,可以获取用户的眼部精细图像。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种目光导购方法,以该方法应用在图1中的智能导购装置为例进行说明,包括如下步骤:
S10、侦测用户的目光注视方向,选取所述目光注视方向上的商品分类;在显示画面上显示有多个商品分类,每个商品分类对应一个目光注视方向。
本实施例中,用户包括但不限于顾客、商超的工作人员、调试智能导购装置的测试人员。目光注视方向包括但不限于左上、左中、左下、中上、中中、中下、右上、右中、右下。
本实施例提供的基于眼部图像识别的智能导购方法可通过智能导购装置实现。智能导购装置可以设置于超市的入口。智能导购装置与服务端连接,并从服务端获取商品分类的信息。智能导购装置可用于帮助用户快速查找自己需要的商品品类,并提供该商品品类的导购信息。在此处,导购信息包括但不限于前往该商品品类所在货架的路线信息,以及相关商品的促销信息。智能导购装置具有显示画面,显示画面可显示于一个或多个显示屏,用于展示多个商品品类。商品分类是指根据一定的管理目的,为满足商品生产、流通、消费活动的全部或部分需要,将管理范围内的商品集合总体,以所选择的适当的商品基本特征作为分类标志,逐次归纳为若干个范围更小、特质更趋一致的子集合体(类目),例如大类、中类、小类、细类,直至品种、细目。如商品分类可以是衣服、日用品、家电、食品等。展示的商品品类按指定周期动态更新。
智能导购装置还设置有目光捕抓设备,用于获取用户的目光停留状态。目光捕抓设备可以由一个或多个拍摄装置构成。拍摄装置可以是摄像头。智能导购装置通过拍摄装置可以捕抓用户的眼部图像,并根据眼部图像判断用户的注视方向。
可通过同时获取不同拍摄装置捕抓到用户的图像,然后通过计算图像中用户眼部的特征来确定用户的目光注视方向。在一种情况下,可以先获取用户观看最中间的屏幕或屏幕中央的标准图像,然后将后续的图像与标准图像比较,计算差异特征,进而确定用户的目光注视方向。例如,在用户选择商品分类前,先播放一段提示音,提示用户注视屏幕中央区域,并保持三秒钟,同时拍摄装置获取该时间内用户的图像,并将获取的图像作为标准图像。当用户向左右或上下查看商品时,拍摄装置获取到的图像与标准图像具有较大差别,可通过该差别计算出用户的目光注视方向。
在确定用户的目光注视方向后,选取目光注视方向上的商品分类。例如,显示画面中包含9个商品分类,分别与9个目光注视方向对应。左上方的商品分类与左上的目光注视方向对应。以此类推。
S20、计算用户在所述目光注视方向上的停留时间。
若拍摄装置获取到的图像中,用户的眼部无明显变化时,则认为用户在其对应的目光注视方向上停留。可以在确认用户的目光注视方向之后,进行计时,当用户的眼部发生变化时,停止计时,将计时结果确定为用户在该目光注视方向上的停留时间。
S30、当用户在所述目光注视方向的停留时间达到预设阈值时,确定所述目光注视方向上的商品分类为目标商品分类。
本实施例中,预设阈值可以根据实际需要进行设定。预设阈值可以设定为2秒钟,也可以设置为3秒钟。当用户在目光注视方向的停留时间达到预设阈值时,确定目光注视方向上的商品分类为目标商品分类。例如,预设阈值为3秒钟,用户盯着左上方的商品分类3秒钟,智能导购装置则判定左上方的商品分类为用户所需要寻找的商品分类;用户盯着右上方的商品分类3秒钟,智能导购装置则判定右上方的商品分类为用户所需要寻找的商品分类。
S40、获取与所述目标商品分类关联的导购信息,并输出所述导购信息。
本实施例中,在确定用户的目标商品分类之后,可以从服务端获取与该目标商品分类关联的导购信息,并输出与目标商品分类关联的导购信息。导购信息包括但不限于商品分类在商场中的位置,商品分类的介绍,该商品分类下的特价促销信息。导购信息可以直接显示于当前显示界面上,也可以发送给用户所携带的移动终端。
步骤S10-S40中,侦测用户的目光注视方向,选取所述目光注视方向上的商品分类,在显示画面上显示有多个商品分类,每个商品分类对应一个目光注视方向,通过分析采集的图像获得用户选取的商品分类,交互方式新颖,用户无需与显示屏幕接触便可选取自己喜爱的商品分类。计算用户在所述目光注视方向上的停留时间,以确定用户是否选择该目光注视方向上的商品分类。当用户在所述目光注视方向的停留时间达到预设阈值时,确定所述目光注视方向上的商品分类为目标商品分类,以使用户可以使用目光停留的方式选定商品分类。获取与所述目标商品分类关联的导购信息,并输出所述导购信息,以使用户获得该导购信息。
如图3所示,在一应用场景中,智能导购装置由多个显示屏幕组成。显示屏幕可以使用LED(发光二极管)显示组件。每个显示屏幕可以显示一种商品分类。每个显示屏幕有配设有一个摄像头。正常工作时,用户站立在智能导购装置前,通过眼神与智能导购装置进行交互,并通过该智能导购装置获取自己需要的商品信息。此处的眼神指的包括但不限于目光注视方向、目光停留时间和眼部动作。
可选的,本发明另一实施例中,如图4所示,步骤S10包括:
S101、监测用户是否处于侦测范围内;
S102、若所述用户不处于侦测范围内,则发出用户位置调整提醒;
S103、若所述用户处于侦测范围内,则侦测所述用户的目光注视方向。
本实施例中,目光捕抓设备具有一个最佳的侦测范围,用户距离目光捕抓设备过近或过远都会影响侦测结果。目光捕抓设备可以通过脸部面积算法计算用户的人脸在获取的视频画面中的比例,若计算出的比例在预设范围内,则认为用户处于侦测范围内,若计算出的比例不在预设范围内,则认为用户不处于侦测范围内。
当用户不处于侦测范围内,则发出用户位置调整提醒,以调整用户与目光捕抓设备的相对位置,使目光捕抓设备可以更好地侦测用户的目光停留状态。可以根据监测结果确定提醒的内容。例如,脸部面积的预设范围为30%-60%,若计算出脸部面积的比例为25%,则认为用户不处于侦测范围内,此时发出“请顾客再靠近一点”的提醒;若计算出脸部面积的比例为75%,则认为用户不处于侦测范围内,此时发出“请顾客再远离一点”的提醒。
在另一实施例中,也可以在目光捕抓设备前面的地面上设置有指引标识,若用户站立在指引标识上,则认为用户处于侦测范围内,若用户站立在指引标识外,则认为用户不处于侦测范围内。指引标识可以是与邻近地面颜色不一致的色块,也可以是喷涂于地面上的圆圈。可以设置距离感应设备感应用户是否站立在指引标识上。
步骤S101-S103中,监测用户是否处于侦测范围内,以确保获取到的图像符合预设分类模型的处理要求。若所述用户不处于侦测范围内,则发出用户位置调整提醒,以使用户调整与拍摄装置的位置。若所述用户处于侦测范围内,则侦测所述用户的目光注视方向,以获得用户的目光注视方向。
可选的,本发明另一实施例中,如图5所示,步骤S10包括:
S104、获取包含用户眼部的视频画面;
S105、将所述视频画面输入预设分类模型,以获取用户的目光注视方向。
可通过人脸检测器判断视频画面是否包含人脸,并判断人脸的朝向。人脸的朝向包括正面的人脸和侧面的人脸。人脸检测器是数字信息发展中的一种生物特征识别技术,通过摄像机采集含有人脸的图像或者视频流,并自动在图像中检测和跟踪人脸,可以对检测到的人脸进行人脸定位。若检测到视频画面包含人脸,且人脸的朝向为正面的人脸,则该视频画面包含用户眼部。视频画面可以由一个拍摄设备获取,也可以由多个拍摄设备获取。视频画面可以是一个画面信息,可以是由多个画面信息合成的三维图像,也可以是一组画面信息。
预设分类模型可以是基于机器学习算法构建的分类模型。如,通过输入多个包含用户眼部的视频画面,提取视频画面的特征,经多次训练,获得预设分类模型。经预设分类模型处理后,可输出用户的目光注视方向。目光注视方向包括但不限于左上、左中、左下、中上、中中、中下、右上、右中、右下。在一些情况下,目光注视方向也可以与当前显示画面中展示的商品品类相关联。
例如,若显示画面仅包含3个商品分类,且这3个商品分类按从左到右排列,则左边的商品分类可对应目标注视方向的左上、左中、左下;中间的商品分类可对应目标注视方向的中上、中中、中下;右边的商品分类可对应目标注视方向的右上、右中、右下。
步骤S104-S105中,获取包含用户眼部的视频画面,以获得用于识别用户目光注视方向的输入数据。将所述视频画面输入预设分类模型,以获取用户的目光注视方向,通过预设分类模型确定用户的目光注视方向。
可选的,本发明另一实施例中,如图6所示,步骤S20包括:
S201、在确定用户的目光注视方向的时刻起,开始计时。
S202、持续侦测视频画面中用户眼部区域是否发生变化。
本实施例中,在确定用户的目光注视方向之后,开始计时,并侦测视频画面中用户眼部区域是否发生变化。在侦测的过程中,视频画面随着时间的变化而变化。但当用户沿着目光注视方向看着显示界面中的某一个商品分类,并停留一段时间时,视频画面中用户的眼部区域将不会发生大的变化。将用户眼部区域不发生变化的持续时间确定为目光停留时间。眼部区域可通过人脸***进行确定,其中人脸***是一种人脸定位算法,可以确定人脸中的五官位置。
可以设置一预设画面阈值,将获取目光注视方向时的画面帧标记为初始帧,若初始帧之后的视频帧中眼部区域与初始帧中用户眼部区域的差值小于预设画面阈值,则认为视频画面中用户眼部区域未发生变化;若初始帧之后的视频帧中眼部区域与初始帧中用户眼部区域的差值大于或等于预设画面阈值,则认为视频画面中用户眼部区域发生变化。若视频画面中用户眼部区域发生变化,则继续侦测用户的目光注视方向。
上述预设画面阈值可以是一个经验值。例如,可以让多个人进行试验,在目光捕抓设备前保持某一目光注视方向,持续一段时间。然后对上述试验所获得视频进行处理,计算用户在保持目光注视方向期间的眼部区域变化,并根据该变化确定预设画面阈值。
S203、若所述预设阈值的时间范围内,视频画面中用户眼部区域没有发生变化,则将所述预设阈值设置为用户在所述目光注视方向上的停留时间。
S204、若所述预设阈值的时间范围内,视频画面中用户眼部区域发生变化,则在所述视频画面中用户眼部区域发生变化时,停止计时,将计时结果记为所述停留时间。
本实施例中,计算用户在目光注视方向上的停留时间的目的在于确定用户在目光注视方向上的停留时间是否达到预设阈值。因此,可以设定:当预设阈值的时间范围内,视频画面中用户眼部区域没有发生变化,将预设阈值设置为用户在所述目光注视方向上的停留时间。也就是说,若预设阈值为3秒,若用户在目光注视方向上停留的时间大于或等于3秒时,获得的停留时间均为3秒。而但用户在目光注视方向上停留的时间小于3秒,则根据视频画面中用户眼部区域发生变化的时刻的计时结果确定停留时间。例如,当视频画面中用户眼部区域发生变化时,计时为1.2秒,则停留时间即为1.2秒。
步骤S201-S204中,在确定用户的目光注视方向的时刻起,开始计时,以计算用户目光的停留时间。持续侦测视频画面中用户眼部区域是否发生变化,根据用户眼部区域的变化来确定计时的终点。若所述预设阈值的时间范围内,视频画面中用户眼部区域没有发生变化,则将所述预设阈值设置为用户在所述目光注视方向上的停留时间,由于计算出的停留时间目的在于与预设阈值比较,在此状况下不需要计算用户目光的真正停留时间,而是当用户目光注视的时长达到预设阈值,并可做出反映,为用户提供相应的反馈信息。若所述预设阈值的时间范围内,视频画面中用户眼部区域发生变化,则在所述视频画面中用户眼部区域发生变化时,停止计时,将计时结果记为所述停留时间,在此状况下,可获得用户眼光的真实停留时间。
可选的,本发明另一实施例中,如图7所示,步骤S104之后,还包括:
S106、按预设时间间隔提取预设时间间隔内的多个视频画面;
S107、将所述多个视频画面输入预设动作判断模型,获取用户的眼部动作;
S108、获取与所述眼部动作关联的操作;
S109、根据所述操作更新显示.画面。
本实施例中,预设时间间隔可以根据实际需要进行设定,如可以是1秒、2秒、3秒或其他时间。预设动作判断模型可以是基于机器学习算法构建的判断模型。如,通过输入多个包含眼部动作的视频片段,提取视频片段的特征,经多次训练,获得预设动作判断模型。经预设动作判断模型处理后,可输出用户的眼部动作。眼部动作包括但不限于眨眼动作、眼球转动动作、翻白眼动作。
眼部动作可以与屏幕的操作关联,如眨眼动作与撤销操作关联,眼球转动动作与翻页操作关联,翻白眼动作与返回操作关联。例如,可建立以下的对应关系:
表1眼部动作与操作的对应关系
眼部动作 | 操作 |
眨眼 | 撤销 |
眼球转动 | 翻页 |
翻白眼 | 返回 |
在智能导购装置检测到用户的眼部动作后,获取与眼部动作关联的操作,然后根据操作更新显示画面。例如,智能导购装置检测到的眼部动作为眨眼动作,则获取与眨眼动作关联的撤销操作,执行该撤销操作后,原先被选中的商品分类取消选中,该商品分类从高亮状态恢复为正常状态。此时,用户可以做出重新选择,以获取自己所需要的商品分类。
步骤S106-S109中,按预设时间间隔提取预设时间间隔内的多个视频画面,以获得预设动作判断模型的输入数据。将所述多个视频画面输入预设动作判断模型,获取用户的眼部动作,以识别出用户的眼部动作。获取与所述眼部动作关联的操作,以确定用户所需要执行的操作。根据所述操作更新显示画面,以使用户获得自己需要的结果。
可选的,本发明另一实施例中,如图8所示,步骤S40包括:
S401、获取与所述目标商品分类关联的导购二维码;
S402、在所述显示选择对象的显示区域内展示所述导购二维码,所述导购二维码包括跳转到指定页面的链接,所述指定页面包括所述导购信息。
本实施例中,每个商品分类都预先分配了一个导购二维码。导购二维码包括跳转到指定页面的链接,该指定页面包括导购信息。当用户用移动终端扫描该导购二维码时,则该移动终端读取导航二维码所包含的跳转到指定页面的链接,并可***,打开包含导购信息的指定页面。用户可以根据指定页面上的导购信息寻找自己需要采购的商品以及该商品所在位置。
步骤S401-S402中,获取与所述目标商品分类关联的导购二维码,用户可通过导购二维码获取需要自己需要的导购信息。在所述显示选择对象的显示区域内展示所述导购二维码,所述导购二维码包括跳转到指定页面的链接,所述指定页面包括所述导购信息,用户可通过扫描导购二维码的方式,在自己的移动终端上查看导购信息。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种基于眼部图像识别的智能导购装置,该基于眼部图像识别的智能导购装置与上述实施例中基于眼部图像识别的智能导购方法一一对应。如图9所示,该基于眼部图像识别的智能导购装置包括选取分类模块10、计算停留时间模块20、确定分类模块30和输出导购信息模块40。各功能模块详细说明如下:
选取分类模块10,用于侦测用户的目光注视方向,选取所述目光注视方向上的商品分类;在显示画面上显示有多个商品分类,每个商品分类对应一个目光注视方向;
计算停留时间模块20,用于计算用户在所述目光注视方向上的停留时间;
确定分类模块30,用于当用户在所述目光注视方向的停留时间达到预设阈值时,确定所述目光注视方向上的商品分类为目标商品分类;
输出导购信息模块40,用于获取与所述目标商品分类关联的导购信息,并输出所述导购信息。
可选的,如图10所示,选取分类模块10包括:
侦测范围单元101,用于监测用户是否处于侦测范围内;
位置调整单元102,用于若所述用户不处于侦测范围内,则发出用户位置调整提醒;
侦测单元103,用于若所述用户处于侦测范围内,则侦测所述用户的目光注视方向。
可选的,选取分类模块10还包括:
获取视频画面单元104,用于获取包含用户眼部的视频画面;
获取注视方向单元105,用于将所述视频画面输入预设分类模型,获取用户的目光注视方向。
可选的,计算停留时间模块20包括:
计算单元,用于在确定用户的目光注视方向的时刻起,开始计时;
侦测变化单元,用于持续侦测视频画面中用户眼部区域是否发生变化;
第一确定停留时间单元,用于若所述预设阈值的时间范围内,视频画面中用户眼部区域没有发生变化,则将所述预设阈值设置为用户在所述目光注视方向上的停留时间;
第二确定停留时间单元,用于若所述预设阈值的时间范围内,视频画面中用户眼部区域发生变化,则在所述视频画面中用户眼部区域发生变化时,停止计时,将计时结果记为所述停留时间。
可选的,选取分类模块10还包括:
提取视频画面单元,用于按预设时间间隔提取预设时间间隔内的多个视频画面;
获取眼部动作单元,用于将所述多个视频画面输入预设动作判断模型,获取用户的眼部动作;
获取操作单元,用于获取与所述眼部动作关联的操作;
更新单元,用于根据所述操作更新显示画面。
关于基于眼部图像识别的智能导购装置的具体限定可以参见上文中对于基于眼部图像识别的智能导购方法的限定,在此不再赘述。上述基于眼部图像识别的智能导购装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图11所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种基于眼部图像识别的智能导购方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
侦测用户的目光注视方向,选取所述目光注视方向上的商品分类;在显示画面上显示有多个商品分类,每个商品分类对应一个目光注视方向;
计算用户在所述目光注视方向上的停留时间;
当用户在所述目光注视方向的停留时间达到预设阈值时,确定所述目光注视方向上的商品分类为目标商品分类;
获取与所述目标商品分类关联的导购信息,并输出所述导购信息。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
侦测用户的目光注视方向,选取所述目光注视方向上的商品分类;在显示画面上显示有多个商品分类,每个商品分类对应一个目光注视方向;
计算用户在所述目光注视方向上的停留时间;
当用户在所述目光注视方向的停留时间达到预设阈值时,确定所述目光注视方向上的商品分类为目标商品分类;
获取与所述目标商品分类关联的导购信息,并输出所述导购信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于眼部图像识别的智能导购方法,其特征在于,包括:
侦测用户的目光注视方向,选取所述目光注视方向上的商品分类;
在显示画面上显示有多个商品分类,每个商品分类对应一个目光注视方向;
计算用户在所述目光注视方向上的停留时间;
当用户在所述目光注视方向的停留时间达到预设阈值时,确定所述目光注视方向上的商品分类为目标商品分类;
获取与所述目标商品分类关联的导购信息,并输出所述导购信息。
2.如权利要求1所述的基于眼部图像识别的智能导购方法,其特征在于,所述侦测用户的目光注视方向,选取所述目光注视方向上的商品分类,包括:
监测用户是否处于侦测范围内;
若所述用户不处于侦测范围内,则发出用户位置调整提醒;
若所述用户处于侦测范围内,则侦测所述用户的目光注视方向。
3.如权利要求1所述的基于眼部图像识别的智能导购方法,其特征在于,所述侦测用户的目光注视方向,选取所述目光注视方向上的商品分类,包括:
获取包含用户眼部的视频画面;
将所述视频画面输入预设分类模型,获取用户的目光注视方向。
4.如权利要求1所述的基于眼部图像识别的智能导购方法,其特征在于,所述计算用户在所述目光注视方向上的停留时间,包括:
在确定用户的目光注视方向的时刻起,开始计时;
持续侦测视频画面中用户眼部区域是否发生变化;
若所述预设阈值的时间范围内,视频画面中用户眼部区域没有发生变化,则将所述预设阈值设置为用户在所述目光注视方向上的停留时间;
若所述预设阈值的时间范围内,视频画面中用户眼部区域发生变化,则在所述视频画面中用户眼部区域发生变化时,停止计时,将计时结果记为所述停留时间。
5.如权利要求3所述的基于眼部图像识别的智能导购方法,其特征在于,所述获取包含用户眼部的视频画面之后,包括:
按预设时间间隔提取预设时间间隔内的多个视频画面;
将所述多个视频画面输入预设动作判断模型,获取用户的眼部动作;
获取与所述眼部动作关联的操作;
根据所述操作更新显示画面。
6.一种基于眼部图像识别的智能导购装置,其特征在于,包括:
选取分类模块,用于侦测用户的目光注视方向,选取所述目光注视方向上的商品分类;在显示画面上显示有多个商品分类,每个商品分类对应一个目光注视方向;
计算停留时间模块,用于计算用户在所述目光注视方向上的停留时间;
确定分类模块,用于当用户在所述目光注视方向的停留时间达到预设阈值时,确定所述目光注视方向上的商品分类为目标商品分类;
输出导购信息模块,用于获取与所述目标商品分类关联的导购信息,并输出所述导购信息。
7.如权利要求6所述的基于眼部图像识别的智能导购装置,其特征在于,所述选取分类模块包括:
侦测范围单元,用于监测用户是否处于侦测范围内;
位置调整单元,用于若所述用户不处于侦测范围内,则发出用户位置调整提醒;
侦测单元,用于若所述用户处于侦测范围内,则侦测所述用户的目光注视方向。
8.如权利要求6所述的基于眼部图像识别的智能导购装置,其特征在于,所述选取分类模块还包括:
获取视频画面单元,用于获取包含用户眼部的视频画面;
获取注视方向单元,用于将所述视频画面输入预设分类模型,获取用户的目光注视方向。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述基于眼部图像识别的智能导购方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于眼部图像识别的智能导购方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811537267.9A CN109767258A (zh) | 2018-12-15 | 2018-12-15 | 基于眼部图像识别的智能导购方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811537267.9A CN109767258A (zh) | 2018-12-15 | 2018-12-15 | 基于眼部图像识别的智能导购方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109767258A true CN109767258A (zh) | 2019-05-17 |
Family
ID=66450694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811537267.9A Pending CN109767258A (zh) | 2018-12-15 | 2018-12-15 | 基于眼部图像识别的智能导购方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109767258A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276015A (zh) * | 2019-06-28 | 2019-09-24 | 北京金山安全软件有限公司 | 内容推送方法、装置及电子设备 |
CN110378740A (zh) * | 2019-07-24 | 2019-10-25 | 秒针信息技术有限公司 | 一种投放资源的监测方法、监测装置及可读存储介质 |
CN110674760A (zh) * | 2019-09-27 | 2020-01-10 | 广州云从人工智能技术有限公司 | 一种基于移动机器人的交互导引方法、装置、设备和介质 |
CN110764676A (zh) * | 2019-10-21 | 2020-02-07 | 秒针信息技术有限公司 | 一种信息资源显示方法、装置、电子设备以及存储介质 |
CN111079555A (zh) * | 2019-11-25 | 2020-04-28 | Oppo广东移动通信有限公司 | 用户喜好程度确定方法和装置、电子设备、可读存储介质 |
CN111078107A (zh) * | 2019-11-29 | 2020-04-28 | 联想(北京)有限公司 | 一种屏幕交互的方法、装置、设备和存储介质 |
CN111580672A (zh) * | 2020-05-13 | 2020-08-25 | 中国银行股份有限公司 | 信息展示方法及装置 |
CN111639990A (zh) * | 2020-05-29 | 2020-09-08 | 江南大学 | 一种针织服装快速设计与推款*** |
CN111710046A (zh) * | 2020-06-05 | 2020-09-25 | 北京有竹居网络技术有限公司 | 交互方法、装置和电子设备 |
CN111767785A (zh) * | 2020-05-11 | 2020-10-13 | 南京奥拓电子科技有限公司 | 人机交互控制方法及装置、智能机器人及存储介质 |
CN114821729A (zh) * | 2022-05-05 | 2022-07-29 | 无锡八英里电子科技有限公司 | 商品导购方法、装置、云服务器及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017146939A (ja) * | 2016-02-19 | 2017-08-24 | 富士通株式会社 | 画像表示装置、表示制御方法および表示制御プログラム |
WO2017190471A1 (zh) * | 2016-05-03 | 2017-11-09 | 乐视控股(北京)有限公司 | 电视购物信息处理方法和装置 |
CN108446943A (zh) * | 2018-01-30 | 2018-08-24 | 深圳市阿西莫夫科技有限公司 | 售货柜商品推荐方法、装置、计算机设备和存储介质 |
CN108615296A (zh) * | 2018-04-26 | 2018-10-02 | 合肥美的智能科技有限公司 | 无人售货方法和无人售货机 |
CN108648338A (zh) * | 2018-04-12 | 2018-10-12 | 广州杰赛科技股份有限公司 | 自动售货机的商品信息采集方法、装置和售货机 |
-
2018
- 2018-12-15 CN CN201811537267.9A patent/CN109767258A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017146939A (ja) * | 2016-02-19 | 2017-08-24 | 富士通株式会社 | 画像表示装置、表示制御方法および表示制御プログラム |
WO2017190471A1 (zh) * | 2016-05-03 | 2017-11-09 | 乐视控股(北京)有限公司 | 电视购物信息处理方法和装置 |
CN108446943A (zh) * | 2018-01-30 | 2018-08-24 | 深圳市阿西莫夫科技有限公司 | 售货柜商品推荐方法、装置、计算机设备和存储介质 |
CN108648338A (zh) * | 2018-04-12 | 2018-10-12 | 广州杰赛科技股份有限公司 | 自动售货机的商品信息采集方法、装置和售货机 |
CN108615296A (zh) * | 2018-04-26 | 2018-10-02 | 合肥美的智能科技有限公司 | 无人售货方法和无人售货机 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276015A (zh) * | 2019-06-28 | 2019-09-24 | 北京金山安全软件有限公司 | 内容推送方法、装置及电子设备 |
CN110378740A (zh) * | 2019-07-24 | 2019-10-25 | 秒针信息技术有限公司 | 一种投放资源的监测方法、监测装置及可读存储介质 |
CN110674760A (zh) * | 2019-09-27 | 2020-01-10 | 广州云从人工智能技术有限公司 | 一种基于移动机器人的交互导引方法、装置、设备和介质 |
CN110764676A (zh) * | 2019-10-21 | 2020-02-07 | 秒针信息技术有限公司 | 一种信息资源显示方法、装置、电子设备以及存储介质 |
CN111079555A (zh) * | 2019-11-25 | 2020-04-28 | Oppo广东移动通信有限公司 | 用户喜好程度确定方法和装置、电子设备、可读存储介质 |
CN111078107A (zh) * | 2019-11-29 | 2020-04-28 | 联想(北京)有限公司 | 一种屏幕交互的方法、装置、设备和存储介质 |
CN111078107B (zh) * | 2019-11-29 | 2022-07-26 | 联想(北京)有限公司 | 一种屏幕交互的方法、装置、设备和存储介质 |
CN111767785A (zh) * | 2020-05-11 | 2020-10-13 | 南京奥拓电子科技有限公司 | 人机交互控制方法及装置、智能机器人及存储介质 |
CN111580672A (zh) * | 2020-05-13 | 2020-08-25 | 中国银行股份有限公司 | 信息展示方法及装置 |
CN111639990A (zh) * | 2020-05-29 | 2020-09-08 | 江南大学 | 一种针织服装快速设计与推款*** |
CN111710046A (zh) * | 2020-06-05 | 2020-09-25 | 北京有竹居网络技术有限公司 | 交互方法、装置和电子设备 |
CN114821729A (zh) * | 2022-05-05 | 2022-07-29 | 无锡八英里电子科技有限公司 | 商品导购方法、装置、云服务器及存储介质 |
CN114821729B (zh) * | 2022-05-05 | 2024-04-05 | 无锡八英里电子科技有限公司 | 商品导购方法、装置、云服务器及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109767258A (zh) | 基于眼部图像识别的智能导购方法及装置 | |
US11151453B2 (en) | Device and method for recommending product | |
US10789699B2 (en) | Capturing color information from a physical environment | |
US11880879B2 (en) | Apparatuses of item location, list creation, routing, imaging and detection | |
TW201907350A (zh) | 線下導購方法和裝置 | |
CN108985861A (zh) | 一种基于开放式购物环境的购物结算控制方法和装置 | |
US9460342B1 (en) | Determining body measurements | |
WO2021042841A1 (zh) | 智能调节推送屏幕的方法、装置、计算机设备及存储介质 | |
KR20200128927A (ko) | O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법 | |
WO2019205491A1 (zh) | 基于服饰试穿的信息处理方法和装置 | |
CN108596730A (zh) | 服饰信息的处理方法、装置及智能设备 | |
KR20200079721A (ko) | 스마트 의류 관리 시스템 및 그 방법 | |
US20210049663A1 (en) | Product information query method and system | |
CN107729380A (zh) | 服饰搭配方法、终端、计算机终端 | |
CN110858375B (zh) | 数据、显示处理方法、装置、电子设备和存储介质 | |
CN109243112A (zh) | 一种开放式环境购物控制方法和装置 | |
CN109034980B (zh) | 一种搭配商品推荐方法、装置和用户终端 | |
CN110334629A (zh) | 可多方位检测距离的方法、装置及可读存储介质 | |
CN113706227A (zh) | 一种货架商品推荐方法及装置 | |
CN109191196A (zh) | 一种基于用户特征的商品推荐方法、装置和用户终端 | |
CN108416298A (zh) | 一种场景判断方法及终端 | |
CN110264320B (zh) | 基于现实增强设备的信息显示方法、装置以及存储介质 | |
CN108197980A (zh) | 个性化购物者的肖像生成方法/***、存储介质及终端 | |
US20240112248A1 (en) | System for Imaging and Detection | |
CN114746882A (zh) | 交互感知和内容呈现的***和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |