CN110363555B - 基于视线跟踪视觉算法的推荐方法和装置 - Google Patents

基于视线跟踪视觉算法的推荐方法和装置 Download PDF

Info

Publication number
CN110363555B
CN110363555B CN201810316237.9A CN201810316237A CN110363555B CN 110363555 B CN110363555 B CN 110363555B CN 201810316237 A CN201810316237 A CN 201810316237A CN 110363555 B CN110363555 B CN 110363555B
Authority
CN
China
Prior art keywords
eye
user
commodity
tested
gaze direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810316237.9A
Other languages
English (en)
Other versions
CN110363555A (zh
Inventor
宋洋
杨新宇
康平陆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shikong Shanghai Brand Planning Co ltd
Original Assignee
Shikong Shanghai Brand Planning Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shikong Shanghai Brand Planning Co ltd filed Critical Shikong Shanghai Brand Planning Co ltd
Priority to CN201810316237.9A priority Critical patent/CN110363555B/zh
Publication of CN110363555A publication Critical patent/CN110363555A/zh
Application granted granted Critical
Publication of CN110363555B publication Critical patent/CN110363555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0268—Targeted advertisements at point-of-sale [POS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请涉及一种基于视线跟踪视觉算法的推荐方法、装置、计算机设备和存储介质。该方法包括：采集被测用户的眼部运动数据；将眼部运动数据输入预先建立的眼部追踪模型，得到被测用户的眼部凝视方向；根据被测用户的眼部凝视方向，向被测用户进行商品推荐。基于预先的建立的眼部追踪模型，对当前被测用户的眼部运动数据进行处理，得到被测用户的眼部凝视方向，并根据用户的凝视方向确定用户感兴趣的商品，以进行商品推荐，使得用户能够基于推荐的商品快速选购所需的商品，进而提高了购物效率。

Description

基于视线跟踪视觉算法的推荐方法和装置
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种基于视线跟踪视觉算法的推荐方法、装置、计算机设备和存储介质。
背景技术
随着社会的进步和技术和高速发展，传统的零售购物方式也正在发生着天翻地覆的变化，出现了售货机，即将商品放置于售货机内，同时放置在售货机上设置屏幕，使得用户可以通过屏幕得到一些商品信息或者进行查询。
然而这种零售购物方式仍然存在一些缺陷，用户仍然需要通过店员的推荐或者主动在屏幕查看所有商品来进行商品的选购，存在购物效率低下的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高购物效率的基于视线跟踪视觉算法的推荐方法、装置、计算机设备和存储介质。
一种基于视线跟踪视觉算法的推荐方法，所述方法包括：
采集被测用户的眼部运动数据；
将所述眼部运动数据输入预先建立的眼部追踪模型，得到被测用户的眼部凝视方向；
根据被测用户的眼部凝视方向，向被测用户进行商品推荐。
在其中一个实施例中，所述根据被测用户的眼部凝视方向，向被测用户进行商品推荐，包括：
根据被测用户的眼部凝视方向，确定所述眼部凝视方向的目标商品；
基于所述目标商品，得到推荐商品；
展示所述推荐商品。
在其中一个实施例中，所述基于所述目标商品，得到推荐商品，包括：
获取所述目标商品的特征；
确定与所述目标商品的特征相近的商品；
根据所述目标商品和特征相近的商品，得到推荐商品。
在其中一个实施例中，所述眼部运动数据包括：采集眼部运动图像的摄像机的位置、凝视矢量、眼部图像和照明环境参数；
所述将所述眼部运动数据输入预先建立的眼部追踪模型，得到被测用户的眼部凝视方向，包括：
根据所述眼部图像，确定与眼部形状对应的眼部追踪模型的配置参数；
根据所述配置参数和所述摄像机的位置、凝视矢量和照明环境参数，利用所述眼部追踪模型，得到被测用户的眼部凝视方向。
一种基于视线跟踪视觉算法的推荐装置，其特征在于，所述装置包括：
数据采集模块，用于采集被测用户的眼部运动数据；
视线方向确定模块，用于将所述眼部运动数据输入预先建立的眼部追踪模型，得到被测用户的眼部凝视方向；
商品推荐模块，用于根据被测用户的眼部凝视方向，向被测用户进行商品推荐。
在其中一个实施例中，所述商品推荐模块包括：
目标商品确定模块，用于根据被测用户的眼部凝视方向，确定所述眼部凝视方向的目标商品；
推荐商品确定模块，用于基于所述目标商品，得到推荐商品；
展示模块，用于展示所述推荐商品。
在其中一个实施例中，所述推荐商品确定模块包括：
商品特征获取模块，用于获取所述目标商品的特征；
相近商品确定模块，用于确定与所述目标商品的特征相近的商品；
推荐商品确定子模块，用于根据所述目标商品和特征相近的商品，得到推荐商品。
在其中一个实施例中，所述眼部运动数据包括：采集眼部运动图像的摄像机的位置，凝视矢量、眼部图像和照明环境参数；所述视线方向确定模块包括：
配置参数确定模块，用于根据所述眼部图像，确定与眼部形状对应的眼部追踪模型的配置参数；
视线方向确定子模块，用于根据所述配置参数和所述摄像机的位置、凝视矢量和照明环境参数，利用所述眼部追踪模型，得到被测用户的眼部凝视方向。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
采集被测用户的眼部运动数据；
将所述眼部运动数据输入预先建立的眼部追踪模型，得到被测用户的眼部凝视方向；
根据被测用户的眼部凝视方向，向被测用户进行商品推荐。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
采集被测用户的眼部运动数据；
将所述眼部运动数据输入预先建立的眼部追踪模型，得到被测用户的眼部凝视方向；
根据被测用户的眼部凝视方向，向被测用户进行商品推荐。
上述基于视线跟踪视觉算法的推荐方法、装置、计算机设备和存储介质，基于预先的建立的眼部追踪模型，对当前被测用户的眼部运动数据进行处理，得到被测用户的眼部凝视方向，并根据用户的凝视方向确定用户感兴趣的商品，以进行商品推荐，使得用户能够基于推荐的商品快速选购所需的商品，进而提高了购物效率。
附图说明
图1为一个实施例中基于视线跟踪视觉算法的推荐方法的应用环境图；
图2为一个实施例中基于视线跟踪视觉算法的推荐方法的流程示意图；
图3为一个实施例中获得推荐商品步骤的流程示意图；
图4为另一个实施例中获得推荐商品步骤的流程示意图；
图5为一个实施例中基于视线跟踪视觉算法的推荐装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于视线跟踪视觉算法的推荐方法，可以应用于如图1所示的应用环境中。其中，售货柜102包括显示屏104和商品陈列区106。显示屏104包括推荐商品区域，用于显示确定的待推荐商品的商品标识。商品陈列区106为陈列有所有商品的区域，具体地，商品陈列区106可以是商品的实际陈列位置区域，也可以是通过显示屏显示的所有商品的显示区域，在此不作限定。
在一个实施例中，如图2所示，提供了一种基于视线跟踪视觉算法的推荐方法，以该方法应用于图1中的售货柜为例进行说明，包括以下步骤：
S202，采集被测用户的眼部运动数据。
其中，眼部运动数据是指用户在关注售货柜中的商品时，眼睛运动以及所处环境产生的相关参数。比如，眼部运动数据可以包括：采集眼部运动图像的摄像机的位置、凝视矢量、眼部图像和照明环境参数中的一种或多种。凝视矢量、眼部图像和照明环境参数均可根据对应采集装置采集的数据获得。比如，凝视矢量和眼部图像均可根据摄像机采集的眼部运动图像获得，照明环境参数可根据光照采集装置获得。
S204，将眼部运动数据输入预先建立的眼部追踪模型，得到被测用户的眼部凝视方向。
在本实施例中，预先建立有眼部追踪模型，将眼部运动数据输入至对应的眼部追踪模型，眼部追踪模型输出得到眼部凝视方向。
其中，眼部追踪模型可基于人造眼部训练数据进行训练得到。首先，通过模拟眼部运动构造眼部运动数据以及眼部凝视方向的训练数据，建立由眼球组成的眼部模型。对具有不同面部表情的头部模型进行扫描，将扫描到的眼球网格摘除，并将已建立的眼部模型放置于已摘除眼球网格的头部模型中，基于训练数据中的眼部运动数据控制头部模型中的眼球运动，以模拟眼部凝视方向。进一步地，由于面变变形也会对眼部凝视方向造成一定程度的影响，因此，进一步创建面部变形训练数据以及照明训练数据，面部变形训练数据可以包括眼睑运动数据和睫毛运动数据，基于面部变形训练数据、照明训练数据、眼部运动数据以及眼部凝视方向的训练数据对头部模型进行训练，基于训练得到的头部模型，最终得到不同眼部形状的眼部追踪模型及其配置参数。
S206，根据被测用户的眼部凝视方向，向被测用户进行商品推荐。
基于被测用户的眼部凝视方向，获得用户所关注的商品，进而根据关注的商品进行商品推荐。
上述基于视线跟踪视觉算法的推荐方法，基于预先的建立的眼部追踪模型，对当前被测用户的眼部运动数据进行处理，得到被测用户的眼部凝视方向，并根据用户的凝视方向确定用户感兴趣的商品，以进行商品推荐，使得用户能够基于推荐的商品快速选购所需的商品，进而提高了购物效率。
在一实施例中，如图3所示，根据被测用户的眼部凝视方向，向被测用户进行商品推荐，包括：
S302，根据被测用户的眼部凝视方向，确定眼部凝视方向的目标商品。
目标商品是指被测用户当前关注的商品。售货柜中陈列有多种可选购的商品，在本实施例中，购物者在浏览售货柜中陈列的商品，根据购物者的眼部凝视方向确定当前注视的商品作为目标商品。
具体地，可根据追踪的眼部凝视方向，得到被测用户视线与售货柜的交汇位置，结合交汇位置和商品陈列位置确定被测用户关注的商品。
售货柜预先存储有各商品的陈列位置信息，在基于眼部凝视方向得到被测用户视线与售货柜的交汇位置后，将将交汇位置与售货柜中各商品的陈列位置信息进行比对，判断交汇位置与其中哪一商品的陈列位置信息对应，根据对应的陈列位置信息即可获知该陈列位置信息对应陈列的商品，也即交汇位置对应的商品，进而将交汇位置对应的商品作为目标商品。
S304，基于目标商品，得到推荐商品。
基于所获得的目标商品，即可确定被测用户感兴趣的商品类型，进而根据被测用户感兴趣的商品类型进行商品的推荐，得到推荐商品。
S306，展示推荐商品。
将推荐商品通过显示屏进行展示，以便被测用户根据显示的推荐商品快速进行选购。
在一实施例中，如图4所示，基于目标商品，得到推荐商品，包括：
S402，获取目标商品的特征。
目标商品的特征是指目标商品所具备的属性特征，可包括商品类型、商品品牌、商品功效等其中的一种或多种。
在本实施例中，售货柜存储有所有陈列商品的商品特征，当根据被测用户的眼部凝视方向确定目标商品时，即可获取销售柜中存储的、该目标商品对应的商品特征。其中，各商品的特征可以在进行商品陈列时，通过售货柜的扫描装置扫描商品获得并存储于售货柜的存储设备中，也可通过人工输入的方式写入售货柜的存储设备中。
S404，确定与目标商品的特征相近的商品。
具体地，获取售货柜中除目标商品本身以外的其他商品的特征，并分别与目标商品的特征进行相似度计算，得到其他商品与目标商品的相似度，并根据相似度以及预设的相近商品确定规则，确定与目标商品的特征相近的商品。其中，预设的相近商品确定规则可以是相似度大于预设值，或者相似度排名在前预设排名内。
S406，根据目标商品和特征相近的商品，得到推荐商品。
将所确定的特征相近的商品和目标商品作为推荐商品，向被测用户进行推荐。
在一实施例中，眼部运动数据包括：采集眼部运动图像的摄像机的位置、凝视矢量、眼部图像和照明环境参数。将眼部运动数据输入预先建立的眼部追踪模型，得到被测用户的眼部凝视方向，包括：根据眼部图像，确定与眼部形状对应的眼部追踪模型的配置参数；根据配置参数和摄像机的位置、凝视矢量和照明环境参数，利用眼部追踪模型，得到被测用户的眼部凝视方向。
其中，摄像机可以包括一个或一个以上。基于不同的摄像机位置，可以获得不同的凝视矢量和眼部图像，而通过对多组数据进行分析处理，可以得到更为精确的眼部凝视方向。具体地，凝视矢量可以包括眼球的音高和偏航角。
在本实施例中，预先根据不同的眼部形状建立有不同配置参数的眼部追踪模型，根据眼部图像得到被测用户的眼部形状，并将被测用户的眼部形状与预先建立的眼部追踪模型配置参数对应的眼部形状进行比对，得到与被测用户眼部形状最相近的眼部追踪模型的配置参数，基于所确定的眼部追踪模型的配置参数，即可得到进行眼部凝视方向预测的眼部追踪模型，进而将摄像机的位置、凝视矢量和照明环境参数输入到已配置参数的眼部追踪模型中，得到被测用户的眼部凝视方向。
上述基于视线跟踪视觉算法的推荐方法，通过将被测用户的眼部形状与预先建立的眼部追踪模型配置参数对应的眼部形状进行比对，得到与被测用户眼部形状最相近的眼部追踪模型的配置参数，根据配置参数和摄像机的位置、凝视矢量和照明环境参数，利用眼部追踪模型，得到被测用户的眼部凝视方向，进而根据用户的凝视方向确定用户感兴趣的商品进行推荐，通过屏幕将推荐商品的信息进行显示，用户基于推荐商品的信息即可快速进行商品的选购。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种基于视线跟踪视觉算法的推荐装置，包括：数据采集模块502、视线方向确定模块504和商品推荐模块506，其中：
数据采集模块502，用于采集被测用户的眼部运动数据。
其中，眼部运动数据是指用户在关注售货柜中的商品时，眼睛运动以及所处环境产生的相关参数。
视线方向确定模块504，用于将眼部运动数据输入预先建立的眼部追踪模型，得到被测用户的眼部凝视方向。
在本实施例中，预先建立有眼部追踪模型，将眼部运动数据输入至对应的眼部追踪模型，眼部追踪模型输出得到眼部凝视方向。
其中，眼部追踪模型可基于人造眼部训练数据进行训练得到。首先，通过模拟眼部运动构造眼部运动数据以及眼部凝视方向的训练数据，建立由眼球组成的眼部模型。对具有不同面部表情的头部模型进行扫描，将扫描到的眼球网格摘除，并将已建立的眼部模型放置于已摘除眼球网格的头部模型中，基于训练数据中的眼部运动数据控制头部模型中的眼球运动，以模拟眼部凝视方向。进一步地，由于面变变形也会对眼部凝视方向造成一定程度的影响，因此，进一步创建面部变形训练数据以及照明训练数据，面部变形训练数据可以包括眼睑运动数据和睫毛运动数据，基于面部变形训练数据、照明训练数据、眼部运动数据以及眼部凝视方向的训练数据对头部模型进行训练，基于训练得到的头部模型，最终得到不同眼部形状的眼部追踪模型及其配置参数。
商品推荐模块506，用于根据被测用户的眼部凝视方向，向被测用户进行商品推荐。
基于被测用户的眼部凝视方向，获得用户所关注的商品，进而根据关注的商品进行商品推荐。
上述基于视线跟踪视觉算法的推荐装置，基于预先的建立的眼部追踪模型，对当前被测用户的眼部运动数据进行处理，得到被测用户的眼部凝视方向，并根据用户的凝视方向确定用户感兴趣的商品，以进行商品推荐，使得用户能够基于推荐的商品快速选购所需的商品，进而提高了购物效率。
在一实施例中，商品推荐模块包括：目标商品确定模块、推荐商品确定模块和展示模块。
目标商品确定模块，用于根据被测用户的眼部凝视方向，确定眼部凝视方向的目标商品。
具体地，可根据追踪的眼部凝视方向，得到被测用户视线与售货柜的交汇位置，结合交汇位置和商品陈列位置确定被测用户关注的商品。
售货柜预先存储有各商品的陈列位置信息，在基于眼部凝视方向得到被测用户视线与售货柜的交汇位置后，将将交汇位置与售货柜中各商品的陈列位置信息进行比对，判断交汇位置与其中哪一商品的陈列位置信息对应，根据对应的陈列位置信息即可获知该陈列位置信息对应陈列的商品，也即交汇位置对应的商品，进而将交汇位置对应的商品作为目标商品。
推荐商品确定模块，用于基于目标商品，得到推荐商品。基于所获得的目标商品，即可确定被测用户感兴趣的商品类型，进而根据被测用户感兴趣的商品类型进行商品的推荐，得到推荐商品。
展示模块，用于展示推荐商品。将推荐商品通过显示屏进行展示，以便被测用户根据显示的推荐商品快速进行选购。
在一实施例中，推荐商品确定模块包括：商品特征获取模块、相近商品确定模块和推荐商品确定子模块。
商品特征获取模块，用于获取目标商品的特征。在本实施例中，售货柜存储有所有陈列商品的商品特征，当根据被测用户的眼部凝视方向确定目标商品时，即可获取销售柜中存储的、该目标商品对应的商品特征。
相近商品确定模块，用于确定与目标商品的特征相近的商品。
具体地，获取售货柜中除目标商品本身以外的其他商品的特征，并分别与目标商品的特征进行相似度计算，得到其他商品与目标商品的相似度，并根据相似度以及预设的相近商品确定规则，确定与目标商品的特征相近的商品。其中，预设的相近商品确定规则可以是相似度大于预设值，或者相似度排名在前预设排名内。
推荐商品确定子模块，用于根据目标商品和特征相近的商品，得到推荐商品。具体为，将所确定的特征相近的商品和目标商品作为推荐商品，向被测用户进行推荐。
在一实施例中，眼部运动数据包括：采集眼部运动图像的摄像机的位置，凝视矢量、眼部图像和照明环境参数；视线方向确定模块包括：配置参数确定模块和视线方向确定子模块。其中，配置参数确定模块，用于根据眼部图像，确定与眼部形状对应的眼部追踪模型的配置参数。视线方向确定子模块，用于根据配置参数和摄像机的位置、凝视矢量和照明环境参数，利用眼部追踪模型，得到被测用户的眼部凝视方向。
在本实施例中，预先根据不同的眼部形状建立有不同配置参数的眼部追踪模型，根据眼部图像得到被测用户的眼部形状，并将被测用户的眼部形状与预先建立的眼部追踪模型配置参数对应的眼部形状进行比对，得到与被测用户眼部形状最相近的眼部追踪模型的配置参数，基于所确定的眼部追踪模型的配置参数，即可得到进行眼部凝视方向预测的眼部追踪模型，进而将摄像机的位置、凝视矢量和照明环境参数输入到已配置参数的眼部追踪模型中，得到被测用户的眼部凝视方向。
上述基于视线跟踪视觉算法的推荐装置，通过将被测用户的眼部形状与预先建立的眼部追踪模型配置参数对应的眼部形状进行比对，得到与被测用户眼部形状最相近的眼部追踪模型的配置参数，根据配置参数和摄像机的位置、凝视矢量和照明环境参数，利用眼部追踪模型，得到被测用户的眼部凝视方向，进而根据用户的凝视方向确定用户感兴趣的商品进行推荐，通过屏幕将推荐商品的信息进行显示，用户基于推荐商品的信息即可快速进行商品的选购。
关于基于视线跟踪视觉算法的推荐装置的具体限定可以参见上文中对于视线跟踪视觉算法的推荐方法的限定，在此不再赘述。上述视线跟踪视觉算法的推荐装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，比如售货柜，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视线跟踪视觉算法的推荐方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
采集被测用户的眼部运动数据；
将眼部运动数据输入预先建立的眼部追踪模型，得到被测用户的眼部凝视方向；
根据被测用户的眼部凝视方向，向被测用户进行商品推荐。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据被测用户的眼部凝视方向，确定眼部凝视方向的目标商品；
基于目标商品，得到推荐商品；
展示推荐商品。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取目标商品的特征；
确定与目标商品的特征相近的商品；
根据目标商品和特征相近的商品，得到推荐商品。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据眼部图像，确定与眼部形状对应的眼部追踪模型的配置参数；
根据配置参数和摄像机的位置、凝视矢量和照明环境参数，利用眼部追踪模型，得到被测用户的眼部凝视方向。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
采集被测用户的眼部运动数据；
将眼部运动数据输入预先建立的眼部追踪模型，得到被测用户的眼部凝视方向；
根据被测用户的眼部凝视方向，向被测用户进行商品推荐。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据被测用户的眼部凝视方向，确定眼部凝视方向的目标商品；
基于目标商品，得到推荐商品；
展示推荐商品。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取目标商品的特征；
确定与目标商品的特征相近的商品；
根据目标商品和特征相近的商品，得到推荐商品。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据眼部图像，确定与眼部形状对应的眼部追踪模型的配置参数；
根据配置参数和摄像机的位置、凝视矢量和照明环境参数，利用眼部追踪模型，得到被测用户的眼部凝视方向。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于视线跟踪视觉算法的推荐方法，所述方法包括：
采集被测用户的眼部运动数据，所述眼部运动数据包括：采集眼部运动图像的摄像机的位置、凝视矢量、眼部图像和照明环境参数；
将所述被测用户的眼部运动数据输入预先建立的眼部追踪模型，得到被测用户的眼部凝视方向；所述眼部追踪模型基于眼部运动数据以及眼部凝视方向的训练数据、面部变形训练数据、照明训练数据进行训练得到；
根据被测用户的眼部凝视方向，向被测用户进行商品推荐；
所述眼部追踪模型的生成方式，包括：
通过模拟眼部运动构造得到所述眼部运动数据以及眼部凝视方向的训练数据，建立由眼球组成的眼部模型；
对具有不同面部表情的头部模型进行扫描，将扫描到的头部模型中的眼球网格摘除；
将已建立的所述眼部模型放置于已摘除眼球网格的所述头部模型中，基于所述眼部运动数据控制所述头部模型中的眼球运动，以模拟眼部凝视方向；
创建所述面部变形训练数据以及所述照明训练数据；
基于所述面部变形训练数据、所述照明训练数据、构造得到的所述眼部运动数据以及所述眼部凝视方向的训练数据对头部模型进行训练，基于训练得到的头部模型，得到不同眼部形状的眼部追踪模型及其配置参数。
2.根据权利要求1所述的方法，其特征在于，所述根据被测用户的眼部凝视方向，向被测用户进行商品推荐，包括：
根据被测用户的眼部凝视方向，确定所述被测用户的眼部凝视方向的目标商品；
基于所述目标商品，得到推荐商品；
展示所述推荐商品。
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标商品，得到推荐商品，包括：
获取所述目标商品的特征；
确定与所述目标商品的特征相近的商品；
根据所述目标商品和特征相近的商品，得到推荐商品。
4.根据权利要求1所述的方法，其特征在于，所述将所述被测用户眼部运动数据输入预先建立的眼部追踪模型，得到被测用户的眼部凝视方向，包括：
根据所述眼部图像，确定与被测用户的眼部形状对应的眼部追踪模型的配置参数；
根据所述配置参数和所述摄像机的位置、凝视矢量和照明环境参数，利用所述眼部追踪模型，得到被测用户的眼部凝视方向。
5.一种基于视线跟踪视觉算法的推荐装置，所述装置包括：
数据采集模块，用于采集被测用户的眼部运动数据，所述眼部运动数据包括采集眼部运动图像的摄像机的位置、凝视矢量、眼部图像和照明环境参数；
视线方向确定模块，用于将所述被测用户的眼部运动数据输入预先建立的眼部追踪模型，得到被测用户的眼部凝视方向；所述眼部追踪模型基于眼部运动数据以及眼部凝视方向的训练数据、面部变形训练数据、照明训练数据进行训练得到；
商品推荐模块，用于根据被测用户的眼部凝视方向，向被测用户进行商品推荐；
所述眼部追踪模型的生成方式，包括：
通过模拟眼部运动构造得到所述眼部运动数据以及眼部凝视方向的训练数据，建立由眼球组成的眼部模型；
对具有不同面部表情的头部模型进行扫描，将扫描到的头部模型中的眼球网格摘除；
将已建立的所述眼部模型放置于已摘除眼球网格的所述头部模型中，基于所述眼部运动数据控制所述头部模型中的眼球运动，以模拟眼部凝视方向；
创建所述面部变形训练数据以及所述照明训练数据；
基于所述面部变形训练数据、所述照明训练数据、构造得到的所述眼部运动数据以及所述眼部凝视方向的训练数据对头部模型进行训练，基于训练得到的头部模型，得到不同眼部形状的眼部追踪模型及其配置参数。
6.根据权利要求5所述的装置，其特征在于，所述商品推荐模块包括：
目标商品确定模块，用于根据被测用户的眼部凝视方向，确定所述被测用户的眼部凝视方向的目标商品；
推荐商品确定模块，用于基于所述目标商品，得到推荐商品；
展示模块，用于展示所述推荐商品。
7.根据权利要求6所述的装置，其特征在于，所述推荐商品确定模块包括：
商品特征获取模块，用于获取所述目标商品的特征；
相近商品确定模块，用于确定与所述目标商品的特征相近的商品；
推荐商品确定子模块，用于根据所述目标商品和特征相近的商品，得到推荐商品。
8.根据权利要求5所述的装置，其特征在于，所述视线方向确定模块包括：
配置参数确定模块，用于根据所述眼部图像，确定与被测用户的眼部形状对应的眼部追踪模型的配置参数；
视线方向确定子模块，用于根据所述配置参数和所述摄像机的位置、凝视矢量和照明环境参数，利用所述眼部追踪模型，得到被测用户的眼部凝视方向。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN201810316237.9A 2018-04-10 2018-04-10 基于视线跟踪视觉算法的推荐方法和装置 Active CN110363555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810316237.9A CN110363555B (zh) 2018-04-10 2018-04-10 基于视线跟踪视觉算法的推荐方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810316237.9A CN110363555B (zh) 2018-04-10 2018-04-10 基于视线跟踪视觉算法的推荐方法和装置

Publications (2)

Publication Number Publication Date
CN110363555A CN110363555A (zh) 2019-10-22
CN110363555B true CN110363555B (zh) 2024-04-09

Family

ID=68213996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810316237.9A Active CN110363555B (zh) 2018-04-10 2018-04-10 基于视线跟踪视觉算法的推荐方法和装置

Country Status (1)

Country Link
CN (1) CN110363555B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102299103B1 (ko) * 2019-10-23 2021-09-07 주식회사 비주얼캠프 시선 분석 장치 및 이를 이용한 시선 분석 시스템 및 방법
CN111105267A (zh) * 2019-11-22 2020-05-05 苏州浪潮智能科技有限公司 一种基于als算法的推荐方法、设备及可读介质
CN111400605A (zh) * 2020-04-26 2020-07-10 Oppo广东移动通信有限公司 基于眼球追踪的推荐方法及装置
TWI802881B (zh) * 2020-05-12 2023-05-21 普安科技股份有限公司 訪客興趣程度分析的系統和方法
CN113129112A (zh) * 2021-05-11 2021-07-16 杭州海康威视数字技术股份有限公司 物品推荐方法、装置及电子设备
WO2023010301A1 (zh) * 2021-08-04 2023-02-09 华为技术有限公司 视线检测方法、眼球模型的建模方法及其装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN103645806A (zh) * 2013-12-24 2014-03-19 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及***
CN104809424A (zh) * 2014-01-23 2015-07-29 北京七鑫易维信息技术有限公司 一种基于虹膜特征实现视线追踪的方法
CN106774863A (zh) * 2016-12-03 2017-05-31 西安中科创星科技孵化器有限公司 一种基于瞳孔特征实现视线追踪的方法
CN107133854A (zh) * 2017-05-26 2017-09-05 北京小度信息科技有限公司 信息推荐方法和装置
CN107154109A (zh) * 2017-06-02 2017-09-12 深圳正品创想科技有限公司 一种商品呈现方法、装置及无人售货柜
CN107247759A (zh) * 2017-05-31 2017-10-13 深圳正品创想科技有限公司 一种商品推荐方法及装置
CN107533634A (zh) * 2015-03-23 2018-01-02 控制辐射***有限公司 眼睛跟踪***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075532A1 (en) * 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN103645806A (zh) * 2013-12-24 2014-03-19 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及***
CN104809424A (zh) * 2014-01-23 2015-07-29 北京七鑫易维信息技术有限公司 一种基于虹膜特征实现视线追踪的方法
CN107533634A (zh) * 2015-03-23 2018-01-02 控制辐射***有限公司 眼睛跟踪***
CN106774863A (zh) * 2016-12-03 2017-05-31 西安中科创星科技孵化器有限公司 一种基于瞳孔特征实现视线追踪的方法
CN107133854A (zh) * 2017-05-26 2017-09-05 北京小度信息科技有限公司 信息推荐方法和装置
CN107247759A (zh) * 2017-05-31 2017-10-13 深圳正品创想科技有限公司 一种商品推荐方法及装置
CN107154109A (zh) * 2017-06-02 2017-09-12 深圳正品创想科技有限公司 一种商品呈现方法、装置及无人售货柜

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
考虑行为和眼动跟踪的用户兴趣模型;苌道方等;《河南科技大学学报(自然科学版)》;20140225(第01期);全文 *

Also Published As

Publication number Publication date
CN110363555A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110363555B (zh) 基于视线跟踪视觉算法的推荐方法和装置
CN109740466B (zh) 广告投放策略的获取方法、计算机可读存储介质
Lee et al. Reference-based sketch image colorization using augmented-self reference and dense semantic correspondence
CN108805898B (zh) 视频图像处理方法和装置
US20190347806A1 (en) Video object tracking
CN109767261A (zh) 产品推荐方法、装置、计算机设备和存储介质
KR20220158218A (ko) 피부 분석을 위한 이미지들을 프로세싱하고 피부 분석을 시각화하기 위한 시스템들 및 방법들
CN108446943A (zh) 售货柜商品推荐方法、装置、计算机设备和存储介质
CN110598638A (zh) 模型训练方法、人脸性别预测方法、设备及存储介质
CN113627411A (zh) 一种基于超分辨率的商品识别与价格匹配方法及***
KR20230025906A (ko) 개선된 얼굴 속성 분류 및 그것의 사용을 위한 시스템들 및 방법들
US11755190B2 (en) Synthetic image data generation using auto-detected image parameters
Zhao et al. Towards image-to-video translation: A structure-aware approach via multi-stage generative adversarial networks
CN112115860A (zh) 人脸关键点定位方法、装置、计算机设备和存储介质
CN110008835B (zh) 视线预测方法、装置、***和可读存储介质
US20210407153A1 (en) High-resolution controllable face aging with spatially-aware conditional gans
US20170316542A1 (en) Information processing device, information processing method, and recording medium
Hu et al. Towards effective learning for face super-resolution with shape and pose perturbations
CN112884556A (zh) 一种基于混合现实的店铺展示方法、***、设备和介质
CN117037244A (zh) 人脸安全检测方法、装置、计算机设备和存储介质
JP7385416B2 (ja) 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
CN114219578A (zh) 无人服装售卖方法、装置、终端及存储介质
Li et al. Hybrid warping fusion for video frame interpolation
US11830139B2 (en) Systems and methods for three-dimensional viewing of images from a two-dimensional image of a vehicle
CN110838042B (zh) 一种商品展示方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240310

Address after: Room 901, No. 2, Lane 288, Qianfan Road, Xinqiao Town, Songjiang District, Shanghai 201612

Applicant after: Shikong (Shanghai) brand planning Co.,Ltd.

Country or region after: China

Address before: 518000 East Wing 03A-2, 3rd Floor, Building 1, Weixin Software Park, No. 9 Gaoxin South Ninth Road, Yuehai Street, Nanshan District, Shenzhen, Guangdong Province

Applicant before: SHENZHEN AXMTEC CO.,LTD.

Country or region before: China

GR01 Patent grant
GR01 Patent grant