CN115168628A - 信息推荐方法、装置、电子设备及存储介质 - Google Patents

信息推荐方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115168628A
CN115168628A CN202210659058.1A CN202210659058A CN115168628A CN 115168628 A CN115168628 A CN 115168628A CN 202210659058 A CN202210659058 A CN 202210659058A CN 115168628 A CN115168628 A CN 115168628A
Authority
CN
China
Prior art keywords
eye
information
determining
target user
blink
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210659058.1A
Other languages
English (en)
Inventor
邱榆清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202210659058.1A priority Critical patent/CN115168628A/zh
Publication of CN115168628A publication Critical patent/CN115168628A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/436—Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种信息推荐方法、装置、电子设备及存储介质，该信息推荐方法包括：通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息；根据第一眼部运动信息，确定目标用户的性格类型；获取与目标用户的性格类型匹配的多媒体信息，并将多媒体信息确定为推荐信息。通过实施该方法，实现个性化的信息推荐，提高信息推荐的准确性。

Description

信息推荐方法、装置、电子设备及存储介质
技术领域
本申请涉及智能终端技术领域，尤其涉及一种信息推荐方法、装置、电子设备及存储介质。
背景技术
目前的信息推荐大多基于用户的使用习惯(比如搜索记录、历史访问记录等)实现，若电子设备未记录用户的使用习惯，则无法确定出用户感兴趣的信息，进而无法实现个性化的信息推荐。
发明内容
本申请实施例提供了一种信息推荐方法、装置、电子设备及存储介质，能够实现个性化的信息推荐，提高信息推荐的准确性。
本申请实施例第一方面提供了一种信息推荐方法，包括：
通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息；
根据所述第一眼部运动信息，确定所述目标用户的性格类型；
获取与所述性格类型匹配的多媒体信息，并将所述多媒体信息确定为推荐信息。
本申请实施例第二方面提供了一种信息推荐装置，其特征在于，包括：
图像分析单元，用于通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息；
性格确定单元，用于根据所述第一眼部运动信息，确定所述目标用户的性格类型；
信息推荐单元，用于获取与所述性格类型匹配的多媒体信息，并将所述多媒体信息确定为推荐信息。
本申请实施例第三方面提供了一种电子设备，包括：
存储有可执行程序代码的存储器；
以及所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，所述可执行程序代码被所述处理器执行时，使得所述处理器实现如本申请实施例第一方面所述的方法。
本申请实施例第四方面提供一种计算机可读存储介质，其上存储有可执行程序代码，所述可执行程序代码被处理器执行时，实现如本申请实施例第一方面所述的方法。
本申请实施例第五方面公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行本申请实施例第一方面公开的任意一种所述的方法。
本申请实施例第六方面公开一种应用发布平台，该应用发布平台用于发布计算机程序产品，其中，当该计算机程序产品在计算机上运行时，使得该计算机执行本申请实施例第一方面公开的任意一种所述的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
在本申请实施例中，通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息；根据第一眼部运动信息，确定目标用户的性格类型；获取与目标用户的性格类型匹配的多媒体信息，并将多媒体信息确定为推荐信息。
通过实施该方法，首先通过分析眼部图像，得到用户的眼部运动信息，然后再根据该眼部运动信息，确定用户的性格类型，最后将与用户的性格类型匹配的多媒体信息确定为推荐信息。能够根据用户的眼部运动信息准确分析用户的性格类型，从而实现个性化的信息推荐，无需电子设备记录用户的使用习惯，局限性较低，且推荐信息更贴合用户实际需求，提高了信息推荐的准确性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，还可以根据这些附图获得其它的附图。
图1是本申请实施例公开的一种信息推荐方法的场景示意图；
图2是本申请实施例公开的一种信息推荐方法的流程示意图；
图3A是本申请实施例公开的一种信息推荐方法的另一种流程示意图；
图3B是本申请实施例公开的一种获取运动范围参数的图示；
图4是本申请实施例公开的一种信息推荐装置的结构框图；
图5是申请实施例公开的电子设备的一种结构框图。
具体实施方式
本申请实施例提供了一种信息推荐方法、装置、电子设备及存储介质，能够克服现有信息推荐方式的缺陷，实现个性化的信息推荐。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，都应当属于本申请保护的范围。
可以理解的是，本申请实施例中所涉及的电子设备可以包括一般的手持有屏电子电子设备，诸如手机、智能电话、便携式终端、终端、个人数字助理(PersonalDigitalAssistant，PDA)、便携式多媒体播放器(PersonalMediaPlayer，PMP)装置、笔记本电脑、笔记本(NotePad)、无线宽带(WirelessBroadband，Wibro)终端、平板电脑(PersonalComputer，PC)、智能PC、销售终端(PointofSales，POS)和车载电脑等。
电子设备也可以包括可穿戴设备。可穿戴设备可以直接穿戴在目标用户身上，或是整合到目标用户的衣服或配件的一种便携式电子设备。可穿戴设备不仅仅是一种硬件设备，更可以通过软件支持以及数据交互、云服务器交互来实现强大的智能功能，比如：计算功能、定位功能、报警功能，同时还可以连接手机及各类终端。可穿戴设备可以包括但不限于以手腕为支撑的watch类(比如手表、手腕等产品)，以脚为支撑的shoes类(比如鞋、袜子或者其他腿上佩戴产品)，以头部为支撑的Glass类(比如眼镜、头盔、头带等)以及智能服装，书包、拐杖、配饰等各类非主流产品形态。
下面以实施例的方式，对本申请技术方案做进一步的说明。
请参阅图1，图1是本申请实施例公开的一种信息推荐方法的场景示意图。如图1所示的场景示意图可以包括电子设备10，电子设备10首先可以通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息，然后根据第一眼部运动信息，确定目标用户的性格类型，最后获取与目标用户的性格类型匹配的多媒体信息，并将该多媒体信息确定为推荐信息。综上，电子设备10能够根据用户的眼部运动信息准确分析用户的性格类型，从而实现个性化的信息推荐，无需电子设备10记录用户的使用习惯，局限性较低，且推荐信息更贴合用户实际需求，提高了信息推荐的准确性。
请参阅图2，图2是本申请实施例公开的一种信息推荐方法的流程示意图。如图2所示的信息推荐方法可以包括以下步骤：
201、通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息。
眼部图像指的是包含有目标用户眼部的图像，该眼部图像可为电子设备通过摄像模组实时采集得到的。
在本申请实施例中，第一眼部运动信息可包括目标用户眼部的眨眼参数、运动速度、运动范围参数及运动轨迹信息等。其中，眨眼参数可以指的是目标用户的眨眼频率；运动速度可以指的是目标用户眼球的运动速度，运动范围参数可以指的是目标用户眼球的运动范围大小，运动轨迹信息可以指的是目标用户眼球的运动轨迹。
在一些实施例中，电子设备可预先存储有通过深度学习得到的视线估计模型，该视线估计模型可以是通过大量样本眼部图像及每一样本眼部图像对应的真实的视线坐标点及眨眼程度训练得到的，具备分析眼部图像对应的视线坐标点及眨眼程度的能力。
进一步的，在一些实施例中，通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息可以包括：利用视线估计模型分析采集的多帧眼部图像，以得到各帧眼部图像对应的注视点坐标及眨眼程度，以及根据各帧眼部图像对应的注视点坐标及眨眼程度，得到目标用户的第一眼部运动信息。
在一些实施例中，视线估计模型对其所分析的图像的图像参数可做或不做要求，本申请实施例不做限定。其中，图像参数可以包括但不限于图像的分辨率和/或图像的尺寸等。
示例性的，在视线估计模型对其所分析的图像的图像参数有要求的情况下，视线估计模型要求图像的尺寸为320*320，图像的分辨率为640*640。
在一些实施例中，第一眼部图像为上述多帧眼部图像中的任一帧眼部图像。利用视线估计模型分析采集的多帧眼部图像，以得到各帧眼部图像对应的注视点坐标及眨眼程度，包括：通过人脸检测模型，检测出第一眼部图像中的人脸区域，并从该第一眼部图像中提取人脸区域，并将提取的人脸区域调整为视线估计模型对应的目标尺寸，以得到第一眼部图像对应的目标图像，以及利用视线估计模型，对该目标图像进行分析，以得到该第一眼部图像对应的注视点坐标及眨眼程度。
通过实施该方法，在获取眼部图像对应的注视点坐标及眨眼程度之前，先对眼部图像中人脸进行检测，然后再基于检测到的人脸区域确定输入到视线估计模型的目标图像，可以降低对无效的图像像素的分析，提高了获取眼部图像对应的注视点坐标及眨眼程度的效率，进而有效提高了目标用户的眼部运动信息的获取效率。
202、根据第一眼部运动信息，确定目标用户的性格类型。
在一些实施例中，电子设备上可以预先存储有性格预测模型，该性格预测模型可以由大量样本用户的眼部运动信息及每个样本用户的性格类型训练得到。可以理解的是，该性格预测模型的输入是用户的眼部运动信息，输出是该用户的性格类型。
在一些实施例中，根据第一眼部运动信息，确定目标用户的性格类型，可以包括：利用性格预测模型分析第一眼部运动信息，以得到目标用户的性格类型。通过实施该方法，可基于性格预测模型高效且准确地确定目标用户的性格类型。
其中，性格类型可以包括但不限于以下任一种或几种的组合：好奇心强、稳重、内向文静、神经质、对新经验的接纳速度快、乐观及悲观等。示例性的，好齐心强的用户眼球运动范围较大，稳重的用户眼球运动范围较小，神经质的用户眨眼频率较高。
203、获取与目标用户的性格类型匹配的多媒体信息，并将该多媒体信息确定为推荐信息。
其中，多媒体信息可以包括但不限于以下任一种或几种组合：文字、声音、图形图像、动画及视频等。
在一些实施例中，电子设备上的多媒体信息可以预先设置有类型标签，类型标签用于表征多媒体信息的类型。可选的，类型标签可以包括但不限于以下任一种或几种的组合：数字、字母及特殊字符。
在一些实施例中，获取与目标用户的性格类型匹配的多媒体信息，可以包括：从预先设置的对应关系表中，查找与目标用户的性格类型匹配的类型标签，并将与目标用户的性格类型匹配的类型标签对应的多媒体信息，作为与目标用户的性格类型匹配的多媒体信息。其中，对应关系表中可包括多种性格类型，及每种性格类型对应的类型标签。
示例性的，多媒体信息可以为音乐，音乐的类型可以包括但不限于探索类、科幻类、安静类及可爱类等。若性格类型为好奇心强，则对应的音乐类型为探索和科幻，若性格类型为内向文静，则对应的音乐类型为安静和可爱。
通过实施上述方法，能够根据用户的眼部运动信息准确分析用户的性格类型，从而实现个性化的信息推荐，无需电子设备记录用户的使用习惯，局限性较低，且推荐信息更贴合用户实际需求，提高了信息推荐的准确性。
请参阅图3A，图3A是本申请实施例公开的一种信息推荐方法的另一种流程示意图。如图3A所示的信息推荐方法可以包括以下步骤：
301、通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息。
在一些实施例中，通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息，可以包括：通过分析采集的多帧眼部图像，得到注视点向量和眨眼向量；其中，注视点向量包括每帧眼部图像对应的注视点坐标，眨眼向量包括每帧眼部图像对应的眨眼程度，眨眼程度用于指示眼部开合程度；根据注视点向量和眨眼向量，确定目标用户的第一眼部运动信息。
其中，视线估计模型的输入可以是一张目标尺寸的目标图像，视线估计模型的输出是一个3维向量(x，y，b)。其中，前2维(x，y)是目标图像对应的注视点坐标，第3维b是眨眼程度，b表征的是用户眨眼的概率值。
需要说明的是，若b大于程度阈值，则指示目标用户的睁眼，反之，则指示目标用户的闭眼或者眨眼。示例性的，该程度阈值为0.5。
在一些实施例中，注视点坐标的坐标系的原点可以是电子设备的左上角，往右是x的正方向，往下是y的正方向。若注视点坐标的x和y均为负数，则说明用户的注视点处于电子设备的屏幕外。
在一些实施例中，通过分析采集的多帧眼部图像，得到注视点向量和眨眼向量，可以包括：利用视线估计模型分析采集的多帧眼部图像，以得到各帧眼部图像对应的注视点坐标和眨眼程度，并综合各帧眼部图像对应的注视点坐标得到注视点向量，以及综合各帧眼部图像对应的眨眼程度得到眨眼向量。
示例性的，眼部图像的帧数为150帧，注视点向量为(x1，y1，x2，y2…x150，y150)，眨眼向量为(b1，b1…b150)。
在一些实施例中，根据注视点向量和眨眼向量，确定目标用户的第一眼部运动信息，可以包括：根据注视点向量，确定运动速度、运动范围参数及运动轨迹信息；根据眨眼向量，确定眨眼参数。
在一些实施例中，根据注视点向量，确定运动速度，可以包括：根据注视点向量，获取相邻两帧眼部图像对应的注视点之间的距离值；根据距离值和眼部图像总帧数，确定运动速度。其中，相邻两帧眼部图像对应的注视点之间的距离值，指的是相邻两帧眼部图像对应的第一注视点坐标和第二注视点坐标之间的距离值。
在一些实施例中，第一注视点坐标和第二注视点坐标之间的距离值的计算方式，可以包括但不限于以下方式：
方式1、计算第一注视点坐标和第二注视点坐标之间的横坐标差值的绝对值及纵坐标差值的绝对值，累加横坐标差值的绝对值和纵坐标差值的绝对值，得到第一注视点坐标和第二注视点坐标之间的距离值。
方式2、计算第一注视点坐标和第二注视点坐标之间的横坐标差值的平方及纵坐标差值的平方，对横坐标差值的平方及纵坐标差值的平方执行求和并开根号的操作，得到第一注视点坐标和第二注视点坐标之间的距离值。
在一些实施例中，根据距离值和眼部图像总帧数，确定运动速度，可以包括：累加所有的距离值，得到距离总和，并将距离总和与眼部图像总帧数的比值，作为运动速度。
示例性的，若注视点向量为(x1，y1，x2，y2…x150，y150)，则运动速度v的计算公式包括：
Figure BDA0003688349970000081
或者，
Figure BDA0003688349970000082
在一些实施例中，根据眨眼向量，确定眨眼参数，可以包括：根据眨眼向量确定出眨眼程度小于程度阈值的眼部图像的帧数；计算眨眼程度小于程度阈值的眼部图像的帧数与眼部图像总帧数的比值，得到眨眼参数。
示例性的，若上述多帧眼部图像的帧数为150帧，眨眼程度小于程度阈值的眼部图像的帧数为30帧，则眨眼参数＝30/150。
在一些实施例中，根据注视点向量，确定运动范围参数，可以包括：从注视点向量中获取边界注视点，根据边界注视点确定运动范围参数。
在一些实施例中，边界注视点可以包括注视点向量中横坐标最小的注视点坐标、横坐标最大的注视点坐标、纵坐标最小的注视点坐标及纵坐标最大的注视点坐标。其中，边界注视点可包括3或4个。
在一些实施例中，根据边界注视点确定运动范围参数可以包括：过横坐标最小的注视点坐标和横坐标最大的注视点坐标分别做平行于y轴的平行线，过纵坐标最小的注视点坐标及纵坐标最大的注视点坐标分别做平行于x轴的平行线，以得到矩形区域，以及将该矩形区间的面积作为运动范围参数。
示例性的，请参阅3B，图3B是本申请实施例公开的一种获取运动范围参数的图示。如图3B所示的图示中包括边界注视点坐标A、边界注视点坐标B及边界注视点坐标C，分别过边界注视点坐标A和边界注视点坐标B做平行于y轴的平行线L1和平行线L2，分别过边界注视点坐标C和边界注视点坐标B做平行于x轴的平行线L3和平行线L4，将平行线L1、平行线L2、平行线L3及平行线L4围成的矩形区域的面积作为平行线L4。
在一些实施例中，从注视点向量中获取边界注视点，根据边界注视点确定运动范围参数，可以包括：对注视点向量中的注视点坐标分组，以得到多组注视点坐标，获取各组注视点坐标中的边界注视点，以及根据各组注视点坐标中的边界注视点，得到各组注视点坐标对应的矩形区域，以及对各组注视点坐标对应的矩形区域求并集，以得到目标用户眼球的运动范围参数。
需要说明的是，各组注视点坐标中的边界注视点及对应的矩形区域的确定方式，请参照上述针对注视点向量中边界注视点及对应的矩形区域的确定方式，此处不再赘述。
在一些实施例中，步骤301之前，还可以顺序显示多张用于测试性格的测试图像，并在显示每张测试图像的过程中通过摄像模组周期性采集目标用户眼部的图像，以得到多帧眼部图像。
在一些实施例中，在顺序显示多张用于测试性格的测试图像之前，还可以输出指示目标用户放松姿态去观察图片的提示信息，有助于提高采集到的多帧眼部图像的有效性。
可选的，对注视点向量中的注视点坐标分组，以得到多组注视点坐标，可以包括：将注视点向量中对应同一测试图像的注视点坐标分为同一组，以得到多组注视点坐标。可以理解的是，注视点坐标的组数与测试图像的张数相同。
示例性的，测试图像的张数可以是3，每张图片停留5s(秒)，3张图片一共15s。摄像模组每1s采集10张图片，15s一共采集了150张图片。注视点向量中对应同一测试图像的注视点坐标的个数为50个，注视点坐标组数为3组。
在一些实施例中，运动轨迹信息可以包括注视点向量。
302、将第一眼部运动信息分别与目标用户库中存储的多个其他用户对应的第二眼部运动信息作比对，以得到与第一眼部运动信息相似度最高的第二眼部运动信息。
在一些实施例中，目标用户对应的第一眼部运动信息与任一其他用户对应的第二眼部运动信息的比对过程可以包括：计算目标用户眼部的注视点向量和其他用户眼部的注视点向量的内积，并将该内积与第一权重系数的乘积作为第一计算值；将目标用户眼部的眨眼参数、其他用户眼部的眨眼参数及第二权重系数的乘积作为第二计算值；将目标用户眼部的运动速度、其他用户眼部的运动速度及第三权重系数的乘积作为第三计算值；将目标用户眼部的运动速度、其他用户眼部的运动速度及第四权重系数的乘积作为第四计算值；累加第一计算值、第二计算值、第三计算值以及第四计算值，得到目标用户对应的第一眼部运动信息与该任一其他用户对应的第二眼部运动信息的相似度。
可选的，第一权重系数为1/600，第二权重系数为1，第三权重系数为1/20，第四权重系数为1/200。
综上，上述相似度＝q0·q1+v0·v1/20+r0·r1/200+m/600；其中，q0指的是目标用户眼部的眨眼参数，q1指的是上述任一其他用户眼部的眨眼参数，v0指的是目标用户眼部的运动速度，v1指的是上述任一其他用户眼部的运动速度，r0指的是目标用户眼部的运动范围参数，r1指的是上述任一其他用户眼部的运动范围参数，m指的是目标用户眼部的注视点向量和其他用户眼部的注视点向量的内积。
可以理解的是，按照上述方法可分别计算出目标用户对应的第一眼部运动信息与每一其他用户对应的第二眼部运动信息的相似度。示例性的，其他用户的个数为10000个。
303、将相似度最高的第二眼部运动信息对应的目标其他用户的性格类型，确定为目标用户的性格类型。
可选的，目标用户库可以存储有多个其他用户的用户标识，及每一用户标识对应的第二眼部运动信息及性格类型。其中，目标其他用户的性格类型可以直接从目标用户库中获取。用户标识可以包括但不限于以下任一种或几种的组合：数字、字母及特殊字符。
304、根据目标其他用户的历史行为数据，确定目标其他用户感兴趣的多媒体信息，并将该感兴趣的多媒体信息作为与目标用户的性格类型匹配的多媒体信息，以及将该多媒体信息确定为推荐信息。
若多媒体信息为音乐，则历史行为数据可以包括多个音乐标识及每个音乐标识对应的历史操作。可选的，历史操作可以包括但不限于以下任一种或几种的组合：的播放、搜索、收藏及转发等。
进一步的，根据目标其他用户的历史行为数据，确定目标其他用户感兴趣的多媒体信息，可以包括：根据每一音乐标识对应的历史操作，计算每一音乐标识的对应分值，并将分值大于分值阈值的音乐标识对应的音乐，作为目标其他用户感兴趣的多媒体信息。
需要说明的是，音乐标识的对应分值越高，则该音乐标识对应的音乐用户越感兴趣。
示例性的，如果用户A观看了音乐x，则音乐x对用户A的分数+1；如果用户A搜索了音乐x，则音乐x对用户A的分数+3；如果用户A收藏了音乐x，则音乐x对用户A的分数+10，如果用户A转发了音乐x，则音乐x对用户A的分数+15。
通过实施上述方法，一方面，能够根据用户的眼部运动信息准确分析用户的性格类型，从而实现个性化的信息推荐，无需电子设备记录用户的使用习惯，局限性较低，且推荐信息更贴合用户实际需求，提高了信息推荐的准确性。另一方面，通过比对目标用户对应的第一眼部运动信息与目标用户库中存储的多个其他用户对应的第二眼部运动信息，确定出相似度最高的第二眼部运动信息对应的目标其他用户的性格类型，并将目标其他用户感兴趣的多媒体信息作为与目标用户的性格类型匹配的多媒体信息，进一步提高了信息推荐的准确性。
请参阅图4，图4是本申请实施例公开的一种信息推荐装置的结构框图。如图4所示的信息推荐装置可以包括：图像分析单元401、性格确定单元402及信息推荐单元403；其中：
图像分析单元401，用于通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息；
性格确定单元402，用于根据第一眼部运动信息，确定目标用户的性格类型；
信息推荐单元403，用于获取与目标用户的性格类型匹配的多媒体信息，并将该多媒体信息确定为推荐信息。
在一些实施例中，图像分析单元401用于通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息的方式具体可以包括：图像分析单元401，用于通过分析采集的多帧眼部图像，得到注视点向量和眨眼向量；其中，注视点向量包括每帧眼部图像对应的注视点坐标，眨眼向量包括每帧眼部图像对应的眨眼程度，眨眼程度用于表征用户眨眼的概率；以及，根据注视点向量和眨眼向量，确定目标用户的第一眼部运动信息；其中，第一眼部运动信息包括眨眼参数、运动速度、运动范围参数及运动轨迹信息。
在一些实施例中，图像分析单元401用于根据注视点向量和眨眼向量，确定目标用户的第一眼部运动信息的方式具体可以包括：图像分析单元401，用于根据注视点向量，确定运动速度、运动范围参数及运动轨迹信息；以及，根据眨眼向量，确定眨眼参数。
在一些实施例中，图像分析单元401用于根据注视点向量，确定运动速度的方式具体可以包括：图像分析单元401，用于根据注视点向量，获取相邻两帧眼部图像对应的注视点之间的距离值；根据距离值和眼部图像总帧数，确定运动速度。
在一些实施例中，图像分析单元401用于根据眨眼向量，确定眨眼参数的方式具体可以包括：图像分析单元401，用于根据眨眼向量确定出眨眼程度小于程度阈值的眼部图像的帧数；计算眨眼程度小于程度阈值的眼部图像的帧数与眼部图像总帧数的比值，得到眨眼参数。
在一些实施例中，图4所示的信息推荐装置还可以包括图像采集单元，该图像采集单元，用于顺序显示多张用于测试性格的测试图像，并在显示每张测试图像的过程中通过摄像模组周期性采集目标用户眼部的图像，以得到多帧眼部图像。
在一些实施例中，性格确定单元402用于根据第一眼部运动信息，确定目标用户的性格类型的方式具体可以包括：性格确定单元402，用于将第一眼部运动信息分别与目标用户库中存储的多个其他用户对应的第二眼部运动信息作比对，以得到与第一眼部运动信息相似度最高的第二眼部运动信息；以及，将相似度最高的第二眼部运动信息对应的目标其他用户的性格类型，确定为目标用户的性格类型；
在一些实施例中，信息推荐单元403用于获取与目标用户的性格类型匹配的多媒体信息的方式具体可以包括：信息推荐单元403，用于根据目标其他用户的历史行为数据，确定目标其他用户感兴趣的多媒体信息，并将感兴趣的多媒体信息作为与目标用户的性格类型匹配的多媒体信息。
图5是申请实施例公开的电子设备的一种结构框图。如图5所示的电子设备可以处理器501、与处理器501耦合的存储器502，其中存储器502可存储有一个或多个计算机程序。
处理器501可以包括一个或者多个处理核。处理器501利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器502内的指令、程序、代码集或指令集，以及调用存储在存储器502内的数据，执行电子设备的各种功能和处理数据。可选地，处理器501可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器501可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器501中，单独通过一块通信芯片进行实现。
存储器502可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器502可用于存储指令、程序、代码、代码集或指令集。存储器502可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备在使用中所创建的数据等。
在本申请实施例中，处理器501还具有以下功能：
通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息；
根据第一眼部运动信息，确定目标用户的性格类型；
获取与目标用户的性格类型匹配的多媒体信息，并将该多媒体信息确定为推荐信息。
在本申请实施例中，处理器501还具有以下功能：
通过分析采集的多帧眼部图像，得到注视点向量和眨眼向量；其中，注视点向量包括每帧眼部图像对应的注视点坐标，眨眼向量包括每帧眼部图像对应的眨眼程度，眨眼程度用于表征用户眨眼的概率；
根据注视点向量和眨眼向量，确定目标用户的第一眼部运动信息；其中，第一眼部运动信息包括眨眼参数、运动速度、运动范围参数及运动轨迹信息。
在本申请实施例中，处理器501还具有以下功能：
根据注视点向量，确定运动速度、运动范围参数及运动轨迹信息；
根据眨眼向量，确定眨眼参数。
在本申请实施例中，处理器501还具有以下功能：
根据注视点向量，获取相邻两帧眼部图像对应的注视点之间的距离值；
根据距离值和眼部图像总帧数，确定运动速度。
在本申请实施例中，处理器501还具有以下功能：
根据眨眼向量确定出眨眼程度小于程度阈值的眼部图像的帧数；
计算眨眼程度小于程度阈值的眼部图像的帧数与眼部图像总帧数的比值，得到眨眼参数。
在本申请实施例中，处理器501还具有以下功能：
顺序显示多张用于测试性格的测试图像，并在显示每张测试图像的过程中通过摄像模组周期性采集目标用户眼部的图像，以得到多帧眼部图像。
在本申请实施例中，处理器501还具有以下功能：
将第一眼部运动信息分别与目标用户库中存储的多个其他用户对应的第二眼部运动信息作比对，以得到与第一眼部运动信息相似度最高的第二眼部运动信息；
将相似度最高的第二眼部运动信息对应的目标其他用户的性格类型，确定为目标用户的性格类型；
根据目标其他用户的历史行为数据，确定目标其他用户感兴趣的多媒体信息，并将感兴趣的多媒体信息作为与目标用户的性格类型匹配的多媒体信息。
本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，计算机程序被处理器执行时，使得处理器实现上述实施例中电子设备执行的部分或全部步骤。
本申请实施例公开了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述实施例中电子设备执行的部分或全部步骤。
本申请实施例公开了一种应用发布平台，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行上述实施例中电子设备执行的部分或全部步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、磁盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态磁盘Solid StateDisk(SSD))等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动磁盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种信息推荐方法，其特征在于，包括：
通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息；
根据所述第一眼部运动信息，确定所述目标用户的性格类型；
获取与所述性格类型匹配的多媒体信息，并将所述多媒体信息确定为推荐信息。
2.根据权利要求1所述的方法，其特征在于，所述通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息，包括：
通过分析采集的多帧眼部图像，得到注视点向量和眨眼向量；其中，所述注视点向量包括每帧所述眼部图像对应的注视点坐标，所述眨眼向量包括每帧所述眼部图像对应的眨眼程度，所述眨眼程度用于表征用户眨眼的概率；
根据所述注视点向量和所述眨眼向量，确定目标用户的第一眼部运动信息；其中，所述第一眼部运动信息包括眨眼参数、运动速度、运动范围参数及运动轨迹信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述注视点向量和所述眨眼向量，确定目标用户的第一眼部运动信息，包括：
根据所述注视点向量，确定所述运动速度、所述运动范围参数及所述运动轨迹信息；
根据所述眨眼向量，确定所述眨眼参数。
4.根据权利要求3所述的方法，其特征在于，根据所述注视点向量，确定所述运动速度，包括：
根据所述注视点向量，获取相邻两帧眼部图像对应的注视点之间的距离值；
根据所述距离值和眼部图像总帧数，确定所述运动速度。
5.根据权利要求3所述的方法，其特征在于，所述根据所述眨眼向量，确定眨眼参数，包括：
根据所述眨眼向量确定出眨眼程度小于程度阈值的眼部图像的帧数；
计算所述眨眼程度小于程度阈值的眼部图像的帧数与眼部图像总帧数的比值，得到眨眼参数。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息之前，所述方法还包括：
顺序显示多张用于测试性格的测试图像，并在显示每张所述测试图像的过程中通过摄像模组周期性采集目标用户眼部的图像，以得到多帧眼部图像。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述第一眼部运动信息，确定所述目标用户的性格类型，包括：
将所述第一眼部运动信息分别与目标用户库中存储的多个其他用户对应的第二眼部运动信息作比对，以得到与所述第一眼部运动信息相似度最高的第二眼部运动信息；
将所述相似度最高的第二眼部运动信息对应的目标其他用户的性格类型，确定为所述目标用户的性格类型；
所述获取与所述性格类型匹配的多媒体信息，包括：
根据所述目标其他用户的历史行为数据，确定所述目标其他用户感兴趣的多媒体信息，并将所述感兴趣的多媒体信息作为与所述性格类型匹配的多媒体信息。
8.一种信息推荐装置，其特征在于，包括：
图像分析单元，用于通过分析采集的多帧眼部图像，确定目标用户的第一眼部运动信息；
性格确定单元，用于根据所述第一眼部运动信息，确定所述目标用户的性格类型；
信息推荐单元，用于获取与所述性格类型匹配的多媒体信息，并将所述多媒体信息确定为推荐信息。
9.一种电子设备，其特征在于，包括：
存储有可执行程序代码的存储器；
以及所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，所述可执行程序代码被所述处理器执行时，使得所述处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有可执行程序代码，其特征在于，所述可执行程序代码被处理器执行时，实现如权利要求1-7中任一所述的方法。
CN202210659058.1A 2022-06-10 2022-06-10 信息推荐方法、装置、电子设备及存储介质 Pending CN115168628A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210659058.1A CN115168628A (zh) 2022-06-10 2022-06-10 信息推荐方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210659058.1A CN115168628A (zh) 2022-06-10 2022-06-10 信息推荐方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115168628A true CN115168628A (zh) 2022-10-11

Family

ID=83484452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210659058.1A Pending CN115168628A (zh) 2022-06-10 2022-06-10 信息推荐方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115168628A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118012372A (zh) * 2024-04-10 2024-05-10 深圳市万国电器有限公司 基于人工智能的显示方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118012372A (zh) * 2024-04-10 2024-05-10 深圳市万国电器有限公司 基于人工智能的显示方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109074164B (zh) 使用视线追踪技术标识场景中的对象
US9727645B2 (en) Method and system of scoring documents based on attributes obtained from a digital document by eye-tracking data analysis
US10614289B2 (en) Facial tracking with classifiers
CN104838336B (zh) 基于设备接近度的数据和用户交互
US10192258B2 (en) Method and system of augmented-reality simulations
CN110188719B (zh) 目标跟踪方法和装置
US20150046496A1 (en) Method and system of generating an implicit social graph from bioresponse data
US11270368B2 (en) Method and apparatus for presenting object based on biometric feature
CN109310353A (zh) 经由计算机实现的代理传达信息
CN110457699B (zh) 一种停用词挖掘方法、装置、电子设备及存储介质
CN111009031B (zh) 一种人脸模型生成的方法、模型生成的方法及装置
KR102668172B1 (ko) 메시징 시스템에서의 증강 현실 경험을 위한 물리적 제품들의 식별
CN111698564B (zh) 信息推荐方法、装置、设备及存储介质
CN111026967B (zh) 一种获得用户兴趣标签的方法、装置、设备和介质
WO2021159935A1 (zh) 图像显示方法及相关产品
US10402888B2 (en) System and method for virtual reality content rating using biometric data
CN112632349A (zh) 展区指示方法、装置、电子设备及存储介质
CN114357278A (zh) 一种话题推荐方法、装置及设备
Park et al. Achieving real-time sign language translation using a smartphone's true depth images
CN115168628A (zh) 信息推荐方法、装置、电子设备及存储介质
CN112819767A (zh) 图像处理方法、装置、设备、存储介质以及程序产品
CN110189364B (zh) 用于生成信息的方法和装置，以及目标跟踪方法和装置
CN109299378B (zh) 搜索结果的展示方法、装置、终端及存储介质
CN111274476A (zh) 基于人脸识别的房源匹配方法、装置、设备和存储介质
CN112990105B (zh) 对用户评价的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination