CN109344287A - 一种信息推荐方法及相关设备 - Google Patents

一种信息推荐方法及相关设备 Download PDF

Info

Publication number
CN109344287A
CN109344287A CN201811032777.0A CN201811032777A CN109344287A CN 109344287 A CN109344287 A CN 109344287A CN 201811032777 A CN201811032777 A CN 201811032777A CN 109344287 A CN109344287 A CN 109344287A
Authority
CN
China
Prior art keywords
image
moving image
user
audio
frequency content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811032777.0A
Other languages
English (en)
Inventor
章飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811032777.0A priority Critical patent/CN109344287A/zh
Publication of CN109344287A publication Critical patent/CN109344287A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种信息推荐方法及相关设备，包括：获取用户的运动图像；将所述运动图像输入到已训练的图像分类模型中，确定所述运动图像的分类概率；根据所述分类概率，确定所述用户的运动模式；向数据服务器发送所述运动模式，所述运动模式用于指示所述数据服务器查找相匹配的音视频内容；接收所述数据服务器发送的所述音视频内容；对所述音视频内容进行播放。采用本申请实施例，可以提高操作的便捷性。

Description

一种信息推荐方法及相关设备
技术领域
本申请涉及电子技术领域，尤其涉及一种信息推荐方法及相关设备。
背景技术
越来越多的用户喜欢健身，参加各种运动，用户可以边运动边听音乐，或者可以观看运动视频内容，确定视频内容中的动作要领之后，跟随视频内容的播放来进行运动。但是，针对这些音乐或视频内容的操作，都需要用户手动操作，查找相关的音视频内容，然后进行播放，而用户在运动过程中对于音视频的操作是极其不方便的，影响运动效果。
发明内容
本申请实施例提供一种信息推荐方法及相关设备。通过识别运动模式进而查找与运动模式相关的音视频内容，以便在运动过程中自动播放音视频内容，提高了操作的便捷性。
一方面，本申请实施例提供了一种信息推荐方法，包括：
获取用户的运动图像；
将所述运动图像输入到已训练的图像分类模型中，确定所述运动图像的分类概率；
根据所述分类概率，确定所述用户的运动模式；
向数据服务器发送所述运动模式，所述运动模式用于指示所述数据服务器查找相匹配的音视频内容；
接收所述数据服务器发送的所述音视频内容；
对所述音视频内容进行播放。
其中，所述获取用户的运动图像之前，还包括：
获取多张待训练图像；
提取所述多张待训练图像中每张待训练图像的运动特征信息，并确定所述每张待训练图像的运动行为类别；
将所述每张待训练图像的所述运动特征信息以及所述运动行为类别输入到待训练分类模型进行训练得到所述图像分类模型。
其中，所述获取用户的运动图像包括：
向图像采集设备发送请求信息，所述请求信息用于指示所述图像采集设备实时采集所述用户的所述运动图像；
接收所述图像采集设备发送的所述运动图像。
其中，所述根据所述运动图像，确定所述用户的运动模式包括：
确定所述运动图像的清晰度是否超过预设阈值；
当所述运动图像的所述清晰度超过所述预设阈值时，根据所述运动图像，确定所述用户的所述运动模式。
其中，所述对所述音视频内容进行播放包括：
获取所述用户的语音信息；
对所述语音信息进行识别，确定所述语音信息中所包含的控制指令；
根据所述控制指令，对所述音视频内容进行播放。
另一方面，本申请实施例提供了一种信息推荐装置，包括：
获取模块，用于获取用户的运动图像；
处理模块，用于将所述运动图像输入到已训练的图像分类模型中，确定所述运动图像的分类概率；根据所述分类概率，确定所述用户的所述运动模式；
发送模块，用于向数据服务器发送所述运动模式，所述运动模式用于指示所述数据服务器查找相匹配的音视频内容；
接收模块，用于接收所述数据服务器发送的所述音视频内容；
播放模块，用于对所述音视频内容进行播放。
其中，所述处理模块，还用于获取多张待训练图像；提取所述多张待训练图像中每张待训练图像的运动特征信息，并确定所述每张待训练图像的运动行为类别；将所述每张待训练图像的所述运动特征信息以及所述运动行为类别输入到待训练分类模型进行训练得到所述图像分类模型。
其中，所述发送模块，还用于向图像采集设备发送请求信息，所述请求信息用于指示所述图像采集设备实时采集所述用户的所述运动图像；
所述接收模块，还用于接收所述图像采集设备发送的所述运动图像。
其中，所述处理模块，还用于确定所述运动图像的清晰度是否超过预设阈值；当所述运动图像的所述清晰度超过所述预设阈值时，根据所述运动图像，确定所述用户的所述运动模式。
其中，所述播放模块，还用于获取所述用户的语音信息；对所述语音信息进行识别，确定所述语音信息中所包含的控制指令；根据所述控制指令，对所述音视频内容进行播放。
又一方面，本申请实施例提供了一种信息推荐设备，包括：处理器、存储器和通信总线，其中，通信总线用于实现处理器和存储器之间连接通信，处理器执行存储器中存储的程序用于实现上述第一方面提供的一种信息推荐方法中的步骤。
在一个可能的设计中，本申请提供的信息推荐设备可以包含用于执行上述方法中行为相对应的模块。模块可以是软件和/或是硬件。
本申请的又一方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载并执行上述各方面所述的方法。
本申请的又一方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
实施本申请实施例，首先获取用户的运动图像，将运动图像输入到已训练的图像分类模型中，确定运动图像的分类概率；并根据所述分类概率，确定所述用户的所述运动模式；其次向数据服务器发送所述运动模式，所述运动模式用于指示所述数据服务器查找相匹配的音视频内容；然后接收数据服务器发送的所述音视频内容；最后对所述音视频内容进行播放。通过识别运动模式进而查找与运动模式相关的音视频内容，以便在运动过程中自动播放音视频内容，提高了操作的便捷性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种信息推荐***的结构示意图；
图2是本申请实施例提出的一种信息推荐方法的流程示意图；
图3是本发明实施例提供的一种CNN分类模型的示意图；
图4是本申请实施例提出的一种信息推荐方法的时序图；
图5是本申请实施例提供的一种信息推荐装置的结构示意图；
图6是本申请实施例提供的一种信息推荐设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1是本申请实施例提供的一种信息推荐***的结构示意图。本申请实施例中的信息推荐信息包括图像采集设备101、用户设备102以及数据服务器103，其中，信息采集设备可以为Kinect传感器、摄像头等等。用户设备102可以是指提供到用户的语音和/或数据连接的设备，也可以被连接到诸如膝上型计算机或台式计算机等的计算设备，或者其可以是诸如个人数字助理(Personal Digital Assistant，PDA)等的独立设备，例如手机、电视机等等。数据服务器103可以为能够提供服务器音视频内容的服务器。其中，图像采集设备101用于采集用户的运动图像；用户设备102用于确定运动模式，并将运动模式发送给数据服务器103，在返回音视频内容之后，对音视频内容进行播放；数据服务器103用于根据运动模式提供匹配的音视频内容。
请参考图2，图2是本申请实施例提出的一种信息推荐方法的流程示意图。如图所示，本申请实施例中的步骤包括：
S201，获取用户的运动图像。
具体实现中，可以接收用户输入的开始指令，或者接收用户发出的开始命令的语音信息，当用户设备检测到开始命令时，用户设备可以首先与图像采集设备建立网络连接，例如WIFI连接，然后向图像采集设备发送请求信息，图像采集设备接收到请求信息之后，调整摄像角度，对用户进行实时跟踪监控，采集用户在运动时的运动图像，并将采集到的运动图像发送给用户设备，用户设备实时接收图像采集设备发送的运动图像。
进一步的，用户设备接收到运动图像之后，可以确定所述运动图像的清晰度是否超过预设阈值；当所述运动图像的所述清晰度没有超过所述预设阈值时，用户设备可以显示图像采集失败的提示信息，提示信息可以用于提醒用户查找图像采集的失败的原因。在这种情况下，用户设备可以重新向图像采集设备发送请求信息，以便图像采集设备重新采集用户在运动时的运动图像，并返回给用户设备。当所述运动图像的所述清晰度超过所述预设阈值时，执行下述操作步骤。
需要说明的是，对于具备有图像采集功能的用户设备来说，用户设备可以直接采集用户的运动图像。
S202，根据所述运动图像，确定所述用户的运动模式。其中，运动模式可以包括跑步模式、骑车模式、竞走模式等等。
具体实现中，可以将多张所述运动图像输入到已训练的图像分类模型中，确定所述运动图像的分类概率；根据所述分类概率，确定所述用户的所述运动模式。如图3所示，图3是本发明实施例提供的一种CNN分类模型的示意图。图像分类模型可以为卷积神经网络(Convolutional Neural Networks，CNN)分类模型。该CNN分类模型包括输入层、卷积层、池化层、全连接层和输出层。其中，卷积层和池化层的组合可以在隐藏层出现多次，图3中出现两次。图像分类模型提取CNN分类模型中包括已经训练好的模型参数，该模型参数包括各个卷积层的卷积核、各个卷积层的偏置矩阵以及全连接层的权重矩阵和全连接层的偏置向量等等。
进一步的，在图像分类模型中，预先建立了运动特征信息与动作行为类别之间的对应关系。在获取到多张运动图像之后，可以将多张运动图像输入到图像分类模型，然后在各个卷积层上，使用各个卷积层的卷积核和偏置矩阵对每个待处理区域进行卷积操作和最大池化操作，提取运动图像在各个卷积层上的运动特征信息。接着，使用全连接层的权重矩阵和偏置向量对每张运动图像进行处理，得到分类概率。例如，当通过多张运动图像中的大部分运动图像识别得到用户处于跑步模式的分类概率均大于预设阈值(如50％)时，则确定该用户处于跑步模式。又如，当通过多张运动图像中的大部分运动图像识别得到用户处于骑车模式的分类概率均大于预设阈值(如50％)，则确定该用户处于骑车模式。
另外，在获取用户的运动图像之前，可以首先建立用于图像分类的待训练分类模型，待训练分类模型可以为卷积神经网络。然后获取多张待训练图像，提取多张待训练图像中每张待训练图像的运动特征信息，并确定每张待训练图像的运动行为类别，该运动行为类别可以为跑步模式的分类标签、骑车模式的分类标签、或者竞走模式的分类标签等等。最后将所述每张待训练图像的所述运动特征信息以及所述运动行为类别输入到待训练分类模型进行训练得到图像分类模型。在已训练的图像分类模型中，建立了运动特征信息与动作行为类别之间的对应关系。
本申请实施例中，需要采集到足够大量的待训练图像，以便提供训练的准确性。然后将待训练图像输入到卷积神经网中，通过深度学习多层卷积的方式来训练卷积神经网，在训练完成之后，将卷积神经网的训练数据保存用户设备的本地，这样用户设备可以在本地识别出用户的运动模式，而不需要将运动图像发送给数据服务器来进行处理识别，从而减少信息交互的数据量，避免网络传输堵塞。
S203，向数据服务器发送所述运动模式，所述运动模式用于指示所述数据服务器查找相匹配的音视频内容。
具体实现中，数据服务器可以预先建立运动模式与音视频内容的数据库，在数据服务器接收到运动模式之后，可以从数据库中查找与运动模式相匹配的音视频内容，然后将查找到的音视频内容发送给用户设备。
可选的，数据服务器也可以获取该用户的使用习惯，例如，经常播放的音乐类型、经常播放的视频、或者前一次播放的视频。在数据服务器接收到运动模式之后，结合该用户的运动模式和使用习惯，向用户设备推送相关的音视频内容。
S204，接收所述数据服务器发送的所述音视频内容。
S205，对所述音视频内容进行播放。
具体实现中，当用户处于跑步模式时，可以播放动感的音乐；当用户处于骑车模式时，可以播放视频内容，在骑车的同时以便用户观看视频内容。
在本申请实施例中，首先获取用户的运动图像；根据所述运动图像，确定所述用户的运动模式；然后向数据服务器发送所述运动模式，所述运动模式用于指示所述数据服务器查找相匹配的音视频内容；接收所述数据服务器发送的所述音视频内容；最后对所述音视频内容进行播放。通过识别运动模式进而查找与运动模式相关的音视频内容，以便在运动过程中自动播放音视频内容，提高了操作的便捷性。
请参考图4，图4是本申请实施例提出的另一种信息推荐方法的时序图。如图所示，本申请实施例中的步骤包括：
S401，用户设备向图像采集设备发送请求信息。
具体实现中，用户设备可以接收用户输入的开始指令，或者接收用户发出的开始命令的语音信息，当用户设备检测到开始命令时，用户设备可以首先与图像采集设备建立网络连接，例如WIFI连接，然后向图像采集设备发送请求信息。
S402，图像采集设备向用户设备发送用户的运动图像。
具体实现中，图像采集设备接收到请求信息之后，调整摄像角度，对用户进行实时跟踪监控，采集用户在运动时的运动图像，并将采集到的运动图像发送给用户设备，用户设备实时接收图像采集设备发送的运动图像。
进一步的，用户设备接收到运动图像之后，可以确定所述运动图像的清晰度是否超过预设阈值；当所述运动图像的所述清晰度没有超过所述预设阈值时，用户设备可以显示图像采集失败的提示信息，提示信息可以用于提醒用户查找图像采集的失败的原因。在这种情况下，用户设备可以重新向图像采集设备发送请求信息，以便图像采集设备重新采集用户在运动时的运动图像，并返回给用户设备。当所述运动图像的所述清晰度超过所述预设阈值时，执行下述操作步骤。
S404，用户设备根据所述运动图像，确定所述用户的运动模式。
具体实现中，可以将多张所述运动图像输入到已训练的图像分类模型中，确定所述运动图像的分类概率；根据所述分类概率，确定所述用户的所述运动模式。包括：在图像分类模型中，预先建立了运动特征信息与动作行为类别之间的对应关系。在获取到多张运动图像之后，可以将多张运动图像输入到图像分类模型，然后在各个卷积层上，使用各个卷积层的卷积核和偏置矩阵对每个待处理区域进行卷积操作和最大池化操作，提取运动图像在各个卷积层上的运动特征信息。接着，使用全连接层的权重矩阵和偏置向量对每张运动图像进行处理，得到分类概率。例如，当通过多张运动图像中的大部分运动图像识别得到用户处于跑步模式的分类概率均大于预设阈值(如50％)时，则确定该用户处于跑步模式。又如，当通过多张运动图像中的大部分运动图像识别得到用户处于骑车模式的分类概率均大于预设阈值(如50％)，则确定该用户处于骑车模式。
本申请实施例中，需要采集到足够大量的待训练图像，以便提供训练的准确性。然后将待训练图像输入到卷积神经网中，通过深度学习多层卷积的方式来训练卷积神经网，在训练完成之后，将卷积神经网的训练数据保存用户设备的本地，这样用户设备可以在本地识别出用户的运动模式，而不需要将运动图像发送给数据服务器来进行处理识别，从而减少信息交互的数据量，避免网络传输堵塞。
S404，用户设备向数据服务器发送所述运动模式。
S405，数据服务器根据运动模式，查找相匹配的音视频内容。
具体实现中，数据服务器可以预先建立运动模式与音视频内容的数据库，在数据服务器接收到运动模式之后，可以从数据库中查找与运动模式相匹配的音视频内容，然后将查找到的音视频内容发送给用户设备。
可选的，数据服务器也可以获取该用户的使用习惯，例如，经常播放的音乐类型、经常播放的视频、或者前一次播放的视频。在数据服务器接收到运动模式之后，结合该用户的运动模式和使用习惯，向用户设备推送相关的音视频内容。
S406，数据服务器向用户设备发送音视频内容。
S407，用户设备获取所述用户的语音信息。
S408，对所述语音信息进行识别，确定所述语音信息中所包含的控制指令。其中，控制指令可以包括切换指令、音量调节指令、开始指令、停止指令、快进指令等等。
S409，根据所述控制指令，对所述音视频内容进行播放。
具体实现中，当用户处于跑步模式时，可以播放动感的音乐；当用户处于骑车模式时，可以播放视频内容，在骑车的同时以便用户观看视频内容。在音视频内容播放过程中，通过识别得到的控制指令对音视频内容进行切换、快进或停止等等操作。另外，如果用户改变运动模式，则可以重新获取该用户的运动图像，在识别用户的运动模式之后发送给数据服务器，以便数据服务器重新推荐新的音视频内容进行播放。
请参考图5，图5是本申请实施例提出的一种信息推荐装置的结构示意图。如图所示，本申请实施例中的装置包括：
获取模块501，用于获取用户的运动图像。
具体实现中，可以接收用户输入的开始指令，或者接收用户发出的开始命令的语音信息，当用户设备检测到开始命令时，用户设备可以首先与图像采集设备建立网络连接，例如WIFI连接，然后向图像采集设备发送请求信息，图像采集设备接收到请求信息之后，调整摄像角度，对用户进行实时跟踪监控，采集用户在运动时的运动图像，并将采集到的运动图像发送给用户设备，用户设备实时接收图像采集设备发送的运动图像。
进一步的，用户设备接收到运动图像之后，可以确定所述运动图像的清晰度是否超过预设阈值；当所述运动图像的所述清晰度没有超过所述预设阈值时，用户设备可以显示图像采集失败的提示信息，提示信息可以用于提醒用户查找图像采集的失败的原因。在这种情况下，用户设备可以重新向图像采集设备发送请求信息，以便图像采集设备重新采集用户在运动时的运动图像，并返回给用户设备。当所述运动图像的所述清晰度超过所述预设阈值时，执行下述操作步骤。
需要说明的是，对于具备有图像采集功能的用户设备来说，用户设备可以直接采集用户的运动图像。
处理模块502，用于将所述运动图像输入到已训练的图像分类模型中，确定所述运动图像的分类概率；根据所述分类概率，确定所述用户的所述运动模式。
如图3所示，图3是本发明实施例提供的一种CNN分类模型的示意图。图像分类模型可以为卷积神经网络(Convolutional Neural Networks，CNN)分类模型。该CNN分类模型包括输入层、卷积层、池化层、全连接层和输出层。其中，卷积层和池化层的组合可以在隐藏层出现多次，图3中出现两次。图像分类模型提取CNN分类模型中包括已经训练好的模型参数，该模型参数包括各个卷积层的卷积核、各个卷积层的偏置矩阵以及全连接层的权重矩阵和全连接层的偏置向量等等。
进一步的，在图像分类模型中，预先建立了运动特征信息与动作行为类别之间的对应关系。在获取到多张运动图像之后，可以将多张运动图像输入到图像分类模型，然后在各个卷积层上，使用各个卷积层的卷积核和偏置矩阵对每个待处理区域进行卷积操作和最大池化操作，提取运动图像在各个卷积层上的运动特征信息。接着，使用全连接层的权重矩阵和偏置向量对每张运动图像进行处理，得到分类概率。例如，当通过多张运动图像中的大部分运动图像识别得到用户处于跑步模式的分类概率均大于预设阈值(如50％)时，则确定该用户处于跑步模式。又如，当通过多张运动图像中的大部分运动图像识别得到用户处于骑车模式的分类概率均大于预设阈值(如50％)，则确定该用户处于骑车模式。
另外，在获取用户的运动图像之前，可以首先建立用于图像分类的待训练分类模型，待训练分类模型可以为卷积神经网络。然后获取多张待训练图像，提取多张待训练图像中每张待训练图像的运动特征信息，并确定每张待训练图像的运动行为类别，该运动行为类别可以为跑步模式的分类标签、骑车模式的分类标签、或者竞走模式的分类标签等等。最后将所述每张待训练图像的所述运动特征信息以及所述运动行为类别输入到待训练分类模型进行训练得到图像分类模型。在已训练的图像分类模型中，建立了运动特征信息与动作行为类别之间的对应关系。
本申请实施例中，需要采集到足够大量的待训练图像，以便提供训练的准确性。然后将待训练图像输入到卷积神经网中，通过深度学习多层卷积的方式来训练卷积神经网，在训练完成之后，将卷积神经网的训练数据保存用户设备的本地，这样用户设备可以在本地识别出用户的运动模式，而不需要将运动图像发送给数据服务器来进行处理识别，从而减少信息交互的数据量，避免网络传输堵塞。
发送模块503，用于向数据服务器发送所述运动模式，所述运动模式用于指示所述数据服务器查找相匹配的音视频内容。
具体实现中，数据服务器可以预先建立运动模式与音视频内容的数据库，在数据服务器接收到运动模式之后，可以从数据库中查找与运动模式相匹配的音视频内容，然后将查找到的音视频内容发送给用户设备。
可选的，数据服务器也可以获取该用户的使用习惯，例如，经常播放的音乐类型、经常播放的视频、或者前一次播放的视频。在数据服务器接收到运动模式之后，结合该用户的运动模式和使用习惯，向用户设备推送相关的音视频内容。
接收模块505，用于接收所述数据服务器发送的所述音视频内容。
播放模块505，用于对所述音视频内容进行播放。
具体实现中，可以首先获取所述用户的语音信息，然后对所述语音信息进行识别，确定所述语音信息中所包含的控制指令。其中，控制指令可以包括切换指令、音量调节指令、开始指令、停止指令、快进指令等等。最后根据所述控制指令，对所述音视频内容进行播放。
例如，当用户处于跑步模式时，可以播放动感的音乐；当用户处于骑车模式时，可以播放视频内容，在骑车的同时以便用户观看视频内容。在音视频内容播放过程中，通过识别得到的控制指令对音视频内容进行切换、快进或停止等等操作。另外，如果用户改变运动模式，则可以重新获取该用户的运动图像，在识别用户的运动模式之后发送给数据服务器，以便数据服务器重新推荐新的音视频内容进行播放。
在本申请实施例中，首先获取用户的运动图像；根据所述运动图像，确定所述用户的运动模式；然后向数据服务器发送所述运动模式，所述运动模式用于指示所述数据服务器查找相匹配的音视频内容；接收所述数据服务器发送的所述音视频内容；最后对所述音视频内容进行播放。通过识别运动模式进而查找与运动模式相关的音视频内容，以便在运动过程中自动播放音视频内容，提高了操作的便捷性。
请继续参考图6，图6是本申请实施例提出的一种信息推荐设备的结构示意图。如图所示，该信息推荐设备可以包括：至少一个处理器601，至少一个通信接口602，至少一个存储器603和至少一个通信总线604。
其中，处理器601可以是中央处理器单元，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理器和微处理器的组合等等。通信总线604可以是外设部件互连标准PCI总线或扩展工业标准结构EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信总线604用于实现这些组件之间的连接通信。其中，本申请实施例中设备的通信接口602用于与其他节点设备进行信令或数据的通信。存储器603可以包括易失性存储器，例如非挥发性动态随机存取内存(Nonvolatile Random Access Memory，NVRAM)、相变化随机存取内存(PhaseChange RAM，PRAM)、磁阻式随机存取内存(Magetoresistive RAM，MRAM)等，还可以包括非易失性存储器，例如至少一个磁盘存储器件、电子可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、闪存器件，例如反或闪存(NORflash memory)或是反及闪存(NAND flash memory)、半导体器件，例如固态硬盘(SolidState Disk，SSD)等。存储器603可选的还可以是至少一个位于远离前述处理器601的存储装置。存储器603中存储一组程序代码，且处理器601执行存储器603中的程序。
获取用户的运动图像；
将所述运动图像输入到已训练的图像分类模型中，确定所述运动图像的分类概率；根据所述分类概率，确定所述用户的所述运动模式；
向数据服务器发送所述运动模式，所述运动模式用于指示所述数据服务器查找相匹配的音视频内容；
接收所述数据服务器发送的所述音视频内容；
对所述音视频内容进行播放。
可选的，处理器601还用于执行如下操作步骤：
获取多张待训练图像；
提取所述多张待训练图像中每张待训练图像的运动特征信息，并确定所述每张待训练图像的运动行为类别；
将所述每张待训练图像的所述运动特征信息以及所述运动行为类别输入到待训练分类模型进行训练得到所述图像分类模型。
可选的，处理器601还用于执行如下操作步骤：
向图像采集设备发送请求信息，所述请求信息用于指示所述图像采集设备实时采集所述用户的所述运动图像；
接收所述图像采集设备发送的所述运动图像。
可选的，处理器601还用于执行如下操作步骤：
确定所述运动图像的清晰度是否超过预设阈值；
当所述运动图像的所述清晰度超过所述预设阈值时，根据所述运动图像，确定所述用户的所述运动模式。
可选的，处理器601还用于执行如下操作步骤：
获取所述用户的语音信息；
对所述语音信息进行识别，确定所述语音信息中所包含的控制指令；
根据所述控制指令，对所述音视频内容进行播放。
进一步的，处理器还可以与存储器和通信接口相配合，执行上述申请实施例中信息推荐设备的操作。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种信息推荐方法，其特征在于，所述方法包括：
获取用户的运动图像；
将所述运动图像输入到已训练的图像分类模型中，确定所述运动图像的分类概率；
根据所述分类概率，确定所述用户的运动模式；
向数据服务器发送所述运动模式，所述运动模式用于指示所述数据服务器查找相匹配的音视频内容；
接收所述数据服务器发送的所述音视频内容；
对所述音视频内容进行播放。
2.如权利要求1所述的方法，其特征在于，所述获取用户的运动图像之前，还包括：
获取多张待训练图像；
提取所述多张待训练图像中每张待训练图像的运动特征信息，并确定所述每张待训练图像的运动行为类别；
将所述每张待训练图像的所述运动特征信息以及所述运动行为类别输入到待训练分类模型进行训练得到所述图像分类模型。
3.如权利要求1所述的方法，其特征在于，所述获取用户的运动图像包括：
向图像采集设备发送请求信息，所述请求信息用于指示所述图像采集设备实时采集所述用户的所述运动图像；
接收所述图像采集设备发送的所述运动图像。
4.如权利要求1所述的方法，其特征在于，所述根据所述运动图像，确定所述用户的运动模式包括：
确定所述运动图像的清晰度是否超过预设阈值；
当所述运动图像的所述清晰度超过所述预设阈值时，根据所述运动图像，确定所述用户的所述运动模式。
5.如权利要求1-4任一项所述的方法，其特征在于，所述对所述音视频内容进行播放包括：
获取所述用户的语音信息；
对所述语音信息进行识别，确定所述语音信息中所包含的控制指令；
根据所述控制指令，对所述音视频内容进行播放。
6.一种信息推荐装置，其特征在于，所述装置包括：
获取模块，用于获取用户的运动图像；
处理模块，用于将所述运动图像输入到已训练的图像分类模型中，确定所述运动图像的分类概率，并根据所述分类概率，确定所述用户的运动模式；
发送模块，用于向数据服务器发送所述运动模式，所述运动模式用于指示所述数据服务器查找相匹配的音视频内容；
接收模块，用于接收所述数据服务器发送的所述音视频内容；
播放模块，用于对所述音视频内容进行播放。
7.如权利要求6所述的装置，其特征在于，
所述处理模块，还用于获取多张待训练图像；提取所述多张待训练图像中每张待训练图像的运动特征信息，并确定所述每张待训练图像的运动行为类别；将所述每张待训练图像的所述运动特征信息以及所述运动行为类别输入到待训练分类模型进行训练得到所述图像分类模型。
8.如权利要求6所述的装置，其特征在于，
所述发送模块，还用于向图像采集设备发送请求信息，所述请求信息用于指示所述图像采集设备实时采集所述用户的所述运动图像；
所述接收模块，还用于接收所述图像采集设备发送的所述运动图像。
9.如权利要求6所述的装置，其特征在于，
所述处理模块，还用于确定所述运动图像的清晰度是否超过预设阈值；
当所述运动图像的所述清晰度超过所述预设阈值时，根据所述运动图像，确定所述用户的所述运动模式。
10.如权利要求6-9任一项所述的装置，其特征在于，
所述播放模块，还用于获取所述用户的语音信息；对所述语音信息进行识别，确定所述语音信息中所包含的控制指令；根据所述控制指令，对所述音视频内容进行播放。
11.一种信息推荐设备，其特征在于，包括：存储器、通信总线以及处理器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，执行如权利要求1-5任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-5任一项所述的方法。
CN201811032777.0A 2018-09-05 2018-09-05 一种信息推荐方法及相关设备 Pending CN109344287A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811032777.0A CN109344287A (zh) 2018-09-05 2018-09-05 一种信息推荐方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811032777.0A CN109344287A (zh) 2018-09-05 2018-09-05 一种信息推荐方法及相关设备

Publications (1)

Publication Number Publication Date
CN109344287A true CN109344287A (zh) 2019-02-15

Family

ID=65292161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811032777.0A Pending CN109344287A (zh) 2018-09-05 2018-09-05 一种信息推荐方法及相关设备

Country Status (1)

Country Link
CN (1) CN109344287A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110300329A (zh) * 2019-06-26 2019-10-01 北京字节跳动网络技术有限公司 基于离散特征的视频推送方法、装置及电子设备
CN110991561A (zh) * 2019-12-20 2020-04-10 山东大学齐鲁医院 一种下消化道内窥镜图像识别方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101158883A (zh) * 2007-10-09 2008-04-09 深圳先进技术研究院 一种基于计算机视觉的虚拟体育***及其实现方法
CN101388233A (zh) * 2008-10-22 2009-03-18 深圳华为通信技术有限公司 一种根据用户步伐播放音乐的方法及移动终端
US7558809B2 (en) * 2006-01-06 2009-07-07 Mitsubishi Electric Research Laboratories, Inc. Task specific audio classification for identifying video highlights
CN101604325A (zh) * 2009-07-17 2009-12-16 北京邮电大学 基于主场景镜头关键帧的体育视频分类方法
CN105702270A (zh) * 2014-11-27 2016-06-22 深圳市腾讯计算机***有限公司 音乐播放方法和装置
CN106547787A (zh) * 2015-09-22 2017-03-29 腾讯科技（深圳）有限公司 一种音乐推荐的方法、装置及***
CN107944431A (zh) * 2017-12-19 2018-04-20 陈明光 一种基于运动变化的智能识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558809B2 (en) * 2006-01-06 2009-07-07 Mitsubishi Electric Research Laboratories, Inc. Task specific audio classification for identifying video highlights
CN101158883A (zh) * 2007-10-09 2008-04-09 深圳先进技术研究院 一种基于计算机视觉的虚拟体育***及其实现方法
CN101388233A (zh) * 2008-10-22 2009-03-18 深圳华为通信技术有限公司 一种根据用户步伐播放音乐的方法及移动终端
CN101604325A (zh) * 2009-07-17 2009-12-16 北京邮电大学 基于主场景镜头关键帧的体育视频分类方法
CN105702270A (zh) * 2014-11-27 2016-06-22 深圳市腾讯计算机***有限公司 音乐播放方法和装置
CN106547787A (zh) * 2015-09-22 2017-03-29 腾讯科技（深圳）有限公司 一种音乐推荐的方法、装置及***
CN107944431A (zh) * 2017-12-19 2018-04-20 陈明光 一种基于运动变化的智能识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110300329A (zh) * 2019-06-26 2019-10-01 北京字节跳动网络技术有限公司 基于离散特征的视频推送方法、装置及电子设备
CN110991561A (zh) * 2019-12-20 2020-04-10 山东大学齐鲁医院 一种下消化道内窥镜图像识别方法及***
CN110991561B (zh) * 2019-12-20 2020-12-25 山东大学齐鲁医院 一种下消化道内窥镜图像识别方法及***

Similar Documents

Publication Publication Date Title
CN107545889B (zh) 适用于模式识别的模型的优化方法、装置及终端设备
CN110012356B (zh) 视频推荐方法、装置和设备及计算机存储介质
US10438091B2 (en) Method and apparatus for recognizing image content
US20170192500A1 (en) Method and electronic device for controlling terminal according to eye action
CN109063163A (zh) 一种音乐推荐的方法、装置、终端设备和介质
CN106339507B (zh) 流媒体消息推送方法和装置
CN107977390A (zh) 绘本识别方法、装置、***及电子设备
CN109815314A (zh) 一种意图识别方法、识别设备及计算机可读存储介质
CN111915020B (zh) 检测模型的更新方法、装置及存储介质
EP4191440A1 (en) Multimedia content publishing method and apparatus, electronic device, and storage medium
WO2021160119A1 (zh) 一种信息展示方法及装置
CN107947951A (zh) 用户群组推荐方法、装置及存储介质和服务器
CN109240875B (zh) 一种卡顿分析方法及***
CN106789543A (zh) 会话中实现表情图像发送的方法和装置
CN107729092B (zh) 一种用于电子书的自动翻页方法和***
CN108304373A (zh) 语义词典的构建方法、装置、存储介质和电子装置
CN104915351A (zh) 图片排序方法及终端
CN107786549A (zh) 音频文件的添加方法、装置、***及计算机可读介质
CN107368182B (zh) 手势检测网络训练、手势检测、手势控制方法及装置
CN109165309B (zh) 负例训练样本采集方法、装置及模型训练方法、装置
WO2012145273A1 (en) Systems and methods for automatically determining an improved view for a visual query in a mobile search
CN110209810A (zh) 相似文本识别方法以及装置
CN109344287A (zh) 一种信息推荐方法及相关设备
CN109245989A (zh) 一种基于信息分享的处理方法、装置及计算机可读存储介质
CN110446104A (zh) 视频处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination