CN108509436A - 一种确定推荐对象的方法、装置及计算机存储介质 - Google Patents

一种确定推荐对象的方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN108509436A
CN108509436A CN201710102422.3A CN201710102422A CN108509436A CN 108509436 A CN108509436 A CN 108509436A CN 201710102422 A CN201710102422 A CN 201710102422A CN 108509436 A CN108509436 A CN 108509436A
Authority
CN
China
Prior art keywords
key frame
information
key
similarity
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710102422.3A
Other languages
English (en)
Other versions
CN108509436B (zh
Inventor
程治淇
刘扬
华先胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710102422.3A priority Critical patent/CN108509436B/zh
Priority to TW106136499A priority patent/TWI760381B/zh
Priority to EP18757208.6A priority patent/EP3586243A4/en
Priority to PCT/US2018/019446 priority patent/WO2018156911A1/en
Priority to US15/903,751 priority patent/US10671851B2/en
Publication of CN108509436A publication Critical patent/CN108509436A/zh
Application granted granted Critical
Publication of CN108509436B publication Critical patent/CN108509436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0603—Catalogue ordering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Accounting & Taxation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种确定推荐对象的方法、装置及计算机存储介质。所述方法包括：获取与视频数据对应的至少一个关键帧，所述关键帧为有效标识帧内物体的视频帧；对所述关键帧中的第一关键帧进行物体检测操作，确定与所述第一关键帧关联的物体信息；所述物体信息包括：物体语义信息和物体视觉信息；根据所述物体语义信息确定候选对象，根据所述物体视觉信息从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。可以为用户提供与视频内容精确关联的产品，提高用户体验。

Description

一种确定推荐对象的方法、装置及计算机存储介质
技术领域
本申请涉及互联网信息处理技术领域，特别涉及一种确定推荐对象的方法、装置及计算机存储介质。
背景技术
随着互联网消费时代的发展，越来越多的人会在一些电子商务平台购买适合自己的商品，电子商务平台往往也会基于电子商务平台中的交易数据、浏览数据等，推断出用户可能感兴趣的商品，然后，向用户推荐该商品。
对于现有的视频电商***等新的电子商务平台(以下简称目标平台)，为了提供给用户以视频为入口的购物服务，需要一种基于视频内容的数据处理技术，可以根据视频中各场景出现的物品，提供给用户与出现的物品相关联的商品。
现有的基于视频内容的确定推荐对象的方法主要包括：可以首先对用户观看的视频文件的视频关键帧进行物体检测和场景分类操作，得到与视频关键帧对应的物体标签和场景标签；然后将得到的物体和场景标签作为查询词在商品库中进行查询；然后可以将检索结果按照相关性进行排序；最后按照一定的规则将多种排序得到的结果进行融合加工得到最终的关联结果，并将所述关联结果作为推荐对象推荐给用户。
在实现本申请过程中，发明人发现现有技术中至少存在如下问题：
现有的确定推荐对象的方法中主要依靠文本检索的方法来得到查询结果，由于文本内容本身可能含有很多歧义，所以关联结果可能经常会出现歧义混乱现象。因此，现有的推荐产品确定方法在基于视频内容向用户推荐对象时，可能不能为用户提供与视频内容精确关联的对象，用户体检较差。
发明内容
本申请实施例的目的是提供一种确定推荐对象的方法、装置及计算机存储介质，可以为用户提供与视频内容精确关联的对象，以提高用户体检。
为解决上述技术问题，本申请实施例提供一种确定推荐对象的方法、装置及计算机存储介质是这样实现的：
一种确定推荐对象的方法，包括：
获取与视频数据对应的至少一个关键帧，所述关键帧为有效标识帧内物体的视频帧；
对所述关键帧中的第一关键帧进行物体检测操作，确定与所述第一关键帧关联的物体信息；所述物体信息包括：物体语义信息和物体视觉信息；
根据所述物体语义信息确定候选对象，根据所述物体视觉信息从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。
优选方案中，所述确定推荐对象的方法还包括：
对所述关键帧中的每一关键帧进行场景分类操作，分别确定每一所述关键帧的场景语义信息；
根据所述关键帧的场景语义信息和物体语义信息确定所述关键帧的关键帧语义信息；
根据关键帧的显示内容、所述关键帧的关键帧语义信息，计算所述关键帧中的任意两个关键帧之间的相似度；
根据所述关键帧之间的相似度以及与所述第一关键帧关联的推荐对象，确定与所述推荐对象关联的一个或多个关键帧。
优选方案中，所述确定推荐对象的方法还包括：
获取平台对象信息；所述平台对象信息包括：平台对象的语义信息和平台对象的视觉信息；
根据所述平台对象信息，计算所述平台对象的相似度；
基于所述平台对象的相似度以及与所述第一关键帧关联的推荐对象，确定与所述关键帧中第一关键帧关联的第二推荐对象。
一种确定推荐对象的装置，包括：
关键帧获取模块，用于获取与视频数据对应的至少一个关键帧；所述关键帧为有效标识帧内物体的视频帧；
物体信息确定模块，用于对所述关键帧中的第一关键帧进行物体检测操作，确定与所述第一关键帧关联的物体信息；所述物体信息包括：物体语义信息和物体视觉信息；所述第一关键帧可以是所述关键帧中的任一关键帧；
推荐对象确定模块，用于根据所述物体语义信息确定候选对象，根据所述物体视觉信息从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。
优选方案中，所述确定推荐对象的装置还包括：关键帧关联模块，用于对所述关键帧中的每一关键帧进行场景分类操作，分别确定每一所述关键帧的场景语义信息；根据所述关键帧的场景语义信息和物体语义信息确定所述关键帧的关键帧语义信息；根据关键帧的显示内容、所述关键帧的关键帧语义信息，计算所述关键帧中的任意两个关键帧之间的相似度；根据所述关键帧之间的相似度以及与所述第一关键帧关联的推荐对象，确定与所述推荐对象关联的一个或多个关键帧。
优选方案中，所述确定推荐对象的装置还包括：对象关联模块，用于获取平台对象信息；所述平台对象信息包括：平台对象的语义信息和平台对象的视觉信息；根据所述平台对象信息，计算所述平台对象的相似度；基于所述平台对象的相似度以及与所述第一关键帧关联的推荐对象，确定与所述关键帧中第一关键帧关联的第二推荐对象。
一种计算机存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现以下步骤：
获取与视频数据对应的至少一个关键帧，所述关键帧为有效标识帧内物体的视频帧；
对所述关键帧中的第一关键帧进行物体检测操作，确定与所述第一关键帧关联的物体信息；所述物体信息包括：物体语义信息和物体视觉信息；
根据所述物体语义信息确定候选对象，根据所述物体视觉信息从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。
优选方案中，所述计算机存储介质上存储的计算机指令被处理器执行时还实现以下步骤：
对所述关键帧中的每一关键帧进行场景分类操作，分别确定每一所述关键帧的场景语义信息；
根据所述关键帧的场景语义信息和物体语义信息确定所述关键帧的关键帧语义信息；
根据关键帧的显示内容、所述关键帧的关键帧语义信息，计算所述关键帧中的任意两个关键帧之间的相似度；
根据所述关键帧之间的相似度以及与所述第一关键帧关联的推荐对象，确定与所述推荐对象关联的一个或多个关键帧。
优选方案中，所述计算机存储介质上存储的计算机指令被处理器执行时还实现以下步骤：
获取平台对象信息；所述平台对象信息包括：平台对象的语义信息和平台对象的视觉信息；
根据所述平台对象信息，计算所述平台对象的相似度；
基于所述平台对象的相似度以及与所述第一关键帧关联的推荐对象，确定与所述关键帧中第一关键帧关联的第二推荐对象。
由以上本申请实施例提供的技术方案可见，本申请实施例提供的确定推荐对象的方法、装置及计算机存储介质，在利用检测到的帧内物体查找推荐对象时，同时考虑了物体的语义信息和视觉信息，可以保证为用户提供的对象语义和视觉上与视频内容都能精确相关。优选方案中，还可以通过计算关键帧之间的相似度，得到相似度较高的多个关键帧，当将某一对象作为某一关键帧的关联对象时，可以将该关联对象同时与相似度较高的多个关键帧进行关联，使得相似的关键帧具有相同的关联对象，可以保证每一关键帧为用户提供的关联对象更全面，可以提高用户体检。优选方案中，还可以通过计算平台对象之间的相似度，得到相似度较高的多个平台对象，当某一平台对象作为某一关键帧的关联对象时，可以将与该平台对象相似度较高的多个平台对象同时作为该关键帧关联的对象，可以保证每一关键帧为用户提供的关联对象更丰富，可以提高用户体检。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的确定推荐对象的方法的一个实施例的架构示意图；
图2是本申请实施例提供的对一个关键帧进行物体检测和场景分类的示意图；
图3是本申请实施例提供的物体视觉信息的示例图；
图4是本申请提供的确定推荐对象的方法的另一个实施例的架构示意图；
图5是本申请提供的确定推荐对象的方法的另一个实施例的架构示意图；
图6是本申请提供的确定推荐对象的方法的另一个实施例的架构示意图；
图7是本申请提供的确定推荐对象的方法的一个实施例的流程示意图；
图8是本申请提供的一个确定推荐对象的装置实施例的模块图；
图9是本申请装置实施例中推荐对象确定模块的组成示意图。
具体实施方式
本申请实施例提供一种确定推荐对象的方法、装置及计算机存储介质。
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
在一个确定推荐对象的方法的实施方式中，可以先获取与视频数据对应的至少一个关键帧。
通常，关键帧相当于二维动画中的原画，可以指角色或者物体运动或变化中的关键动作所处的那一帧。本方案中所述关键帧可以为有效标识帧内物体视频帧。所述关键帧还可以有效标识帧内场景。
图1是本申请提供的确定推荐对象的方法的一个实施例的架构示意图。参照图1，根据视频数据可以确定与该视频数据对应的至少一个关键帧。
在一种实施方式中，获取与视频数据对应的至少一个关键帧可以采用下述方法来实现：可以比对所述视频数据中相邻的视频帧对应的显示内容，当相邻两个视频帧所显示的内容发生变化时，可以将发生变化前的视频帧作为候选关键帧，去除所述候选关键帧中显示内容相同的重复关键帧，可以得到与所述视频内容对应的关键帧。所述去除所述候选关键帧中显示内容相同的重复关键帧，具体可以是保留显示内容相同的多个候选关键帧中的一个关键帧。
对任意一个所述关键帧，例如第一关键帧，可以对所述第一关键帧进行物体检测操作。
物体检测操作通常可以利用学习模型的方式来实现。具体地，可以利用图像识别数据库建立一个分类器，利用商品图片样品进行自适应大规模检测(Large ScaleDetection through Adaptation，LSDA)训练；根据LSDA训练结果检测所述关键帧的帧内物体。所述图像识别数据库用于识别各个类别的对象图片。所述图像识别数据库可以采用现有的图像识别数据库，例如ImageNet，也可以根据实际需要建立新的图像识别数据库。
参照图1，通过物体检测操作，可以确定与所述第一关键帧关联的物体信息。例如，通过物体检测操作，可以确定第一关键帧的帧内物体的物体信息。所述物体信息包括：物体语义信息和物体视觉信息。物体语义信息可以是物体的文本描述信息。例如，可以是物体的名称、型号、产地等信息。所述物体的视觉信息可以是物体的图片。例如，可以是物体的切片图片等。
参照图2，在一个示例性场景中，可以对图2中显示的关键帧进行物体检测操作，可以确定该关键帧的帧内物体包括：灯、电视架、电脑和相框。其中，帧内物体“灯”的语义信息可以为“台灯”，视觉信息可以为如图3所示台灯的图片。
参照图1，根据与所述第一关键帧关联的所述物体语义信息和物体视觉信息，可以确定与所述第一关键帧关联的推荐对象。具体地，可以根据所述物体语义信息，确定候选对象；获取所述候选对象的视觉信息，计算所述候选对象的视觉信息与所述物体视觉信息的相似度；根据所述候选对象的视觉信息与所述物体视觉信息的相似度，从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。所述候选对象的视觉信息可以是所述候选对象的图片。
所述计算所述候选对象的视觉信息与所述物体视觉信息的相似度，可以计算帧内物体的图片和候选对象的图片的相似程度。计算两个图片的相似度可以采用现有的计算方法实现，例如可以计算两幅图片的欧氏距离或直方图匹配值等，本申请对此并不作出限定。通常，计算得到的相似度越大，可以表示两幅图片的相似程度越高。
根据所述物体语义信息，可以确定候选对象，具体地，可以是根据所述物体的文本描述信息在电子商务平台上进行搜索，可以将搜索得到的对象作为候选对象。
所述根据候选对象的视觉信息与所述物体视觉信息的相似度，从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。具体地，可以选取视觉信息相似度较高的前N个候选对象作为与所述第一关键帧关联的推荐对象，例如可以将计算得到的相似度的值最大的前N个候选对象作为与所述第一关键帧关联的推荐对象。也可以选取视觉信息相似度大于第一阈值的候选对象作为与所述第一关键帧关联的推荐对象。
在一个示例性场景中，例如图2中的关键帧检测出的物体“灯”，其语义信息可以为“台灯”，视觉信息可以为如图3所示台灯的图片。那么，可以根据“台灯”在电子商务平台上进行搜索，得到候选对象；获取候选对象的视觉信息，例如这些候选对象的图片；计算候选对象的图片和图3所示台灯的图片的相似度，可以将相似度最高的前10个候选对象作为与图2中所示的关键帧关联的推荐对象，或者，可以将相似度大于0.5的候选对象作为与图2中所示的关键帧关联的推荐对象。
上述实施例在利用检测到的帧内物体查找推荐对象时，同时考虑了物体的语义信息和视觉信息，可以保证为用户提供的对象语义和视觉上与视频内容都能精确相关。
进一步地，图4是本申请提供的确定推荐对象的方法的另一个实施例的架构示意图。参照图4，在另一个实施方式中，还可以对所述关键帧中的每一关键帧进行场景分类操作，分别确定每一所述关键帧的场景语义信息；根据所述关键帧的场景语义信息和物体语义信息确定所述关键帧的关键帧语义信息；根据关键帧的显示内容、所述关键帧的关键帧语义信息，计算所述关键帧中的任意两个关键帧之间的相似度；根据所述关键帧之间的相似度以及与所述第一关键帧关联的推荐对象，确定与所述推荐对象关联的一个或多个关键帧。所述与第一推荐对象关联的关键帧可以包括所述第一关键帧。
所述对关键帧进行场景分类操作通常可以通过深度学习模型来实现。例如，可以采用Google Net来实现。通过场景分类操作，可以确定关键帧的场景信息。所述关键帧的场景信息可以包括：场景语义信息。所述场景语义信息可以包括对所述场景的文本描述。例如，所述场景语义信息可以是：厨房、酒吧等。例如，对于图2中的关键帧，通过场景分类操作，可以确定该关键帧的场景语义信息为“开放办公室”。
得到每一关键帧的场景语义信息和物体语义信息后，可以计算每一关键帧的关键帧语义信息。所述关键帧的关键帧语义信息可以用于表征所述关键帧对应的场景和所述关键帧对应的物体。
所述关键帧的关键帧语义信息可以用关键帧语义矩阵来表示。所述根据关键帧的场景语义信息和物体语义信息计算所述关键帧的关键帧语义信息具体可以包括：计算所述场景语义信息和所述物体语义信息的ti-idf(term frequency–inverse documentfrequency，词频-逆向文件频率)向量，所述计算得到的向量形成的矩阵可以为所述关键帧的关键帧语义信息。
根据所述关键帧的关键帧语义信息和关键帧的显示内容，可以计算任意两个关键帧之间的相似度。具体地，可以根据所述两个关键帧的显示内容，计算所述两个关键帧之间的视觉相似度；根据所述两个关键帧的关键帧语义信息，计算所述两个关键帧之间的语义相似度；根据所述视觉相似度和所述语义相似度，计算所述两个关键帧之间的关键帧相似度。
例如，具体可以采用下述公式来计算两个关键帧之间的相似度：
上述公式(1)中，Si,j表示需要计算的关键帧i和关键帧j之间的关键帧相似度；Vi,j可以表示关键帧i和关键帧j之间的视觉相似度；Ti,j可以表示关键帧i和关键帧j之间的语义相似度；α为调节系数，取值范围可以为0～1。α的取值可以根据实际实验结果确定。一般α的优选取值可以为0.5～0.6。
所述计算两个关键帧之间的视觉相似度，即计算两个关键帧显示内容的相似度。例如，可以计算两个关键帧对应显示图片之间的相似度。
所述计算两个关键帧之间的语义相似度，即计算两个关键帧的语义矩阵之间的相似度。可以采用任意语义相似度计算方法来实现，例如文本深度表示模型等，本申请对此并不作出限定。
上述步骤中，通过计算关键帧之间的相似度，可以得到相似度较高的多个关键帧，当将某一对象作为某一关键帧的关联对象时，可以将该关联对象同时与相似度较高的多个关键帧进行关联，使得相似的关键帧具有相同的关联对象，可以保证每一关键帧为用户提供的关联对象更全面，可以提高用户体检。
进一步地，图5是本申请提供的确定推荐对象的方法的另一个实施例的架构示意图。参照图5，在另一个实施方式中，所述方法还可以包括：获取平台对象信息；所述平台对象信息包括：平台对象的语义信息和平台对象的视觉信息；可以根据所述平台对象信息，计算所述平台对象的相似度；基于所述平台对象的相似度以及与所述第一关键帧关联的推荐对象，确定与所述关键帧中第一关键帧关联的第二推荐对象。
所述平台产品可以是电子商务平台上的对象。例如，可以是电子商务平台上出售的商品。那么，所述平台对象的语义信息可以是根据商品的文本信息来获取的。例如，可以是根据商品标题、商品描述等信息来获取的。具体地，可以对所述平台对象在电子商务平台上的文本信息进行分词处理。所述对文本信息进行分词处理可以采用基于词库匹配的分词方法，或者可以采用基于词频度统计的分词方法，或者还可以采用基于知识理解的分词方法等来实现。可以对所述分词处理得到的分词词语根据词性进行过滤，例如可以保留词性为名词的分词词语，去除词性为副词和动词的分词词语等。可以将所述过滤结果量化为tf-idf向量，所述tf-idf向量构成的矩阵可以作为所述平台对象的语义信息。所述平台对象的视觉信息可以是商品的图片。例如，商品的主图等。
所述根据所述平台对象信息，计算所述平台对象的相似度，可以采用下述公式(2)来实现：
公式(2)中，Qi,j可以表示需要计算的平台对象i和平台对象j之间的平台对象相似度；Ai,j可以表示平台对象i和平台对象j之间的视觉相似度；Bi,j可以表示平台对象i和平台对象j之间的语义相似度；β为调节系数，取值范围可以为0～1。β的取值可以根据实际实验结果确定。一般β的优选取值可以为0.5～0.6。
上述步骤中，通过计算平台对象之间的相似度，可以得到相似度较高的多个平台对象，当某一平台对象作为某一关键帧的关联对象时，可以将与该平台对象相似度较高的多个平台对象同时作为该关键帧关联的对象，可以保证每一关键帧为用户提供的关联对象更丰富，可以提高用户体检。
进一步地，图6是本申请提供的确定推荐对象的方法的另一个实施例的架构示意图。参照图6，在另一个实施方式中，可以计算所述关键帧中任意两个关键帧的相似度、平台对象的相似度，根据所述与关键帧关联的推荐对象、平台对象的相似度、以及所述关键帧中任意两个关键帧的相似度，可以确定与所述关键帧中任一关键帧关联的第三推荐对象。
上述步骤中，对于某一关键帧关联了推荐对象后，还考虑与该推荐对象相似度较高的对象、以及与该关键帧相似度较高的其他关键帧，既可以实现将相似度较高的多个平台对象同时与一个关键帧相关联，也可以实现将同一个产品与多个相似度较高的关键帧相关联，可以保证每一关键帧为用户提供的关联对象更丰富、更全面，可以提高用户体检。
图7是本申请提供的确定推荐对象的方法的一个实施例的流程示意图，本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的***或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。如图7所示，所述确定推荐对象的方法可以包括以下步骤。
S701：获取与视频数据对应的至少一个关键帧，所述关键帧为有效标识帧内物体的视频帧。
所述关键帧还可以有效标识帧内场景。
所述获取与视频数据对应的关键帧具体可以包括：比对所述视频数据中相邻视频帧所显示的视频内容，当视频帧所显示的视频内容发生变化时，将发生变化前的视频内容对应的视频帧作为候选关键帧；去除所述候选关键帧中显示内容相同的重复关键帧，得到与所述视频内容对应的关键帧。
S702：对所述关键帧中的第一关键帧进行物体检测操作，确定与所述第一关键帧关联的物体信息；所述物体信息包括：物体语义信息和物体视觉信息。
所述物体语义信息可以是物体的文本描述信息。所述物体视觉信息可以是物体的图片。
S703：根据所述物体语义信息确定候选对象，根据所述物体视觉信息从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。
所述根据所述物体语义信息确定候选对象，具体可以包括：根据所述物体的文本描述信息在电子商务平台上进行搜索，将搜索得到的对象作为候选对象。
所述根据所述物体视觉信息从所述候选对象中筛选出与所述第一关键帧关联的推荐对象，具体可以包括：获取所述候选对象的视觉信息，计算所述候选对象的视觉信息与所述物体视觉信息的相似度；根据所述候选对象的视觉信息与所述物体视觉信息的相似度，从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。
上述实施例提供的确定推荐对象的方法中，在利用检测到的帧内物体查找推荐对象时，同时考虑了物体的语义信息和视觉信息，可以保证为用户提供的对象语义和视觉上与视频内容都能精确相关。
在另一个实施方式中，所述方法还可以包括：对所述关键帧中的每一关键帧进行场景分类操作，分别确定每一所述关键帧的场景语义信息；根据所述关键帧的场景语义信息和物体语义信息确定所述关键帧的关键帧语义信息；根据关键帧的显示内容、所述关键帧的关键帧语义信息，计算所述关键帧中的任意两个关键帧之间的相似度；根据所述关键帧之间的相似度以及与所述第一关键帧关联的推荐对象，确定与所述推荐对象关联的一个或多个关键帧。
所述根据所述关键帧的场景语义信息和物体语义信息确定所述关键帧的关键帧语义信息，可以包括：计算所述场景语义信息和所述物体语义信息的ti-idf向量，所述计算得到的向量形成的矩阵为所述关键帧的关键帧语义信息。
所述根据所述关键帧的关键帧语义信息和关键帧的显示内容，计算任意两个关键帧之间的相似度，可以包括：根据所述两个关键帧的显示内容，计算所述两个关键帧之间的视觉相似度；根据所述两个关键帧的关键帧语义信息，计算所述两个关键帧之间的语义相似度；根据所述视觉相似度和所述语义相似度，计算所述两个关键帧之间的关键帧相似度。
上述实施例中，通过计算关键帧之间的相似度，可以得到相似度较高的多个关键帧，当将某一对象作为某一关键帧的关联对象时，可以将该关联对象同时与相似度较高的多个关键帧进行关联，使得相似的关键帧具有相同的关联对象，可以保证每一关键帧为用户提供的关联对象更全面，可以提高用户体检。
在另一个实施方式中，所述方法还可以包括：获取平台对象信息；所述平台对象信息包括：平台对象的语义信息和平台对象的视觉信息；根据所述平台对象信息，计算所述平台对象的相似度；基于所述平台对象的相似度以及与所述第一关键帧关联的推荐对象，确定与所述关键帧中第一关键帧关联的第二推荐对象。
所述平台产品可以是电子商务平台上的商品。所述平台对象的语义信息可以根据商品的文本信息来获取。所述平台对象的视觉信息可以是商品的图片。所述平台对象的语义信息根据商品的文本信息来获取具体可以包括：对所述平台对象在电子商务平台上的文本信息进行分词处理；对所述分词处理得到的分词词语根据词性进行过滤；将所述过滤结果量化为tf-idf向量，所述tf-idf向量构成的矩阵为所述平台对象的语义信息。
上述实施例中，通过计算平台对象之间的相似度，可以得到相似度较高的多个平台对象，当某一平台对象作为某一关键帧的关联对象时，可以将与该平台对象相似度较高的多个平台对象同时作为该关键帧关联的对象，可以保证每一关键帧为用户提供的关联对象更丰富，可以提高用户体检。
本申请还提供一种推荐产品确定装置的实施例，图8是本申请提供的确定推荐对象的装置的一个实施例的模块图。如图8所示，所述确定推荐对象的装置800可以包括：关键帧获取模块801、物体信息确定模块802和推荐对象确定模块803。其中，
所述关键帧获取模块801，可以用于获取与视频数据对应的至少一个关键帧。所述关键帧为有效标识帧内物体的视频帧。
所述物体信息确定模块802，可以用于对所述关键帧中的第一关键帧进行物体检测操作，确定与所述第一关键帧关联的物体信息。所述物体信息包括：物体语义信息和物体视觉信息。所述第一关键帧可以是所述关键帧中的任一关键帧。
所述推荐对象确定模块803，可以用于根据所述物体语义信息确定候选对象，根据所述物体视觉信息从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。
图9是本申请装置实施例中推荐对象确定模块的组成示意图。如图9所示，所述推荐对象确定模块803可以包括：相似度计算子模块8031和推荐对象筛选子模块8032。
所述相似度计算子模块8031，可以用于获取所述候选对象的视觉信息，计算所述候选对象的视觉信息与所述物体视觉信息的相似度。
所述推荐对象筛选子模块8032，可以用于根据所述候选对象的视觉信息与所述物体视觉信息的相似度，从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。
在另一个实施方式中，所述确定推荐对象的装置800还可以包括：关键帧关联模块(图8中未示出)。所述关键帧关联模块，可以用于对所述关键帧中的每一关键帧进行场景分类操作，分别确定每一所述关键帧的场景语义信息；根据所述关键帧的场景语义信息和物体语义信息确定所述关键帧的关键帧语义信息；根据关键帧的显示内容、所述关键帧的关键帧语义信息，计算所述关键帧中的任意两个关键帧之间的相似度；根据所述关键帧之间的相似度以及与所述第一关键帧关联的推荐对象，确定与所述推荐对象关联的一个或多个关键帧。
在另一个实施方式中，所述确定推荐对象的装置800还可以包括：对象关联模块(图8中未示出)。所述对象关联模块，可以用于获取平台对象信息；所述平台对象信息包括：平台对象的语义信息和平台对象的视觉信息；根据所述平台对象信息，计算所述平台对象的相似度；基于所述平台对象的相似度以及与所述第一关键帧关联的推荐对象，确定与所述关键帧中第一关键帧关联的第二推荐对象。
本申请实施例还提供一种计算机存储介质。在本实施例中，该计算机存储介质上可以储有计算机指令，该计算机指令被处理器执行时实现以下步骤：
S701：获取与视频数据对应的至少一个关键帧，所述关键帧为有效标识帧内物体的视频帧。
S702：对所述关键帧中的第一关键帧进行物体检测操作，确定与所述第一关键帧关联的物体信息；所述物体信息包括：物体语义信息和物体视觉信息。
S703：根据所述物体语义信息确定候选对象，根据所述物体视觉信息从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。
在另一个实施方式中，所述计算机存储介质上存储的计算机指令被处理器执行时还可以实现以下步骤：
对所述关键帧中的每一关键帧进行场景分类操作，分别确定每一所述关键帧的场景语义信息；
根据所述关键帧的场景语义信息和物体语义信息确定所述关键帧的关键帧语义信息；
根据关键帧的显示内容、所述关键帧的关键帧语义信息，计算所述关键帧中的任意两个关键帧之间的相似度；
根据所述关键帧之间的相似度以及与所述第一关键帧关联的推荐对象，确定与所述推荐对象关联的一个或多个关键帧。
在另一个实施方式中，所述计算机存储介质上存储的计算机指令被处理器执行时还可以实现以下步骤：
获取平台对象信息；所述平台对象信息包括：平台对象的语义信息和平台对象的视觉信息；
根据所述平台对象信息，计算所述平台对象的相似度；
基于所述平台对象的相似度以及与所述第一关键帧关联的推荐对象，确定与所述关键帧中第一关键帧关联的第二推荐对象。
本申请提供的推荐产品确定装置实施例以及计算机存储介质实施例与本申请实施例提供的推荐产品确定方法相对应，所述装置实施例或者执行所述计算机存储介质存储的计算机指令可以实现本申请方法实施例，并取得方法实施例的技术效果。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片2。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。该计算机软件产品可以包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。该计算机软件产品可以存储在内存中，内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括短暂电脑可读媒体(transitory media)，如调制的数据信号和载波。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (19)

1.一种确定推荐对象的方法，其特征在于，包括：
获取与视频数据对应的至少一个关键帧，所述关键帧为有效标识帧内物体的视频帧；
对所述关键帧中的第一关键帧进行物体检测操作，确定与所述第一关键帧关联的物体信息；所述物体信息包括：物体语义信息和物体视觉信息；
根据所述物体语义信息确定候选对象，根据所述物体视觉信息从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。
2.根据权利要求1所述的方法，其特征在于，所述获取与视频数据对应的关键帧具体包括：
比对所述视频数据中相邻视频帧所显示的视频内容，当视频帧所显示的视频内容发生变化时，将发生变化前的视频内容对应的视频帧作为候选关键帧；
去除所述候选关键帧中显示内容相同的重复关键帧，得到与所述视频内容对应的关键帧。
3.根据权利要求1所述的方法，其特征在于，所述根据所述物体视觉信息从所述候选对象中筛选出与所述第一关键帧关联的推荐对象，包括：
获取所述候选对象的视觉信息，计算所述候选对象的视觉信息与所述物体视觉信息的相似度；
根据所述候选对象的视觉信息与所述物体视觉信息的相似度，从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。
4.根据权利要求3所述的方法，其特征在于，所述物体语义信息包括：物体的文本描述信息。
5.根据权利要求4所述的方法，其特征在于，所述根据所述物体语义信息确定候选对象，包括：根据所述物体的文本描述信息在电子商务平台上进行搜索，将搜索得到的对象作为候选对象。
6.根据权利要求3所述的方法，其特征在于，所述物体视觉信息包括：物体的图片。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述关键帧中的每一关键帧进行场景分类操作，分别确定每一所述关键帧的场景语义信息；
根据所述关键帧的场景语义信息和物体语义信息确定所述关键帧的关键帧语义信息；
根据关键帧的显示内容、所述关键帧的关键帧语义信息，计算所述关键帧中的任意两个关键帧之间的相似度；
根据所述关键帧之间的相似度以及与所述第一关键帧关联的推荐对象，确定与所述推荐对象关联的一个或多个关键帧。
8.根据权利要求7所述的方法，其特征在于，所述根据所述关键帧的场景语义信息和物体语义信息确定所述关键帧的关键帧语义信息，包括：
计算所述场景语义信息和所述物体语义信息的ti-idf向量，所述计算得到的向量形成的矩阵为所述关键帧的关键帧语义信息。
9.根据权利要求7所述的方法，其特征在于，所述根据所述关键帧的关键帧语义信息和关键帧的显示内容，计算任意两个关键帧之间的相似度，包括：
根据所述两个关键帧的显示内容，计算所述两个关键帧之间的视觉相似度；
根据所述两个关键帧的关键帧语义信息，计算所述两个关键帧之间的语义相似度；
根据所述视觉相似度和所述语义相似度，计算所述两个关键帧之间的关键帧相似度。
10.根据权利要求1或7所述的方法，其特征在于，所述方法还包括：
获取平台对象信息；所述平台对象信息包括：平台对象的语义信息和平台对象的视觉信息；
根据所述平台对象信息，计算所述平台对象的相似度；
基于所述平台对象的相似度以及与所述第一关键帧关联的推荐对象，确定与所述关键帧中第一关键帧关联的第二推荐对象。
11.根据权利要求10所述的方法，其特征在于，所述平台产品是电子商务平台上的商品；所述平台对象的语义信息根据商品的文本信息来获取；所述平台对象的视觉信息是商品的图片。
12.根据权利要求11所述的方法，其特征在于，所述平台对象的语义信息根据商品的文本信息来获取包括：
对所述平台对象在电子商务平台上的文本信息进行分词处理；
对所述分词处理得到的分词词语根据词性进行过滤；
将所述过滤结果量化为tf-idf向量，所述tf-idf向量构成的矩阵为所述平台对象的语义信息。
13.一种确定推荐对象的装置，其特征在于，包括：
关键帧获取模块，用于获取与视频数据对应的至少一个关键帧；所述关键帧为有效标识帧内物体的视频帧；
物体信息确定模块，用于对所述关键帧中的第一关键帧进行物体检测操作，确定与所述第一关键帧关联的物体信息；所述物体信息包括：物体语义信息和物体视觉信息；所述第一关键帧可以是所述关键帧中的任一关键帧；
推荐对象确定模块，用于根据所述物体语义信息确定候选对象，根据所述物体视觉信息从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。
14.根据权利要求13所述的装置，其特征在于，所述推荐对象确定模块包括：相似度计算子模块和推荐对象筛选子模块；
所述相似度计算子模块，用于获取所述候选对象的视觉信息，计算所述候选对象的视觉信息与所述物体视觉信息的相似度；
所述推荐对象筛选子模块，用于根据所述候选对象的视觉信息与所述物体视觉信息的相似度，从所述候选对象中筛选出与所述第一关键帧关联的推荐对象。
15.根据权利要求13所述的装置，其特征在于，还包括：关键帧关联模块，用于对所述关键帧中的每一关键帧进行场景分类操作，分别确定每一所述关键帧的场景语义信息；根据所述关键帧的场景语义信息和物体语义信息确定所述关键帧的关键帧语义信息；根据关键帧的显示内容、所述关键帧的关键帧语义信息，计算所述关键帧中的任意两个关键帧之间的相似度；根据所述关键帧之间的相似度以及与所述第一关键帧关联的推荐对象，确定与所述推荐对象关联的一个或多个关键帧。
16.根据权利要求13或15所述的装置，其特征在于，还包括：对象关联模块，用于获取平台对象信息；所述平台对象信息包括：平台对象的语义信息和平台对象的视觉信息；根据所述平台对象信息，计算所述平台对象的相似度；基于所述平台对象的相似度以及与所述第一关键帧关联的推荐对象，确定与所述关键帧中第一关键帧关联的第二推荐对象。
17.一种计算机存储介质，其特征在于，其上存储有计算机指令，该计算机指令被处理器执行时实现以下步骤：
获取与视频数据对应的至少一个关键帧，所述关键帧为有效标识帧内物体的视频帧；
对所述关键帧中的第一关键帧进行物体检测操作，确定与所述第一关键帧关联的物体信息；所述物体信息包括：物体语义信息和物体视觉信息；
根据所述物体语义信息确定候选对象，根据所述物体视觉信息从所述候选对象中筛选出确定与所述第一关键帧关联的推荐对象。
18.根据权利要求17所述的计算机存储介质，其特征在于，所述计算机存储介质上存储的计算机指令被处理器执行时还实现以下步骤：
对所述关键帧中的每一关键帧进行场景分类操作，分别确定每一所述关键帧的场景语义信息；
根据所述关键帧的场景语义信息和物体语义信息确定所述关键帧的关键帧语义信息；
根据关键帧的显示内容、所述关键帧的关键帧语义信息，计算所述关键帧中的任意两个关键帧之间的相似度；
根据所述关键帧之间的相似度以及与所述第一关键帧关联的推荐对象，确定与所述推荐对象关联的一个或多个关键帧。
19.根据权利要求17或18所述的计算机存储介质，其特征在于，所述计算机存储介质上存储的计算机指令被处理器执行时还实现以下步骤：
获取平台对象信息；所述平台对象信息包括：平台对象的语义信息和平台对象的视觉信息；
根据所述平台对象信息，计算所述平台对象的相似度；
基于所述平台对象的相似度以及与所述第一关键帧关联的推荐对象，确定与所述关键帧中第一关键帧关联的第二推荐对象。
CN201710102422.3A 2017-02-24 2017-02-24 一种确定推荐对象的方法、装置及计算机存储介质 Active CN108509436B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710102422.3A CN108509436B (zh) 2017-02-24 2017-02-24 一种确定推荐对象的方法、装置及计算机存储介质
TW106136499A TWI760381B (zh) 2017-02-24 2017-10-24 確定推薦物件的方法、裝置及電腦儲存媒體
EP18757208.6A EP3586243A4 (en) 2017-02-24 2018-02-23 DETERMINATION OF A RECOMMENDED SUBJECT
PCT/US2018/019446 WO2018156911A1 (en) 2017-02-24 2018-02-23 Determining recommended object
US15/903,751 US10671851B2 (en) 2017-02-24 2018-02-23 Determining recommended object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710102422.3A CN108509436B (zh) 2017-02-24 2017-02-24 一种确定推荐对象的方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN108509436A true CN108509436A (zh) 2018-09-07
CN108509436B CN108509436B (zh) 2022-02-18

Family

ID=63245769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710102422.3A Active CN108509436B (zh) 2017-02-24 2017-02-24 一种确定推荐对象的方法、装置及计算机存储介质

Country Status (5)

Country Link
US (1) US10671851B2 (zh)
EP (1) EP3586243A4 (zh)
CN (1) CN108509436B (zh)
TW (1) TWI760381B (zh)
WO (1) WO2018156911A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068180A (zh) * 2018-09-28 2018-12-21 武汉斗鱼网络科技有限公司 一种确定视频精选集的方法以及相关设备
CN110196919A (zh) * 2019-05-10 2019-09-03 广东智媒云图科技股份有限公司 基于关键帧的电影推荐方法、装置、终端设备及存储介质
CN110968786A (zh) * 2019-11-29 2020-04-07 百度在线网络技术（北京）有限公司 一种视觉信息推荐方法、装置、设备及存储介质
WO2020077544A1 (zh) * 2018-10-16 2020-04-23 华为技术有限公司 一种物体识别方法和终端设备
CN111292153A (zh) * 2018-12-10 2020-06-16 北京京东尚科信息技术有限公司 信息推荐方法、装置、***和存储介质
CN111538896A (zh) * 2020-03-12 2020-08-14 成都云帆数联科技有限公司 基于深度学习的新闻视频细粒度标签智能提取方法
CN112199978A (zh) * 2019-07-08 2021-01-08 北京地平线机器人技术研发有限公司 视频物体检测方法和装置、存储介质和电子设备
CN112270275A (zh) * 2020-11-02 2021-01-26 上海哔哩哔哩科技有限公司 基于图片识别的商品搜索方法、装置及计算机设备
CN113766330A (zh) * 2021-05-26 2021-12-07 腾讯科技（深圳）有限公司 基于视频生成推荐信息的方法和装置
CN114528923A (zh) * 2022-01-25 2022-05-24 山东浪潮科学研究院有限公司 基于时域上下文的视频目标检测方法、装置、设备及介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109743497B (zh) * 2018-12-21 2020-06-30 创新奇智(重庆)科技有限公司 一种数据集采集方法、***及电子装置
CN111708915B (zh) * 2020-06-12 2022-02-01 腾讯科技（深圳）有限公司 内容推荐方法、装置、计算机设备和存储介质
CN112085120B (zh) * 2020-09-17 2024-01-02 腾讯科技（深圳）有限公司 多媒体数据的处理方法、装置、电子设备及存储介质
CN114449342B (zh) * 2022-01-21 2024-02-27 腾讯科技（深圳）有限公司 视频推荐方法、装置、计算机可读存储介质和计算机设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009113102A2 (en) * 2008-02-27 2009-09-17 Tata Consultancy Services Limited Content based visual information retrieval systems
US20100082585A1 (en) * 2008-09-23 2010-04-01 Disney Enterprises, Inc. System and method for visual search in a video media player
US20140279288A1 (en) * 2013-03-15 2014-09-18 Suzanne Small WOUK Method and system for data aggregation and diffusion
US20140314313A1 (en) * 2013-04-17 2014-10-23 Yahoo! Inc. Visual clothing retrieval
CN104715023A (zh) * 2015-03-02 2015-06-17 北京奇艺世纪科技有限公司 基于视频内容的商品推荐方法和***
CN106055710A (zh) * 2016-07-01 2016-10-26 传线网络科技（上海）有限公司 基于视频的商品推荐方法及装置
CN106202317A (zh) * 2016-07-01 2016-12-07 传线网络科技（上海）有限公司 基于视频的商品推荐方法及装置
CN106202304A (zh) * 2016-07-01 2016-12-07 传线网络科技（上海）有限公司 基于视频的商品推荐方法及装置
CN106372106A (zh) * 2016-08-19 2017-02-01 无锡天脉聚源传媒科技有限公司 一种提供视频内容辅助信息的方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930783A (en) * 1997-02-21 1999-07-27 Nec Usa, Inc. Semantic and cognition based image retrieval
CN101420595B (zh) 2007-10-23 2012-11-21 华为技术有限公司 一种描述和捕获视频对象的方法及设备
US9684719B2 (en) 2012-12-10 2017-06-20 Verint Systems Ltd. Object search by description
US9396763B2 (en) * 2013-11-15 2016-07-19 Clipmine, Inc. Computer-assisted collaborative tagging of video content for indexing and table of contents generation
CN105373938A (zh) * 2014-08-27 2016-03-02 阿里巴巴集团控股有限公司 识别视频图像中的商品和展示其信息的方法、装置及***
US9443320B1 (en) * 2015-05-18 2016-09-13 Xerox Corporation Multi-object tracking with generic object proposals
US10062015B2 (en) 2015-06-25 2018-08-28 The Nielsen Company (Us), Llc Methods and apparatus for identifying objects depicted in a video using extracted video frames in combination with a reverse image search engine
US10606887B2 (en) 2016-09-23 2020-03-31 Adobe Inc. Providing relevant video scenes in response to a video search query

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009113102A2 (en) * 2008-02-27 2009-09-17 Tata Consultancy Services Limited Content based visual information retrieval systems
US20100082585A1 (en) * 2008-09-23 2010-04-01 Disney Enterprises, Inc. System and method for visual search in a video media player
US20140279288A1 (en) * 2013-03-15 2014-09-18 Suzanne Small WOUK Method and system for data aggregation and diffusion
US20140314313A1 (en) * 2013-04-17 2014-10-23 Yahoo! Inc. Visual clothing retrieval
CN104715023A (zh) * 2015-03-02 2015-06-17 北京奇艺世纪科技有限公司 基于视频内容的商品推荐方法和***
CN106055710A (zh) * 2016-07-01 2016-10-26 传线网络科技（上海）有限公司 基于视频的商品推荐方法及装置
CN106202317A (zh) * 2016-07-01 2016-12-07 传线网络科技（上海）有限公司 基于视频的商品推荐方法及装置
CN106202304A (zh) * 2016-07-01 2016-12-07 传线网络科技（上海）有限公司 基于视频的商品推荐方法及装置
CN106372106A (zh) * 2016-08-19 2017-02-01 无锡天脉聚源传媒科技有限公司 一种提供视频内容辅助信息的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曹建荣: "一种基于语义的视频场景分割算法", 《中国图象图形学报》 *
王宇等: "一种新的自适应的视频关键帧提取方法", 《合肥工业大学学报(自然科学版)》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068180B (zh) * 2018-09-28 2021-02-02 武汉斗鱼网络科技有限公司 一种确定视频精选集的方法以及相关设备
CN109068180A (zh) * 2018-09-28 2018-12-21 武汉斗鱼网络科技有限公司 一种确定视频精选集的方法以及相关设备
WO2020077544A1 (zh) * 2018-10-16 2020-04-23 华为技术有限公司 一种物体识别方法和终端设备
CN111292153A (zh) * 2018-12-10 2020-06-16 北京京东尚科信息技术有限公司 信息推荐方法、装置、***和存储介质
CN111292153B (zh) * 2018-12-10 2024-04-09 北京京东尚科信息技术有限公司 信息推荐方法、装置、***和存储介质
CN110196919A (zh) * 2019-05-10 2019-09-03 广东智媒云图科技股份有限公司 基于关键帧的电影推荐方法、装置、终端设备及存储介质
CN110196919B (zh) * 2019-05-10 2021-09-17 广东智媒云图科技股份有限公司 基于关键帧的电影推荐方法、装置、终端设备及存储介质
CN112199978A (zh) * 2019-07-08 2021-01-08 北京地平线机器人技术研发有限公司 视频物体检测方法和装置、存储介质和电子设备
CN110968786B (zh) * 2019-11-29 2023-10-17 百度在线网络技术（北京）有限公司 一种视觉信息推荐方法、装置、设备及存储介质
CN110968786A (zh) * 2019-11-29 2020-04-07 百度在线网络技术（北京）有限公司 一种视觉信息推荐方法、装置、设备及存储介质
CN111538896A (zh) * 2020-03-12 2020-08-14 成都云帆数联科技有限公司 基于深度学习的新闻视频细粒度标签智能提取方法
CN111538896B (zh) * 2020-03-12 2021-04-27 成都云帆数联科技有限公司 基于深度学习的新闻视频细粒度标签智能提取方法
CN112270275A (zh) * 2020-11-02 2021-01-26 上海哔哩哔哩科技有限公司 基于图片识别的商品搜索方法、装置及计算机设备
CN112270275B (zh) * 2020-11-02 2023-11-21 上海哔哩哔哩科技有限公司 基于图片识别的商品搜索方法、装置及计算机设备
CN113766330A (zh) * 2021-05-26 2021-12-07 腾讯科技（深圳）有限公司 基于视频生成推荐信息的方法和装置
CN114528923B (zh) * 2022-01-25 2023-09-26 山东浪潮科学研究院有限公司 基于时域上下文的视频目标检测方法、装置、设备及介质
CN114528923A (zh) * 2022-01-25 2022-05-24 山东浪潮科学研究院有限公司 基于时域上下文的视频目标检测方法、装置、设备及介质

Also Published As

Publication number Publication date
EP3586243A4 (en) 2021-04-07
US20180247129A1 (en) 2018-08-30
TW201832158A (zh) 2018-09-01
EP3586243A1 (en) 2020-01-01
US10671851B2 (en) 2020-06-02
WO2018156911A1 (en) 2018-08-30
TWI760381B (zh) 2022-04-11
CN108509436B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN108509436A (zh) 一种确定推荐对象的方法、装置及计算机存储介质
US20210182333A1 (en) Correlating image annotations with foreground features
WO2020253591A1 (zh) 运用标签知识网络的搜索方法及装置
US7707162B2 (en) Method and apparatus for classifying multimedia artifacts using ontology selection and semantic classification
US10380461B1 (en) Object recognition
CN107833082B (zh) 一种商品图片的推荐方法和装置
CN104537341B (zh) 人脸图片信息获取方法和装置
US10140315B1 (en) Identifying visual portions of visual media files responsive to visual portions of media files submitted as search queries
WO2022134701A1 (zh) 视频处理方法及装置
KR101565759B1 (ko) 토픽 템플릿과 연관어에 기반한 관련토픽 및 경쟁토픽 탐지 시스템, 탐지 방법 및 탐지 장치
WO2016014373A1 (en) Identifying presentation styles of educational videos
WO2019137391A1 (zh) 对视频进行分类匹配的方法、装置和挑选引擎
CN113766330A (zh) 基于视频生成推荐信息的方法和装置
CN110363206B (zh) 数据对象的聚类、数据处理及数据识别方法
CN105243120A (zh) 一种检索方法及装置
Barthel et al. Fusing keyword search and visual exploration for untagged videos
CN107577667B (zh) 一种实体词处理方法和装置
WO2022241987A1 (zh) 图像检索方法及装置
Wróblewska et al. Optimal products presentation in offer images for e-commerce marketplace platform
CN105279172A (zh) 视频匹配方法和装置
CN115455223A (zh) 一种图片检测方法、装置及设备
CN105843949B (zh) 一种图像显示方法与装置
Ramesh et al. Realtime News Analysis using Natural Language Processing
Kim et al. Photo Management Cloud Service Using Deep Learning
Thaipumi et al. Task-related Item-Name Discovery Using Text and Image Data from the Internet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant