CN109145681B - 用于判断目标旋转方向的方法及装置 - Google Patents

用于判断目标旋转方向的方法及装置 Download PDF

Info

Publication number
CN109145681B
CN109145681B CN201710457547.8A CN201710457547A CN109145681B CN 109145681 B CN109145681 B CN 109145681B CN 201710457547 A CN201710457547 A CN 201710457547A CN 109145681 B CN109145681 B CN 109145681B
Authority
CN
China
Prior art keywords
optical flow
foreground
target
frame
rotating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710457547.8A
Other languages
English (en)
Other versions
CN109145681A (zh
Inventor
车广富
安山
麻晓珍
陈宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710457547.8A priority Critical patent/CN109145681B/zh
Priority to RU2019132178A priority patent/RU2754641C2/ru
Priority to PCT/CN2018/081038 priority patent/WO2018228021A1/zh
Priority to US16/492,984 priority patent/US11120269B2/en
Publication of CN109145681A publication Critical patent/CN109145681A/zh
Application granted granted Critical
Publication of CN109145681B publication Critical patent/CN109145681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种用于判断目标旋转方向的方法及装置。该用于判断目标旋转方向的方法包括：输入包括旋转目标的连续的视频帧；根据所述视频帧中的首帧图像建立背景模型；通过所述背景模型对除首帧以外的其他各视频帧进行前景检测，确定所述旋转目标的旋转轴心；获得所述旋转轴心的预设区域内的光流点的分布；根据所述预设区域内的光流点的分布判定所述旋转目标的旋转方向。本公开能够简单高效的判断视频中的旋转目标的时钟方向。

Description

用于判断目标旋转方向的方法及装置
技术领域
本公开涉及视频图像处理相关技术领域，尤其涉及一种用于判断目标旋转方向的方法及装置、计算机可读介质、电子设备。
背景技术
在手机购物应用上，通常是使用商品主图来表现商品，缺点是太单一，只能看到商品的一个角度。因此，目前在一些电子商务平台上使用了商品主图视频，但该方式的缺点是占用带宽太大。
因此，现有技术中还存在需要改进之处。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种用于判断目标旋转方向的方法及装置、计算机可读介质、电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种用于判断目标旋转方向的方法，包括：输入包括旋转目标的连续的视频帧；根据所述视频帧中的首帧图像建立背景模型；通过所述背景模型对除首帧以外的其他各视频帧进行前景检测，确定所述旋转目标的旋转轴心；获得所述旋转轴心的预设区域内的光流点的分布；根据所述预设区域内的光流点的分布判定所述旋转目标的旋转方向。
在本公开的一种示例性实施例中，通过所述背景模型对除首帧以外的其他各视频帧进行前景检测，确定所述旋转目标的旋转轴心包括：通过所述背景模型为所述首帧图像中的每个背景点存储一个样本集，从而生成背景样本集；根据所述背景样本集定位除首帧以外的其他各视频帧中的前景点；分别对除首帧以外的其他各视频帧中的前景点进行统计分析，确定所述旋转目标的前景映像区域；取所述前景映像区域的中心点作为所述旋转目标的旋转轴心。
在本公开的一种示例性实施例中，分别对除首帧以外的其他各视频帧中的前景点进行统计分析，确定所述旋转目标的前景映像区域包括：根据除首帧以外的其他各视频帧中的前景点判断预设帧内的前景范围达到最大时，取前景范围达到最大时对应的视频帧中的前景作为所述前景映像区域。
在本公开的一种示例性实施例中，使用光流法获得所述旋转轴心的预设区域内的光流点的分布包括：使用光流法跟踪并记录所述旋转目标上的光流点；根据各光流点的坐标信息，筛选出所述旋转轴心的预设区域内的光流点；分别统计所述旋转轴心的预设区域内的第一方向和第二方向光流点的数量。
在本公开的一种示例性实施例中，根据各光流点的坐标信息，筛选出所述旋转轴心的预设区域内的光流点包括：计算所述旋转轴心的x坐标和各光流点的x坐标的差值的绝对值；当所述绝对值小于预定阈值时，选择相应的光流点处于所述旋转轴心的预设区域内。
在本公开的一种示例性实施例中，根据所述预设区域内的光流点的分布判定所述旋转目标的旋转方向包括：根据所述第一方向和第二方向光流点的数量判定所述旋转目标的旋转方向。
在本公开的一种示例性实施例中，所述方法还包括：判断输入的视频帧是否为彩色图像；当所述视频帧为彩色图像时，将所述彩色图像转换为灰度图像。
根据本公开的一个方面，提供一种用于判断目标旋转方向的装置，包括：输入模块，用于输入包括旋转目标的连续的视频帧；背景建模模块，用于根据所述视频帧中的首帧图像建立背景模型；前景检测模块，用于通过所述背景模型对除首帧以外的其他各视频帧进行前景检测，确定所述旋转目标的旋转轴心；光流点分布获取模块，用于获得所述旋转轴心的预设区域内的光流点的分布；旋转方向判断模块，用于根据所述预设区域内的光流点的分布判定所述旋转目标的旋转方向。
根据本公开的一个方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述实施例中的用于判断目标旋转方向的方法。
根据本公开的一个方面，提供一种电子设备，包括：一个或多个处理器；以及存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述实施例中的用于判断目标旋转方向的方法。
本公开示例性实施方式所提供的用于判断目标旋转方向的方法及装置，通过前景检测的方法确定视频图像中的旋转目标的旋转轴心，并使用光流法判定该旋转目标的旋转方向，简单有效，能够很快的计算获得旋转目标旋转的时钟方向。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出可以应用本申请的用于判断目标旋转方向的方法或用于判断目标旋转方向的装置的***架构图。
图2示意性示出本公开示例性实施例中一种用于判断目标旋转方向的方法的流程图。
图3示意性示出本公开示例性实施例中一种确定旋转目标的旋转轴心的方法的流程图。
图4示意性示出本公开示例性实施例中一种获得旋转轴心的预设区域内的光流点的分布的方法的流程图。
图5示意性示出本公开示例性实施例中一种用于判断目标旋转方向的装置的模块示意图。
图6示意性示出本公开示例性实施例中的电子设备的模块示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
针对上述背景技术中提及的电子商务平台采用商品主图视频表现商品占用带宽太大的问题，可以使用商品360度旋转视频的截图来代替商品主图视频，这样当用户旋转手机时，即可看到商品的不同角度。例如，向左旋转手机，用户可以看到商品的左边；向右旋转手机，用户可以看到商品的右边。这就要求商品360度旋转的旋转方向为顺时针方向。
但是，某些商家上传的商品主图视频是逆时针方向的，这时需要进行额外处理将其转为顺时针。这种情况下首先需要检测出商家上传至电子商务平台上的视频中的商品的旋转方向，便于后续的视频截帧处理。现有技术中检测商品旋转方向需要使用复杂的硬件结构，不能从视频中检测出商品的旋转方向。
图1示意性示出可以应用本申请的用于判断目标旋转方向的方法或用于判断目标旋转方向的装置的***架构图。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯用户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱用户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103提交的各种视频图像数据等提供支持的后台管理服务器。后台管理服务器可以对接收到的视频图像数据进行旋转方向检测等处理，并将处理结果(例如将商家上传的逆时针方向的视频调整为顺时针并进行视频截帧)反馈给终端设备。
需要说明的是，本申请实施例所提供的用于判断目标旋转方向的方法一般由服务器105执行，相应地，用于判断目标旋转方向的装置一般设置于服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出本公开示例性实施例中一种用于判断目标旋转方向的方法的流程图。
如图2所示，该用于判断目标旋转方向的方法可以包括以下步骤。
在步骤S10中，输入包括旋转目标的连续的视频帧。
本发明实施例中，所述旋转目标可以为视频帧中的物品或物体或者商品，但本公开并不限定于此。
在示例性实施例中，所述方法还可以包括：判断输入的视频帧是否为彩色图像；当所述视频帧为彩色图像时，将所述彩色图像转换为灰度图像。
本发明实施例中，输入的连续的视频帧可以为灰度图像。当输入的视频帧为彩色图像时，可以使用以下公式将其转换为灰度图：
Gray＝0.299R+0.587G+0.114B
在步骤S20中，根据所述视频帧中的首帧图像建立背景模型。
本发明实施例中，背景建模基于背景与前景是否在运动、运动方向和颜色等方面的差异进行前景和背景的区分和识别。
本发明实施例中，建立背景模型通过首帧图像即可完成，对于一个像素点，随机的选择它的邻居点的像素值作为它的模型样本值。
M0(x)＝{v0(y|y∈NG(x))}
t＝0初始时刻，NG(x)即为邻居点。通常，可以取像素点x周围3*3的区域作为NG(x)，采样次数可以设定为20次，这样背景模型就为每个背景点存储了一个样本集。
需要说明的是，上述取像素点x周围3*3的区域作为NG(x)以及采样次数设定为20次仅用于举例说明，并不是用于限定本公开的保护范围，其取值可以根据实际情况进行选择。
在步骤S30中，通过所述背景模型对除首帧以外的其他各视频帧进行前景检测，确定所述旋转目标的旋转轴心。
图3示意性示出本公开示例性实施例中一种确定旋转目标的旋转轴心的方法的流程图。如图3所示，该确定旋转目标的旋转轴心的方法可以包括以下步骤。
在步骤S31中，通过所述背景模型为所述首帧图像中的每个背景点存储一个样本集，从而生成背景样本集。
在步骤S32中，根据所述背景样本集定位除首帧以外的其他各视频帧中的前景点。
在步骤S33中，分别对除首帧以外的其他各视频帧中的前景点进行统计分析，确定所述旋转目标的前景映像区域。
在示例性实施例中，分别对除首帧以外的其他各视频帧中的前景点进行统计分析，确定所述旋转目标的前景映像区域可以包括：根据除首帧以外的其他各视频帧中的前景点判断预设帧内的前景范围达到最大时，取前景范围达到最大时对应的视频帧中的前景作为所述前景映像区域。
在步骤S34中，取所述前景映像区域的中心点作为所述旋转目标的旋转轴心。
本发明实施例中，使用接下来若干连续视频帧(即除首帧图像以外的其他连续的视频帧)更新背景模型。将每一个新的像素值和样本集进行比较来判断是否属于背景点。可以知道如果一个新的观察值属于背景点，那么它应该和样本集中的采样值比较接近。
例如，假设记当前视频帧x坐标点的像素值为v(x)；M(x)＝{V1，V2，…VN}为x坐标点的背景模型，该模型参数由N个数值(历史像素、邻居像素采集而来)组成，且M(x)是处于不断变化和更新的状态。对于当前视频帧x坐标点的像素值v(x)，将之与M(x)中N个数值进行如下计算：
1)计算v(x)与每个数值的距离S；
2)记录距离S小于预设半径R(例如取50)的数量C；
3)比较C和一个给定的阈值#min(例如取2)的大小，如果C大于阈值#min，认为x坐标点的像素来自北京，判定为背景点；反之判定为前景点。
假设SR(v(x))为以x为中心R为半径的区域。可以使用交集来形式化上述内容，即如果M(x)[{SR(v(x))∩{V1，V2，…,VN}}]大于一个给定的阈值#min，那么就认为x点属于背景点，否则定位前景点。本发明实施例中以#min取2、半径R取50为例进行举例说明，但本公开并不限定于此。
接下来，对所有判定为前景的点进行统计分析：若在P(例如100，但本公开并不限定于此)帧内前景不再有“扩张动作”，则认为旋转物体前景映像区域已固定，此时取前景映像区域中心点作为旋转轴心。
本发明实施例中，在P(这里以100为例进行举例说明)帧内判断前景不再有“扩张动作”可以通过判断该100帧内的前景范围不再扩大，即该100帧内的某一视频帧内的前景范围达到最大时，将该视频帧中的旋转物体的前景作为所述旋转物体的前景映像区域。这是因为通常商家上传的视频中的旋转商品的形状是非规则的，且同时该商品不是位于该视频帧的正中心，因此，需要判断该商品的旋转轴心。当商品旋转时，其前一帧的前景范围可能较小，随着商品旋转，其后面的帧的前景范围可能逐步增大，当达到前景范围的最大值时，其前景范围又会逐步减小。例如，假设商家上传了一本书的旋转视频，最初时刻假设是书脊即该书的最小面积正对着用户，该当前视频帧检测到的前景范围最小，随着该书逆时针或者顺时针旋转，后续各视频帧中检测到的该书的前景范围会逐步增大，知道该书的封面完全正对着用户时，此时相应视频帧检测到的前景范围最大，即可取该视频帧中的前景范围作为该书的所述前景映像区域。
在步骤S40中，获得所述旋转轴心的预设区域内的光流点的分布。
光流是一种简单实用的图像运动的表达方式，通常定义为一个图像序列中的图像亮度模式的表观运动，即空间物体表面上的点的运动速度在视觉传感器的成像平面上的表达。
图4示意性示出本公开示例性实施例中一种获得旋转轴心的预设区域内的光流点的分布的方法的流程图。如图4所示，该获得旋转轴心的预设区域内的光流点的分布的方法可以包括以下步骤。
在步骤S41中，使用光流法跟踪并记录所述旋转目标上的光流点。
在步骤S42中，根据各光流点的坐标信息，筛选出所述旋转轴心的预设区域内的光流点。
在示例性实施例中，根据各光流点的坐标信息，筛选出所述旋转轴心的预设区域内的光流点可以包括：计算所述旋转轴心的x坐标和各光流点的x坐标的差值的绝对值；当所述绝对值小于预定阈值时，选择相应的光流点处于所述旋转轴心的预设区域内。
在步骤S43中，分别统计所述旋转轴心的预设区域内的第一方向和第二方向光流点的数量。
本发明实施例中，光流涉及到两个主要概念：运动场和光流场。假定图像上点m＝(x，y)T(这里T表示时间集合)在时刻t的灰度值为I(x，y，t)，经过时间间隔dt后，对应点的灰度为I(x+dx，y+dy，t+dt)，当dt→0时，可以认为两点的灰度不变，也就是：
I(x+dx，y+dy，t+dt)＝I(x，y，t)
如果图像灰度随x，y，t缓慢变化，可以将上述公式的左边进行泰勒级数展开：
Figure BDA0001324050060000091
其中ε代表二阶无穷小项。由于dt→0，忽略ε，可以得到：
Figure BDA0001324050060000092
令
Figure BDA0001324050060000093
代表x，y方向上的光流，
Figure BDA0001324050060000094
分别代表图像灰度相对于x，y，t的偏导，上式可以写成：
Ixμ+Iy v+It＝0
上述公式即光流场的基本方程。写成向量形式，即：
Figure BDA0001324050060000095
其中
Figure BDA0001324050060000096
是图像在点m处的梯度，Vm＝(μ，v)是点m的光流。
上述公式称为光流约束方程，本发明实施例中采用光流法的优点在于光流点包含了运动信息，能够在不知道任何场景的信息时，计算出运动对象的位置。
本发明实施例中，在计算前景映像区域和旋转轴心的同时，可以使用光流法跟踪旋转物体上的特征点(即光流点)，记录其方向向量和所处位置例如坐标信息。
在步骤S50中，根据所述预设区域内的光流点的分布判定所述旋转目标的旋转方向。
在示例性实施例中，根据所述预设区域内的光流点的分布判定所述旋转目标的旋转方向可以包括：根据所述第一方向(例如顺时针方向)和第二方向(例如逆时针方向)光流点的数量判定所述旋转目标的旋转方向。
本发明实施例中，当旋转轴心确定时，根据记录的所有光流点的坐标信息，筛选出位于旋转轴心附近的光流点。筛选的方法可以为：
|Px-Cx|＜dist
其中，Px为光流点的x坐标，Cx表示旋转轴心的x坐标，dist默认可以取25，但本公开并不限定于此。之后，统计旋转轴心附近区域内的顺、逆时针方向光流点的数量，可以取光流点数量较多的作为该旋转目标的旋转方向。
需要说明的是，上述筛选位于旋转轴心附近的光流点的公式，只考虑了旋转轴心的x坐标和各光流点的x坐标是基于这样一个图像坐标系：即通常对于一张图像而言，将其左上角定位为坐标原点，相对该坐标原点向下的竖直方向为y轴，相对该坐标原点向右的水平方向为x轴。在电子商务平台应用场景中，通常是将商品沿着x轴方向进行顺时针或逆时针旋转，因此并不关心其y轴方向的坐标。
本发明实施方式提供的用于判断目标旋转方向的方法，使用前景检测和光流法确定视频中物品旋转的时针方向，简单高效，能够很快的计算出物品旋转的时针方向。
需要说明的是，本发明实施例中，物品旋转方向的判断，指特定视频中展示的物品做旋转动作时，旨在求出其旋转的时针方向。
图5示意性示出本公开示例性实施例中一种用于判断目标旋转方向的装置的模块示意图。
如图5所示，该用于判断目标旋转方向的装置100可以包括输入模块110、背景建模模块120、前景检测模块130、光流点分布获取模块140以及旋转方向判断模块150。
输入模块110可以用于输入包括旋转目标的连续的视频帧。
背景建模模块120可以用于根据所述视频帧中的首帧图像建立背景模型。
前景检测模块130可以用于通过所述背景模型对除首帧以外的其他各视频帧进行前景检测，确定所述旋转目标的旋转轴心。
在示例性实施例中，前景检测模块130可以进一步包括样本集生成单元、前景点定位单元、前景映像区域确定单元以及旋转轴心获得单元。
其中所述样本集生成单元可以用于通过所述背景模型为所述首帧图像中的每个背景点存储一个样本集，从而生成背景样本集。所述前景点定位单元可以用于根据所述背景样本集定位除首帧以外的其他各视频帧中的前景点。所述前景映像区域确定单元可以用于分别对除首帧以外的其他各视频帧中的前景点进行统计分析，确定所述旋转目标的前景映像区域。所述旋转轴心获得单元可以用于取所述前景映像区域的中心点作为所述旋转目标的旋转轴心。
在示例性实施例中，所述前景映像区域确定单元可以进一步包括前景映像区域确定子单元，所述前景映像区域确定子单元可以用于根据除首帧以外的其他各视频帧中的前景点判断预设帧内的前景范围达到最大时，取前景范围达到最大时对应的视频帧中的前景作为所述前景映像区域。
光流点分布获取模块140可以用于获得所述旋转轴心的预设区域内的光流点的分布。
在示例性实施例中，光流点分布获取模块140可以进一步包括光流点跟踪记录单元、光流点筛选单元以及光流点统计单元。
其中，所述光流点跟踪记录单元可以用于使用光流法跟踪并记录所述旋转目标上的光流点。所述光流点筛选单元可以用于根据各光流点的坐标信息，筛选出所述旋转轴心的预设区域内的光流点。所述光流点统计单元可以用于分别统计所述旋转轴心的预设区域内的第一方向和第二方向光流点的数量。
在示例性实施例中，所述光流点筛选单元可以进一步包括差值计算子单元以及判断子单元。
其中，所述差值计算子单元可以用于计算所述旋转轴心的x坐标和各光流点的x坐标的差值的绝对值。所述判断子单元可以用于当所述绝对值小于预定阈值时，选择相应的光流点处于所述旋转轴心的预设区域内。
旋转方向判断模块150可以用于根据所述预设区域内的光流点的分布判定所述旋转目标的旋转方向。
在示例性实施例中，旋转方向判断模块150可以进一步包括旋转方向判断单元，所述旋转方向判断单元可以用于根据所述第一方向和第二方向光流点的数量判定所述旋转目标的旋转方向。
在示例性实施例中，该用于判断目标旋转方向的装置100还可以包括判断模块和转换模块。
其中所述判断模块可以用于判断输入的视频帧是否为彩色图像。所述转换模块可以用于当所述视频帧为彩色图像时，将所述彩色图像转换为灰度图像。
需要说明的是：所述用于判断目标旋转方向的装置中各模块单元的具体细节已经在对应的用于判断目标旋转方向的方法中进行了详细的描述，这里不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有***600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的***中限定的上述功能。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：输入包括旋转目标的连续的视频帧；根据所述视频帧中的首帧图像建立背景模型；通过所述背景模型对除首帧以外的其他各视频帧进行前景检测，确定所述旋转目标的旋转轴心；获得所述旋转轴心的预设区域内的光流点的分布；根据所述预设区域内的光流点的分布判定所述旋转目标的旋转方向。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (8)

1.一种用于判断目标旋转方向的方法，其特征在于，包括：
输入包括旋转目标的连续的视频帧；
根据所述视频帧中的首帧图像建立背景模型；
通过所述背景模型对除首帧以外的其他各视频帧进行前景检测，确定所述旋转目标的旋转轴心；
使用光流法跟踪并记录所述旋转目标上的光流点，并根据各光流点的坐标信息，筛选出所述旋转轴心的预设区域内的光流点；
分别统计所述旋转轴心的预设区域内的第一方向和第二方向光流点的数量；
根据所述第一方向和第二方向光流点的数量判定所述旋转目标的旋转方向。
2.根据权利要求1所述的方法，其特征在于，通过所述背景模型对除首帧以外的其他各视频帧进行前景检测，确定所述旋转目标的旋转轴心包括：
通过所述背景模型为所述首帧图像中的每个背景点存储一个样本集，从而生成背景样本集；
根据所述背景样本集定位除首帧以外的其他各视频帧中的前景点；
分别对除首帧以外的其他各视频帧中的前景点进行统计分析，确定所述旋转目标的前景映像区域；
取所述前景映像区域的中心点作为所述旋转目标的旋转轴心。
3.根据权利要求2所述的方法，其特征在于，分别对除首帧以外的其他各视频帧中的前景点进行统计分析，确定所述旋转目标的前景映像区域包括：
根据除首帧以外的其他各视频帧中的前景点判断预设帧内的前景范围达到最大时，取前景范围达到最大时对应的视频帧中的前景作为所述前景映像区域。
4.根据权利要求1所述的方法，其特征在于，根据各光流点的坐标信息，筛选出所述旋转轴心的预设区域内的光流点包括：
计算所述旋转轴心的x坐标和各光流点的x坐标的差值的绝对值；
当所述绝对值小于预定阈值时，选择相应的光流点处于所述旋转轴心的预设区域内。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
判断输入的视频帧是否为彩色图像；
当所述视频帧为彩色图像时，将所述彩色图像转换为灰度图像。
6.一种用于判断目标旋转方向的装置，其特征在于，包括：
输入模块，用于输入包括旋转目标的连续的视频帧；
背景建模模块，用于根据所述视频帧中的首帧图像建立背景模型；
前景检测模块，用于通过所述背景模型对除首帧以外的其他各视频帧进行前景检测，确定所述旋转目标的旋转轴心；
光流点筛选模块，用于使用光流法跟踪并记录所述旋转目标上的光流点，并根据各光流点的坐标信息，筛选出所述旋转轴心的预设区域内的光流点；
光流点分布获取模块，用于分别统计所述旋转轴心的预设区域内的第一方向和第二方向光流点的数量；
旋转方向判断模块，用于根据所述第一方向和第二方向光流点的数量判定所述旋转目标的旋转方向。
7.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-5任一所述的用于判断目标旋转方向的方法。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5任一所述的用于判断目标旋转方向的方法。
CN201710457547.8A 2017-06-16 2017-06-16 用于判断目标旋转方向的方法及装置 Active CN109145681B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710457547.8A CN109145681B (zh) 2017-06-16 2017-06-16 用于判断目标旋转方向的方法及装置
RU2019132178A RU2754641C2 (ru) 2017-06-16 2018-03-29 Способ и устройство для определения направления вращения целевого объекта, считываемый компьютером носитель и электронное устройство
PCT/CN2018/081038 WO2018228021A1 (zh) 2017-06-16 2018-03-29 用于判断目标旋转方向的方法及装置、计算机可读介质、电子设备
US16/492,984 US11120269B2 (en) 2017-06-16 2018-03-29 Method and apparatus for determining target rotation direction, computer readable medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710457547.8A CN109145681B (zh) 2017-06-16 2017-06-16 用于判断目标旋转方向的方法及装置

Publications (2)

Publication Number Publication Date
CN109145681A CN109145681A (zh) 2019-01-04
CN109145681B true CN109145681B (zh) 2021-02-26

Family

ID=64660644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710457547.8A Active CN109145681B (zh) 2017-06-16 2017-06-16 用于判断目标旋转方向的方法及装置

Country Status (4)

Country Link
US (1) US11120269B2 (zh)
CN (1) CN109145681B (zh)
RU (1) RU2754641C2 (zh)
WO (1) WO2018228021A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376664B (zh) * 2018-10-29 2021-03-09 百度在线网络技术（北京）有限公司 机器学习训练方法、装置、服务器和介质
CN114827730B (zh) * 2022-04-19 2024-05-31 咪咕文化科技有限公司 视频封面选取方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629384A (zh) * 2012-02-28 2012-08-08 成都三泰电子实业股份有限公司 视频监控中异常行为的检测方法
CN102819764A (zh) * 2012-07-18 2012-12-12 郑州金惠计算机***工程有限公司 一种适用于交通路口复杂场景下的多视角人流量统计方法
KR101247319B1 (ko) * 2011-05-19 2013-03-25 삼성테크윈 주식회사 감시 카메라 제어 방법
CN103593656A (zh) * 2013-11-22 2014-02-19 四川大学 基于局部二值模式的视频中人群运动模式识别定位方法
CN104599502A (zh) * 2015-02-13 2015-05-06 重庆邮电大学 一种基于视频监控的车流量统计方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6954544B2 (en) * 2002-05-23 2005-10-11 Xerox Corporation Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences
EP2613281B1 (en) * 2006-12-29 2014-08-13 Qualcomm Incorporated Manipulation of virtual objects using enhanced interactive system
RU2340922C1 (ru) 2007-02-08 2008-12-10 Федеральное государственное унитарное предприятие "Производственное объединение "Уральский оптико-механический завод" имени Э.С. Яламова" Оптико-электронное устройство с механической разверткой для получения изображения
CN101369346B (zh) 2007-08-13 2010-09-15 北京航空航天大学 一种视频运动目标自适应窗口的跟踪方法
JP4544334B2 (ja) * 2008-04-15 2010-09-15 ソニー株式会社 画像処理装置および画像処理方法
CN102843496B (zh) * 2011-06-21 2016-04-27 联想(北京)有限公司 一种视频采集处理方法及便携式电子设备
JP2013191163A (ja) * 2012-03-15 2013-09-26 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
CN103517041B (zh) 2013-09-29 2016-04-27 北京理工大学 基于多相机旋转扫描的实时全景监控方法和装置
US20160379074A1 (en) * 2015-06-25 2016-12-29 Appropolis Inc. System and a method for tracking mobile objects using cameras and tag devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101247319B1 (ko) * 2011-05-19 2013-03-25 삼성테크윈 주식회사 감시 카메라 제어 방법
CN102629384A (zh) * 2012-02-28 2012-08-08 成都三泰电子实业股份有限公司 视频监控中异常行为的检测方法
CN102819764A (zh) * 2012-07-18 2012-12-12 郑州金惠计算机***工程有限公司 一种适用于交通路口复杂场景下的多视角人流量统计方法
CN103593656A (zh) * 2013-11-22 2014-02-19 四川大学 基于局部二值模式的视频中人群运动模式识别定位方法
CN104599502A (zh) * 2015-02-13 2015-05-06 重庆邮电大学 一种基于视频监控的车流量统计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
利用光流法计算人体运动的速度与方向;对不住了哥们;《https://blog.csdn.net/lh340826/article/details/41467395》;20141125;全文 *

Also Published As

Publication number Publication date
US20200097729A1 (en) 2020-03-26
CN109145681A (zh) 2019-01-04
US11120269B2 (en) 2021-09-14
RU2019132178A3 (zh) 2021-07-16
RU2754641C2 (ru) 2021-09-06
RU2019132178A (ru) 2021-07-16
WO2018228021A1 (zh) 2018-12-20

Similar Documents

Publication Publication Date Title
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
US10846870B2 (en) Joint training technique for depth map generation
JP2020507850A (ja) 画像内の物体の姿の確定方法、装置、設備及び記憶媒体
CN110517214B (zh) 用于生成图像的方法和装置
US11321822B2 (en) Determining image defects using image comparisons
US9734599B2 (en) Cross-level image blending
KR102547527B1 (ko) 객체 라벨링 방법 및 장치
CN110310299B (zh) 用于训练光流网络、以及处理图像的方法和装置
US20220036731A1 (en) Method for detecting vehicle lane change, roadside device, and cloud control platform
CN111524166A (zh) 视频帧的处理方法和装置
CN110059623B (zh) 用于生成信息的方法和装置
US20210374977A1 (en) Method for indoor localization and electronic device
CN111601013B (zh) 用于处理视频帧的方法和装置
KR20210130632A (ko) 타깃 추적 방법 및 장치
CN109145681B (zh) 用于判断目标旋转方向的方法及装置
CN112714263B (zh) 视频生成方法、装置、设备及存储介质
CN111767456A (zh) 用于推送信息的方法和装置
CN115578432B (zh) 图像处理方法、装置、电子设备及存储介质
CN111652831B (zh) 对象融合方法、装置、计算机可读存储介质及电子设备
CN113436247B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN115756461A (zh) 标注模板生成方法、图像识别方法、装置和电子设备
Ni Application of motion tracking technology in movies, television production and photography using big data
CN115690845A (zh) 一种运动轨迹预测方法及装置
CN112200190B (zh) 兴趣点的位置确定方法、装置、电子设备和存储介质
CN112070903A (zh) 虚拟对象的展示方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant