CN105493187A - 用于动态调整视频回放速度的技术 - Google Patents

用于动态调整视频回放速度的技术 Download PDF

Info

Publication number
CN105493187A
CN105493187A CN201380079385.9A CN201380079385A CN105493187A CN 105493187 A CN105493187 A CN 105493187A CN 201380079385 A CN201380079385 A CN 201380079385A CN 105493187 A CN105493187 A CN 105493187A
Authority
CN
China
Prior art keywords
section
playback speed
multiple sections
importance
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380079385.9A
Other languages
English (en)
Inventor
D.阿夫拉哈米
E.伊拉马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105493187A publication Critical patent/CN105493187A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G11B27/3036Time code signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

描述了用于增强视频回放的技术。在一些实施例中,该技术将记录的事件数据解析成多个段。每个段内的数据然后可在标识潜在感兴趣的事件的发生的尝试中被分析。基于该分析,可向每个段指配重要性值或对于每个段调整重要性值。基于段的重要性值与一个或多个重要性阈值的比较,可向该段指配回放速度。将每个段与指配的回放速度相关的回放索引然后可被产生,并用于在视频查看期间控制回放速度。这可允许视频的相对不感兴趣的部分以高回放速度自动绕过,而感兴趣的部分以相对低的速度播放。

Description

用于动态调整视频回放速度的技术
背景技术
在使用个人电子装置记录诸如生日聚会、体育赛事、户外活动等事件的兴趣正在增长。在许多实例中,用户制作了包含相对少感兴趣事件的长视频剪辑。例如,用户可能记录了三小时的骑自行车通过山峰,其中可能仅几分钟被视为感兴趣的。当回顾该视频时,在达到视频的感兴趣部分之前,用户可能不得不观看大量不感兴趣的视频。尽管用户可手动快进通过不感兴趣的部分,但这可导致用户错过视频的感兴趣部分,除非降低快进回放速度。
为了解决这个问题,已经开发了编辑记录的视频数据以标识关键帧(时刻)并索引那些关键帧的技术。关键帧提供了用户或观众通过从关键帧跳到关键帧来快速导航通过视频的方便基础。然而,自动标识这些关键帧可能是困难的,并且如果手动执行,则是用户费力的过程。
还已经开发了用于自动标识关键帧并产生关键帧索引的技术。此类技术可依赖于当装置记录事件时产生的视频、音频和/或其它传感器数据的改变。尽管那些技术能消除与关键帧的手动指配关联的许多人力,但它们可能仍提供了不充分的用户体验。例如,自动关键帧标识***可能错过可被视为用户感兴趣的记录中的事件。这可削弱***标识记录中所有感兴趣事件的能力的用户信任。自动关键帧标识***还可能向用户不感兴趣的记录部分错误地指配关键帧。在此类实例中,用户花费相当大量的时间并努力移除不想要的关键帧,可能是必要的。
因而,在本领域存在对于用于回顾和/或编辑记录并且具体地说用于回顾视频记录的改进技术的需要。
附图说明
图1图示了与本公开一致的示范***的框图。
图2图示了与本公开一致的另一示范***。
图3图示了与本公开一致的另一示范***。
图4图示了与本公开一致的另一示范***。
图5A-5C图示了与本公开一致的附加示范***。
图6描绘了与本公开一致的示范使用情况。
图7描绘了与本公开一致的用于生成回放索引的示范方法。
图8描绘了与本公开一致的用于更改生成回放索引的方式的方法。
具体实施方式
本公开的各种实施例针对增强视频回顾。本文所使用的术语“视频”一般是指当执行时表示描绘运动的图像序列的媒体。视频可包括数字记录,所述数字记录包含视频轨道,并且视频可选地可包含其它记录的数据(诸如音频轨道或其它传感器数据),或与之关联。与各种实施例一致,本文描述的技术可通过将视频解析成多个段来增强视频查看。一旦视频被解析,本文描述的技术就可利用视频和/或与视频一起收集的其它传感器数据来向视频的每个段指配重要性值(significance value)。每个段的重要性值然后可与一个或多个重要性阈值相比较,其中每个阈值与对应回放速度关联。例如,第一重要性阈值以上的重要性值可与第一(例如相对低的)回放速度关联,而在第一重要性阈值以下的重要性值可与第二(例如相对快的)回放速度关联。
用这种方式,本文描述的技术可产生视频的索引(回放索引),其中回放索引提供了视频的每个段的回放速度。如本文所使用的,术语“段”一般是指视频的时间子区。例如,本文描述的技术可将视频解析成Y/n个段,其中F是视频的总长度(例如以秒为单位),而n是每个段的长度(例如也以秒为单位),其可自动设置或由用户设置。从而,例如,如果视频是30分钟(Y=1800s),并且段长5秒(n=5s),则视频可被解析成360个5秒长的段。此类值当然是示范性的,并且可使用任何视频长度和段长度。例如,视频可被解析成范围从大约0.1毫秒到大约1000毫秒(ms)或更多(诸如大约200ms、大约400ms、大约600ms或甚至大约800ms)的段。备选地或附加地,每个段可对应于视频的大约1、2、5、10、20、30、40、50、60或更多帧。还应该理解到,每个段的长度需要不相同。例如,段长可增大或减小,取决于由***指配的重要性值、用户输入或它们的组合。
在又一些实施例中,本文描述的技术可分析所有或部分记录的事件数据,并向被确定为重要的或者另外可能用户感兴趣的部分指配重要性值。换言之,对于表示可能感兴趣的事件的数据,记录的事件数据可作为整体进行分析。
随后,记录的事件数据可被解析成段,例如,基于该技术确定此类段是感兴趣的或不感兴趣的程度。本文描述的技术在一些实施例中可基于指配给记录的事件数据的相对感兴趣和相对不感兴趣的部分的重要性值进行此类指配。
术语“重要性值”在本文用于指由本文描述的技术指配给视频段的值。一般而言,指配给一段的重要性值可表示段内容可被视为要考虑的视频的观众感兴趣的程度。在一些实施例中,每帧的重要性值可基于视频数据和/或在时间上映射到视频数据的传感器数据的分析进行设置。通过本文描述的技术确定重要性值的方式可受控制简档中的控制参数影响,如后面所描述的。
如下面详述的,与各种实施例一致,传感器数据可通过与同一设备中的视频记录装置(诸如摄像机)协同定位的传感器收集。在其它实施例中,传感器数据可通过装在包含视频记录装置的单独设备中的传感器收集。因而,术语“传感器数据”在本文用于指从一个或多个传感器或传感器组件(诸如音频传感器、全球定位传感器、生物统计传感器、本文描述的另一传感器或传感器组件、它们的组合等等)记录的数据。
图1图示了与本公开一致的视频回顾***100的框图。一般而言,视频回顾***100针对处理视频和其它数据,以通过向考虑下的视频的各个部分指配回放速度来增强视频查看。视频查看***100可组织包含视频的多类型数据,其中在公共事件诸如事件102记录多类型数据。在各种实施例中,除了视频数据以外,其它类型记录装置(诸如传感器)可收集在时间上可与记录的视频轨道相关的数据,以便用于标识可促进视频编辑的视频轨道部分。为了方便起见,从事件记录的视频和/或传感器数据可在本文单独称为或统称为“记录的事件数据”。在一些实施例中,记录的事件数据包含视频数据和在时间上映射到视频数据的传感器数据。
在图1中图示了由视频回顾***100提供的各种功能,在可执行那些功能的各种组件旁边。如所图示的,视频回顾***100支持基于视频和传感器数据中至少一个的视频和传感器数据的记录、记录的数据的存储、用于处理的数据传送以及视频回放索引的产生。
如图1所示,视频回顾***100包含可从事件102中收集和/或存储视频数据的视频记录组件104。视频记录组件104的示例包含专用摄像机、具有视频记录能力的数字相机、移动电话、智能电话、平板计算机、笔记本计算机或具有视频记录能力的其它计算装置。当然,可使用其它类型视频记录组件,并且本公开也考虑到这些。
视频回顾***100进一步包含传感器组件106a、106b至106n,其中a、b和n中的至少一个是正整数,并且该组中的传感器组件数量大于0。传感器组件的非限制示例包含加速计、音频传感器(例如麦克风)、生物统计传感器、全球定位***(GPS)传感器、陀螺仪、压力传感器、温度传感器、光传感器、湿度传感器。示范生物统计传感器包含光学或红外相机、虹膜扫描仪、面部识别***、语音识别***、手指/拇指指纹装置、眼睛扫描仪、生物信号扫描仪(例如,心电图、脑电图等)、DNA分析仪、步态分析仪、麦克风、它们的组合等。此类生物统计传感器可配置成标识和/或记录有关生物信号(脑电波、心脏信号等)、耳型、眼睛(例如虹膜、视网膜)、脱氧核糖核酸(DNA)、脸、手指/拇指指纹、步态、手几何形状、手写、按键(即,键入图案或特性)、气味、肌理、热谱、血管图案(例如手指、手掌和/或眼睛静脉图案)以及人或其它动物的语音、它们的组合等信息。
在各种实施例中,视频回顾***100的所有或部分组件可协同定位在公共设备中,或者可位于经由一个或多个有线和/或无线通信链路链接的不同设备中。当实现为通过有线通信链路耦合的一组组件时,例如,视频回顾***100可包含布置成在有线通信介质(诸如线缆、电缆、印刷电路板(PCB)、背板、开关结构、半导体材料、双绞线、同轴电缆、光纤、它们的组合等)上传递信息的一个或多个元件。有线通信介质可使用输入/输出(I/O)适配器(未示出)连接到视频回顾***100,I/O适配器可布置成用用于使用一组期望的通信协议、服务或操作过程来控制元件之间信息信号的任何适合的技术操作。I/O适配器还可包含适当的物理连接器以连接I/O适配器与对应的通信介质。示范I/O适配器包含但不限于网络接口、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器、它们的组合等等。
例如,当实现为通过无线通信链路耦合的一组组件时,视频回顾***100可包含布置成在无线通信介质上传递信息的无线元件。示范无线通信***介质包含但不限于部分无线频谱,诸如射频(RF)频谱。无线元件还可包含适合于在指定无线频谱上传递信息信号的组件和接口,诸如,一个或多个天线、无线传送器、接收器、传送器/接收器(收发器)、放大器、滤波器、控制逻辑、天线、它们的组合等等。
在图1的实施例中,视频回顾***100包含处理器108、存储器112和智能寻找模块110,它们的操作将在下面详细描述。一般而言,智能寻找模块110可操作以至少暂时耦合到视频记录组件104和传感器组件106a-106n。在各种实施例中,并且如图1所示,视频记录组件104和/或传感器组件106a-106n可将收集的数据存储为视频数据和/或其它传感器数据。此类数据随后可被传送以便由智能寻找模块110处理。例如,来自事件102的视频数据可被收集并由摄像机存储在数据存储器114中,同时传感器组件106a从事件102收集运动数据,并将其存储在数据存储器116a中。两组数据然后都可被传送到智能寻找模块110进行处理。
数据存储器114和数据存储器116a-n可以是任何方便的存储介质/装置。例如,数据存储器114、116a-116n可包含盘驱动器、硬驱、光盘驱动器、通用串行总线(USB)闪存驱动器、存储卡、安全数字(SD)存储卡、大容量存储装置、闪存驱动器、计算机、游戏控制台、压缩盘(CD)播放器、计算机可读或机器可读存储器、可穿戴计算机、便携式媒体播放器(PMP)、便携式媒体记录器(PMR)、数字音频装置(例如MP3播放器)、数字媒体服务器、它们的组合等等。当然,其它类型数据存储器可被用作数据存储器114和116a-116n,并且应该理解到,用于此类元件的数据存储器的类型不必相同。
在视频记录组件104或传感器组件106a-106n初始未链接到相应数据存储器114、116a-116n的情况下,用户可将视频记录组件104或传感器组件106a-106n手动连接到相应数据存储器。例如,数据存储器114、116a-116n可形成相应视频记录组件104或传感器组件106a-106n的一部分。在此类情况下,为了处理从事件102收集的视频数据,用户可将视频记录组件104/传感器组件106a-106n手动耦合到包含智能寻找模块110的装置。如图1所示,耦合数据存储器114可发生在链路120上,而数据存储器116a到116w可分别经由链路122a到122w耦合到智能寻找模块110。在各种实施例中,链路120和122a到122w可以是有线链路或无线链路的任何组合,并且可以是可逆链路或永久链路。尽管链路120和122a到122w被描绘为将智能寻找模块110直接耦合到相应数据存储器114和116a到116n,使得数据存储器相反可耦合到装有智能寻找模块110的装置中的存储器(未示出)。
因此,在图1的实施例中,视频数据和传感器数据(未单独示出)可由视频记录器组件104和传感器组件116a-116n从事件102中收集,并且可选地存储在数据存储器114和/或116a-116n中。视频和传感器数据然后可被传送以便由智能寻找模块110处理。此类数据的传送可直接到智能寻找模块110和/或到存储器(诸如存储器112)。从事件102记录的传感器数据可在时间上映射到从事件102记录的视频数据,在将此类数据传送到智能寻找模块110之前或之后。例如,从事件102记录的传感器和视频数据可由处理器108和/或***100中的另一模块处理,以在时间上将传感器数据映射到视频数据,之后将映射的数据(例如记录的事件数据)传送到智能寻找模块110。备选地,智能寻找模块110可配置成在时间上将从事件102记录的传感器数据映射到对应视频数据。
在一些实施例中,视频数据可由视频记录器组件104收集作为视频流(视频轨道),其由智能寻找模块110(或另一模块)处理以在时间上将视频数据的帧与由传感器组件106a-106n收集的传感器数据的对应部分对准。智能寻找模块100因此可生成时间戳,或将传感器数据部分映射到视频数据的实例或帧的其它记号。用这种方式,传感器数据的一个或多个部分可在时间上与视频记录器组件104记录的视频数据的对应数据帧相关。
智能寻找模块110可采用处理器108执行处理操作或逻辑以执行诸如视频解析、重要性值指配、回放索引生成和它们的组合的操作。任何适合的处理器可被用作处理器108,包含但不限于通用处理器和专用集成电路。此类处理器可能能够执行一个或多个处理器核上的一个或多个线程。处理器108的类型和性质可基于诸如装置形成因子、期望功耗、期望处理能力、它们的组合等众多因子进行选择。可被用作处理器108的适合处理器的非限制示例包含从INTEL®、Advanced Micro Devices (AMD®)、Apple®、Samsung®和Nvidia®在商业上可得到的移动和台式处理器。非限制地,处理器108优选是INTEL®移动或台式处理器或专用集成电路。
视频回顾***100可配置成执行各种操作,诸如但不限于视频和传感器数据收集操作、映射操作、视频解析操作、重要性值指配操作、回放索引生成操作、视频回放操作、它们的组合等等。在一些实施例中,视频回顾***100可产生规定视频段回放速度的回放索引。而且,视频回顾***100可配置成以在回放索引中规定的回放速度重放谈论中的视频。因而,视频回顾***可以第一(相对慢的)速度(例如0.1X、0.5X、1X、2X、4X等,其中X是视频的实时回放速度)播放视频的感兴趣部分,并且可能以第二(相对高的)速度(例如16X、32X、64X、96X、128X等)播放视频的不感兴趣部分。
更一般地,视频回顾***100可自动快进通过视频的不感兴趣部分,在视频的感兴趣部分期间降低回放速度,并且一旦视频的感兴趣部分结束,就自动重新开始快进。这可在观看长视频,特别是包含嵌入在别的大量不感兴趣视频中的比较少感兴趣瞬间的长视频时,提供了更好的用户体验。在任何情况下,由视频回顾***100产生的回放索引可存储在存储器(诸如存储器112)中。
图2图示了与本公开一致的另一视频回顾***的框图。在此示例中,视频回顾***200包含多个设备,其中一个设备装有视频记录器组件104,而另一个装有传感器组件106。在这个以及其它示例中为了图示的目的,描绘了单个传感器组件106(没有示出单独外壳),其可表示一个或多个传感器组件106a-106n,除非以另外方式指出。
在图2的布置中,摄像机202和传感器组件106可独立部署成记录事件102。例如,事件102的视频数据可由摄像机202记录,而传感器组件106独立定位成记录来自事件102的传感器数据。视频数据和传感器数据从而可同时独立收集以捕获事件102。例如,摄像机202可记录运动中物体的视频,而运动传感器装置(其可包含加速计和/或陀螺仪组件)或一组传感器装置被部署在由摄像机202记录的一个或多个物体之上或之内,以便记录来自此物体的传感器(例如运动)数据。备选地或附加地,传感器组件106可包含音频传感器、GPS传感器、生物统计传感器和/或另一类型传感器,它们可记录来自事件102的对应传感器数据类型,与视频回顾***200中的摄像机202和/或其它传感器所记录的视频数据独立或一起。
如图2中所进一步图示的,视频回顾***200包含计算装置204。计算装置204可以是任何适合的计算装置,诸如大型计算机、台式计算机、膝上型计算机、笔记本计算机、平板计算机、智能电话、蜂窝电话、个人数据助理、便携式媒体播放器、它们的组合等等。计算装置204可布置成分别从摄像机202和传感器组件106接收记录的事件数据(包含视频数据208和传感器数据210)。在此实施例中,计算装置204包含智能寻找模块110、处理器108和存储器112。
如上面一般所论述的,智能寻找模块110可将记录的事件数据解析成多个段,并基于视频数据208和传感器数据210中的至少一个的分析向每个段指配重要性值。智能寻找模块110可进一步至少基于指配的重要性值与至少一个重要性阈值的比较向每个段指配回放速度。为每个段指配的回放速度然后可记录在所记录事件数据的回放索引中,或者单独或者与回放索引中的对应段标识符(例如时间戳)一起。
更确切地说,智能寻找模块110可配置成对记录的事件数据(未示出)执行解析操作,其可包含视频数据208和/或在时间上映射到视频数据208的传感器数据210。依照此类操作,智能寻找模块110(或另一模块)在一些实施例中可以确定考虑下的视频数据和/或记录的事件数据的总长度(Y)。智能寻找模块110然后可通过将Y处以段长(n)将记录的事件数据解析成若干段(S),使得S=Y/n。段长n可以是任何期望长度,如一般在上面论述的。
尽管本公开考虑将记录的事件数据解析成相等长度的多个段的视频回顾***,但不需要将此类数据解析成在时间上相等的长度。例如,智能寻找模块110可配置成将记录的事件数据解析成第一长度的多个第一段,并且进一步将至少一个第一段解析成第二长度的多个第二段,其中第二长度不同于第一长度。智能寻找模块110然后可进行指配第一段和第二段中每个段的重要性值,如下面所论述的。在一些实施例中,智能寻找模块110可响应于用户输入而规定第一段和第二段中至少一段的长度和/或位置。
智能寻找模块110可进一步配置成向解析的视频数据208和/或记录的事件数据的每个段指配重要性值。在一些实施例中,可基于视频数据208和/或传感器数据210的分析来确定此类重要性值,如下面所论述的。在这点上,智能寻找模块110可分析每个段内的传感器数据210以确定对应视频数据208的内容是否可被视为观众感兴趣的。
在一些实施例中,智能寻找模块可配置成初始给记录的事件数据的每个段指配第一重要性值,例如1.0。智能寻找模块110然后可基于段内的视频和/或传感器数据的分析来向上或向下调整该段的第一重要性值。第一重要性值的调整在一些实施例中可由智能寻找模块110内的机器学习分类器执行,其可用于分析段内的视频和/或传感器数据,并确定该段是否包含用户可能感兴趣的东西,并且从而确定段的第一重要性值是应该增大还是减小。
虽然本公开聚焦在其中第一重要性值是由智能寻找模块指配的不更改值的实施例上,但应该理解,此类实施例仅是示范性的,并且第一重要性值可与某个其它值相关。例如,第一重要性值可与智能寻找模块指配和/或调整的先前重要性值相关,并且为了调整而进行分析,例如考虑到新的或附加的视频和/或传感器数据。因此,应该理解到,术语“第一重要性值”中的“第一”仅仅用于指定被视为由智能寻找模块更改的重要性值。
在各种实施例中,指配给一段的第一重要性值可基于该段内传感器数据210的确定行为向上或向下调整。第一重要性值在一些实施例中可以是指配给一段的默认重要性值。备选地或附加地,第一重要性值可以是由智能寻找模块先前指配给段的重要性值,例如基于段中的视频和/或其它传感器数据的先验分析。在任何情况下,当段中的传感器(例如加速计、GPS、速度、力等)数据的改变分数和/或速率超过预定阈值(分数改变阈值)时,智能寻找模块110在一些实施例中可向上调整施加到此类段的第一重要性值。同样,如果传感器数据210中的分数和/或速率改变不超过预定阈值(可选地在预定时间量内),则智能寻找模块可向下调整施加到段的第一重要性值。不管调整方式如何,产生的重要性值在本文中都可被称为“调整的”重要性值。
备选地或附加地,如果确定传感器数据210的符号在记录的事件数据的段内改变,则智能寻找模块可向上或向下调整段的第一重要性值。也就是,如果段内的传感器数据从正改变到负,或反之亦然,智能寻找模块110可增大或减小段的第一重要性值。
例如,一段内或相邻段之间的传感器值的大改变可用于标识可能用户更感兴趣或不太感兴趣的视频部分。当段中的传感器值的改变超过阈值(例如,超过预定量,诸如大约10%、20%、50%等)时,智能寻找模块110可对应地增大指配给该段的第一重要性值。第一重要性值增大(或减小)的量可以是预定量,或者它可与传感器数据超过预定阈值的程度相关。从而,例如,当传感器数据210超过预定阈值10%时,智能寻找模块可将第一重要性值增大10%,而如果传感器数据210超过预定阈值50%,则可将第一重要性值增大50%。
当传感器数据210包含位置数据(诸如来自全球定位***(GPS)的数据)时,智能寻找模块110可配置成基于段中的位置数据的分析来调整段的第一重要性值。例如,如果段中的位置信息表示传感器组件106接近感兴趣的位置(例如由用户规定的或与一个或多个预定地标相关的),则智能寻找模块110可向上调整指配给段的第一重要性值。智能寻找模块110可通过比较段内的位置数据与一个或多个距离阈值来确定应该向上调整还是向下调整第一重要性值。如果段内的位置数据表示传感器106距感兴趣的位置的距离比距离阈值大或者小,则智能寻找模块110可分别向下或向上调整第一重要性阈值。
还可规定第一、第二、第三距离阈值等,其中第一距离阈值最靠近感兴趣的位置,并且编号更高的阈值对应地更远。在此类实例中,当位置数据指示传感器106位于更靠近感兴趣定位的距离阈值内时,智能寻找模块110可将调整量级调整到第一重要性值。例如,如果第一段内的位置数据指示传感器106在第一距离阈值内(相对靠近感兴趣的定位),则智能寻找模块110可将施加到第一段的第一重要性值向上调整50%。如果第二段内的位置数据指示传感器106在第一距离阈值外但在第二距离阈值内(更远离感兴趣的定位),则智能寻找模块110可将施加到第二段的默认值向上调整30%。当然,此类调整量级仅是示范性的,并且可使用任何调整量级。
备选地或附加地,当段内的位置数据指示传感器106的定位在规定距离阈值内时,智能寻找模块110可配置成将该段的第一重要性值向上调整预定量(例如1%、10%、20%、30%等)。而且,当段内的位置数据指示传感器106的定位在距感兴趣的定位的距离阈值之外时,智能寻找模块可配置成保持第一重要性值不变。
更进一步说,当来自传感器106的位置数据指示它在感兴趣的定位的预定距离阈值内时,智能寻找模块110可配置成向段指配超过重要性阈值的重要性值。换言之,智能寻找模块110可自动确定接近感兴趣的定位(其例如可响应于用户输入而设置)获取的视频段将是用户感兴趣的,并指配反映此类确定的重要性值。
当传感器数据210包含生物统计信息(例如当传感器组件106包含至少一个生物统计传感器时),智能寻找模块110可进一步配置成基于段内生物统计信息的存在或缺乏来调整指配给一段的第一重要性值。在这点上,智能寻找模块110可配置成分析生物统计信息的所记录事件数据的每个段。取决于此类信息的存在或缺乏,智能寻找模块可增大/减小一段的第一重要性值,和/或保持第一重要性值不变。
作为示例,本文描述的传感器组件可包含可记录来自事件102的音频数据的一个或多个麦克风。此类音频数据可在时间上映射到由摄像机202产生的视频数据。智能寻找模块110将产生的记录事件数据解析成段,之后智能寻找模块可分析具有感兴趣特性的音频信号的每个段中的音频数据,这可在生物统计(或其它)参考模板中规定或以其它方式规定。例如,智能寻找模块110可分析与特定人、动物、物体和/或位置的参考模板中的音频信息相关的音频信息的所记录事件数据的段。如果智能寻找模块110检测到在段中存在此类音频数据,则它可增大/减小/不改变施加到该段的第一重要性值。调整的程度在一些实施例中可取决于智能寻找模块110相信音频信息存在的信任度。同样,如果在段中未检测到感兴趣的生物统计音频信息,则智能寻找模块110可增大/减小/不改变施加到段的第一重要性值。
备选地或附加地,当来自传感器106的数据指示一段包含感兴趣的音频(或其它(例如生物统计))信息时,智能寻找模块110可配置成向该段指配超过重要性阈值的重要性值。换言之,智能寻找模块110可自动确定包含规定的生物统计信息(其例如可响应于用户输入而设置)的音频段将是用户感兴趣的,并指配反映此类确定的重要性值。
当然,传感器组件106不限于音频传感器,并且可由智能寻找模块110分析的生物统计信息的类型不限于音频。事实上,传感器组件106可包含一个或多个生物统计传感器(诸如上面描述的那些),它们可产生生物统计数据并将其发送到计算装置204。在此类实例中,智能寻找模块可分析所记录事件数据的分段中是否存在包含在一个或多个生物统计参考模板中的生物统计信息,并且可按上面规定的相同方式相对于音频信息调整每个段的第一重要性值。也就是,当检测到或未检测到与生物统计模板中的信息相关的生物统计信息时,智能寻找模块110可增大/减小/不改变所记录事件数据的段的第一重要性值。
根据不同实施例,对待视频数据208和传感器数据210从记录它的时间到生成回放索引的时间可有所不同。在图2中图示的示例中,传感器数据210和视频数据208可存储在计算装置204的存储器112中,并且随后由智能寻找模块110检索进行处理以生成回放索引212,其然后也可存储在存储器112中。然而,如下实施例是可能的:视频数据208和/或传感器数据210由计算装置204从摄像机202和/或传感器组件106直接检索,并由智能寻找模块110处理,而无需首先存储在存储器110中。例如,智能寻找模块110可嵌入在视频编辑应用或程序中,该应用或程序配置成允许用户检索并处理来自装置(诸如,能可逆地耦合到计算装置204的摄像机和传感器组件)的视频轨道和传感器数据。
因此,用户或用户群可收集在事件102生成的视频数据208和传感器数据210,并在他们方便时将此类数据传送到计算装置204以便随后查看视频轨道。在查看视频之前或之时,可启动智能寻找模块110,可处理所记录事件数据(包含在时间上映射到视频数据208的传感器数据210),并可生成回放索引212。回放索引然后可用于促进根据需要进行视频的查看/编辑。
图3图示了根据另一实施例的视频回顾***300。如所图示的,视频回顾***300包含视频记录器组件104,其被装在与传感器组件106的设备分开的设备中。具体地说,视频记录器组件104位于视频记录器/计算装置302中。视频记录器/计算装置例如可以是便携装置,诸如平板计算机、笔记本计算机、智能电话、蜂窝电话、个人数字助理、超移动个人计算机或包含视频回放能力的另一装置。在此情况下,视频记录器/计算装置302包含智能寻找模块110、处理器108和存储器112,它们促进生成由视频记录器/计算装置记录的视频的回放索引,如上面所论述的。
在一些实施例中,第一用户可采用摄像机/计算装置302来记录来自事件102的视频数据304,同时从单独装置传感器组件106收集来自事件102的传感器数据306,单独装置传感器组件106例如在事件102可位于移动物体中。视频数据304和传感器数据306都可存储在存储器112内,并由智能寻找模块110使用。在一个示例中,用户可用视频记录器/计算装置302记录来自事件102的视频数据304,而传感器组件106单独记录传感器数据306。传感器组件106随后可经由链路310耦合到视频记录器/计算装置302,以将传感器数据306传送到视频记录器/计算装置302。链路310可以是任何方便链路,诸如无线RF链路、红外链路、有线连接诸如串行连接(包含通用串行总线连接)等等。
一旦视频数据304和传感器数据306被传送到视频记录器/计算装置302,此类数据就可被存储在存储器112中供智能寻找模块110使用。具体地说,智能寻找模块110可检索视频数据304和传感器数据306,在时间上映射它们(如果它们之前未映射的话),将所记录事件数据分段,执行重要性值指配,并生成回放索引,如一般上面相对于图2所描述的。
在其它实施例中,视频数据和传感器数据可记录在单个设备中以便随后处理以生成回放索引。图4图示了视频回顾***400的一个实施例,其中摄像机402包含视频记录器组件104和传感器组件106。在一个实例中,传感器组件106可以是加速计或加速计和陀螺仪的组合,诸如在当今移动装置(包含相机、智能电话、平板计算机等)中频繁部署的那些。因此,在一些实施例中,传感器组件106可以是检测摄像机中运动的组件。在一个示例中,如果摄像机402部署在摄像机402在记录视频时经历运动的事件中,则摄像机本身的运动可由传感器组件106捕获。在一个示例中,视频数据和传感器数据由摄像机402捕获,并存储在摄像机402的存储器(未示出)中。
从事件102记录并存储在摄像机402中的视频和传感器数据可随后传送到计算装置404以便查看视频,如图4中所图示的。如所示,计算装置404包含智能寻找模块110、处理器108和存储器112,它们如之前所描述的运作。计算装置404例如可以是任何通用计算机,诸如台式或膝上型计算机、笔记本计算机、平板计算机、混合计算机/通信装置、智能电话、蜂窝电话或适合于查看包含视频的内容的另一装置。
当用户已经将视频数据408和传感器数据410记录并存储在摄像机402中时,用户随后可希望查看视频。用户因此可将摄像机402耦合到计算装置404以传送视频数据和传感器数据进行分析和查看。摄像机402可经由链路406耦合到计算装置404,链路406可以是有线连接和/或无线连接。视频数据408和传感器数据406然后可被传送到计算装置404,用于从事件102记录的视频的回放索引,如上面一般参考图1-3所描述的。
在另外实施例中,从事件记录的视频和传感器数据可与音频数据组合以支持产生回放索引。图5A描绘了包含此类特征的视频回顾***500的一个示例。如所示,视频记录器组件104、传感器组件106和音频记录器组件502记录来自事件102的视频、传感器和音频数据。当然,所图示的实施例是示范性的,并且例如,视频回顾***可按其它方式(诸如在图1-4中所示出的)布置。
返回到图5A,视频记录器组件104、传感器组件106和音频记录器组件502可记录来自事件102的数据。例如,在一个实施例中,***500的摄像机(未示出)可装有麦克风(音频记录组件502)和视频记录组件104,它们用于记录来自事件的视频和音频。单独传感器组件106可记录传感器(例如运动/位置/生物统计等)数据,同时音频和视频由相应音频记录器组件502和视频记录器组件104记录。随后,视频数据504、音频数据506和传感器数据508被发送到智能寻找模块110。
与各种实施例一致,智能寻找模块110可在时间上对准视频数据504、音频数据506和传感器数据508。在一个示例中,包含视频数据504的至少部分视频轨道的帧在时间上映射到音频数据506和传感器数据508的部分。用这种方式,视频轨道的每一个视频帧都可与音频数据506和传感器数据508的对应部分相关。随后,智能寻找模块110可解析产生的记录事件数据,并向每个段指配重要性值(例如,基于视频数据504、音频数据506和传感器数据508中的一个或多个的分析)。智能寻找模块然后可使用指配的重要性值,以生成视频的回放索引,如一般在上面所描述的。***500然后可按照与回放索引中的每个段关联的回放速度重放从事件102记录的视频。
在各种不同实施例中,智能寻找模块110可通过应用用于向所记录事件数据的段指配重要性值的不同过程或算法来生成回放索引。例如,智能寻找模块110可配置成基于视频数据和/或传感器数据的分析来调整所记录事件数据的每个段的第一重要性值,如上面所论述的。备选地或附加地,智能寻找模块基于视频数据和传感器数据内的因子的组合来设置重要性值和/或对第一重要性值的调整。例如,与本公开一致的智能寻找模块可配置成保持段的第一重要性值不变,除非从段中的数据中检测到重要性增强因子的组合。没有限制,重要性增强因子的适合组合包含:多个传感器值超过预定阈值、检测到匹配一个或多个模板的多个段生物统计信息、检测到传感器值中的生物统计信息和阈值差的组合、它们的组合等等。
在图5A的实施例中,智能寻找模块110可配置成对于重要性增强因子分析所记录事件信息的每个段的视频数据504、音频数据506和传感器数据508。例如,智能寻找模块110可应用面部识别技术来检测在视频数据504内存在脸,并应用音频识别技术来检测在音频数据506中存在所规定的音频。同样,智能寻找模块110可对于重要性因子分析传感器数据508,如一般在上面所论述的。
由智能寻找模块110执行的分析的类型和性质和/或指配重要性值的方式在一些实施例中可由控制简档(未示出)中的控制因子确定。例如,控制简档可包含规定如下操作的控制因子:智能寻找模块分析所记录事件数据的每个段内的视频数据504、音频数据506和传感器数据508,并将此类数据与对应视频、音频和传感器数据阈值和/或生物统计参考信息相比较(如果需要的话)。在一些实施例中,控制因子可进一步规定:智能寻找模块可增大或减小施加到该段的默认值,当视频数据504、音频数据506和传感器数据506的任一个、所有或组合包含重要性增强因子时。在其它方面,智能寻找模块可配置成当它进行向一段指配重要性值时实行控制简档中的控制参数。因而,更改控制参数可有效地改变智能寻找模块确定和/或指配重要性值的方式。
图5B是与本公开一致的另一视频回顾***520的框图。如所示,视频回顾***520类似于图5A的视频回顾***,只是两个传感器组件106a和106b耦合到智能寻找模块110,为了提供相应传感器数据522和524的目的。智能寻找模块110由此可一致地对待音频数据506、传感器数据522和传感器数据524,以便向所记录事件数据的段指配重要性值,并产生回放索引。
图5C是与本公开一致的又一视频回顾***560的框图。视频回顾***520类似于图5B的视频回顾***520,只是省略了音频记录器502。智能寻找模块110因此可一致地对待传感器数据522和传感器数据524,以便向来自事件102的所记录事件数据的每个段指配重要性值,并产生回放索引。
图6描绘了与本公开一致的视频回顾***的非限制使用情况。具体地说,图6描绘了其中事件600(在此情况下是自行车骑行)由包含视频记录装置、音频记录装置和运动传感器(诸如附连到自行车骑行者602的加速计)的设备记录的使用情况。更确切地说,骑行者602配备有包含麦克风和加速计(未示出)的头戴式摄像机604。在自行车骑行期间,来自骑行者角度的视频数据由摄像机604记录,并存储在存储器中。此外,音频轨道可被记并保存为音频数据610,以伴随视频数据608。最后,加速计数据可被收集并保存为传感器数据606,以伴随视频数据608和音频数据610。
随后,传感器数据606、音频数据608和视频数据610可被传送到与本公开一致的视频回顾***进行处理。一旦传送,视频回顾***就可在时间上对准视频数据610、音频数据608和传感器数据606以产生所记录事件数据I。视频回顾***中的智能寻找模块(未示出)可(可选地响应于用户输入)将所记录事件数据解析成规定长度的多个段(未示出)。智能寻找模块然后可基于视频数据610、音频数据608和传感器数据606中的任一个或所有数据的分析对每一段指配或调整重要性值。
例如,智能寻找模块可分析每个段的传感器数据606(例如加速计数据)以确定此类数据是否满足或超过预定阈值。这可认识到,包含满足此类阈值的传感器数据的所记录事件信息段可表明发生了可能感兴趣的事件,诸如骑行者602跳跃。在图6的实施例中,智能寻找模块可以确定传感器数据606a包含超过预定阈值的加速计值。智能寻找模块因此可向包含该数据的段指配相对高的重要性值(或可向上调整第一重要性值)。智能寻找模块可对音频数据610和视频数据608执行类似操作。在所图示的实施例中,智能寻找模块可以确定包含音频数据610和视频数据608a的所记录事件视频I的段超过对应的预定阈值,并且从而可向此类段指配相对高的重要性(或者向上调整第一重要性值)。所记录事件数据的其它段可包含不超过相关阈值的视频和/或传感器数据,并且从而可由智能寻找模块指配相对低的重要性值。
在指配重要性值之后,智能寻找模块可将每个段的重要性值与一个或多个阈值重要性值相比较,其中每个阈值重要性值与对应回放速度关联。在图6的实施例中,具有超过阈值重要性值的重要性值的段可与相对慢(例如1X)回放速度关联,而具有在阈值重要性值以下的重要性值的段可与相对高(例如32X)回放速度关联。这个概念由图6的区域II图示,其绘制了所记录事件信息I的回放速度相对时间(例如段)。如所示,包含传感器数据606a、音频数据608a和视频数据610a的段与相对慢回放速度关联,而其它段与相对高回放速度关联。
产生的回放索引(由图6的区域II通过图形描绘的)然后可由视频回放***用于增强由摄像机604记录的视频的查看。例如,在视频回顾***中发起智能寻找功能时,***可按照早先描述的回放索引回放由摄像机604记录的视频。用这种方式,视频回顾***可以高速重放视频的相对不感兴趣部分,并在视频的相对感兴趣部分自动将视频回放向下减慢到相对低的速度,并且然后当视频的相对感兴趣部分结束时重新开始高速回放。
在各种附加实施例中,智能寻找模块可操作以调整用于指配或调整重要性值的分析过程。例如,本文描述的智能寻找模块可操作以调整用于根据所记录事件数据来确定重要性增强事件的发生的准则。此类调整例如可响应于重要性增强事件的用户输入。
作为示例,智能寻找模块在一些实施例中可应用第一阈值准则来确定所记录事件数据段何时包含重要性增强事件,并且进入基于第一阈值的应用来向段自动指配重要性值。然而,用户可回顾使用第一阈值生成的视频和/或回放索引,并且手动调整施加到一段或多个段的重要性值,例如在段被确定为用户感兴趣(或不感兴趣)的情况下。智能寻找模块可将重要性值的手动减小视为重要性增强事件的假阳性分类的指示,并且可调整用于标识重要性增强事件的阈值准则。例如,智能寻找模块可增大传感器改变的第一阈值准则,以便减少基于传感器数据标识的重要性增强事件的数量。类似地,重要性值的手动增大可被视为重要性增强事件的假阳性分类的指示。在此类实例中,智能寻找模块可减小传感器改变的第一阈值准则,以便增大基于传感器数据标识的重要性增强事件的数量。在任一情况下,这些调整都可对向所记录事件数据的段指配重要性值具有下游影响。
尽管本公开设想了视频的回放速度按照回放索引瞬时改变或在非常短的时段内改变的***和方法,但可提供更期望的用户体验的其它选项也是可用的。更具体地说,本文描述的智能寻找模块可配置成定义引导致回放速度的改变的回放索引,改变是更渐进的或者按照数学函数发生。
在这点上,本文描述的智能寻找模块在一些实施例中可配置成将所记录事件数据解析成多个段,指配重要性值,将重要性值与一个或多个重要性阈值相比较,并基于重要性阈值的比较向每个段指配第一和第二(和/或第三、第四等)回放速度,如上面所论述的。此外,智能寻找模块可使回放***标识彼此相邻或在相对紧密接近度内(例如在1、2、5、10或20段)的第一和第二段,其中第一段被指配了(相对快慢)回放速度,并且第二段被指配了第二(相对慢)回放速度。一旦被标识,本文描述的智能寻找模块就可将两个此类段的至少一部分分类为第一过渡段。智能寻找模块然后可使***向第一过渡段指配第三回放速度。此概念在图6中图示,其中第一过渡段611已经按照分别指配了第二(相对快)和第一(相对慢)回放速度的第一段和第二段标识。
如图6中所示,第三回放速度可以是从第二(相对快)回放速度过渡到第一(相对慢)回放速度的可变回放速度。在一些实施例中,按照数学函数,诸如回放速度相对时间的线性函数、回放速度相对时间的指数函数、回放速度相对时间的对数函数、它们的组合等,第三回放速度可从第二回放速度过渡到第一回放速度。用这种方式,本文描述的智能寻找模块可以相对快回放速度或相对慢回放速度之间的平滑过渡产生回放索引。
本文描述的智能寻找模块可类似地定义具有可变回放速度的过渡段,以从第一(相对低)回放速度过渡到第二(相对快)回放速度。在这点上,本文描述的智能寻找模块可使视频回放***标识所记录事件信息的多个段中的第三段和第四段,其中第三段被指配了第一(相对慢)回放速度,而第四段被指配了第二(相对快)回放速度。一旦标识,本文描述的智能寻找模块就可将第三段和第四段的至少一部分分类为第二过渡段。智能寻找模块然后可使***向第二过渡段指配第四回放速度。此概念在图6中图示,其中第二过渡段612已经按照分别指配了第二(相对慢)和第一(相对)回放速度的第三段和第四段标识。
类似于第三回放速度,第四回放速度可以是可变回放速度。这个概念在图6中示出,其中指配给第二过渡段612的第四回放速度从第一(相对慢)回放速度过渡到第二(相对快)回放速度。类似于第三回放速度,在一些实施例中可按照数学函数,诸如回放速度相对时间的线性函数、回放速度相对时间的指数函数、回放速度相对时间的对数函数、它们的组合等,第四回放速度可从第一回放速度到第二回放速度。用这种方式,本文描述的智能寻找模块可以相对快回放速度或相对慢回放速度之间的平滑过渡产生回放索引。
在一些实施例中,智能寻找模块可配置成使得“平滑”或省略相对快回放速度与相对慢回放速度之间的过渡,例如以便增强用户体验。作为示例,智能寻找模块在一些实施例中可分析第一感兴趣段、第二相对不感兴趣段和第三感兴趣段之间的时间量,并基于此类分析标识或省略过渡段的标识。从而,例如,如果第二段在第一段与第三段之间,并且相对短(例如小于大约10秒、5秒或甚至1秒),则智能寻找模块可配置成使得避免将第一段到第二段和第二段到第三段标识为过渡段。在其它方面,智能寻找模块可配置成将相邻第一与第三感兴趣段之间的第二不感兴趣段的长度与过渡阈值相比较,并基于该比较向不感兴趣段指配回放速度。例如,如果第二段的长度在过渡阈值以下,则智能寻找模块可向第二段指配相同回放速度,因为它分别向第一段和/或第三段也指配相同回放速度。
本公开的另一方面涉及用于增强视频回放的计算机实现的方法。因此提供了几个流程图,并且概括了与本公开一致的某些示范方法。虽然为了说明的简化目的,本公开的方法以流程图或流程图解的形式呈现,并描述为一系列动作,但应该理解并认识到,这些方法不限于动作的次序。事实上,在一些实施例中,本文结合这些方法描述的动作可按不同于本文在流程图解中呈现和描述的次序执行。
因此参考图8,图8描绘了与本公开一致的用于产生回放索引的示范方法的流程图。为了示例的目的,假定事件的视频、传感器和/或其它数据已经被记录并传送到与本公开一致的***。
如所示,方法700可开始于块701。在可选块702,智能寻找模块或其它模块可在时间上将视频数据和其它数据彼此映射,例如,如之前所描述的。一旦此类映射完成(或者如果之前映射数据了),该方法就可进行到块703,其中所映射数据(所记录事件数据)可被解析成多个段,如之前所描述的。
该方法然后可进行到块704,其中可分析每个段内的视频数据和其它数据是否存在重要性增强事件。此类分析可通过处理段内的所记录事件数据来执行以标识数据值中的改变、生物统计信息的存在、它们的组合等等,如一般在上面所描述的。基于段内的所记录事件数据的分析,可向该段指配重要性值。备选地或附加地,可根据分析结果增大或减小该段的第一重要性值。可对于所记录事件数据的所有段重复此类处理。备选地,依照块704的处理可在逐段的基础上发生,如图7所示,其中在另一段的处理开始之前,对于一个段完成块704-708的操作。当然,同时处理多个段也是可能的,假如智能寻找模块和/或视频回顾***能支持它的话。
在任何情况下,该方法可进行到块705,其中指配给一段的重要性值与一个或多个重要性阈值相比较,如上所述。然后,依照块706,判定指配给一段的重要性值是否超过重要性阈值。如果否,则方法可进行到块707,其中第二(相对快)回放速度与该段关联,并更新用于所记录视频数据的回放索引以反映该关联。备选地,如果指配给一段的重要性值超过重要性阈值,则该方法可进行到块708,其中第一(相对慢)回放速度与该段关联,并且相应地更新所记录视频数据的回放索引。
该方法然后可进行到块709,其中判定所记录事件数据的附加段是否可对处理可用。如果否,则方法环回到块704,并且对于附加段重复。如果没有附加段对于处理可用(即,已经到达所记录事件数据的结尾),则该方法可进行到块710并且结束。
图8描绘了与本公开一致的用于更新回放索引的示范方法。为了说明目的,假定之前已经产生了所记录事件数据的第一回放索引。记住,方法800可开始于块801。在块802,例如通过存储手动(或以别的方式)输入到***中的改变,可从第一回放索引中生成更新的回放索引。例如,用户可手动输入对第一回放索引的改变。备选地或附加地,用户可改变影响智能寻找模块指配重要性值的方式的控制参数,其又可相对于在此类改变进入之前确定的重要性值来更改指配给所记录事件信息段的重要性值。
在任何情况下,该方法都可进行到块803,其中所更新回放索引的重要性值可与第一回放索引的重要性值相比较。依照块804,然后可以确定在所更新回放索引中是否检测到更高的重要性值。如果是,则该方法可进行到块805,其中该***可减小相关重要性阈值。这可基于改变的重要性阈值来增大被标识为可能感兴趣的所记录事件数据中的事件数量,例如,其可导致***标识它在准备第一回放索引时错过的感兴趣事件。
一旦依照块805的操作完成,或者如果在所更新回放索引中未检测到更高重要性值,则该方法可进行到块806,其中确定在相对于第一回放索引更新的回放索引中是否检测到较低重要性值。如果是,则该方法可进行到块807,其中可增大相关重要性阈值。这可基于改变的重要性阈值来减小被标识为可能感兴趣的所记录事件数据中的事件数量,例如,其可使***避免将它在准备第一回放索引时标识的某些事件标识为可能感兴趣的。
除非特别声明,否则可认识到,诸如“处理”、“计算”、“算出”、“确定”等术语是指计算机或计算***或类似电子计算装置的动作和/或过程,其操控和/或将计算***的寄存器和/或存储器内表示为物理量(例如电子)的数据变换成计算***的存储器、寄存器或其它此类信息存储、传送或显示装置内类似地表示为物理量的其它数据。实施例不限于此上下文。
示例
本公开的示例包含如下主题:诸如装置/设备、计算机实现的方法、用于执行方法动作的部件以及至少一个机器可读介质,其包含指令,所述指令当由机器执行时使机器执行如下面所论述的方法动作。
示例1:根据这个示例,提供了用于增强视频回放的设备,包含:处理器;以及智能寻找模块,操作在所述处理器上以便:将记录的事件数据解析成多个段,所述记录的事件数据包含视频数据和映射到所述视频数据的视频帧的传感器数据;向所述多个段中的每个段指配重要性值;将所述多个段中的每个段的重要性值与第一重要性阈值相比较;向具有超过所述第一重要性阈值的重要性值的所述多个段中的每个段指配第一回放速度;向具有在所述第一重要性阈值以下的重要性值的所述多个段中的每个段指配第二回放速度,所述第二回放速度大于所述第一回放速度;以及生成回放索引以标识具有对应回放速度的所述多个段中的每个段。
示例2:这个示例包含示例1的元件,其中所述传感器数据包含由加速计、音频传感器、陀螺仪、全球定位***、压力传感器、光传感器、湿度传感器、生物统计传感器和音频传感器中的至少一个记录的数据。
示例3:这个示例包含示例1或2的元件,其中智能寻找模块进一步操作在处理器上以至少部分基于控制简档内的控制参数向多个段中的每个段指配重要性值。
示例4:这个示例包含示例3的元件,其中控制参数使智能寻找模块基于段内的视频数据、传感器数据或它们的组合的分析向多个段中的每个段指配重要性值。
示例5:这个示例包含示例3和4中任一示例的元件,其中控制参数使智能寻找模块通过以下步骤向多个段中的每个段指配重要性值:向多个段中的每个段指配第一重要性值;在所述多个段内作为时间的函数监视所述传感器数据;以及当传感器数据的值相对时间或传感器数据的值的改变率相对时间与紧接的先前段中传感器数据值的值相对时间或传感器数据值的改变率相对时间偏离预定阈值时,增大或减小指配给所述多个段中的段的所述第一重要性值。
示例6:这个示例包含示例4和5中任一示例的元件,其中控制参数使智能寻找模块通过以下步骤向多个段中的每个段指配重要性值:向多个段中的每个段指配第一重要性值;在所述多个段中的每个段内作为时间的函数监视所述传感器数据;以及增大或减小指配给其中所述传感器数据的符号改变的所述段的所述第一重要性值。
示例7:这个示例包含示例4至6中任一示例的元件,其中控制参数使智能寻找模块通过以下步骤向多个段中的每个段指配重要性值:向多个段中的每个段指配第一重要性值;分析段内的视频和传感器数据是否存在生物统计信息;如果检测到所述生物统计信息,则增大指配给段的所述第一重要性值;以及如果未检测到所述生物统计信息,则减小指配给段的所述第一重要性值。
示例8:这个示例包含示例1至3中任一示例的元件,其中智能寻找模块进一步操作在处理器上以至少部分基于多个段中对应各个段内的视频和传感器数据的组合向多个段中的每个段指配重要性值。
示例9:这个示例包含示例1至8中任一示例的元件,其中所述智能寻找模块进一步操作在处理器上以便:标识所述多个段中的相邻第一段和第二段,其中所述第一段被指配了所述第二回放速度,并且所述第二段被指配了所述第一回放速度;将涵盖所述第一段和第二段的至少一部分的所述记录的事件数据的部分分类为第一过渡段;以及向每个第一过渡段指配第三回放速度。
示例10:这个示例包含示例9的元件,其中第三回放速度是可变回放速度。
示例11:这个示例包含示例9和10中任一示例的元件,其中按照回放速度相对时间的线性函数、回放速度相对时间的指数函数以及回放速度相对时间的对数函数中的至少一个,在第一过渡段内,第三回放速度将第二回放速度减小到第一回放速度。
示例12:这个示例包含示例9至11中任一示例的元件,其中所述智能寻找模块进一步操作在处理器上以便:标识多个段中的相邻第三段和第四段,其中第三段被指配了第一回放速度,并且第四段被指配了第二回放速度;将涵盖第三段和第四段的至少一部分的记录的事件数据的部分分类为第二过渡段;以及向每个第二过渡段指配第四回放速度。
示例13:这个示例包含示例12的元件,其中第四回放速度是可变回放速度。
示例14:这个示例包含示例12和13中任一示例的元件,其中按照回放速度相对时间的线性函数、回放速度相对时间的指数函数以及回放速度相对时间的对数函数中的至少一个,第四回放速度将第一回放速度增大到第二回放速度。
示例15:这个示例包含示例12至14中任一示例的元件,其中第二段和第三段是多个段中的同一段。
示例16:这个示例包含示例1至15中任一示例的元件,其中所述智能寻找模块进一步操作在处理器上以便:将多个段中的每个段的重要性值与第二重要性阈值相比较,第二重要性阈值大于第一重要性阈值;以及向具有超过第二重要性阈值的重要性值的多个段中的每个段指配第五回放速度,第五回放速度小于第一回放速度。
示例17:这个示例包含示例1至16中任一示例的元件,其中所述智能寻找模块进一步操作在处理器上以便:将所述多个段中的每个段的重要性值与第三重要性阈值相比较,第三重要性阈值小于第一重要性阈值;以及向具有在第三重要性阈值以下的重要性值的多个段中的每个段指配第六回放速度,第六回放速度大于第一回放速度。
示例18:这个示例包含示例1至17中任一示例的元件,其中所述智能寻找模块进一步操作在处理器上以便:通过存储对所述回放索引的一组手动输入的改变来生成更新的回放索引;以及按照手动输入的改变来修改向多个段指配重要性值的过程。
示例19:根据这个示例,提供了包含用于增强视频回放的指令的计算机可读介质,其中所述指令当由***执行时使***:将记录的事件数据解析成多个段,所述记录的事件数据包含视频数据和映射到所述视频数据的视频帧的传感器数据;向所述多个段中的每个段指配重要性值;将所述多个段中的每个段的重要性值与第一重要性阈值相比较;向具有超过所述第一重要性阈值的重要性值的所述多个段中的每个段指配第一回放速度;向具有在所述第一重要性阈值以下的重要性值的所述多个段中的每个段指配第二回放速度,所述第二回放速度大于所述第一回放速度;以及生成回放索引以标识具有对应回放速度的所述多个段中的每个段。
示例20:这个示例包含示例19的元件,其中所述传感器数据包含由加速计、音频传感器、陀螺仪、全球定位***、压力传感器、光传感器、湿度传感器、生物统计传感器和音频传感器中的至少一个记录的数据。
示例21:这个示例包含示例20和21中任一示例的元件,其中所述指令当执行时进一步使***至少部分基于在控制简档内包含的控制参数向多个段中的每个段指配重要性值。
示例22:这个示例包含示例21的元件,其中控制参数规定至少部分基于所述多个段中对应段内的所述视频数据、所述传感器数据或它们的组合的分析向所述多个段中的每个段指配重要性值。
示例23:这个示例包含示例21和22中任一示例的元件,其中控制参数规定预定阈值,并且计算机可读指令当执行时进一步使***:向多个段中的每个段指配第一重要性值;在所述多个段中的每个段内作为时间的函数监视所述传感器数据;以及当传感器数据的值相对时间或传感器数据的值的改变率相对时间与紧接的先前段中传感器数据值的值相对时间或传感器数据值的改变率相对时间偏离预定阈值时,增大或减小指配给段的所述第一重要性值。
示例24:这个示例包含示例22至23中任一示例的元件,其中所述指令当执行时进一步使***:向多个段中的每个段指配第一重要性值;在所述多个段中的段内作为时间的函数监视所述传感器数据;增大或减小指配给其中所述传感器数据的符号改变的所述段的所述第一重要性值。
示例25:这个示例包含示例22至24中任一示例的元件,其中控制参数规定至少部分基于在所述记录的事件数据中存在生物统计信息来指配重要性值,其中所述指令当执行时使***通过以下步骤指配重要性值:向多个段中的每个段指配第一重要性值;分析多个段中每个段内的视频和传感器数据是否存在生物统计信息;增大指配给检测到生物统计信息的多个段中的段的第一重要性值;以及减小指配给未检测到生物统计信息的多个段中的段的第一重要性值。
示例26:这个示例包含示例19至25中任一示例的元件,其中指令当执行时进一步使***至少部分基于多个段中对应各个段内的视频和传感器数据的组合向多个段中的每个段指配重要性值。
示例27:这个示例包含示例19至26中任一示例的元件,其中所述指令当执行时进一步使***:标识所述多个段中的相邻第一段和第二段,其中所述第一段被指配了所述第二回放速度,并且所述第二段被指配了所述第一回放速度;将涵盖所述第一段和第二段的至少一部分的所述记录的事件数据的部分分类为第一过渡段;以及向每个第一过渡段指配第三回放速度。
示例28:这个示例包含示例27的元件,其中第三回放速度是可变回放速度。
示例29:这个示例包含示例27和28中任一示例的元件,其中按照回放速度相对时间的线性函数、回放速度相对时间的指数函数以及回放速度相对时间的对数函数中的至少一个,在第一过渡段内,第三回放速度将第二回放速度减小到第一回放速度。
示例30:这个示例包含示例27至29中任一示例的元件,其中所述指令当执行时进一步使***:标识多个段中的相邻第三段和第四段,其中第三段被指配了第一回放速度,并且第四段被指配了第二回放速度;将涵盖第三段和第四段的至少一部分的记录的事件数据的部分分类为第二过渡段;以及向每个第二过渡段指配第四回放速度。
示例31:这个示例包含示例30的元件,其中第四回放速度是可变回放速度。
示例32:这个示例包含示例30和31中任一示例的元件,其中按照回放速度相对时间的线性函数、回放速度相对时间的指数函数以及回放速度相对时间的对数函数中的至少一个,第四回放速度将第一回放速度增大到第二回放速度。
示例33:这个示例包含示例30至32中任一示例的元件,其中第二段和第三段是多个段中的同一段。
示例34:这个示例包含示例19至33中任一示例的元件,其中所述指令当执行时进一步使***:将多个段中的每个段的重要性值与第二重要性阈值相比较,第二重要性阈值大于第一重要性阈值;以及向具有超过第二重要性阈值的重要性值的多个段中的每个段指配第五回放速度,第五回放速度小于第一回放速度。
示例35:这个示例包含示例19至34中任一示例的元件,其中所述指令当执行时进一步使***:将所述多个段中的每个段的重要性值与第三重要性阈值相比较,第三重要性阈值小于第一重要性阈值;以及向具有在第三重要性阈值以下的重要性值的多个段中的每个段指配第六回放速度,第六回放速度大于第一回放速度。
示例36:这个示例包含示例19至35中任一示例的元件,其中所述指令当执行时进一步使***:通过存储对所述回放索引的一组手动输入的改变来生成更新的回放索引;以及按照手动输入的改变来修改向多个段指配重要性值的过程。
示例37:根据这个示例,提供了用于增强视频回放的计算机实现的方法,包含:将记录的事件数据解析成多个段,所述记录的事件数据包含视频数据和映射到所述视频数据的视频帧的传感器数据;向所述多个段中的每个段指配重要性值;将所述多个段中的每个段的重要性值与第一重要性阈值相比较;向具有超过所述第一重要性阈值的重要性值的所述多个段中的每个段指配第一回放速度;向具有在所述第一重要性阈值以下的重要性值的所述多个段中的每个段指配第二回放速度,所述第二回放速度大于所述第一回放速度;以及生成回放索引以标识具有对应回放速度的所述多个段中的每个段。
示例38:这个示例包含示例37的元件,其中所述传感器数据包含由加速计、音频传感器、陀螺仪、全球定位***、压力传感器、光传感器、湿度传感器、生物统计传感器和音频传感器中的至少一个记录的数据。
示例39:这个示例包含示例37至39中任一示例的元件,其中控制参数规定基于所述多个段中对应段内的所述视频数据、所述传感器数据或它们的组合的分析向所述多个段中的每个段指配重要性值。
示例40:这个示例包含示例37至39中任一示例的元件,其中控制参数规定至少部分基于所述多个段中对应段内的所述视频数据、所述传感器数据或它们的组合的分析向所述多个段中的每个段指配重要性值。
示例41:这个示例包含示例40的元件,其中控制参数规定预定阈值,并且指配重要性值包含:向多个段中的每个段指配第一重要性值;在所述多个段的每个段内作为时间的函数监视所述传感器数据;以及当传感器数据的值相对时间或传感器数据的值的改变率相对时间与紧接的先前段中传感器数据值的值相对时间或传感器数据值的改变率相对时间偏离预定阈值时,增大或减小指配给段的所述第一重要性值。
示例42:这个示例包含示例40和41中任一示例的元件,其中指配所述重要性值包含:向多个段中的每个段指配第一重要性值;在所述多个段的段内作为时间的函数监视所述传感器数据;以及增大或减小指配给其中所述传感器数据的符号改变的所述段的所述第一重要性值。
示例43:这个示例包含示例40至42中任一示例的元件,其中控制参数规定基于在所述记录的事件数据中存在生物统计信息来指配重要性值,并且指配所述重要性值包含:向多个段中的每个段指配第一重要性值;分析多个段中每个段内的视频和传感器数据是否存在生物统计信息;增大指配给检测到生物统计信息的多个段中的段的第一重要性值;以及减小指配给未检测到生物统计信息的多个段中的段的第一重要性值。
示例44:这个示例包含示例37至44中任一示例的元件,其中指配重要性值基于多个段中对应各个段内的视频和传感器数据的组合来执行。
示例45:这个示例包含示例37至44中任一示例的元件,进一步包含:标识所述多个段中的相邻第一段和第二段,其中所述第一段被指配了所述第二回放速度,并且所述第二段被指配了所述第一回放速度;将涵盖第一段和第二段的至少一部分的记录的事件数据的部分分类为第一过渡段;以及向每个第一过渡段指配第三回放速度。
示例46:这个示例包含示例45的元件,其中第三回放速度是可变回放速度。
示例47:这个示例包含示例45和46中任一示例的元件,其中按照回放速度相对时间的线性函数、回放速度相对时间的指数函数以及回放速度相对时间的对数函数中的至少一个,在第一过渡段内,第三回放速度将第二回放速度减小到第一回放速度。
示例48:这个示例包含示例45至47中任一示例的元件,并且进一步包含:标识多个段中的相邻第三段和第四段,其中第三段被指配了第一回放速度,并且第四段被指配了第二回放速度;将涵盖第三段和第四段的至少一部分的记录的事件数据的部分分类为第二过渡段;以及向每个第二过渡段指配第四回放速度。
示例49:这个示例包含示例48的元件,其中第四回放速度是可变回放速度。
示例50:这个示例包含示例48和49中任一示例的元件,其中按照回放速度相对时间的线性函数、回放速度相对时间的指数函数以及回放速度相对时间的对数函数中的至少一个,第四回放速度将第一回放速度增大到第二回放速度。
示例51:这个示例包含示例48至50中任一示例的元件,其中第二段和第三段是多个段中的同一段。
示例52:这个示例包含示例37至51中任一示例的元件,并且进一步包含:将多个段中的每个段的重要性值与第二重要性阈值相比较,第二重要性阈值大于第一重要性阈值;以及向具有超过第二重要性阈值的重要性值的多个段中的每个段指配第五回放速度,第五回放速度小于第一回放速度。
示例53:这个示例包含示例37至51中任一示例的元件,并且进一步包含:将多个段中的每个段的重要性值与第三重要性阈值相比较,第三重要性阈值小于第一重要性阈值;以及向具有在第三重要性阈值以下的重要性值的多个段中的每个段指配第六回放速度,第六回放速度大于第一回放速度。
示例54:这个示例包含示例37至51中任一示例的元件,并且进一步包含:通过存储对所述回放索引的一组手动输入的改变来生成更新的回放索引;以及按照手动输入的改变来修改向多个段指配重要性值的过程。
示例55:这个示例包含示例3至5中任一示例的元件,其中控制参数的实行使智能寻找模块通过以下步骤向多个段中的每个段指配重要性值:向多个段中的每个段指配第一重要性值;用机器学习分类器分析多个段中每个段内的视频和传感器数据;以及基于该分析增大或减小指配给多个段中每个段的第一重要性值。
示例56:这个示例包含示例22至25中任一示例的元件,其中控制参数规定基于在所述记录的事件数据中存在生物统计信息来指配重要性值,并且其中所述指令当执行时使***通过以下步骤指配重要性值:向多个段中的每个段指配第一重要性值;用机器学习分类器分析多个段中每个段内的视频和传感器数据;以及基于该分析增大或减小指配给多个段中每个段的第一重要性值。
示例57:这个示例包含示例40至43中任一示例的元件,其中控制参数规定预定阈值,并且指配重要性值包含:向多个段中的每个段指配第一重要性值;用机器学习分类器分析多个段中每个段内的视频和传感器数据;以及基于该分析增大或减小指配给多个段中每个段的第一重要性值。
示例58:在这个示例中,提供了用于增强视频回放的***,包含布置成执行根据示例37至57中任一示例的方法的至少一个装置。
示例59:在这个示例中,提供了用于增强视频回放的装置,包含执行根据示例37至57中任一示例的方法的部件。
示例60:在此示例中,提供了包含用于增强视频回放的多个指令的至少一个机器可读介质,其中所述指令当在计算装置上的执行使计算装置执行根据示例37至57中任一示例的方法。
示例61:根据另一示例实施例,提供了用于增强视频回放的设备,包含:将记录的事件数据解析成多个段的部件,所述记录的事件数据包含视频数据和映射到所述视频数据的视频帧的传感器数据;用于向所述多个段中的每个段指配重要性值的部件;用于将所述多个段中的每个段的重要性值与第一重要性阈值相比较的部件;用于向具有超过所述第一重要性阈值的重要性值的所述多个段中的每个段指配第一回放速度的部件;用于向具有在所述第一重要性阈值以下的重要性值的所述多个段中的每个段指配第二回放速度的部件,第二回放速度大于第一回放速度;以及用于生成回放索引以标识具有对应回放速度的所述多个段中的每个段的部件。
示例62:这个示例包含示例61的任何或所有元件,其中所述传感器数据包含由加速计、音频传感器、陀螺仪、全球定位***、压力传感器、光传感器、湿度传感器、生物统计传感器和音频传感器中的至少一个记录的数据。
示例63:这个示例包含示例61的任何元件或所有元件,并且进一步包含:用于至少部分基于控制简档内的控制参数向多个段中的每个段指配重要性值的部件。
示例64:这个示例包含示例63的任何元件或所有元件,其中控制参数使用于指配重要性值的部件至少部分基于段内的视频数据、传感器数据或它们的组合的分析向多个段中的每个段指配重要性值。
示例65:这个示例包含示例64的任何元件或所有元件,其中控制参数使用于指配重要性值的部件通过以下步骤向多个段中的每个段指配重要性值:向多个段中的每个段指配第一重要性值;在所述多个段内作为时间的函数监视所述传感器数据;以及当传感器数据的值相对时间或传感器数据的值的改变率相对时间与紧接的先前段中传感器数据值的值相对时间或传感器数据值的改变率相对时间偏离预定阈值时,增大或减小指配给所述多个段中的段的所述第一重要性值。
示例66:这个示例包含示例64的任何元件或所有元件,其中控制参数使用于指配重要性值的部件通过以下步骤向多个段中的每个段指配重要性值:向多个段中的每个段指配第一重要性值;在所述多个段的每个段内作为时间的函数监视所述传感器数据;以及增大或减小指配给其中所述传感器数据的符号改变的所述段的所述第一重要性值。
示例67:这个示例包含示例64的任何元件或所有元件,其中控制参数使用于指配重要性值的部件向通过以下步骤多个段中的每个段指配重要性值:向多个段中的每个段指配第一重要性值;分析段内的视频和传感器数据是否存在生物统计信息;如果检测到所述生物统计信息,则增大指配给段的所述第一重要性值;以及如果未检测到所述生物统计信息,则减小指配给段的所述第一重要性值。
示例68:这个示例包含示例61的任何元件或所有元件,其中用于指配重要性值的部件进一步操作以至少部分基于多个段中对应各个段内的视频和传感器数据的组合向多个段中的每个段指配重要性值。
示例69:这个示例包含示例61的任何元件或所有元件,并且进一步包含:标识所述多个段中的相邻第一段和第二段的部件,其中所述第一段被指配了所述第二回放速度,并且所述第二段被指配了所述第一回放速度;将涵盖所述第一段和第二段的至少一部分的所述记录的事件数据的部分分类为第一过渡段的部件;以及向每个第一过渡段指配第三回放速度的部件。
示例70:这个示例包含示例69的任何元件或所有元件,其中第三回放速度是可变回放速度。
示例71:这个示例包含示例69的任何元件或所有元件,其中按照回放速度相对时间的线性函数、回放速度相对时间的指数函数以及回放速度相对时间的对数函数中的至少一个,在第一过渡段内,第三回放速度将第二回放速度减小到第一回放速度。
示例72:这个示例包含示例69的任何元件或所有元件,并且进一步包含标识多个段中的相邻第三段和第四段的部件,其中第三段被指配了第一回放速度,并且第四段被指配了第二回放速度;将涵盖第三段和第四段的至少一部分的记录的事件数据的部分分类为第二过渡段的部件;以及向每个第二过渡段指配第四回放速度的部件。
示例73:这个示例包含示例72的任何元件或所有元件,其中第四回放速度是可变回放速度。
示例74:这个示例包含示例72的任何元件或所有元件,其中按照回放速度相对时间的线性函数、回放速度相对时间的指数函数以及回放速度相对时间的对数函数中的至少一个,第四回放速度将第一回放速度增大到第二回放速度。
示例75:这个示例包含示例72的任何元件或所有元件,其中第二段和第三段是多个段中的同一段。
示例76:这个示例包含示例61至75中任一示例的任何元件或所有元件,并且进一步包含:将多个段中的每个段的重要性值与第二重要性阈值相比较,第二重要性阈值大于第一重要性阈值的部件;以及向具有超过第二重要性阈值的重要性值的多个段中的每个段指配第五回放速度的部件,第五回放速度小于第一回放速度。
示例77:这个示例包含示例61至75中任一示例的任何元件或所有元件,并且进一步包含:将所述多个段中的每个段的重要性值与第三重要性阈值相比较的部件,第三重要性阈值小于第一重要性阈值;以及向具有在第三重要性阈值以下的重要性值的多个段中的每个段指配第六回放速度的部件,第六回放速度大于第一回放速度。
示例78:这个示例包含示例61至75中任一示例的任何元件或所有元件,并且进一步包含:通过存储对所述回放索引的一组手动输入的改变来生成更新的回放索引的部件;以及按照手动输入的改变来修改向多个段指配重要性值的过程的部件。
尽管已经以对结构特征和/或方法论动作特定的语言描述了主题,但要理解到,在所附权利要求书中定义的主题不一定限于上面描述的特定特征或动作。而是,上面描述的特定特征和动作被公开为实现权利要求的示例形式。
本文已经采用的术语和表述被用作描述而非限制的术语,并且在使用此类术语和表述时不意图排除所示出和描述的特征的任何等同物(或其部分),并且要认识到,各种修改在权利要求书的范围内是可能的。因而,权利要求书意图覆盖所有此类等同物。

Claims (24)

1. 一种设备,包括:
处理器;以及
智能寻找模块,在所述处理器上操作以便:
将记录的事件数据解析成多个段,所述记录的事件数据包括视频数据和映射到所述视频数据的视频帧的传感器数据;
向所述多个段中的每个段指配重要性值;
将所述多个段中的每个段的重要性值与第一重要性阈值相比较;
向具有超过所述第一重要性阈值的重要性值的所述多个段中的每个段指配第一回放速度;
向具有在所述第一重要性阈值以下的重要性值的所述多个段中的每个段指配第二回放速度,所述第二回放速度大于所述第一回放速度;以及
生成回放索引以标识具有对应回放速度的所述多个段中的每个段。
2. 如权利要求1所述的设备,其中所述传感器数据包括由加速计、音频传感器、陀螺仪、全球定位***、压力传感器、光传感器、湿度传感器、生物统计传感器和音频传感器中的至少一个记录的数据。
3. 如权利要求1所述的设备,其中所述智能寻找模块进一步操作在所述处理器上,以便至少部分基于在控制简档内包含的控制参数向所述多个段中的每个段指配重要性值,其中所述控制参数使所述智能寻找模块至少部分基于所述段内的所述视频数据、所述传感器数据或它们的组合的分析向所述多个段中的每个段指配重要性值。
4. 如权利要求3所述的设备,其中所述控制参数的实行使所述智能寻找模块通过以下步骤向所述多个段中的每个段指配重要性值:
向所述多个段中的每个段指配第一重要性值;
在所述多个段内作为时间的函数监视所述传感器数据;以及
当传感器数据的值相对时间或传感器数据的值的改变率相对时间与紧接的先前段中传感器数据值的值相对时间或传感器数据值的改变率相对时间偏离预定阈值时,增大或减小指配给所述多个段中的段的所述第一重要性值。
5. 如权利要求3所述的设备,其中所述控制参数的实行使所述智能寻找模块通过以下步骤向所述多个段中的每个段指配重要性值:
向所述多个段中的每个段指配第一重要性值;
分析所述段内的所述视频和传感器数据是否存在生物统计信息;
如果检测到所述生物统计信息,则增大指配给段的所述第一重要性值;以及
如果未检测到所述生物统计信息,则减小指配给段的所述第一重要性值。
6. 如权利要求1所述的设备,其中所述智能寻找模块进一步操作在所述处理器上以便:
标识所述多个段中的相邻第一段和第二段,其中所述第一段被指配了所述第二回放速度,并且所述第二段被指配了所述第一回放速度;
将涵盖所述第一段和第二段的至少一部分的所述记录的事件数据的部分分类为第一过渡段;以及
向每个第一过渡段指配第三回放速度,其中所述第三回放速度是可变回放速度。
7. 如权利要求6所述的设备,其中所述智能寻找模块进一步操作在所述处理器上以便:
标识所述多个段中的相邻第三段和第四段,其中所述第三段被指配了所述第一回放速度,并且所述第四段被指配了所述第二回放速度;
将涵盖所述第三段和第四段的至少一部分的所述记录的事件数据的部分分类为第二过渡段;以及
向每个第二过渡段指配第四回放速度,其中所述第四回放速度是可变回放速度。
8. 如权利要求7所述的设备,其中所述智能寻找模块进一步操作在所述处理器上以便:
将所述多个段中的每个段的重要性值与第二重要性阈值相比较,所述第二重要性阈值大于所述第一重要性阈值;以及
向具有超过所述第二重要性阈值的重要性值的所述多个段中的每个段指配第五回放速度,所述第五回放速度小于所述第一回放速度。
9. 如权利要求8所述的设备,其中所述智能寻找模块进一步操作在所述处理器上以便:
将所述多个段中的每个段的重要性值与第三重要性阈值相比较,所述第三重要性阈值小于所述第一重要性阈值;以及
向具有在所述第三重要性阈值以下的重要性值的所述多个段中的每个段指配第六回放速度,所述第六回放速度大于所述第一回放速度。
10. 如权利要求1至9中任一项所述的设备,其中所述智能寻找模块进一步操作在所述处理器上以便:
通过存储对所述回放索引的一组手动输入的改变来生成更新的回放索引;以及
按照所述手动输入的改变来修改向所述多个段指配重要性值的过程。
11. 一种计算机实现的方法,包括:
将记录的事件数据解析成多个段,所述记录的事件数据包括视频数据和映射到所述视频数据的视频帧的传感器数据;
向所述多个段中的每个段指配重要性值;
将所述多个段中的每个段的重要性值与第一重要性阈值相比较;
向具有超过所述第一重要性阈值的重要性值的所述多个段中的每个段指配第一回放速度;
向具有在所述第一重要性阈值以下的重要性值的所述多个段中的每个段指配第二回放速度,所述第二回放速度大于所述第一回放速度;以及
生成回放索引以标识具有对应回放速度的所述多个段中的每个段。
12. 如权利要求11所述的计算机实现的方法,其中所述传感器数据包括由加速计、音频传感器、陀螺仪、全球定位***、压力传感器、光传感器、湿度传感器、生物统计传感器和音频传感器中的至少一个记录的数据。
13. 如权利要求11所述的计算机实现的方法,其中按照在控制简档内包含的控制参数来执行指配所述重要性值,其中所述控制参数规定至少部分基于所述多个段中对应段内的所述视频数据、所述传感器数据或它们的组合的分析向所述多个段中的每个段指配重要性值。
14. 如权利要求13所述的计算机实现的方法,其中所述控制参数规定预定阈值,并且指配所述重要性值包括:
向所述多个段中的每个段指配第一重要性值;
在所述多个段中的每个段内作为时间的函数监视所述传感器数据;以及
当传感器数据的值相对时间或传感器数据的值的改变率相对时间与紧接的先前段中传感器数据值的值相对时间或传感器数据值的改变率相对时间偏离预定阈值时,增大或减小指配给段的所述第一重要性值。
15. 如权利要求13所述的计算机实现的方法,其中指配所述重要性值包括:
向所述多个段中的每个段指配第一重要性值;
在所述多个段中的段内作为时间的函数监视所述传感器数据;以及
增大或减小指配给其中所述传感器数据的符号改变的所述段的所述第一重要性值。
16. 如权利要求13所述的计算机实现的方法,其中所述控制参数规定至少部分基于在所述记录的事件数据中存在生物统计信息来指配重要性值,并且指配所述重要性值包括:
向所述多个段中的每个段指配第一重要性值;
分析所述多个段中每个段内的所述视频和传感器数据是否存在生物统计信息;
增大指配给其中检测到所述生物统计信息的所述多个段中的段的所述第一重要性值;以及
减小指配给其中未检测到所述生物统计信息的所述多个段中的段的所述第一重要性值。
17. 如权利要求11所述的计算机实现的方法,进一步包括:
标识所述多个段中的相邻第一段和第二段,其中所述第一段被指配了所述第二回放速度,并且所述第二段被指配了所述第一回放速度;
将涵盖所述第一段和第二段的至少一部分的所述记录的事件数据的部分分类为第一过渡段;以及
向每个第一过渡段指配第三回放速度,其中所述第三回放速度是可变回放速度。
18. 如权利要求17所述的计算机实现的方法,进一步包括:
标识所述多个段中的相邻第三段和第四段,其中所述第三段被指配了所述第一回放速度,并且所述第四段被指配了所述第二回放速度;
将涵盖所述第三段和第四段的至少一部分的所述记录的事件数据的部分分类为第二过渡段;以及
向每个第二过渡段指配第四回放速度,其中所述第四回放速度是可变回放速度。
19. 如权利要求11所述的计算机实现的方法,进一步包括:
将所述多个段中的每个段的重要性值与第二重要性阈值相比较,所述第二重要性阈值大于所述第一重要性阈值;以及
向具有超过所述第二重要性阈值的重要性值的所述多个段中的每个段指配第五回放速度,所述第五回放速度小于所述第一回放速度。
20. 如权利要求11所述的计算机实现的方法,进一步包括:
将所述多个段中的每个段的重要性值与第三重要性阈值相比较,所述第三重要性阈值小于所述第一重要性阈值;以及
向具有在所述第三重要性阈值以下的重要性值的所述多个段中的每个段指配第六回放速度,所述第六回放速度大于所述第一回放速度。
21. 如权利要求11至20中任一项所述的计算机实现的方法,进一步包括:
通过存储对所述回放索引的一组手动输入的改变来生成更新的回放索引;以及
按照所述手动输入的改变来修改向所述多个段指配重要性值的过程。
22. 至少一个机器可读介质,包括多个指令,所述指令当由计算装置执行时使所述计算装置执行如权利要求11至20中任一项所述的方法。
23. 一种***,包含布置成执行如权利要求11至20中任一项所述的方法的至少一个装置。
24. 一种装置,包括用于执行如权利要求11至20中任一项所述的方法的部件。
CN201380079385.9A 2013-10-04 2013-10-04 用于动态调整视频回放速度的技术 Pending CN105493187A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/063506 WO2015050562A1 (en) 2013-10-04 2013-10-04 Technology for dynamically adjusting video playback speed

Publications (1)

Publication Number Publication Date
CN105493187A true CN105493187A (zh) 2016-04-13

Family

ID=52777024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380079385.9A Pending CN105493187A (zh) 2013-10-04 2013-10-04 用于动态调整视频回放速度的技术

Country Status (4)

Country Link
US (1) US20150098691A1 (zh)
EP (1) EP3053164A4 (zh)
CN (1) CN105493187A (zh)
WO (1) WO2015050562A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108966012A (zh) * 2018-07-18 2018-12-07 北京奇艺世纪科技有限公司 一种视频播放速率确定方法、装置及电子设备
WO2019227324A1 (zh) * 2018-05-30 2019-12-05 深圳市大疆创新科技有限公司 视频播放速度的控制方法、装置及运动相机
CN111193938A (zh) * 2020-01-14 2020-05-22 腾讯科技(深圳)有限公司 视频数据处理方法、装置和计算机可读存储介质
WO2021031915A1 (zh) * 2019-08-22 2021-02-25 华为技术有限公司 一种智能录像方法和装置
CN112437270A (zh) * 2020-11-13 2021-03-02 珠海大横琴科技发展有限公司 一种监控视频播放方法、装置和可读存储介质
CN114979465A (zh) * 2022-04-19 2022-08-30 荣耀终端有限公司 视频处理方法、电子设备及可读介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180009170A (ko) * 2016-07-18 2018-01-26 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
CN107888987B (zh) * 2016-09-29 2019-12-06 华为技术有限公司 一种全景视频播放方法及装置
GB2556923B (en) * 2016-11-25 2020-04-15 Canon Kk Generation of VCA Reference results for VCA Auto-setting
EP3343561B1 (en) 2016-12-29 2020-06-24 Axis AB Method and system for playing back recorded video
US10789291B1 (en) * 2017-03-01 2020-09-29 Matroid, Inc. Machine learning in video classification with playback highlighting
US10170153B2 (en) 2017-03-20 2019-01-01 International Business Machines Corporation Auto-adjusting instructional video playback based on cognitive user activity detection analysis
US10772551B2 (en) * 2017-05-09 2020-09-15 International Business Machines Corporation Cognitive progress indicator
US11102523B2 (en) 2019-03-19 2021-08-24 Rovi Guides, Inc. Systems and methods for selective audio segment compression for accelerated playback of media assets by service providers
US11039177B2 (en) * 2019-03-19 2021-06-15 Rovi Guides, Inc. Systems and methods for varied audio segment compression for accelerated playback of media assets
US10708633B1 (en) 2019-03-19 2020-07-07 Rovi Guides, Inc. Systems and methods for selective audio segment compression for accelerated playback of media assets
US10921887B2 (en) * 2019-06-14 2021-02-16 International Business Machines Corporation Cognitive state aware accelerated activity completion and amelioration

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070201817A1 (en) * 2006-02-23 2007-08-30 Peker Kadir A Method and system for playing back videos at speeds adapted to content
US20090136213A1 (en) * 2007-11-27 2009-05-28 Canon Kabushiki Kaisha Method, apparatus and system for displaying video data
US20090317060A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Ltd. Method and apparatus for processing multimedia

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0762757B1 (en) * 1995-08-31 2004-03-03 SANYO ELECTRIC Co., Ltd. Method of recording image data
JP3752298B2 (ja) * 1996-04-01 2006-03-08 オリンパス株式会社 画像編集装置
US6909837B1 (en) * 2000-11-13 2005-06-21 Sony Corporation Method and system for providing alternative, less-intrusive advertising that appears during fast forward playback of a recorded video program
US7801215B2 (en) * 2001-07-24 2010-09-21 Sasken Communication Technologies Limited Motion estimation technique for digital video encoding applications
US7046911B2 (en) * 2001-09-29 2006-05-16 Koninklijke Philips Electronics N.V. System and method for reduced playback of recorded video based on video segment priority
JP2007519275A (ja) * 2003-06-30 2007-07-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ トリック・モードに基づくクリップ
JP4096915B2 (ja) * 2004-06-01 2008-06-04 株式会社日立製作所 デジタル情報再生装置及び方法
JP4774816B2 (ja) * 2005-04-07 2011-09-14 ソニー株式会社 画像処理装置,画像処理方法,およびコンピュータプログラム。
US7739599B2 (en) * 2005-09-23 2010-06-15 Microsoft Corporation Automatic capturing and editing of a video
US8737825B2 (en) * 2009-09-10 2014-05-27 Apple Inc. Video format for digital video recorder
US9247212B2 (en) * 2010-08-26 2016-01-26 Blast Motion Inc. Intelligent motion capture element
KR101360471B1 (ko) * 2012-02-29 2014-02-11 한국과학기술원 사용자의 반응에 기반한 동적 콘텐츠 재생 제어 방법 및 장치
US20140167954A1 (en) * 2012-12-18 2014-06-19 Jeffrey Douglas Johnson Systems, devices and methods to communicate public safety information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070201817A1 (en) * 2006-02-23 2007-08-30 Peker Kadir A Method and system for playing back videos at speeds adapted to content
US20090136213A1 (en) * 2007-11-27 2009-05-28 Canon Kabushiki Kaisha Method, apparatus and system for displaying video data
US20090317060A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Ltd. Method and apparatus for processing multimedia

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019227324A1 (zh) * 2018-05-30 2019-12-05 深圳市大疆创新科技有限公司 视频播放速度的控制方法、装置及运动相机
CN110771175A (zh) * 2018-05-30 2020-02-07 深圳市大疆创新科技有限公司 视频播放速度的控制方法、装置及运动相机
CN108966012A (zh) * 2018-07-18 2018-12-07 北京奇艺世纪科技有限公司 一种视频播放速率确定方法、装置及电子设备
CN108966012B (zh) * 2018-07-18 2021-04-09 北京奇艺世纪科技有限公司 一种视频播放速率确定方法、装置及电子设备
WO2021031915A1 (zh) * 2019-08-22 2021-02-25 华为技术有限公司 一种智能录像方法和装置
CN112422863A (zh) * 2019-08-22 2021-02-26 华为技术有限公司 一种智能录像方法和装置
CN111193938A (zh) * 2020-01-14 2020-05-22 腾讯科技(深圳)有限公司 视频数据处理方法、装置和计算机可读存储介质
CN111193938B (zh) * 2020-01-14 2021-07-13 腾讯科技(深圳)有限公司 视频数据处理方法、装置和计算机可读存储介质
CN112437270A (zh) * 2020-11-13 2021-03-02 珠海大横琴科技发展有限公司 一种监控视频播放方法、装置和可读存储介质
CN114979465A (zh) * 2022-04-19 2022-08-30 荣耀终端有限公司 视频处理方法、电子设备及可读介质

Also Published As

Publication number Publication date
EP3053164A1 (en) 2016-08-10
EP3053164A4 (en) 2017-07-12
US20150098691A1 (en) 2015-04-09
WO2015050562A1 (en) 2015-04-09

Similar Documents

Publication Publication Date Title
CN105493187A (zh) 用于动态调整视频回放速度的技术
CN110785735B (zh) 用于语音命令情景的装置和方法
US11350885B2 (en) System and method for continuous privacy-preserved audio collection
US10129608B2 (en) Detect sports video highlights based on voice recognition
US9886454B2 (en) Image processing, method and electronic device for generating a highlight content
CN109346061B (zh) 音频检测方法、装置及存储介质
CN107300967B (zh) 一种智能导航方法、装置、存储介质和终端
CN102985897A (zh) 高效姿势处理
US20160247520A1 (en) Electronic apparatus, method, and program
CN107832784A (zh) 一种图像美化的方法和一种移动终端
CN110781881A (zh) 一种视频中的赛事比分识别方法、装置、设备及存储介质
CN106096519A (zh) 活体鉴别方法及装置
CN106778456A (zh) 一种手写输入的优化方法及装置
CN111491123A (zh) 视频背景处理方法、装置及电子设备
CN103942243A (zh) 显示设备以及使用该显示设备提供消费者构建信息的方法
CN107864353A (zh) 一种视频录制方法及移动终端
US11741986B2 (en) System and method for passive subject specific monitoring
US10165412B2 (en) Information processing device and information processing method
CN110544287A (zh) 一种配图处理方法及电子设备
US9742903B1 (en) Detecting notable events and annotating multimedia data based on the notable events
CN112015261A (zh) 一种智能终端驾驶模式识别方法
CN112995757A (zh) 视频剪裁方法及装置
CN113450804A (zh) 语音可视化方法、装置、投影设备及计算机可读存储介质
CN111966321A (zh) 音量调节方法、ar设备及存储介质
WO2015178066A1 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160413