CN104423701A - 体育事件的触感使能的观看 - Google Patents

Abstract

本申请涉及体育事件的触感使能的观看。更具体而言，涉及一种为体育事件生成触感效果的***，其接收包括不同类型的事件数据的体育事件数据，每种类型具有对应的特征。该***向每种不同类型的事件数据分配不同类型的触感效果，并生成对应于每种类型触感效果的触感信号。该***然后发送该触感信号到触感输出设备。

Description

体育事件的触感使能的观看

技术领域

一个实施例一般地针对触感效果，并且特别地是与体育事件一起生成的触感效果。

背景技术

许多类型的设备，包括移动设备、可穿戴设备、家具，等等，为了提供警示或以其他方式发送信息给用户，可以包括动觉反馈(诸如主动和有阻力的反馈)和/或触觉反馈(诸如振动、纹理、以及加热)，统称为“触感反馈”或“触感效果”。例如，振动效果、或者振动触觉的触感效果，可以在提供暗示给电子设备的用户以提醒用户特定事件或者在模拟的或虚拟的环境中提供逼真反馈以创建更大的感官沉浸方面是有用的。观看事件(诸如体育事件)的用户体验可以通过向事件的音频和视频分量添加触感效果得以增强。

发明内容

一个实施例是为体育事件生成触感效果的***。该***接收包括不同类型的事件数据的体育事件数据，每种类型具有对应的特征。该***向每种不同类型的事件数据分配不同类型的触感效果，并生成对应于每种类型的触感效果的触感信号。该***然后发送该触感信号到触感输出设备。

附图说明

图1是可以实现一个实施例中的服务器/控制器，并且可以实现不同的实施例中的任何额外的设备的***的方框图。

图2示出了通过电子记分***对搏击事件的完整回顾的示例。

图3是示出了根据一个实施例的事件检测和触感效果生成的方框图。

图4是示出了根据本发明的两种不同的触感效果回放的实施例的方框图。

图5是触感使能的体育事件模块的功能性流程图，该模块触感使能体育事件并生成触感效果，或发送触感信号到生成触感效果的其他设备。

详细说明

一个实施例从体育事件的计分***接收事件数据，该***诸如记录击打、脚踢等等的搏击类型的体育事件计分***。事件数据被转换为触感效果，该触感效果当在触感输出设备被渲染时，“再现”该事件数据。例如，通过与触感输出设备的互动，观众将“感觉”每个击打或脚踢。

在一个实施例中，服务器/控制器接收体育事件数据，并在本地生成对应的触感效果，或者发送触感信号到附加的设备，其然后生成触感效果。图1是***10的方框图，该***可以实现一个实施例中的服务器/控制器，并且可以实现不同的实施例中的任何额外的设备。对于任何这些实现，图1中示出的所有元件也可以是不需要或不存在的。例如，在触感效果信号被发送到其他设备而不在本地生成的服务器中，图1中所示的触感输出设备也可以不被包括。

***10包括总线12或用于传送信息的其它通信机构，以及处理器22，其被耦合到总线12用于处理信息。处理器22可以是任何类型的通用或专用处理器。处理器12可以决定什么触感效果要被播放以及效果基于高级别参数被播放的顺序。在一般情况下，定义了特定的触感效果的高级别参数包括幅度、频率和持续时间。低级别的参数诸如流马达命令也可以被用于确定特定的触感效果。如果在触感效果被生成时它包括这些参数的一些变化或者这些参数的变化基于用户的交互，则触感效果可能会被认为是“动态的”。

***10还包括用于存储信息和由处理器22执行的指令的存储器14。存储器14可以由以下任一组合组成：随机存取存储器(“RAM”)、只读存储器(“ROM”)、静态存储器诸如磁盘或光盘、闪存、或任何其它类型的计算机可读介质。

计算机可读介质可以是能够由处理器22访问的任何可用的介质，并可以同时包括易失性和非易失性介质、可移动的和不可移动的介质、通信介质、以及存储介质。通信介质可以包括计算机可读指令、数据结构、程序模块或调制数据信号的其它数据诸如载波或其它传输机制，并且可以包括本领域已知的任何其他形式的信息传输介质。存储介质可以包括RAM、闪存、ROM、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、寄存器、硬盘、可移动盘、紧凑盘只读存储器(“CD-ROM”)、或在本领域中已知的任何其他形式的存储介质。

在一个实施例中，存储器14存储当被处理器22执行时提供功能的软件模块。该模块包括操作***15，其为***10提供了操作***功能。该模块进一步包括触感使能的体育事件模块16，其触感使能体育事件并生成触感效果，或者发送触感信号到生成触感效果的其他设备。该***10通常包括一个或多个额外的应用模块18以包括额外的功能，诸如支持Immersion公司的触感反馈技术的软件。

该***10进一步包括一个通信装置20，诸如网络接口卡，以提供无线或有线网络通信，诸如蓝牙、红外、无线、Wi-Fi或蜂窝网络通信。在一些实施例中，该通信是在服务器和生成触感效果的其他设备之间。如果***10，例如，实现生成触感效果的远程设备诸如可穿戴设备器，则通信设备20将从另一个***10接收触感信号。在一些实施例中，***10被用于直播体育事件并通过体育事件与广播音频和视频信道相结合广播发送触感效果。

处理器22进一步通过总线12耦合到显示器24，诸如液晶显示屏(“LCD”)，用于显示图形表示或用户界面给用户。显示器24可以是触敏输入设备，诸如触摸屏，被配置成从处理器22发送和接收信号，并且可以是多点触摸的触摸屏。显示器24可生成视频效果，且进一步可包括生成音频效果的扬声器。

***10还包括一个或多个触感输出设备26。处理器22可发送与触感效果相关联的触感信号到触感输出设备26，其从而输出触感效果。在一个实施例中触感输出设备26是致动器，诸如，例如电动马达、电磁致动器、音圈、线性共振致动器、压电致动器、形状记忆合金、电活性聚合物、螺线管(solenoid)、偏心旋转质量电机(“ERM”)或线性谐振致动器(“LRA”)。

除了致动器，触感输出设备26可以是一个非机械或非振动装置，诸如使用静电摩擦(ESF)、超声表面摩擦(“USF”)的设备，利用超声触感转换器诱导声辐射压力的设备，使用触感基板和柔性或可变形表面或形状变化设备并且可连接到使用者的身体的设备，使用空气喷嘴提供诸如空气喷出的投射触感输出的设备，等等。具有多种触感效果的多种触感输出设备可以生成触感效果。

所生成的触感效果可包括范围广泛的效果和技术，包括振动、变形、挤压、戳、拉伸、表面摩擦、热，等等。生成触感效果并且包括触感输出设备26的设备可以是可穿戴设备(例如，手镯、臂环、手套、夹克、背心、一副眼镜、鞋子、腰带，等等)、手持式设备(例如，移动电话、计算机鼠标，等等)、触感使能的家具(例如，椅子、沙发，等等)或任何其他触感使能的设备。

在一个实施例中***10进一步包括一个或多个传感器28。传感器28可以是加速度计、陀螺仪、全球定位***(“GPS”)传感器、触敏输入设备(例如，触摸屏、触摸板)、纹理触针、成像传感器、或一些其他类型的传感器。传感器28可以被配置为检测加速度、倾斜度、惯性、或位置的变化。传感器28也可以是位置传感器、旋转速度传感器、光传感器、压力传感器、纹理传感器、照相机、麦克风、或其他类型的传感器。传感器28可连接到体育事件相关的物品，诸如拳击手套、足球、网球拍、头盔，等等，以接收被转化/表示为触感效果的信号。

一个实施例，如下所述，特别适合于触感使能的基于搏击的体育事件，诸如拳击、武术、混合武术(“MMA”)，等等。该实施例通过让观众感受当它们发生时搏击中的重要的时刻来在观看这些类型的事件时提供沉浸的体验给粉丝。这些时刻的例子包括击打/打击倒地或回避、击倒、成功擒摔、屈服尝试，等等。其他实施例可以用于其他类型的体育事件。

基于搏击的实施例可以通知观众，何时以及最好是何处，在电视播放的搏击期间击打或脚踢被一个搏击者对另一个做出。也可以通知其他有趣的事件给观众(例如，错过的击中屈服、击倒，等等)。此通知可以利用触感反馈增强观看体验并为观众在搏击播出中提供沉浸的体验。

在一个实施例中，每当击中/事件被检测到时，***10发送要在可用的远程触感设备上或使用触感输出设备26在***10本地上播放的预置触感信号。在一个实施例中，事件的检测可以通过一个电子计分***接收。这样的***的示例包括用于MMA类型事件的“Fightmetric”和“Compustrike”。利用已知的电子计分***，接近环或八边形的不同的观众指示搏击者动作的时间、地点和结果(例如，错过的尝试、倒地击中、屈服，等等)。观众使用特殊的键盘完成这个任务。这个信息然后被存储到后面将要可视化的文件中。在搏击结束时，该事件的完整回顾由***产生，其中的一个例子如图2所示。实施例可以通过解析文本信息并将其进行转化以调制适当的预先设计的触感效果来采集计分数据。

除了使用计分数据作为事件数据的来源外，实施例可以使用图像处理。计算机视觉可以推断搏击者的行为。实施例可以使用多个照相机角度/视角和立体视觉来跟踪搏击者的肢体运动并检测其三维位置。该位置也可以使用运动模型和诸如卡尔曼滤波的随机方法来改善。当三维位置重叠时，这两个搏击者在接触的指示可以被生成。例如如果一个搏击者的三维的手的位置位于另一个人的脸位置并突然发生反向运动时，则“击中”可以被推断。

另一个实施例采用基于传感器的检测以接收数据事件，附加或补充先前描述的事件数据。事件数据可以通过分析来自附着在搏击者上并且描述他们的动作的传感器读数被生成。例如，如果搏击者的手套端部配备有接触开关，则涉及手套的任何击中将打开该开关。在另一个例子中，一组加速度计可以附着到搏击者的手臂和腿上或嵌入到手套或鞋子中。通过分析来自这些传感器的信号，可以使用模式匹配的方法来检测击中、脚踢、以及错过。这一基于“分类”的任务可以使用来自加速度信号的特性，诸如改变速率、频率范围，等等，并使用分类器，诸如隐马尔可夫模型(“HMM”)、高斯混合模型(“GMM”)、支持向量机(“支持向量机”)，等等。

图3是示出了根据一个实施例的事件检测和触感效果生成的方框图。图3的功能可以通过诸如图1的***10的一个或多个***被实现。从搏击事件302中，事件检测模块304使用电子记分***305、视频馈送306的视频图像分析器307、或传感器分析器308、或这些技术的任何组合中的任一个来检测搏击事件数据。触感信号310从事件检测模块304生成。触感信号310在触感输出设备诸如平板312或触感夹克(jacket)313中被渲染成触感效果。事件检测模块304可以由图1的触感使能体育事件模块16被实现。

实施例使用任何如上描述的捕获的事件数据并且可以创建有关的对应的触感效果。将要播放的效果的位置、强度和性质可以是相对于该事件数据的特征。例如，击倒击中可以被转化成一个强的“撞击”，而错过的脚踢可以通过轻微的震动来表示。在一些实施例中，触感回放/输出设备配备有多个致动器，诸如与触感夹克，触感椅子，等等。在这些实施例中，该效果的回放结合了对一个或多个可用的致动器的选择以最好地表示事件。例如，如果用户穿着触感夹克并且一个搏击者在他的左肋骨接收到一个脚踢，该用户应该在他的左肋骨上也感到“撞击”。效果也可以使用多个致动器同时播放。例如，后颈部窒息屈服可以用颈部周围所有的致动器的激活来表示。如果回放设备是单一致动器(例如，使用单个致动器的移动设备)，那么所有的事件/效果使用该单一致动器被播放。

当处理现场直播搏击时，为了完成事件的检测和转换到触感，实施例可将视频显示延迟几秒钟。使用预先设计的效果(即，预存储的触感效果)和事件的特征/特性，在特定的时间，触感效果控制信号被合成并然后被发送到触感回放设备中的特定致动器，以便与相关的图像同步地显示触感效果。在另一实施例中，本发明检测事件并使用指示致动器位置、预先设计的效果编号、它的幅度、以及它的时间的特定编码来描述该事件。该***发送该编码给回放设备，该回放设备分析该编码并发送适当的控制信号给(多个)致动器。在本实施例中，预先设计的效果被嵌入在回放设备中而不是在“分析”***内。

图4是示出了根据本发明的两个不同的触感效果回放的实施例的方框图。图4的功能可以通过诸如***10的一个或多个***来实现。分析模块/事件检测模决402接收检测到的事件并生成对应的致动控制信号403。该信号被发送到生成触感效果的触感使能回放设备404。在另一个实施例中，分析模块/事件检测模决408接收检测到的事件并生成对应于存储的触感效果的编码409。该编码由生成/检索对应于编码409的致动器控制信号411的回放设备410接收。回放设备410可以控制不同的致动器，因此在一个实施例中它负责管理全部致动器。回放设备410也可以管理要播放的效果并可以使用这些效果来为每个受控制的致动器生成控制信号。在一个实施例中，每个致动器控制信号411将被耦合到单一致动器(图4中未示出)。在其它实施例中，致动器可设在回放设备自身中，在这种情况下，控制信号也在回放设备内部。

在渲染或播放触感效果中，实施例可包括特殊媒体播放软件(移动或台式机)或硬件盒，其读取播出馈送并分配各个不同的磁道(音频、视频、触感)到适当的回放平台。在移动计算的框架中(即，智能手机、平板电脑)，该设备的致动器将负责播放触感，而在其他场景中，通过设计以如下方式嵌入有致动器的衣服，该体验可以而更加逼真，该方式为在观众的有关身体部位(例如，击打落在的身体的部分)处提供触感反馈。

当从记录的馈送中生成触感效果时，实施例分析电子记分***数据和/或图像和/或传感器数据，和事件的时间戳和与事件数据相关联的预先设计的触感效果的编号和强度，以及致动器的编号。这些数据可以被保存在可扩展标记语言(“XML”)文件中。触感设备可以在回放时读取该文件，然后播放由其编号、它的强度级别、它的显示时间以及致动器的位置描述的效果。在另一个实施例中，***将创建包含可以与其他轨道(即，音频，视频)一起被编码的致动器控制信号的触感轨道。在播放时，触感设备提取并读取触感轨道信号，以控制适当的致动器。在单一致动器的配置中，所有的控制信号将被映射到相同的致动器。

一个实施例中，如上所述，在来自体育事件的一个或多个频道上结合多个现有的体育事件播放信号频道播出触感效果信息，现有的体育事件播放信号频道诸如高清(“HD”)视频、3D视频、5.1声道、元数据，等等。对于“现场”播出的实施例，事件数据可以由位于运动场地或运动员个人的一个或多个传感器(例如，图1的传感器28)生成。该传感器可以包括音频传感器和/或加速度传感器、或其他触觉或生物感测(即体积描记仪)传感器。编码器(例如，图1的触感使能体育事件模块16)可以使用一个或多个传感器信号并将它们编码成一个播出信号。这可以是在运动图像专家组(“MPEG”)容器中的专用轨道(track)的形式、或作为现有的音频流或视频流中的未使用/未充分利用的频谱分量。

发送设备(例如，图1的通信设备20)被用于将编码流分发到远程观众。该发送设备可以包括互联网协议(“IP”)网络、无线电(“OTA”)模拟广播、卫星或其他现有的体育发送方法。

实施例包括可由图1的***10实现的终端，其将播出流解码为视频、音频和触觉分量，以及用于该视频、音频和触觉流的每个的“显示器”。该显示器对于所有流可以在相同物理产品中或包括两个或多个产品(例如，用于视频的平板电脑、用于音频的无线耳机、以及用于触觉的可穿戴致动器)。

远程观众可以是在诸如手机或平板电脑的移动设备上观看体育事件的人。在这个实施例中，蜂窝或Wi-Fi技术可用于传输，并且视觉和触感内容将在同一设备上被消费。观众也可以是在大屏幕电视上观看体育事件的人，但使用第二设备诸如电话、平板电脑或遥控器作为“第二屏幕”。在体育事件期间，“第二屏幕”设备正越来越多地用于查看关于事件的元数据或扩展信息，诸如体育统计和广告。在本实施例中，视觉内容将主要在大屏幕上被消费，但触感内容可以利用第二设备体验。该设备可以用手持握，或保持在口袋里同时还显示触感内容。

观众可以是在体育场或竞技场中观看体育事件直播的人。在本实施例中，移动设备将提供额外浸没在比赛中并将增强比赛的整体气氛和设置。该设备可以用手持握，或保持在口袋里同时还显示触感内容。

除了被实现在移动设备中之外，实施例可以为座位被创建，无论在体育场/竞技场中，或在家庭影院中，该座位以与移动设备类似的方式通过基于来自比赛的传感器输入的振动使粉丝沉浸在比赛中。

在一个实施例中，播出实施例中的终端可以是使用来自Immersion公司的用于媒体的“混响”自动触感反馈，连同使用未充分利用的频谱分量的音频编码的混响/混响HD使能终端。这使得移动设备能够直接渲染触觉信息，诸如在由根据实施例的本发明的功能补充的已有的硬件上的四分卫扑抱(quarterback getting)。

图5是触感使能体育事件模块16的功能的流程图，该模块触感地使能体育事件并生成触感效果，或发送触感信号到生成触感效果的其它设备。在一个实施例中，图5的流程图的功能是由存储在存储器或其它计算机可读或有形介质中，并且由处理器执行的软件实施的。在其它实施例中，该功能可以由硬件(例如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)，等等)，或硬件和软件的任何组合执行。

在502，来自搏击或其他类型的体育事件的事件数据被检测或接收。该事件可以通过电子计分***被检测，该***接收手动注释、视频分析、和/或通过接收来自嵌入在各种运动器材中的传感器的传感器数据。

在504，触感效果被分配给不同类型的事件数据，使得触感效果通知对应于事件数据的特性的信息给用户。在其它实施例中，触感效果可以基于事件检测被生成，诸如自动音频到触感效果的转换。进一步地，触感效果可以被创作来伴随体育事件。该创作可以在体育事件结束之后离线完成，所以它仅适用于预记录的事件(例如，在精彩回放(highlight reel)中使用)，或“半-直播”时完成，当在播出延迟期间由足够的时间来利用已知的触感效果创作工具创作简单的触感效果时。

在506，对应于触感效果的触觉信号被生成并发送到本地触感输出设备，或到远程触感输出设备。在另一个实施例中，用于识别存储的触感信号的编码替代地被发送到远程触感输出设备。进一步地，如果多于一个触感输出设备被包括在回放设备中，则对一个或多个特定的输出设备的选择也可以被生成。

在508，响应于触感信号，生成触感效果。

如所公开的，实施例接收体育事件数据并生成对应的触感效果。对于搏击事件，在一般情况下，当观看普通电视馈送时，由于动作非常快，观众一般不会看到所有的击打/打击并且往往不能实时清楚地分清击中和错过。照相机可能在“动作区”之外，并且他们通常要等待慢动作回放来获取这些信息。事实上，只有坐在击打场边非常靠近动作的人可以实时看到大部分的搏击时刻。通过添加触感反馈到这些事件，观众将能够感觉每个动作，即使它在视觉上模糊的。在技术方面，搏击的电子记分***(例如，“Fightmetric”***)在动作的回合被完成，并且视频进行审查非常快以提供准确的信息。因此，触感反馈的源在合理的时间内是可用的，并且只需要被路由到触感平台。

在其中计分***用作事件数据的源的实施例中，除了上述的基于搏击的计分***之外，可使用任何形式的电子计分***。例如，与曲棍球、英式足球、足球、赛车、赛马等等相关联的计分***可以用作事件数据的源。作为一个例子，在曲棍球计分***中，触感效果可以与进球、射门、当运动员射门时的他们的位置、阻截等等相关。对于具有***数据的***(诸如赛马)，生成的触感效果可以与事件数据，诸如赔率、赔率变化、当前出售的可能性(currentlikelihood of placing)等等相关。

进一步地，本发明的实施例可以使用能够使用上述方法提供事件数据的任何类型的体育事件来生成增强事件观看的对应的触感效果。

在此具体地示出和/或描述了几个实施例。然而，应当理解的是，所公开的实施例的修改和变型也通过上面的教导被包括并在所附权利要求的范围之内，而不背离本发明的精神和意图的范围。

Claims (15)

1.一种为体育事件生成触感效果的方法，该方法包括：

接收体育事件数据，其中该体育事件数据包括不同类型的事件数据并且每种类型具有对应的特征；

向每种不同类型的事件数据分配不同类型的触感效果；

生成对应于每种类型的触感效果的触感信号；以及

发送该触感信号到触感输出设备。

2.根据权利要求1所述的方法，其中该体育事件数据从体育事件的电子计分***接收。

3.根据权利要求1所述的方法，其中该体育事件是搏击事件，并且不同类型的事件数据包括击打。

4.根据权利要求1所述的方法，其中该体育事件是搏击事件，并且不同类型的事件数据包括脚踢和击倒。

5.根据权利要求1所述的方法，其中该触感输出设备是包括多个触感输出设备的触感回放设备的一部分，该方法进一步包括选择所述多个触感输出设备的一个或多个触感输出设备。

6.根据权利要求2所述的方法，其中该体育事件数据进一步从一个或多个传感器接收。

7.根据权利要求2所述的方法，其中该体育事件数据进一步从该体育事件的视频分析接收。

8.根据权利要求1所述的方法，其中每种触感效果包括幅度参数、频率参数和持续时间参数，其中这些参数对应于体育事件数据的特征。

9.根据权利要求1所述的方法，其中触感信号包括对应于预先存储的触感效果的编码。

10.一种为体育事件生成触感效果的装置，该装置包括：

用于接收体育事件数据的装置，其中该体育事件数据包括不同类型的事件数据并且每种类型具有对应的特征；

用于向每种不同类型的事件数据分配不同类型的触感效果的装置；

用于生成对应于每种类型的触感效果的触感信号的装置；以及

用于发送该触感信号到触感输出设备的装置。

11.一种为体育事件生成触感效果的***，该***包括：

被配置为存储触感效果分配器和触感效果生成器的存储器；以及

被配置为执行存储在存储器中的触感效果分配器和触感效果生成器的处理器；

其中该触感效果生成器被配置为，响应接收包括不同类型的事件数据的体育事件数据，向每种不同类型的事件数据分配不同类型的触感效果；以及

其中该触感效果被配置为生成对应于每种类型的触感效果的触感信号并发送该触感信号到触感输出设备。

12.根据权利要求11所述的***，进一步包括接收所发送的触感信号的致动器。

13.根据权利要求11所述的***，其中该体育事件数据从体育事件的电子计分***接收，以及该体育事件为搏击事件，并且不同类型的事件数据包括击打。

14.根据权利要求11所述的***，进一步包括生成体育事件数据的传感器。

15.根据权利要求11所述的***，进一步包括生成体育事件数据的视频分析器。