CN104524758B - 对象定位及移动检测***和方法 - Google Patents

Abstract

一种用于检测对象位置与移动的***和方法利用由与灯(43)协作的第一照相机(42)和与灯(45)协作的第二照相机(44)观测的第一视区(40)。可以增加第三照相机(46)以观测涵盖第一视区(40)的第二视区(47)。第一照相机(42)沿第一轨迹线(55)采集在时间间隔点(51)和(53)处的图像。第二照相机(44)沿第二轨迹线(56)采集在时间间隔点(52)和(54)处的图像。组合这个信息以生成对象的3D轨迹线(50)。

Description

对象定位及移动检测***和方法

本申请是申请日为2008年9月19日、申请号为200880117028.6、发明名称为“对象定位及移动检测***和方法”的专利申请的分案申请。

技术领域

本发明针对使用机器视觉来定位球、球杆/球棒以及人对球杆/球棒的使用。

背景技术

提高运动员的成功机会可以包括提供运动员的移动的近似测量结果以及根据一般统计数据来分析这些测量结果。当前，诸如高尔夫球手之类的运动员可以使用包括用于捕获高尔夫球的发球数据(速率、发球角、旋转)和球杆数据的照相机和灯的许多方法之一来分析其高尔夫挥杆。本发明可以克服这些当前现有技术***的若干缺点。具体而言，这些现有技术方法和设备由于以下若干原因而均未提供我们已开发的***：

1、使用具有特殊光学属性的球上目标图案来找出球旋转。(美国专利申请20070060410)描述了依赖于这些目标类型的处理。

2、其它球旋转方法采用与我们当前使用的标记图案不同的特定标记图案来进行专利保护。

3、采集机构是特定的并且与我们所使用的不同。这些方法的不同之处在于所述机构的几何形状和所采集的图像以及该采集的定时和同步。

4、所描述的方法都似乎认为得到极高分辨率、低噪声数据的能力是理所当然的。大多数方法假设可以利用球上的2个“定位点(fix)”来计算该旋转。这是正确的，但是由于噪声数据，球上的任何单个“定位点”可能导致重大误差。采用更好的硬件来解决这一问题可能是相当昂贵的。

5、大多数方法似乎取得了以高分辨率且以已知且适当的定时关系捕获数据的能力。这可以实现，但是所得到的***的成本可能是极高的。

美国专利号7,170,592公开了一种用于检查诸如高尔夫球之类的曲线对象的方法，该方法包括：使用检测器采集曲线对象的图像；调节该图像以最小化失真；以及将所调节的图像与预定的调节主图像进行比较。新颖之处在于不要求对象的定向以及在测量期间对曲率失真的最小化。

美国专利号7,143,639公开了一种改进的便携式电池供电(电源电池)的发球监视器。该便携式发球监视器包括照相机***(优选地为四个照相机)以及至少两个用于照射视场的照明***。该***包括数据存储装置和显示设备。该***包括存储的图像参考，并且识别诸如在测量过程期间使用的高尔夫球和高尔夫球杆的类型之类的图像。该***测量杆头速度、杆头路径角、杆头迎角、杆头倾斜角度(loft)、杆头下垂度(droop)、杆头面角、杆头面旋转、杆头下垂旋转(droop spin)、杆头高击旋转(loft spin)以及高尔夫球杆面上的球撞击位置，确定高尔夫球运动学信息，诸如球速、球仰角、球方位角、球后旋(back spin)、球膛线旋转(rifle spin)、球侧旋以及高尔夫球杆面上的球撞击位置。提供视频界面以观看并对接所得到的图像和综合分析。***可以是网络兼容的，以把数据传递到中央服务器从而显示高尔夫球手的特点，诸如球杆特点、球特点、球轨迹和设备比较。在其它实施例中，网络可以能够向中央服务器传输交易信息，诸如设备订购、购买者的财务信息、配送地址以及售货员信息。另外，网络可以能够给多个数据消费者传输订购确认信息、更新操作***的软件或者传递数据。

美国专利申请号20070060410公开了一种用于测量高尔夫球发球情况的方法和设备。这个申请具有与美国专利号7,143,639相同的发明人。该方法包括采集不存在高尔夫球的视场的图像以及采集在视场内运动着的高尔夫球的至少两个图像。这些图像优选地基于包含在高尔夫球表面上的一个或多个基本圆形的标记。在采集了高尔夫球的图像后，从运动着的高尔夫球的至少两个图像的每一个图像中减去视场的图像。在减去视场的图像后，则可以确定所述至少两个图像的每个图像的高尔夫球的圆周位置。该方法还包括分析至少两个图像的每个图像中的圆周，以确定每个图像中高尔夫球的中心位置。然后可以确定基于基本圆形标记以及至少两个图像的每个图像中的高尔夫球中心的高尔夫球的运动学特性。包括存储器以及其上加载的软件的处理器可以用来执行该减去和确定。基于这些步骤，可以计算高尔夫球的运动学特性，诸如侧旋、后旋、轨迹、速率、发球角和侧角。用于确定高尔夫球运动学的设备包括：照明装置，其被选择性地定位以用预定波长范围内的光照射视场；高尔夫球，其具有吸收该预定波长范围内的光的表面；以及背景表面，其反射该预定波长范围内的光。在一些实施例中，背景表面可以包括高灰度级表面。可能期望的是，该设备还包括照相机和处理器，其中所述照相机被定位成采集视场的一个或多个图像，所述处理器包括存储器并分析其上加载的软件。该软件优选地能够分析一个或多个所采集的图像，以确定高尔夫球中心的位置。

美国专利申请号20070049393公开了一种用于预测发球情况的方法。该申请具有与美国专利号7,143,639和美国专利申请号20070060410相同的发明人。该发明包括一种用于预测高尔夫球手的击球表现的方法。该方法包括基于高尔夫球手用高尔夫球杆的挥杆来确定高尔夫球手的多个预撞击(pre-impact)挥杆属性。该多个预撞击挥杆属性可以包括例如撞击位置、高尔夫球杆头的方位和高尔夫球杆头的速度。优选地确定高尔夫球杆和高尔夫球之间的滑动量。该滑动量可以基于多个球属性、多个球杆属性以及多个预撞击挥杆属性。可以通过以微秒时间间隔计算高尔夫球杆和高尔夫球之间的第一滑动时段、附着(stick)时段和第二滑动时段内的每个时间步长来确定滑动量。期望的是，每个时间步长至少基于高尔夫球的横向力、高尔夫球的摩擦系数和高尔夫球的法向力。可以通过让挥动高尔夫球杆的高尔夫球手处于监视***之前来确定预撞击挥杆属性。高尔夫球手可以以任何期望的次数来挥动球杆，以便生成精确的预撞击挥杆属性。预撞击挥杆属性优选地基于高尔夫球杆的大约1次或多次挥杆。

所确定的高尔夫球属性包括但不限于多个速率下的球恢复系数、多个速率下的接触时间以及多个速率和倾角(loft angle)下的旋转。

另外，可以确定的高尔夫球杆属性包括杆面的几何中心、杆头的质心、从凹槽(hosel)到杆面的质心和/或杆头的质心的距离、杆(shaft)材料的有效密度、绕杆轴的扭力的有效剪切模量、杆材料的有效杨氏模量、以及在凹槽端部的两个方向上的杆的外直径和内直径。

因而，高尔夫球手仅需要挥动高尔夫球杆一次以确定高尔夫球的预测轨迹和发球情况。所预测的轨迹可以包括诸如距离、飞行路径、落地位置、最终停留位置等等的特征。此外，发球情况可以包括侧旋、后旋、膛线旋转、方位角、发球角、速率等等。

可以使用包括计算机指令的计算机程序来执行上面描述的方法。

美国专利号6,241,622和6,488,591是相关专利，其公开了一种便携式发球监视***，该***包括用于记录图像并确定预定视场中的球飞行路径的两个照相机、闪光灯、分束器、反射元件和反射高尔夫球。

美国专利号4,375,887和4,063,259是相关专利，其公开了一种用于测量初始速率、初始旋转速率和发球角以使高尔夫球手的挥杆与具有最佳利用挥杆的特征的优选高尔夫球匹配的发球监视***。

美国专利号4,160,942公开了一种用于显示由包括多个照相机和数据分析器的轨迹计算器所测量的投影对象的仿真的光学对象投影。

美国专利号4,158,853和4,136,387公开了一种用于监视高尔夫球(或任何运动球)发球后的飞行的方法，该方法优选地包括被触发用于测量高尔夫球的位置、速率和旋转的多个照相机和对应的闪光灯。

美国专利申请号20070032143公开了一种包括优选地安装在用户头上的监视器和照相机的实时视觉自监视***。

美国专利申请号20070026975和20070026974是由相同的发明人做出的，并且其公开了一种使用一个或多个照相机、用于照射所跟踪对象的红外发射器以及用于分析所记录的视频序列以确定适当技术的数据分析器的轨迹检测与反馈***。

美国专利申请号20070010342公开了一种用于模拟轨迹并基于虚拟数据对高尔夫球进行建模的虚拟高尔夫球模型。

美国专利申请号20040142772公开了一种测量设备，其中从后部借助于第一照相机和第二照相机实施拍摄并从前部借助于第三照相机实施拍摄。基于通过从后部的拍摄所获得的图像数据以及通过从前部的拍摄所获得的图像数据，通过三角测量法来计算球的位置坐标。将从后部实施的拍摄从第一照相机中继到第二照相机。第二照相机的视角与第一照相机的视角有关。因此，可以通过中继来在大范围的轨迹内拍摄该球。

第一照相机应当被定位在发球点后面，第二照相机应当被定位在发球点和下降点之间，而第三照相机应当被定位在该下降点前面。由于第二照相机被定位在发球点和下降点之间，所以由水平方向上的光轴形成的角度可以被设定成很大。借助于第二照相机恰好在下降之前测量到的高尔夫球的仰角很大。该测量设备在测量恰好在下降之前的球方面具有高的精度。

第一照相机的视角应当与第二照相机的视角部分重合。基于第一照相机和第二照相机同时拍摄到的球图像，第二照相机的视角与第一照相机的视角有关。

其它现有技术涉及使用GPS***来测量和显示数据：

美国专利号7,175,177公开了一种包括具有GPS和处理单元的PDA的高尔夫数据管理***，此外，该***基于参与者输入的数据和从测量单元基于所用的高尔夫球杆和击球距离而导出的数据来提供个别参与者分析。

美国专利号7,118,498公开了一种便携式GPS***，其用于基于高尔夫球场地理信息服务来测量并显示高尔夫球手和对象(诸如目标)之间的距离。该***还提供用于测量诸如风向和等级之类的数据以及流逝的打球时间的装置。

美国专利号7,095,312公开了一种便携式GPS***，其用于使用与每个运动对象相关联的嵌入式电子跟踪装置来测量并显示运动对象(诸如高尔夫球)的属性。

美国专利号7,010,550公开了一种用于输入、记录和存储参与者的洞级(hole-level)和击球级(shot-level)信息的PDA。数据输入可以是脱机或联机互联网交互的。

美国专利号6,697,820是相同发明人的美国专利号7,010,550的变型。

美国专利号6,585,609公开了一种与特定高尔夫球场有关的得分册。每个洞图解由对应于交互式互联网网格的网格组成。参与者在洞网格上指示每次击球的高尔夫球位置，并且然后基于相同球场上的先前高尔夫球局来把信息下载到交互式互联网网格以用于历史数据交换。

更进一步的，其它现有技术***包括：

Blackwell Synergy公开了一种使用3D分析视频技术来测量高尔夫挥杆期间杆头的移动路径和速度以及杆面方位和撞击位置的研究。

IMAGO Video Trackers公开了一种用于通过跟踪从发球到落地的高尔夫球来测量该球的真实轨迹的***。这与通过测量初始和落地球位置来对球飞行进行内插的先前***不同。

NASAexplores公开了使用高速视频设备来捕获飞行中的高尔夫球。计算机硬件和软件用来分析每个球的所测得的旋转速率和速度从而产生设计更好的高尔夫球。

Pitt Research公开了使用高级生物力学评估工具来测量高尔夫挥杆期间上半身、骨盆和x因素的旋转和速率。使用高速的八个照相机3D光学运动分析***来评估其它测量结果，诸如球速率和生物力学变量之间的关系。

Sports Coach Systems公开了一种具有封闭电路板且包括用于测量经过撞击区的球杆和球二者的红外技术的模拟器垫子(mat)。

Zelocity公开了一种高尔夫性能监视器，其使用多普勒雷达来测量球的速率、旋转和发球角。还在向下挥杆中以及在撞击时测量杆头速度。

发明内容

通过以更低的成本提供更高的精度以进行更成功的分析，本发明克服了这些现有技术方法、***和设备的缺点。

本发明是一种收集并分析高尔夫相关数据的***。优选地，所分析的数据与高尔夫球分析有关：球轨迹，包括发球角、球速率和球旋转；挥杆监视器；发球监视器；推杆剖面仪(putting profiler)；球探测器(ball finder)；以及自动化性能增强。在优选的实施例中，使用至少一个照相机来记录球飞行的图像。多个照相机或高速照相机还可以与闪光灯或红外线照明结合使用。数据跟踪与分析的一些示例是：

球旋转分析-用校准的照相机跟踪所标记球的移动。球标记必须具有预定关系，并且飞行中的球的图像必须具有已知的时间关系。可以使用基于曲线的标记，并且数据可以被映射为3D表面坐标。当具有已知关系的若干图像被记录在相同区域中以用于比较分析时，跟踪未标记的球也是可能的。

球杆分析-使用两个照相机来采集高尔夫球杆的3D边缘。杆面的方位和高尔夫球的起点连同轨迹一起被记录。根据该轨迹确定击打的瞬间，提供球杆打击球的计算时刻以及在打击时的杆面的方位。来自杆面的镜面反射是测量必要数据的优选形式。可以使用可见光或红外光，并且照相机可以记录杆面特征的侧影或笔直照射(straight onillumination)，以确定6轴轨迹。

高尔夫球手的挥杆分析-使用多个照相机和侧影来记录与模型挥杆相比较的数据。根据与所捕获的高尔夫球手侧影具有最小偏差的模型来生成侧影。创建高尔夫球手的挥杆的模型，并且使该模型与所研究的挥杆匹配。

轻击棒轮廓-也可以通过在整个推杆序列期间捕获球杆的位置、高尔夫球手和球的位置来分析该轻击棒轮廓。

本发明也可以用于运动及医学中的自动化增强性能和基于视觉的训练***。具体而言，可以分析并改进高尔夫球手的运动轮廓、挥杆设置轮廓以及骨骼的运动。

附图说明

当按照附图考虑时，通过对优选实施例的以下详细描述，本发明的上述以及其它优点对本领域技术人员而言将变得容易显现，在附图中：

图1-4示出了根据本发明的、标记在球上以用于旋转确定的虚线或线段；

图5-6示出了根据本发明的、标记在球上以用于旋转确定的环形；

图7-8示出了根据本发明的、标记在球上以用于旋转确定的螺旋形；

图9A和9B是根据本发明的模拟器的示意平面图；以及

图10是球的3D轨迹的示意图。

具体实施方式

在若干优选实施例的第一实施例中，本发明提供如下阐述的标记球发球器(launcher)。术语“球”在本文中用于代表移动的所感兴趣的任何对象，并且其位置和移动数据由根据本发明的***和方法生成。

标记球发球监视器——***描述-发球监视器是一种用于获得球的发球数据的***。这包括：球初始位置；球初始3D轨迹；以及球旋转轴和旋转速率。

设置——***包括：产生球的可能飞行路径的图像的一组照相机，所有照相机装置基于共同的时间；照相机的3D校准数据；处理器，其产生最终结果；以及任选地具有相关定时信息的照明装置。所有装置被连接并且能够共享信息。

图像采集——该***产生一系列盖有时间戳的图像以及任何照明装置的定时。

图像分析——该系列图像被分析以确定球是否在照相机视野中。如果该球在运动，则照明装置可以引起球的多个图像。对图像的分析按下述方式进行：

在图像中有任何球吗？

在图像坐标中其中心和直径是多少？

在球图像中有内部特征或标记吗？如果有的话，像素坐标是多少？

有选通的照明吗？如果有的话，有多个图像吗？并且它们如何对应于选通定时？

一旦找出对应于球运动的观测，则可以预测球的将来的运动。可以在图像空间中估计接下来的图像、或者将接下来的图像映射成3D并且用飞行模型和照相机3D校准数据对其进行预测。之后，该预测可以用来减少所处理的像素量，并且还允许忽略可能包含矛盾数据的图像区域。如果该预测是错误的，则球的飞行与球飞行模型不一致，并因此不必要进行进一步的分析。

图像观测——图像分析步骤的结果是产生球的飞行的一系列不同观测。观测是：

所使用的照相机。

图像空间中的球心位置。

球心位置的时间戳。

从球的图像中提取的特征集。

对象图像的像素集。

3D观测——分析观测集以确定球是否移动并且其是否与飞行模型相一致地移动。观测集被转换成3D位置，并且对该3D位置和时间戳进行一致性的检查。如果它是有效的球飞行，则分析特征集，并且使用该特征集以确定球旋转偏移。这个步骤还可以定位应当具有球图像信息但由于某种原因而要求特殊处理来进行提取的区域。

旋转计算——然后使用这些观测来计算初始发球位置、发球轨迹以及旋转轴和旋转速率。观测准则是：

观测之间的最小时间，以使得最大旋转＜PI。

不同时间间隔，以使得混叠不会消除旋转信息。

至少两个观测，因此视场大小＞max_vel*acq_time*3。

只能得到对象中心附加的内部特征。

图像采集方法(2个或更多中速照相机-连续光)

采集方法——在时间方面偏移60％-40％以得到2ms的最短间隔以及2个间隔，以用于根据不同定时的击球(shot)之间的偏差来计算旋转。时间戳观测-其允许使用所有观测来消除由不准确性或超过180度的快速旋转所引入的模糊。经由恒定光、日光或由照相机激发的闪光的照明用于每次采集。

3D观测和轨迹——仍需要球的3D位置以用于允许计算旋转和速度以及3D轨迹的准确的球的3D位置。为了仅采用3次击球(来自一个照相机的2次击球，来自其他照相机的1次击球)找出球的3D位置，按如下方式操作：对单次击球使用来自第一照相机的2个图像之间的时间关系，以找出这些击球必定在其上的线的3D斜率。为了用来自每个照相机的2个图像找出球的3D位置，针对图像坐标中的每个照相机球心找出穿过每个照相机中心的3D平面。然后使两个平面相交以找出球形成的3D线。注意，通过采用更多点，可以对这些点拟合曲线，并且计算3D最佳拟合曲线。现在使每个球图像中心与所找出的3D球轨迹相交，以找出完全坐标中的球心。3D球轨迹可以与球放置平面相交，以允许计算球原点。通过所有观测对之间的速率的成对计算的最大值来找出速率。最终结果是具有正确定时关系的击球。

多个照相机——照相机的数量可以被增加以覆盖更大区域，并且只要知道照相机定时关系，就将其校准到共同坐标3D***。

闪光灯——2个或更多慢速照相机-利用具有高达1000Hz的可控激发模式的闪光灯，通过仅使用2个慢速(60fps或更小)照相机，用于允许从所有可能的高尔夫球击球中捕获发球数据的数据是可能的。可捕获的击球范围是100m/s到10m/s且具有小于18,000rpm的旋转。从50m/s到5m/s的第二击球范围是可能的。在5m/s之下，旋转仅仅会对球飞行具有小的影响。在预先不知道击球速度的情况下使用闪光的问题是期望捕获不同的击球。在足够低的速度下，图像彼此重叠。在足够快的速度下，不存在任何图像。照相机采集速率和曝光的关系以及闪光定时确定可能不同的观测量。这与可能的速度范围和旋转速率相互作用。目标是具有正确定时关系的至少3个不同观测。

图像采集——两个照相机与闪光同步以使得在每个照相机的帧开始时激发特定的闪光模式。照相机可以被同步成同时开始或不被同步成同时开始，这仅要求知道相应的帧起点的时间偏移。假设该机构与击球范围的相互作用是可能的，选择总是导致至少3个不同观测的闪光模式。

图像分析——图像分析中的第一个步骤是找出不同图像。这是通过检查偏心率和正确区域的连通分量的blob分析来完成的。这些变成候选者，然后针对一致性和内部特征二者来处理该候选者。可以对部分重叠的图像进行进一步的分析，其中曲线的部分可用来确定非重叠区域。然后可以对每个圆拟合最小圆，其中内部现在被划分成不同区域和重叠区域。所得到的中心和区域现在定义了候选者。现在可以针对标记来处理不同的区域。对于在图像边缘处的球的图像而言也是如此。类似的处理可以产生附加的观测。3D观测和轨迹可以继续进行所得到的图像观测。

示例-对于10mm/msec的最小速度。通过在帧开始后1ms激发闪光并且直到过去了至少4ms才激发另一个闪光。并且在帧结束前1ms激发闪光之前等待至少4ms：获得2个不同图像(先前帧的结尾，当前帧中的开始)，其具有2ms的时间偏移。这些对中的其中一个是以60fps每16ms来采集的。16ms间隔(1ms分辨率)的基本模式是1000 0110 0110 0001。注意，每个7ms子集包含至少2个图像。每个17ms子集包含至少一对在具有至少4ms间隙的2个帧上采集的1ms间隔图像。如果击球的速度足够低以使其图像与下一或先前图像合并，则丢弃该击球。特殊击球的值是具有短时间关系但保证不合并的两次击球。我们需要来自每个照相机的至少2个观测，优选地为3个或更多。

用于捕获观测的可编程图像采集——适于飞行中的对象的一组图像采集操作允许捕获必要数量的具有可用定时关系的观测。对于许多照相机而言，图像捕获的速率与所捕获的线的数量成比例。另外，可以覆盖相同区域，但是通过使用硬件像素合并(binning)或其它技术来减少线的数量。通过像素合并，所覆盖的区域保持相同，但是线的数量减少了2的倍数，但分辨率也减少了相同的倍数。捕获速率增加了相同倍数。一些照相机允许改变采集时的采集参数，通常该改变延迟一段时间生效。对象总是具有有限范围的可能速度。通常，高速对象将在单个帧时间内通过照相机的视场。因此，为捕获对象的两个画面，不保证以全帧速率的两次采集。

对于使用具有获得高帧速率同时以降低的分辨率捕获较少线的能力的照相机的对象采集而言，以下步骤可以用来采集全分辨率对象图像：

所获取的初始区域具有正在进行中的像素合并，并且只有足够的线被保证以看到具有最大速度的球。

通过检查像素值以得到从初始值的变化，来检查来自初始线的像素以判断对象的存在。最初还可以针对变化来核查初始线的直方图以检测对象。

当找到对象时，为可能的最快采集(其将捕获以最大速度移动的对象)设定采集参数。第一全分辨率捕获的大小和方位将与在初始区域中找到对象的位置、最大可能速度有关。

进行初始区域的第二采集。第一初始采集和第二初始采集之间的对象位置的变化用来估计越过图像的球的方向和速度。然后，这个信息用来预测越过传感器的对象位置。找出一组采集，该组采集将所采集的线限制为将捕获对象的那些线。对象大小用来确定要采集的线的数量，其中若干额外线用于顾及该确定中的误差。注意，此时可能已经建立下一采集。

对象的大小、速度和位置将连同线定时一起被用于确定要被采集的线的起点和数量，直到对象不再看得见为止。

在高速对象的情况下，这可能需要其余图像传感器以全分辨率进行再一次采集。

根据产生其速度的初始的两个估计来找出对象在传感器视野中的时间量。

对于较慢的对象而言，将有时间捕获众多击球。将计算对象的位置，其中把这个位置考虑在内来更新下一采集区域。

旋转的对象上的特征图像——使用上述方法，预测越过图像传感器的球的路径，并且使用减少数量的线以比使用整个帧更高的速率捕获对象来跟踪对象。该加速约为整个图像帧速率除以对象占用的线数量的比值。如果当我们跟踪球位置并且在两个连续帧中提取我们感兴趣的特征时，我们现在处理高速图像，或者我们提取具有已知3D关系的2个定向特征或者具有已知3D关系的3个特征，则我们可以估计对象的旋转速率。旋转速率和轴对于自由飞行中的对象而言是近似恒定的，从而使得我们现在可以预测更多特征将于何处以及何时位于图像传感器的视野中，以及如何定位窗口以捕获它们。我们捕获球的特征的高分辨率图像的选择并且给它们盖上时间戳。

可以通过把模型主体的特征投影到图像之间经过的时间间隔上来实现特征与特征的3D模型的匹配。使用第一图像中的特征实现模型的旋转，从而匹配如图像中所看到的其相对于对象中心的位置。现在从图像中取出第二和第三位置。针对每个可能的特征，旋转并投影该模型以匹配所找出的位置。尝试所有组合并且使用具有最小图像误差的一种组合。

找出具有相对于对象质心的位置的、盖有时间戳的特征集。

取出第一特征并且旋转3D模型并投影以匹配其图像位置。

取出第二特征并且旋转3D模型并依次投影每个模型特征以匹配图像位置。这将创建n个旋转。

取出所有附加特征并且旋转3D模型并依次投影每个模型特征以匹配图像位置。这将为每个附加特征创建n个旋转。

把每个旋转除以时间戳以得到由每个特征选择所暗示的旋转速率。

选择用于3D模型标记的特征，其使与恒定旋转速率的偏差最小化。

特征的位置可以被选择成通过不规则的宽间距来提供最小的模糊度。

利用标记的特征集，创建盖有时间戳的相对于彼此的3D位置，找出最佳拟合的旋转轴。

我们还可以通过改变我们的采集参数来在沿其路径的各个点上采集整个对象的图像，从而使我们具有足够的分辨率下的对象质心的若干位置，从而把对象位置拟合至曲线，并且推断任何盖有时间戳的特征观测的对象中心位置。完成上述情况的附加方法是使用来自多个已校准照相机的对象中心观测来创建盖有时间戳的3D位置。然后这些可以与对象飞行模型一起用来创建飞行3D轨迹。现在可以通过使用这个3D轨迹给盖有时间戳的特征观测提供3D位置。

当前发球监视器***——照相机设置——照相机被安装在球座之上、部分覆盖视场。注意，照相机可以被安装在任何位置且覆盖视场。照相机位置会影响每个维度的准确性并且还要易于安装并防止碰撞。我们的照相机被校准，因此我们希望尽可能少地碰撞它们。灯在头顶上、位于照相机之外并且在照相机之间。用平面校准目标来校准照相机。每个照相机的曝光定时对于每个处理重复而言是已知的。它不必固定。

存在两种方法：使用具有每帧一个球图像且具有每帧多次曝光的高速照相机。这可以用闪光***或用照相机来完成，所述照相机允许每帧多次曝光。在下文中，图像搜索需要知道其是否在查找1个球或者多次曝光。除了图像搜索识别候选球以及用定时信息对它们进行配对并且当确定其有效性时被包含以创建候选观测之外，处理是相同的。注意，由于“假”触发有许多可能的原因，不控制对***的输入。

图像搜索——一旦***准备查询高尔夫球图像，***就查遍每个图像。如果找到，则进行第一处理步骤，以检验采集了有效的高尔夫球。必要时存储图像以便不丢失任何图像。如果球在图像中是静止的，则找出其位置并且其被***忽略。这创建了***的盲点。为了找出初始图像，创建图像的被忽略区域的掩模(mask)。另外，球一旦出现在FOV中就将被忽略，因为它移动到了照相机的视野之外。

找出球3D照相机特征——针对具有潜在高尔夫球图像的位置搜索每个图像。如果找到候选者，则每个照相机用通过位置调节而校正的最小封闭圆算法来提取球斑点(blob)。计算每个圆的拟合质量的度量。将最佳质量圆用于来自该图像的球。找出图像空间中的每个照相机线，这个线被带到完全坐标中的3D平面。跟踪球跨越图像的行程，并且当球跨越图像时，不处理另外的图像。如果在过程开始时没有出现球的另外的图像，则这被认为是假起点，并且图像被清除并继续搜索起点。

找出3D轨迹线——如果存在两条线，则使这两条线相交以找出3D轨迹线。找出来自线的误差，并且如果可能的话消除异常值。如果仅一个点来自一个照相机而一条线来自另一个照相机，则使用分离算法来找出3D轨迹线。计算球图像与线的拟合的度量。

提取带信息——使用球位置和直径来提取球的图像。归一化该图像并且提取黑带。

连接——通过将任一对邻近点之间的平方距离与基于这些点离斑点中心的距离而预先计算的值进行比较，而把带信息连接为带。

变薄——以下列方式使所连接的带变薄：

假设它们位于球体的表面上。

仅一个半球是可见的。

关于球体的中心对它们进行排序，θ从一端变化(run)到另一端。

对于δ度数，找出加权质心并且产生单点。

标记并找出旋转——变薄的带被标记并且与模型进行匹配，以针对所有捕获的球图像找出该球与标称位置的六轴3D偏移量。

使用环的排序来进行初始估计。

对于每个可能的组合，创建候选标记。

用边界约束对环进行平面拟合。

找出每个候选标记的误差。

使用最佳拟合的标记。

使用来自照相机的3D射线、直径和球心的估计来投影到3D。

基于拟合的质量来给环分配权重。

通过使用所找出的环的两个最大法线来找出3D旋转矩阵。

重组未使用的点并且如果必要的话重复拟合。

使用平面的移动距离来估计中心误差。

如果必要的话使用修正的中心误差来重新计算。

所找出的3D位置被用于偏移位置。计算3D旋转并将3D旋转添加到4×4偏移矩阵。

轨迹旋转***——***描述——未标记的球——偏转方法——飞行模型：对于未标记的高尔夫球，利用有效的球飞行模型；对于给定的初始速度、初始发球角、球雷诺数(Reynolds number)函数(温度、湿度、风速)、球质量，该模型可以计算给定球旋转时的球轨迹。

找出初始曲线——传感器获得球轨迹的初始段。通常，采用一系列测量，该测量允许确定最佳拟合轨迹二次函数。(例如，在球飞行的最初的1m中进行10次位置测量)。确定初始速度和发球向量。

投影飞行——所找出的最佳拟合球轨迹的速度和发球向量用于球飞行模型中，以投影球通过球飞行的第二段的飞行。(例如从2m到3m的1m距离)。

计算旋转表——使用这个飞行模型以找出具有各种旋转速率和旋转轴的一系列轨迹。

找出第二曲线——第二传感器捕获确定第二弧段中的轨迹的一系列位置。(例如从2m-3m的3D位置的10次测量)。这些位置被拟合成包括初始段位置的最佳曲线。

拟合曲线——拟合初始曲线且代表各种旋转值的球飞行模型曲线与第二曲线进行比较。找出使两条曲线之间的区域最小化的“旋转曲线”。可选地，可以找出在给定时刻第二曲线与0旋转球飞行模型的最大偏差，这表示旋转速率并且是马格努斯(magnus)力的效应。

确定旋转——最大偏差的方向表示旋转轴移动远离指向右边。这表示马格努斯力已经作用的方向。这种方法需要在足够大的区域上的数据，以便能够以测量***的精确度来测量马格努斯力的效应。图像可以是轨迹的单个照相机视图或者轨迹的多个段上的两个或更多照相机视图。具有不同旋转值的一些击球可能具有类似的曲线。在这种情况下，使用关于击球的其它信息来选择最佳值。将存在球杆数据、标志旋转数据以及可能的击球类型，所有的这些都可以用来选择最可能的解决方案。给定测量***，球飞行模型必须能够足够精确地确定轨迹。通常将通过多个代表性击球来实验性地确定模型参数，所述多个代表性击球被内插以允许覆盖所有击球类型。可能需要针对所用的将具有略微不同的参数的每个球类型来采集该数据。

采集方法——除了通过使用上述标准技术来照射白球以找出不同的球图像之外，可以使用其它方法。在寻找轨迹曲线的过程中，可以处理重叠图像以找出它们描述的轨迹。

拖尾(smear)方法——用恒定照明点亮照相机的视场，该恒定照明连续地曝光图像。然后所得到的拖尾代表球的飞行，并且球上的标记的移动代表旋转轴和速率。需要以恒定速率激发闪光以在图像中产生明亮的定时标记从而允许精确的定时信息。可选地，可以使用正常为开的闪光灯，其中短间隔的关断允许计算定时。球上的标记现在具有这样的要求：当它们由于球的旋转而变得模糊时，它们产生特别的图案。用于根据拖尾图案确定旋转的算法具有若干类型：

根据已知旋转的伪影图像来建立表格并且使用匹配的图案和内插。

查找具有各种搜索线的周期性图案。

类似地，可以以正面形式将球杆移动捕获为拖尾或将其捕获为球杆的侧影。根据杆面和照相机之间的3D关系，侧影中的若干照相机中的边缘可以描述杆面的3D移动。将需要对所用的球杆的范围起作用的设置，并且该设置允许照相机无妨碍地查看球杆。这种方法是理想的，因为它直接产生要拟合的曲线。可以通过blob分析、边缘跟踪或者其它标准技术从图像中提取拖尾。

侧影方法——如果屏幕被拉伸越过球座区的前面、侧面或后面并且以可见光或红外(IR)进行照射，则可以通过处理球的侧影来测量球或球杆的行程(passage)。该侧影可以来自这样的曝光：其足够短以冻结对象的运动，或者如果更长的话则产生拖尾。可以通过blob分析、边缘跟踪或者其它标准技术从图像中提取侧影。

阴影方法——如果照相机和照明源具有正确的关系，则对象还能在背景上产生阴影。如果找出灯位置、方向和属性，则阴影可以用来找出对象的3D位置。该阴影可以来自这样的曝光：其足够短以冻结对象的运动，或者如果更长的话则产生拖尾。可以通过blob分析、边缘跟踪或者其它标准技术从图像中提取阴影。

凹坑(dimple)旋转***——在Kiraly的US 2004/0032970A1中描述了一种方法，该方法是一种使用球的图像来找出未标记球上的旋转的机构和处理方法。我们不相信该方法会对除了“标记的”未标记球之外的任何球起作用。该专利申请没有提出该方法的限制，但是我们认为该方法的限制是显著的并且不会产生这样的产品，该产品具有足够的精度和可靠性，以使其成为可行的发球监视器产品。Kiraly基本方法是：

在工厂交货时校准单个照相机。

对照相机所指的方向进行补偿。

使用图像球直径和已知直径找出球的3D位置。

将图像映射到3D以消除闪烁(glint)。

旋转球并重新创建图像。

找出凹坑的中心。

然后对照先前图像找出该图像的凹坑中心的2D相关性。

迭代以找出最小误差。

假设图像将会看起来类似，仅由于球旋转而变形。凹坑的外观取决于球的3D位置。这在旋转是足够小的情况下可能成立。闪烁处于球的中心处。消除闪烁就是从球的中心消除重要信息。这可能对测量的准确度具有极大影响。

相比而言，申请人的方法是

在3D中校准成对的照相机。

找出球的3D发球数据。

针对1个或多个照相机，拾取多幅(凹坑)图像。

把球旋转给定量。

根据(个别凹坑或标记的)子图像重新创建球的图像。

对照明角的变化对凹坑的影响进行建模。

对所得到的重新创建的图像或对个别子图像进行相关。

为这两个图像定位凹坑，用“凸起(bump)”进行替换。然后在某空间(可能是2D/全景投影)中相关。

注意，我们不使凹坑的中心相关而是使球的子图像相关。可以及时使用多个照相机(cam)或与RGB或IR滤波器一起使用多个照相机，及时进行交错采集，并且及时使用闪烁模式变化以确定旋转。算法包括使子画面相关并且然后针对大的相关性进行提取，并且是非迭代的，每个迭代按照球的旋转，我们可以获得重新创建的图像并在2D中移动，并且然后在3D中计算结果。

为了旋转确定而标记的球——标记方法——本发明提供一种允许从任何视图进行定向并允许从任何视图进行标记的标记***：

线段方法-参见图1-4。

圆方法-参见图5-6。

弧方法-任何三个弧的距离唯一-任何三个弧的法线唯一-参见图7-8。

用于旋转确定的球设计——我们正采用的所标记球旋转测量方法看似新颖。我所见过的每种方法看似依赖于球上(通常只在球的一个区域中)的目标点集。目前为止所有我们的设计把存在某种如下的处理方法作为其目标：根据球的任何单个图像可以发现球的3D方位。存在很多具有这种属性的设计。球设计允许把球置于球座上的任何位置，并且允许在任何时间或沿其路径的任何位置处捕获球的图像。其允许识别正看到球的哪个视图，并且然后允许计算在该点处的旋转。这两个步骤对于允许球处于任何位置以及用任何两个图像找出旋转而言是必不可少的。其他的图像以及所采集图像的谨慎定时对于减少不确定间隔和提高测量的准确度而言可能是必要的。

参照图1-4，一个球设计族将具有位于球10的特定区域上的点图案，其中球的可见区域总是包含唯一图案。这些标记可以是点、环、线段11、箭头或者任何定向或不定向的标记。定向标记是优选的，因为利用较少的定向标记，可以使用图案的唯一性来找出球的方位。这种方法实际上相当于把2D条形码技术映射到球的表面上。

参照图5-6，另一球设计族使用球20上的具有彼此呈特定几何关系的线。圆图案具有未对准的圆21，每个圆具有唯一的中心和法线。

参照图7-8，球30具有下面描述的螺旋线设计31。

具有相同属性的许多其它图案也是可能的。另外，上述图案可以与线中的断点一起使用。这允许以更容易的方式标记球，但是会使处理复杂化。在这种方法中，可以使用特定宽度的“线”，其中线的中心或两个边缘是确定的。第二方法是具有暗/亮或颜色的对比区域，其中区域之间的边缘定义形状。然后从图像中提取这些边缘。

5圆设计图5-6——这种设计具有有着不同直径和法线的五个圆形标记。所有法线指向不同方向并且所有直径尽可能相差得多。标记具有小于邻近的圆之间的最小距离的某一宽度。这些圆从顶部布置到底部。所使用的这种图案在任何圆中没有断点。该设计可以被修改为允许圆中有断点。上面在所标记球发球监视器章节中详述了恢复圆的处理。

螺旋线设计图7-8——两个螺旋线，一个从顶部到赤道顺时针，第二个从底部到赤道逆时针。在极点和赤道之间有1.5-2圈。恢复螺旋线的处理与圆的处理类似。它要求给定提取的3D段的算法确定该段是来自螺旋线上的什么地方。

多弧设计图1-4——根据下列约束，围绕球的表面似乎随机地分布短弧(例如，6mm长且3mm宽)：

留下围绕圆周的区域不作标记以便于打印。

在一个极点附近留下区域，其中4个未标记区域允许被标记的“湿”球停留在夹具(gripper)上。

彼此邻近的标记具有尽可能不同的方位。

彼此邻近的标记具有尽可能不同的中心位置。

标记尽可能地少，同时在任何视图中仍然有至少3个标记可见。

标记尽可能小地模糊球的周界。

在单个视图中，如果一些标记模糊了球的周界，则在周界的相对侧上的看得见的其它标记具有方位以便它们不会模糊球的周界。

提取算法——该算法在标记步骤之前是相同的。该标记是通过使用标记之间的距离和标记的方位两者来完成的。它们形成唯一的图案并因此通过检查所有可能的标记来计算最佳的标记。一旦找出该标记，则根据设计的模型来确定观测的旋转。

来自多个观测的旋转确定——观测是具有时间戳的球图像和取得该图像所采用的照相机的校准数据。它可以由使用先前的输入而提取的结果数据以及连同所提取的数据一起创建的置信值来组成，所述先前的输入诸如是代表球方位的6轴偏移、球的位置、从球提取的各个子图像的位置或分布。

旋转计算——球的观测集被用来计算旋转轴和速率。观测是3D偏移矩阵，其中照相机和时间戳与其相关联。扭转(twist)被定义为绕3D轴移动特定量。找出每对观测之间的明显的扭转。这个扭转值由扭转值之间的角度的sin/2来进行加权。这些扭转的加权平均给出旋转轴。旋转值是用总置信值计算的，并且找出与所计算的旋转轴和速率的各个偏差。然后这些被用来消除无关值并且重新计算旋转。所得到的旋转轴向量和旋转偏移在3D中以图形方式示出，以允许操作员检验这些值是正确的。示出具有所指示的旋转轴的球的飞行以及其与实际采集的数据的关系的动画。创建在任何中间位置的球的图像，以允许在中间位置并且从任何角度观看球。

旋转轴和速率计算——下面的前三种情况假设已经存在这样的装置，该装置用于根据在球形对象上观测到的标记来计算一致的3D坐标。

情况1：所标记的球具有已知模型和2个标记的观测集。对于两个观测而言，直接方法是基于当前基准集(潜在地包括球心)计算坐标框架(coordinate frame)F_c1、F_c2，并且然后使用具有对应的模型基准的相同算法来计算模型框架(model frame)F_m1、F_m2。使用齐次坐标把坐标框架表示为矩阵，我们可以计算偏移矩阵，该偏移矩阵通过如下公式把模型移动到观测位置：

O₁＝F_c1＊F_m1 ^-1，O₂＝F_o2＊F_m2 ^-1

可以通过如下公式来找出将O₁旋转为O₂的所期望的偏移矩阵R：

R＊O₁＝O₂，R＝O₂＊O₁ ^-1

R＝F_c2＊F_m2 ^-1＊F_m1＊F_c1 ^-1

如果需要的话，可以使用标准程序把旋转矩阵容易地转换成等效角和旋转轴格式。

四元数格式：(cos(θ/2)，η_x sin(θ/2)，η_y sin(θ/2)，η_z sin(θ/2)，或者

(角度，向量)格式：(θ，η_x，η_y，η_z)。

注意，该角度仅已知为(+/-)N*2π间隔。旋转速率计算是基于观测之间的已知时间差(T_o2-T_o1)的，并且必须使用对旋转速率和方向的假设物理限制来确定正确的间隔N。旋转速率＝(θ+/-N*2π)/(T_o2-T_o1)。

情况2：所标记的球具有已知模型和N个标记的观测集。通过使用情况1中所列举的程序，任一对观测将产生角度/向量估计。向量估计不取决于2π间隔并且可以直接计算估计的加权平均。平均旋转速率计算将取决于找出在观测上是一致的各个2π间隔以及假设的物理约束。用于找出“最佳拟合”角度/向量的可选方法是把该问题设定为3个变量的非线性误差最小化问题，并且然后使用标准技术来求解未知量。多个时间间隔减少模糊度并允许甚至采用大于PI的观测之间的旋转的解决方案。

标志旋转——对于在球的相对侧上具有相同标记的已知球而言，则可以将旋转速率和旋转轴限制为不同的可能性集。注意，除了积极识别标记之外，标记的缺失也可以用来限制可能性。来自这一计算的结果不总是为单值，而是为可能的范围集。往往其它信息将用来确定最佳的可能性。

情况3：所标记的球具有未知模型和N个观测集。这种技术要求球上的共同标记在多个观测上是可见的。标记的旋转将与球的旋转轴垂直并且标记的放置可以用来计算旋转速率。

标志旋转——对于未知球而言，观测集可以用来尝试建立与球的典型标记一致的球描述。将用找出的观测和如果可能的话所创建的模型来检查已知的高尔夫球标记***的一致性。然而，如果存在捕获一个或多个可见标记的多个观测，则这可以如上所述被直接用于找出旋转轴和速率而不用建立球的模型。

情况4：所标记的球具有未知模型和2个观测集。如果可以找出标记方位并且它在这两个观测中，则可以如上所述直接计算方位变化。否则除了旋转大小的下限之外，什么都不是已知的。具有标志标记的典型球的情况就是如此。

旋转衰减测量***——包括：

旋转测量***，其可以覆盖所发现的所有击球的时间戳和空间的测量体积。

发球装置，其以设定的旋转、角度、速度重复地发球，以便在击球结束时，相当数量的球通过测量体积。

旋转测量***，其捕获初始旋转和发球数据。

便携式旋转测量，其可以针对特定的发球情况集而被放置在球落地点的中心处。

数据收集***，用于记录所有信息并计算结果。

该***通过以指定的旋转、角度和速度进行多次的发球击球来工作。击球的落地点被记录。便携式***居中位于落地区上并且进行足够的击球以允许对末端旋转进行足够的测量，从而容许准确地确定飞行期间旋转的变化。对于具有初始测量和最终测量二者的所有击球而言，在初始段和最终段之间比较旋转轴和速率且计算该差。对于各种初始条件重复这个过程，其中计算结果的一致性并将其拟合成具有旋转衰减的飞行模型。

示例——对于旋转、发球角和速度的给定设置，球被击打20次。落地位置及其分布被记录。找出至少5个球的飞行通过测量区的位置，并且将便携式旋转测量***放置在那里。如果在这一设置中期望20次测量，则要进行80次击球。针对所有击球捕获初始旋转数据并且将其与从击球的末端段捕获的任何旋转数据配对。这是通过匹配所有旋转测量的时间戳来完成的。

球杆测量***——为了捕获在杆头速度范围内的球杆数据，可以使用具有其激发的闪光的两个照相机。在球杆上不要求标记的两种方法是照射杆面或捕获球杆侧影。可以用高速照相机来获得球杆侧影，该高速照相机随着其相对于背景移动而采集球杆的图像。如果使用IR，则可以使用被IR光强烈照射的特定材料。然而，球杆以可预测的路径朝向球移动，因此必须采集的区域比整个图像小很多。因此，采集区域可以被计算并且球杆的有效采集速率可以是200fps，这对于前后的至少3个位置而言是足够快的。注意，一些商用传感器(诸如come CMOS传感器)允许捕获感兴趣的区域，其采集速度与所采集的像素区域成比例。如果可以减小捕获的区域，则这允许高得多的帧速率。在具有球可能被击打的潜在大区域(诸如24”×12”)的情况下，知道球实际上将在何处被击打可以允许捕获大小为1/4到1/16的区域。这允许4-16倍加快的帧速率，其允许使用常规15-60fps的传感器来捕获挥杆事件。注意，在许多情况下，对于将被设置的感兴趣的传感器采集区域而言存在设置时间。然而这个时间可用于高尔夫应用中，其中球必须处于静止以被打击。在应用于棒球中，视场例如可以被限制为平板周围的打击区。如果闪光与侧影方法一起使用，这很难在每次击球中区分杆头。

直接照射——可以用光照射球杆区域，并且照相机被定位成采集光的镜面反射。结构化的光可以用来产生允许3D确定杆面的图案。球杆的形状和材料的范围使得很难用一种设置从所有类型的球杆中采集良好的数据。

拖尾方法——用恒定照明照亮照相机的视场，该恒定照明连续地曝光图像。然后所得到的拖尾代表球的飞行，并且球上的标记的移动代表旋转轴和速率。需要以恒定速率激发闪光，以在图像中产生明亮的定时标记从而允许精确的定时信息。可选地，可以使用正常为开的闪光灯，其中短间隔的关断允许计算定时。如果帧速率足够，则在帧结束前停止的曝光会在图像中产生间隙，这将允许找出速度。球上的标记现在具有这样的要求：当它们由于球的旋转而模糊不清时，它们产生不同图案。类似地，可以以正面形式将球杆移动捕获为拖尾或将其捕获为球杆的侧影。根据杆面和照相机之间的3D关系，侧影中的若干照相机中的边缘可以描述杆面的3D移动。需要对所用的球杆的范围起作用的设置，并且该设置允许照相机无妨碍地查看球杆。

侧影方法——如果屏幕被拉伸越过球座区的前面、侧面或后面并且以可见光或IR进行照射，则可以通过处理由球或球杆投射到图像传感器上的阴影来测量球或球杆的行程(passage)。该阴影可以来自这样的曝光：其足够短以冻结对象的运动，或者如果更长的话则产生拖尾。不能确定球的内部特征。

球杆的侧影——利用所使用的球杆的3D模型，通过足够的照相机由其创建的侧影将允许重构杆面的路径。照相机将需要被定位成使得球杆的临界边(critical edge)在挥杆中的一些点上是可见的。从侧影中的各边重构杆面的6轴位置。照相机可以被滤波以最大化照射波长的影响。对于绿色背景(草色)，绿色陷波滤波器将对可见光光谱具有期望的影响。对于IR照射，存在产生与其在可见光中的颜色无关的漫射照明的材料。烯烃地毯是这种性质的示例。草色垫子将‘掺杂’有这种材料以使其将根据何时用IR光进行照射来产生漫射IR照明。这使得打击区变成背光以呈现出球杆和球的轮廓。注意，照相机与移动轨迹所成的角度通过长曝光来确定侧影图像的强度。

球杆模型确定——球杆模型是其几何性质以及诸如质量分布之类的其它性质。3D照相机以及可能的重量传感器用来捕获和导出这些值。可选地，照相机可以用来识别所用的球杆，并且从球杆性质的数据库中取得其性质。用户还可以仅输入需要的值。采用侧影方法，将需要增加球杆采集序列以便确定所用的球杆，这就允许从数据库读取或者由球杆参数确定操作确定其几何形状和性质。通过在球杆几何形状寻找程序正在运行的各个方向上将球杆移动经过照相机的视场来确定球杆参数。另外，一旦已知球杆几何形状，就可以通过从球杆质量分布程序运行的若干方向用球杆击打重量转移传感器来确定球杆质量分布。可能需要已知打击重量转移传感器表面的球杆部分，例如首先要求用底面打击球杆、然后是趾部、然后是跟部、然后是相对该面。

阴影方法——如果来自照相机视图的球杆后的场景是黑的，并且照明来自照相机的一般方向且有一些偏移，则球杆会在球杆后面投射阴影。该阴影可以来自这样的曝光，该曝光短得足以冻结对象的运动或者如果更长的话则产生拖尾。这种方法可以与获得球的正常图像配合使用。该阴影没有包含内部特征，但确实包含关于球位置的信息，假设已知灯和照相机位置。

3D视觉模拟器***——包括：球数据***；推杆***；球杆***；挥杆***；以及广角照相机。

挥杆***——两个或更多照相机，其与进行照明以加亮各个对象相结合地从模拟器的各个区域采集信息。

广角照相机——添加这样的照相机，其从模拟器的顶部观察(survey)是广域的。其被校准到模拟器坐标并且与模拟器时间同步。观测是从这个照相机提取的并且用于若干目的：

如果较高分辨率照相机不能具有足够的观测，则它们可以用来提供附加的观测。这可能在有很大距离的击球上发生。

得到初始球位置和打击时间。

得到球杆数据诸如水平发球角和球杆速度。

从视场中的任何地方捕获推杆信息。

广角照相机被校准并且可以使用连续照明或闪光照明。捕获并存储图像，其中模拟器的状态和来自主球数据***的结果用于引导图像的任何处理。通过在装备***时在图像的击打区中找出球图像，来找出球初始位置。球的高度由击打区中的球位置来确定，其中预先找出高度。另外，告知***这是否是球座击球。还可以从主3D发球照相机中找出球的初始高度和位置，其中这个照相机中球的初始位置之间的关系连同球撞击模型一起用来准确地确定球的高度。

首先找出所击打球的定时以及球杆数据。提取球和球杆的图像。球是被直接提取的，而球杆被对照地背景提取为侧影。这个照相机可以被滤波以增强绿色背景的对比度，或者背景可以是用IR照射的IR漫射材料。

在集中于初始球位置的至少3个位置处找出球杆位置。为了找出球杆速度和水平发球角，已知球初始位置、3D发球角和3D速度。然后把这些位置拟合成与这个数据一致的杆头移动模型，从而在球打击前后找出杆头速度以及水平发球角。

对于推杆而言，照相机仅采集在初始推杆位置区中的球的图像。球正在相当缓慢地移动。获得至少2个图像，其允许找出推杆的速度和水平发球角。

这个照相机提高其速度的关键方法是利用球的已知初始位置并且在其上集中小得多的图像采集。如果仅采集区域的1/3，则这允许帧速率提高例如2倍。大多数图像传感器允许这种能力，尽管有时仅在一个方向上允许这种能力。

照相机必须被定向成允许传感器的整个长度在球飞行方向上。采集的宽度为了速度起见被减少尽可能多，但是大得足以允许典型的球杆和球角度。

所用的附加信息：简单球杆数据；推杆数据；宽击球数据；以及用于提高的准确度和覆盖度的附加FOV。

模拟器的模拟——创建对模拟器的3D体积进行模拟的模拟器。它包含照相机和灯的模型、以及球飞行模型、高尔夫球手、高尔夫挥杆。它允许调节照相机和灯的设置以及改变模拟器的布局。它保存模拟初始条件。它根据样本击球产生图像集。它允许查看对象之间的距离和可能的冲突。它被设置成允许引入使图像恶化的各种噪声和误差条件。它可以用来设置照相机和灯并且确定给定特定模拟器配置下的最终位置。这些位置然后可以用来制作照相机和灯的座架。它允许自动测试球标记***并且分析预期结果对(versus)所找出的结果。

可以确定最优的灯/照相机几何形状，其中模拟器上的重复运行(run)评价各个位置。模拟器的照相机/灯位置被示于图9A和9B中。在图9A中，视区40是相对于原点41由与灯43协作的第一照相机42和与灯45协作的第二照相机44所观察到的。在图9B中，增加第三照相机46以观察涵盖视区40的视区47。球的3D轨迹50被示于图10中。第一照相机42沿第一轨迹55线采集在点51(时间1)和53(时间3)处的图像。第二照相机44沿第二轨迹56线采集在点52(时间2)和54(时间4)处的图像。组合这个信息以生成3D轨迹线50。

运动模拟比赛空气环境捕获与模拟——存在这个***的若干元件：

包括海拔的地形的模型。

地形的延伸，其允许基于该地形对局部风速进行建模。

气流模型，其在找出给定位置的实际气流的过程中把地形考虑在内。

气流模型，其使用平均风速数字或天气条件来对围绕地形特征的气流进行建模。

诸如山、河流、具有树的山、海洋微风等等。

气流模型，其把季节、天气条件和一天之内的时间考虑在内。模型允许表格重新创建10s米量级的气流。

创建与位置和海拔对应的测量流值的表，所述位置和海拔提供输入以创建给定当前条件的气流值。编码方案允许高效地存储流模式。装置测量在1米区域中的风速和方向。采样各个区域以允许创建特定时间、季节、天气条件的气流图表。创建附加的风速集。将它们与由该模型针对所指示的位置和条件所给出的预测气流进行比较。如果它们足够大，则记录与模型的偏差。基于位置和条件来对风速变化和方向进行建模。在实际位置并在指定条件下对风速和方向进行测量。计算并存储对模型的修正以允许在特定的条件集下重新创建风速和方向。

风速和方向被表示为动画，其示出给定各种球飞行经过它时的可能影响。给定球参数时对球速度和方向的影响被建模并被以图形方式示出。这是当前运动事件模拟的延伸，其允许在模拟球飞行结果时更准确地使用球飞行模型。

依据专利法规的规定，本发明就被认为代表其优选实施例的内容方面进行了描述。然而，应当注意，该发明可以在不偏离其精神或范围的情况下以除了特定图解和描述的之外的方式进行实施。

Claims (6)

1.一种用于收集并分析高尔夫相关3D球轨迹数据以实现自动化性能增强的设备，所述3D球轨迹数据包括发球角、球速率和球旋转，所述设备包括：

用于控制用于记录视区中的球飞行的图像的至少一个照相机记录球进入所述视区的初始部分的图像以检测球的进入；

用于根据球在所述视区的初始部分中的图像预测所述视区的另一部分，在该另一部分中用所述至少一个照相机获得球的图像；以及

用于使用球飞行模型以及根据球在所述视区中的图像所计算的球旋转来计算球的3D轨迹，其中所述计算球的3D轨迹包括：

在球飞行的初始第一段期间从所述至少一个照相机获得球的第一多个图像；

根据所述第一多个图像确定最佳拟合第一曲线并且然后确定初始速度和发球向量；

在所述球飞行模型中使用所述最佳拟合的初始速度和发球向量投影通过球飞行的第二段的球轨迹；

使用所述球飞行模型来寻找具有各种旋转速率和旋转轴的一系列球轨迹曲线；

在球飞行的第二段期间从所述至少一个照相机或另一照相机获得球的第二多个图像；

使用所述第一多个图像和所述第二多个图像来获得最佳拟合的第二曲线；以及

a)和b)中的一个，其中a)将所述一系列球轨迹曲线与所述最佳拟合的第二曲线比较并且选择所述球轨迹曲线中使所比较的曲线间的区域最小化的一个；b)确定在给定时刻所述最佳拟合的第二曲线与所述飞行模型球轨迹曲线中具有0旋转的一个的最大偏差。

2.权利要求1的设备，其中，多个照相机或高速照相机与闪光灯或红外线照明结合使用以获得图像。

3.权利要求1的设备，其中，能够分析并改进高尔夫球手的运动轮廓、挥杆设置轮廓以及骨骼运动。

4.一种用于分析球旋转的方法，包括以下步骤：

用至少两个照相机监视视区，所述至少两个照相机与公共的3D坐标***校准；

在预定时刻、在球移动经过视区期间，用所述至少两个照相机中的一个或多个获得所述球的图像，用具有预定关系的标记对所述球进行标记，并且所述图像具有在所述一个或多个照相机的相应传感器的相应图像空间中针对所述球的图像坐标；

使用所获得的所述球的图像预测所述视区的一部分，在所述一部分处用所述至少两个照相机中的一照相机获得所述球的图像；

通过将所捕获的所述至少两个照相机中的所述一照相机的传感器的线限制到所预测的一部分而使用所述一照相机获得所述视区的所述一照相机的图像空间中的图像；以及

针对所述标记的方位来分析所述图像，以及把从所述图像获得的数据映射为3D表面坐标，从而获得球的3D轨迹。

5.权利要求4的方法，其中所述标记是曲线线段、螺旋线和圆中的一个。

6.权利要求4的方法，还包括：当在相同区域中记录具有已知关系的若干图像以进行比较分析时跟踪未标记球的步骤。