CN102739957A - 能够确定被摄体的运动的图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供一种能够确定被摄体的运动的图像处理装置及图像处理方法。摄像装置(1)具备：图像取得部(51)、差分图像生成部(54)、强调图像生成部(55)、霍夫变换部(562)和姿势确定部(154)。图像取得部(51)取得被摄体的运动被连续拍摄到的多个图像的数据。差分图像生成部(54)根据由所述图像取得部(51)取得的多个图像的数据，分别生成在时间上相邻的所述多个图像的数据间的差分图像的数据。强调图像生成部(55)根据由所述第1差分图像生成部生成的差分图像的数据，生成用于确定被摄体的运动的图像的数据。姿势确定部(154)基于由强调图像生成部(55)生成的图像的数据，确定所述被摄体的运动的变化点。

Description

能够确定被摄体的运动的图像处理装置及图像处理方法

技术领域

本发明涉及能够从多个图像中确定被摄体的运动的图像处理装置、图像处理方法及记录介质。

背景技术

在日本特开2006-263169号公报中公开了下述技术：为了确认高尔夫球杆的挥杆姿势，拍摄高尔夫球杆的挥杆涉及的一连串的动作。

具体而言，针对进行高尔夫球杆的挥杆的动作者，从正面方向连续拍摄其从挥杆的开始到结束的动作。然后，根据结果得到的多个图像来确定与各挥杆的姿势(例如，挥杆顶点、击球、推杆等)对应的图像。

另外，在上述专利文献1中，基于所设定的帧数，进行与上述的挥杆的姿势对应的图像的确定，来决定与各挥杆对应的姿势的图像。

发明内容

本发明的目的在于提供一种在根据多个图像来确定被摄体的运动的情况下能够提高确定精度的图像处理装置、及图像处理方法、记录介质。

为了达成上述目的，本发明的一个方面的图像处理装置，其特征在于具备：取得单元，其取得被摄体的运动被连续拍摄到的多个图像的数据；第1生成单元，其根据由所述取得单元取得的多个图像的数据，分别生成在时间上相邻的所述多个图像的数据间的差分图像的数据；第2生成单元，其根据由所述第1生成单元生成的差分图像的数据，生成用于确定被摄体的运动的图像的数据；运算单元，其对由所述第2生成单元所生成的图像的数据进行运算处理；和变化点确定单元，其基于所述运算单元的运算结果，确定所述被摄体的运动的变化点。

另外，为了达成上述目的，本发明的一个方面的图像处理方法，其特征在于包括：取得步骤，取得被摄体的运动被连续拍摄到的多个图像的数据；第1生成步骤，根据由所述取得步骤的处理取得的多个图像的数据，分别生成在时间上相邻的所述多个图像的数据间的差分图像的数据；第2生成步骤，根据由所述第1生成步骤的处理生成的差分图像的数据，生成用于确定被摄体的运动的图像的数据；运算步骤，将由所述第2生成步骤的处理所生成的图像的数据作为处理对象执行运算处理；和变化点确定步骤，基于所述运算步骤的运算结果，确定所述被摄体的运动的变化点。

附图说明

图1是表示本发明的一实施方式涉及的摄像装置的硬件构成的框图。

图2是表示图1的摄像装置的功能性构成之中的用于执行图表显示处理的功能性构成的功能框图。

图3是表示图1的摄像装置的功能性构成之中的用于执行图表显示处理的功能性构成的功能框图。

图4是表示本实施方式中的摄像装置的图表显示处理的动作的流程图。

图5是用于说明用户根据初始帧指定球位置的方法的一例的示意图。

图6是表示直到根据连拍图像Pt的数据生成强调图像Ct的数据为止的过程的一例的示意图。

图7是表示通过按式(1)进行霍夫变换而得到的正弦曲线的图表的一例。

图8是表示拍摄到的挥杆的摄像图像中的球杆的角度的变迁的图表。

图9是表示在表示了图8的球杆的旋转角度与帧之间关系的图表中确定出的挥杆的姿势的图表。

图10是表示强调图像Ct的像素重写处理的动作的流程图。

图11是表示决定不投票区域的示意图。

具体实施方式

以下，使用附图对本发明的实施方式进行说明。

图1是表示本发明的一实施方式涉及的摄像装置的硬件构成的框图。

摄像装置1例如构成为数码相机。

摄像装置1，具备：CPU11(Central Processing Unit)11、ROM(ReadOnly Memory)12、RAM(Random Access Memory)13、图像处理部14、图表生成部15、总线16、输入输出接口17、摄像部18、输入部19、输出部20、存储部21、通信部22和驱动器23。

CPU11根据ROM12中记录的程序、或者从存储部21加载到RAM13中的程序，执行各种处理。

在RAM13中，还适当存储CPU11在执行各种处理上所需的数据等。

图像处理部14进行在存储部21等中存储的各种图像数据的图像处理。关于图像处理部14的详细内容，以后叙述。

图表生成部15根据各种数据生成图表。关于图表生成部15的详细内容，以后叙述。

在这里，所谓图表是指将数量的时间变化或大小关系、比例等以视觉方式表现出来的图。另外，所谓生成图表或者图表化是指生成包含图表的图像的数据(以下，也称为“图表数据”)的处理。

CPU11、ROM12、RAM13、图像处理部14及图表生成部15，经由总线16相互连接。另外，该总线16还与输入输出接口17连接。输入输出接口17连接着摄像部18、输入部19、输出部20、存储部21、通信部22及驱动器23。

摄像部18具备未图示出的光学透镜部和图像传感器。

光学透镜部由为拍摄被摄体而聚集光的透镜例如聚焦透镜或变焦透镜等构成。

聚焦透镜是使被摄体像成像于图像传感器的受光面的透镜。变焦透镜是使焦距在一定范围内自由变化的透镜。

另外，在光学透镜部中，根据需要可设置用于调整焦点、曝光、白平衡等设定参数的***电路。

图像传感器由光电变换元件和AFE(Analog Front End)等构成。

光电变换元件由例如CMOS(Complementary Metal OxideSemiconductor)型的光电变换元件等构成。在光电变换元件中，从光学透镜部入射来被摄体像。因此，光电变换元件对被摄体像进行光电变换(摄像)将图像信号蓄积一定时间，将蓄积的图像信号作为模拟信号依次提供给AFE。

AFE对该模拟的图像信号执行A/D(Analog/Digital)变换处理等的各种信号处理。通过各种信号处理生成数字信号，作为摄像部18的输出信号输出。

以下，称这样的摄像部18的输出信号为“摄像图像的数据”。摄像图像的数据被适当提供给CPU11或图像处理部14等。

输入部19由各种按钮等构成，按照用户的指示操作输入各种信息。

输出部20由显示器和扬声器等构成，输出图像和声音。

存储部21由硬盘或者DRAM(Dynamic Random Access Memory)等构成，存储各种图像数据。

通信部22经由包含因特网的网络控制在与其他装置(未图示出)之间进行的通信。

在驱动器23中适当安装由磁盘、光盘、光磁盘、或者半导体存储器等组成的可移动媒体31。通过驱动器23从可移动媒体31读出的程序，根据需要被安装到存储部21。另外，可移动媒体31也能够和存储部21同样地存储在存储部21中存储的图像数据等各种数据。

下面，对摄像装置1的功能性构成之中的用于执行图表显示处理的功能性构成进行说明。

所谓图表显示处理是指直到生成并显示表示挥杆中的球杆位置(球杆的轴(shaft)的位置)的变化的图表为止的一连串的处理。

作为更具体的处理，首先，从拍摄被摄体的高尔夫球的一连串挥杆动作而得到的运动图像中，选择多个摄像图像。

接着，从被选择的多个摄像图像中，提取高尔夫球的球杆位置。

然后，基于提取结果，生成并显示表示挥杆中的球杆位置变化的图表。

将上述这样的一连串的处理称为图表显示处理。

在这里，在运动图像中，不仅包含所谓的影像，还包含通过连拍而拍摄到的多个摄像图像的组。即，由摄像而得到的运动图像，是通过连续配置多个帧或场等的摄像图像(以下，称为“单位图像”)构成的。

此外，在这里为了简化说明，作为具体例，以拍摄右撇子的被摄体并根据该摄像图像生成表示球杆位置变化的图表为例进行说明，但在左撇子的被摄体的情况下，也可以完全同样地生成图表。

以下，首先，对摄像装置1的功能性构成之中的用于执行图表生成所涉及的图表显示处理的功能性构成进行说明。接着，对摄像装置1的功能性构成之中的用于执行图表显示所涉及的图表显示处理的功能性构成进行说明。

图2和图3是表示图1的摄像装置1的功能性构成之中的用于执行图表显示处理的功能性构成的功能框图。

在CPU11中，在执行图表显示处理的前处理时，图2所示的摄像控制部41发挥功能。

摄像控制部41接受来自用户的对输入部19的输入操作，控制摄像动作。在本实施方式中，摄像控制部41按照摄像部18以规定的时间间隔连续重复拍摄被摄体的方式进行控制。通过该摄像控制部41的控制，每个规定时间间隔从摄像部18依次输出的摄像图像的各个数据被存储至存储部21。即，在从摄像控制部41的控制开始到结束的期间，按从摄像部18输出的顺序被依次存储至存储部21中的多个摄像图像的各数据成为单位图像的数据。另外，这些多个单位图像的数据的集合体构成1个运动图像的数据。此外，以下为了简化说明，假设单位图像(摄像图像)为帧。

在图像处理部14中，在执行图表显示处理或者其前处理时，如图2所示图像取得部51、基准位置决定部52、亮度图像变换部53、差分图像生成部54、强调图像生成部55和霍夫变换处理部56发挥功能。

图像取得部51从由摄像部18拍摄并构成运动图像的数据的多个帧(单位图像)的数据中，取得T个(T是2以上的整数值)帧的数据。

在本实施方式中，由图像取得部51取得的帧的数据，是表示挥杆的一连串的动作的运动图像之中的、分别拍到被摄体采用规定的7个种类的挥杆姿势的样态的7(＝T)个帧(摄像图像)的数据。

在这里，所谓规定的7个种类的挥杆姿势，在本实施方式中，是“瞄准击球(address)”的姿势、“向后挥杆(take-away)”的姿势、“挥杆顶点(top)”的姿势、“向下挥杆(downswing)”的姿势、“击球(impact)”的姿势、“推杆(follow-through)”的姿势和“收尾动作(finish)”的姿势。

基准位置决定部52在用户操作输入部19从运动图像内指示球位置时，将该球位置决定为基准位置。这样决定的基准位置，在后述的霍夫变换中，被用于为了提高球杆的提取精度而进行的决定不投票区域之时。

此外，基准位置在这里是通过用户操作输入部19手动决定的，但并不特别限定于此，摄像装置1也可以不经由用户的操作自主地判断，即自动决定。例如，摄像装置1通过解析运动图像的数据，可以根据球的形状或颜色等决定球位置，例如可以使用圆形分离滤波器等自动地决定球位置。

亮度图像变换部53将由图像取得部51取得的多个帧(彩色图像)的数据变换成作为像素值仅具有亮度值的图像的数据(以下，称为“亮度图像的数据”)。

差分图像生成部54通过取得在由亮度图像变换部35进行变换后的多个亮度图像的数据之中的、规定的2个亮度图像的数据的差分，由此生成差分图像的数据。

在本实施方式中，差分图像生成部54取得按摄像顺序的2个、即在时间序列上相邻的2个亮度图像之间的各数据的差分，分别生成差分图像的数据。在这里，所谓取得数据的差分是指按每个像素取得像素值(因为是亮度图像的像素值所以是亮度值)的差分。

具体而言，在由图像取得部51取得的范围内，差分图像生成部54求得与最初拍摄到的帧对应的亮度图像和与第2个拍摄到的帧对应的亮度图像之间的各数据的差分，生成第1个差分图像的数据。

另外，差分图像生成部54求得与第2个拍摄到的帧对应的亮度图像和与第3个拍摄到的帧对应的亮度图像之间的各数据的差分，生成第2个差分图像的数据。

这样，差分图像生成部54在由图像取得部51取得的范围内，以所有亮度图像为对象，依次生成差分图像的数据。

强调图像生成部55通过将由差分图像生成部54生成的多个差分图像的数据之中、处理对象的差分图像的像素值和摄像顺序在该处理对象之前的差分图像的像素值相乘(乘法运算)，生成相乘后的2个差分图像中的同一部分被强调的强调图像的数据。

即，在使用上述例子进行说明时，设处理对象的差分图像的数据是根据第K+1(K是2以上的整数值)个帧和第K个帧之间的各数据的差分得到的。该情况下，摄像顺序在该处理对象之前的差分图像，是根据第K个帧和第K-1个帧之间的各数据的差分得到的。因此，所谓相乘后的2个差分图像中的同一部分，是指与第K个亮度图像对应的部分。因此，得到了与第K个亮度图像对应的部分被强调的强调图像的数据。

霍夫变换处理部56对由强调图像生成部55生成的强调图像的数据，实施霍夫变换(Hough变换)。在这里，所谓霍夫变换是指为了检测(提取)图像内的直线(在本实施例中是通过球杆的直线)，而将在正交坐标系中确定的各像素变换成霍夫空间上的正弦曲线这一图像处理的方法。

另外，在本实施例中，将霍夫空间上的正弦曲线通过某一特征点的坐标称为“霍夫投票”。

在本实施例中，求出在考虑了加权的状态下的霍夫空间上的多个正弦曲线通过最多特征点的坐标(求出霍夫投票数最多的霍夫空间上的坐标)，可以提取正交坐标系中的球杆的直线。

具体而言，霍夫变换处理部56具备：不投票区域去除部561、霍夫变换部562、加权部563和投票结果确定部564。

不投票区域去除部561，将由强调图像生成部55生成的强调图像的数据之中的、不反映到后述的霍夫变换后的投票中的区域(以下，称为“不投票区域”)的数据，从霍夫投票对象中去除。以下，将去除了不投票区域的强调图像称为“不投票区域去除图像”。

在这里，所谓不投票区域是指远离基于摄像顺序依次预计的球杆的位置的区域。另外，所谓不投票区域是指若假设反映到霍夫变换后的投票中的话，则存在提取球杆以外的直线的可能性，是可能降低球杆的直线的提取精度的区域。

具体而言，不投票区域去除部561通过将构成不反映到霍夫变换后的投票中的区域的像素群的各像素值重写为例如“0”，从而将不投票区域的数据从霍夫投票对象中去除。

另外，不投票区域是基于在摄像顺序为前一个的强调图像中确定的直线(球杆的近似直线)的角度而决定的。

在这里，在本实施例中，作为直线的角度的原点，将与图像的水平面垂直的角度设为原点(0度)，在顺时针方向上角度增加(角度的正方向为顺时针方向)。

此外，在由图像取得部51取得的范围内，如果考虑包含最初帧的最初强调图像是瞄准击球的姿势附近的帧被强调了的强调图像，则球杆(其近似直线)的角度(旋转角度)为0～45度之间。因此，不投票区域去除部561，作为霍夫投票对象尽量去除该0～45度之间以外的区域。

另外，在本实施方式中，不投票区域的划分为：0度～45度、45度～135度、135度～210度、210度～270度及270度～320度。并且，作为霍夫投票对象尽量去除被确定的投票区域以外的区域。例如，在45度～135度之间被确定为投票区域的情况下，尽量去除除此之外角度的区域。另外，无论被预测的角度位置如何，由于球杆不会位于球位置更下面，所以作为霍夫投票对象去除由基准位置决定部52决定的基准位置以下的区域。

霍夫变换部562通过对不投票区域去除图像的数据实施霍夫变换，由此使不投票区域去除图像内的球杆的近似直线处于可确定的状态。

具体而言，霍夫变换部562对图6的强调图像Ct进行霍夫变换，而得到表示图7A那样的正弦曲线的图表(详细内容以后叙述)。

加权部563如图7B那样根据基于图像的摄像顺序而预测的球杆的近似直线的位置(以下，称为“直线位置”)，提高加权以使该直线位置的周边区域的投票结果变高。

投票结果确定部564确定由霍夫变换部562的霍夫变换算出的曲线在由加权部563加权后的霍夫变换上相交最多的坐标。

具体而言，投票结果确定部564如图7A所示，根据由加权部563决定的加权，评价正弦曲线所通过的数量(以下，称为“霍夫投票值”)，确定霍夫投票值最大的坐标(θ，ρ)。

霍夫变换部562通过对这种投票数最多的坐标进行逆霍夫变换，从而确定不投票区域去除图像之中的表示球杆的近似直线的区域。

在这里，图表生成部15具备：角度决定部151、图表化部152和姿势确定部153。

角度决定部151基于投票结果确定部564中的确定结果，决定图像内的球杆的近似直线所形成的角度(以下，称为“直线的角度”)。

图表化部152按图像的摄像顺序，生成包含由角度决定部151决定的各图像的直线的角度(球杆的角度)被显示的图表在内的图像(图表图像)的数据。

姿势确定部153根据图像的摄像顺序(时间序列)和各图像的直线的角度之间的关系，确定被摄体的挥杆的姿势。

具体而言，姿势确定部153将角度为0度附近的最初图像中包含的被摄体的姿势确定为瞄准击球的姿势。

另外，姿势确定部153将最后图像中包含的被摄体的姿势确定为收尾动作的姿势。

另外，姿势确定部153将旋转从正旋转切换成逆旋转的图像中包含的被摄体的姿势确定为挥杆顶点的姿势。

另外，姿势确定部153根据将从被确定为挥杆顶点的姿势的图像中包含的被摄体的姿势到瞄准击球的姿势的图像中所包含的被摄体的姿势，确定为向后挥杆的姿势。

另外，姿势确定部153将挥杆顶点的姿势以后的球杆的角度与瞄准击球相同的0度附近的图像中包含的被摄体的姿势确定为击球的姿势。

另外，姿势确定部153将从击球的姿势以后的图像中包含的被摄体的姿势起到收尾动作的姿势以前的图像中包含的被摄体的姿势为止，确定为推杆的姿势。

以上，说明了摄像装置1的功能性构成之中的用于执行图表生成所涉及的图表显示处理的功能性构成。接着，说明摄像装置1的功能性构成之中的用于执行图表显示所涉及的图表显示处理的功能性构成。

这样，若图表显示处理之中的图表生成所涉及的处理结束，则执行图表显示所涉及的处理。在这种情况下，如图3所示，在CPU11中图表对应图像提取部42、比较用图表提取部43和显示控制部44发挥功能。

图表对应图像提取部42，在输出部20中显示着图表的状态下，该图表之中的规定位置被用户基于输入部19的操作进行指示时，从存储部21中提取在与该指定位置对应的时刻拍摄到的摄像图像(帧)的数据。

比较用图表提取部43提取在存储部21中预先存储的比较用图表的数据。所谓比较用图表的数据是指用于与由图表化部152新生成的图表的数据进行比较的数据。比较用图表的数据只要是与新生成的图表的数据不同的图表的数据即可，个数及其种类并不特别限定。例如，也可将新生成的图表所示出的高尔夫球的一连串的挥杆动作的动作者(被摄体)本人，在以往进行其他高尔夫球的一连串的挥杆动作时所生成的图表的数据，用作比较用的图表的数据。或者，也可将职业高尔夫球运动员等的其他动作者，在进行高尔夫球的一连串的挥杆动作时所生成的图表的数据，用作比较用的图表的数据。

鉴赏新生成的图表的鉴赏者，通过与比较用图表的比较，从而能够容易进行高尔夫球的挥杆姿势的评价。

显示控制部44执行下述控制：从输出部20显示输出包括由图表化部152作为数据而生成的图表在内的图像。

这种情况下，显示控制部44也可与该图表一起(重叠)或者取代该图像(删除)，将由比较用图表提取部43提取的比较用图表从输出部20显示输出。

同样地，显示控制部44也可与该图表一起(重叠)或者取代该图表(删除)，将由图表对应图像提取部42作为数据而提取出的帧(摄像图像)从输出部20显示输出。

接着，利用图4，说明本实施方式中的摄像装置1的图表显示处理的动作流程。图4是表示本实施方式中的摄像装置1的图表显示处理的动作的流程图。

通过图表显示处理的前处理而处于下述状态，即：将进行高尔夫球的挥杆的动作者作为被摄体，通过摄像部18预先拍摄挥杆的一连串的动作，其结果得到的运动图像的数据被预先存储至存储部21中。

在进行了这种前处理的状态下，若用户利用输入部19进行规定操作，则开始图4的图表显示处理，然后执行下述的处理。

在步骤S1中，图像取得部51进行初始帧的呼叫。详细而言，图像取得部51将存储于存储部21的运动图像的数据之中的拍到瞄准击球的姿势的被摄体的最初的摄像图像(帧)的数据，作为初始帧的数据来取得。

在步骤S2中，基准位置决定部52决定球位置B(x，y)。

详细而言，在本实施方式中，在步骤S1的处理中呼叫出的初始帧被显示于输出部20的显示部。用户操作输入部19，从被显示的初始帧中指定能判断为配置球的位置。基准位置决定部52将这样由用户指定的位置B(x，y)决定为球位置B(x，y)。

图5是用于说明用户从初始帧中指定球位置的方法的一例的示意图。

如图5所示，用户操作输入部19(例如鼠标)，通过使输出部20的显示部内的光标移动到球的位置，进行点击操作，由此能够指定球位置B(x，y)。

这样，根据本步骤S2的处理，决定了后述的在决定不投票区域时的基准位置。

在步骤S3中，亮度图像变换部53将连拍图像Pt的数据变换成亮度图像的数据。在这里，连拍图像Pt的数据是指在将由图像取得部51取得的多个帧的数据之中的第t个帧Ft设为关注帧(处理对象的帧)的情况下、关注帧Ft和该关注帧Ft的前后帧Ft-1、Ft+1的各数据的集合体。

因此，帧Ft-1、Ft、Ft+1被图像取得部51取得，然后被亮度图像变换部53变换成亮度图像的数据。

实际上，图像取得部51在本实施方式中取得分别表示从瞄准击球的状态到收尾动作的状态为止的期间内的各种样态的多个帧的数据。因此，第1个帧F1是与瞄准击球的姿势对应的摄像图像，最后帧是与收尾动作的姿势对应的摄像图像。另外，与瞄准击球的姿势对应的第1个帧F1、与收尾动作的姿势对应的最后帧，例如基于与作为数据预先存储于存储部21中的各姿势的基准图像进行比较来确定。

在步骤S4中，差分图像生成部54根据被变换成亮度图像的连拍图像Pt的数据，生成帧间差分图像Dt-1、Dt的各数据。

在步骤S5中，强调图像生成部55根据差分图像Dt-1、Dt的各数据，生成强调图像Ct的数据。

图6是表示直到根据连拍图像Pt的数据生成强调图像Ct的数据为止的过程的一例的示意图。

如图6所示，第t个帧Ft为关注帧(用于生成强调图像的对象帧)，由图像取得部51取得该关注帧和与该关注帧前后相邻的帧、即取得帧Ft-1、帧Ft及帧Ft+1。

在步骤S3的处理中，通过亮度图像变换部53将各帧Ft-1、Ft、Ft+1的各数据分别变换成亮度图像的数据(在该图6中，未示出亮度图像)。

接着，在步骤S4的处理中，由差分图像生成部54生成差分图像Dt-1、Dt的各数据。具体而言，根据帧Ft-1与关注帧Ft之间的各数据的差分，生成差分图像Dt-1的数据。另外，根据关注帧Ft与帧Ft+1之间的各数据的差分，生成差分图像Dt的数据。

接着，在步骤S5的处理中，通过强调图像生成部55将差分图像Dt-1、Dt的各数据相乘，生成强调图像Ct的数据。

该强调图像Ct是以关注帧Ft为基准、将基准帧与基准帧的前后帧Ft-1、Ft+1之间的前后的差分图像Dt-1、Dt相乘而得到的值。因此，在强调图像Ct中，与前后的差分图像Dt-1、Dt相一致的部分、尤其是表示关注帧Ft中的球杆的部分被强调。

在步骤S6中，不投票区域去除部561通过进行强调图像Ct的像素重写处理，由此生成不投票区域去除图像的数据。像素重写处理是指，在构成强调图像Ct的各像素之中，基于根据摄像顺序在关注帧Ft之前的帧而预测的球杆位置，求出不投票区域，将构成该不投票区域的各像素的像素值(数据)重写成不作为投票对象的值例如“0”的处理。关于强调图像Ct的像素重写处理的更详细内容，以后叙述，但是在后面的处理中用到由本步骤S6的处理生成的不投票区域去除图像的数据，从而可提高球杆的近似直线的提取精度。

在步骤S7中，霍夫变换部562对不投票区域去除图像的数据实施霍夫变换。

即、不投票区域去除图像之中的像素位置(x，y)的像素按下式(1)被变换成由θ轴和ρ轴构建的霍夫空间上的正弦曲线。其中，ρ是指距原点的距离。

[公式1]

ρ＝xcosθ+ysinθ    ···(1)

图7是表示通过按式(1)进行霍夫变换而得到的正弦曲线的图表的一例。

即、在步骤S7的处理中对不投票区域去除图像的数据实施了霍夫变换之后，提取图7A所示那样可进行霍夫投票的曲线(白线)。

在步骤S8中，加权部563基于针对前次作为关注帧的帧Ft的霍夫变换的结果(θt-1，ρt-1)(以下称为“前帧结果(θt-1，ρt-1)”)算出当前关注帧Ft的预测值(pθ，pρ)，由此进行霍夫变换结果的加权。

详细而言，加权部563按照如图7B所示被推测的球杆位置附近的区域中的霍夫投票的值被评价得高的方式，进行基于下式(2)及式(3)的运算，由此进行加权。

[公式2]

δθ＝k(θ_t-2-θ_t-3)+(1-k)(θ_t-1-θ_t-2)    (0≤k≤1)    ···(2)

[公式3]

δρ＝l(ρ_t-2-ρ_t-3)+(1-l)(ρ_t-1-ρ_t-2)    (0≤l≤1)    ···(3)

即、加权如图7B所示那样被设定成：根据前帧的球杆角度所预测的关注帧Ft中的球杆的近似直线的预测结果的坐标位置最高，随着向周围行进渐渐变低。

其中，在本实施例中，设k、l的值为0.3～0.8之间的值。

在步骤S9中，投票结果确定部564取得得到最大值的坐标(θt，ρt)。之后，霍夫变换部562基于所取得的得到最大值的坐标(θt，ρt)进行逆霍夫变换，决定关注帧Ft中的球杆的近似直线。所决定的球杆的近似直线由角度决定部151来确定其角度(球杆的角度)。这样一来，进行了关注帧Ft中的直线的角度的确定。

在步骤S10中，CPU11判定是否进行了所有帧的处理。即、判定是否所有帧被设定成关注帧并进行了各自的球杆的角度的确定处理(步骤S5～步骤S9的处理)。

在仍存在未被设定成关注帧的情况下，在步骤S10中被判定为“否”，处理进入步骤S11。

在步骤S11中，CPU11将关注帧的编号t增加1(t＝t+1)。由此，下一帧被设定成关注帧，处理进入步骤S3，执行该步骤以后的处理，从而确定了该关注帧的球杆的角度。

所有帧被设定成关注帧，每当被设定成关注帧时都重复执行这样的步骤S3～S11的循环处理，由此确定所有帧的球杆的角度。于是，在步骤S10中被判定为“时”，处理进入步骤S12。

在步骤S12中，图表化部152使球杆的角度的时间序列轨迹形成图表。详细而言，图表化部152生成可将算出的各帧的球杆角度沿着摄像顺序的时间序列排列显示的图表的图像(参照图8)。图8是表示拍摄到的挥杆的摄像图像中的球杆的角度的变迁的图表。在本图表中，纵轴表示球杆的角度(θ)，横轴表示摄像时间顺序的帧。

另外，在进行图表化时，姿势确定部153如图9所示那样根据球杆的角度与帧的摄像顺序确定挥杆的姿势。在本实施方式中，将从最初帧其直到成为逆旋转的角度的帧(角度的增加收敛的帧)为止的范围设为向后挥杆动作的范围，将从成为向后挥杆动作的帧到角度为0度的帧为止的范围设为向下挥杆动作的范围。此时，将向后挥杆动作的切换的帧设为挥杆顶点，将向下挥杆动作的角度为0度的帧设为击球。另外，将击球以后的帧的范围设为推杆动作。图9是表示根据表示了图8的球杆的角度与帧之间关系的图表所确定出的挥杆的姿势的图表。

在步骤S13中，CPU11判断是否存在与比较用图表进行比较的比较指示。详细而言，CPU11判断是否由用户对输入部19进行了比较指示的输入操作。

在用户对输入部19进行了比较指示的输入操作情况下，处理为“是”，进入步骤S14。

在用户没有对输入部19进行比较指示的输入操作的情况下，处理为“否”，进入步骤S15。

在步骤S14中，输出部20在图表上重叠显示比较用图表。详细而言，由于进行了比较指示的输入操作，所以由比较用图表提取部43从存储部21中提取比较用图表，然后显示控制部44按照重叠显示比较用图表和由本处理生成的图表的方式控制输出部20的显示输出。之后，处理结束。

在步骤S15中，输出部20显示图表。详细而言，输出部20被显示控制部44控制，以显示所生成的图表。之后，处理结束。

接着，利用图10说明步骤S6的强调图像Ct的像素重写处理的动作流程。其中，图10是表示强调图像Ct的像素重写处理的动作的流程图。

在步骤S31中，不投票区域去除部561根据前帧结果(θt-1，ρt-1)进行像素值的重写。在以后的步骤中，不投票区域去除部561根据基于前帧结果(θt-1，ρt-1)所预计的球杆的角度来决定不投票区域，并将相应区域的像素值设定为0。

例如，在第2帧的情况下(前帧为最初帧的情况下)，由于最初帧是瞄准击球的姿势的图像，所以球杆的角度为0。因而，预计的球杆的角度处于0度～45度之间(0≤θ_t-1＜45)，所以进入步骤S32。

另外，在前帧的球杆的角度接近45度时，也就是根据帧间的角度变化的情况进行判断而预计球杆的角度超过45度的情况下，由于球杆的角度处于45度～135度之间(45≤θ_t-1＜135)，所以进入步骤S33。

另外，在前帧的球杆的角度接近135度时，也就是根据帧间的角度变化的情况进行判断而预计球杆的角度超过135度的情况下，由于旋转角度处于135度～210度之间(135≤θ_t-1＜210)，所以进入步骤S34。

另外，在前帧的旋转角度接近210度时，也就是根据帧间的角度变化的情况进行判断而预计球杆的角度超过210度的情况下，由于旋转角度处于210度～270度之间(210≤θ_t-1＜270)，所以进入步骤S35。

另外，在前帧的球杆的角度接近270度时，也就是根据帧间的角度变化的情况进行判断而预计球杆的角度超过270度的情况下，由于球杆的角度处于270度～320度之间(270≤θ_t-1＜320)，所以进入步骤S36。

其中，在高尔夫球的挥杆的特性方面，从瞄准击球到挥杆顶点、以及从挥杆顶点到收尾动作，是相同的球杆角度的变化。

在步骤S32中，不投票区域去除部561将B(x，y)以下的区域的部分的像素值设为0。

具体而言，不投票区域去除部561如图11A、B所示，在球杆的角度处于0度～45度的情况下，将球位置B(x，y)以下的区域的像素值重写为0。

也就是说，在预计的球杆的角度为0度～45度之间的情况下，由于不进行与作为球位置的基准位置B(x，y)相比向右侧区域的挥杆，所以将与基准位置相比靠右侧的(在图中，相对于纸面而言，与基准位置相比靠右侧)的区域的像素值设为0。即、在图中被指示出的A区域为不投票区域，成为去除对象。

此外，图11是表示决定不投票区域的示意图，图11A是表示在球杆的角度为0度的情况下的决定不投票区域的一例的示意图，图11B是表示在旋转角度为45度附近的情况下的决定不投票区域的一例的示意图。

在步骤S33中，不投票区域去除部561将图11C及图11D的B区域的像素值重写为0。

不投票区域去除部561例如如图11B所示，在球杆的角度为45度的情况下，将球位置B(x，y)以下的区域的像素值重写为0。

此时，在预计出的球杆的角度为45度～135度之间的情况下，由于不进行与作为球位置的基准位置(x，y)相比向近前方向的挥杆，所以将基准位置的左侧的(在图中，相对于纸面而言，与基准位置相比靠右侧)的区域的像素值重写为0。即、在图中，被指示的B区域为不投票区域，成为去除对象。

此外，图11C是表示在球杆的角度为45度的情况下的决定不投票区域的一例的示意图，图11D是表示在球杆的角度为135度附近的情况下的决定不投票区域的一例的示意图。

另外，不投票区域去除部561例如如图11D所示，在球杆的角度为135度附近的情况下，将球位置B(x，y)以下的区域的像素值重写为0。

另外，在球杆的角度为135度附近的情况下，由于球杆位置远离基准位置(B(x，y))，所以将球杆远离的区域部分作为不投票区域，设定为去除对象。球杆远离的区域部分根据下式(4)算出。

[公式4]

$D_x=\mathrm{Bx}-\frac{\mathrm{\θ}}{2}...\left(4\right)$

其中，D_x表示球杆端部位置的x坐标值，Bx表示基准位置(球位置)的x坐标值，θ表示预计的球杆的角度。

在步骤S34中，不投票区域去除部561将被摄体的下半身位置以下的像素值重写为0。在这里，作为基准的被摄体的下半身以下的区域的判断方法，只要将算出的球杆的旋转角度大致为90度时的球杆的位置作为基准进行判断即可。

在球杆的角度为135度～210度之间的情况下，不投票区域去除部561确定被摄体的下半身，将下半身以下的区域的像素值重写为0。

在步骤S35中，不投票区域去除部561将被摄体的下半身位置以下的像素值重写为0。

在球杆的角度为210度～270度之间的情况下，不投票区域去除部561确定被摄体的下半身，将下半身以下的区域的像素值重写为0。

而且，由于不进行较之基准位置向左侧的区域(在图中为左侧的区域)的挥杆，因而较之球的位置将左侧的区域的像素值重写为0。

在步骤S36中，不投票区域去除部561将球的左侧的像素值设为0。在球杆的角度为270度～320度之间的情况下，不投票区域去除部561将以球位置为基准位置的左侧(在图中，相对于纸面而言，与基准位置相比靠左侧)的区域的像素值作为去除对象。此时，将球的左侧(在图中为右侧)的区域的像素值重写为0。

根据如上述那样预计的球杆位置来决定不投票区域，将不投票区域的像素值重写为0。

此外，在与摄像顺序相比球杆的角度的变化程度低的情况下，球杆的运动成为与从瞄准击球向挥杆顶点的运动相反旋转的运动(球杆的运动切换成从挥杆顶点向击球的运动)的可能性高，所以进行与上述的球杆位置的预计相反的预计。即、预计球杆的运动切换成从挥杆顶点向击球的运动。

即、在本实施例中，随着摄像顺序的进展，挥杆动作中的球杆的角度从0度变化为45度，从45度变化为135度，从135度变化为210度，从210度变化为270度，然后从270度变化为320度，因而预计挥杆动作是从瞄准击球向挥杆顶点的动作，然后随着挥杆动作逐渐变为挥杆顶点，一般情况下球杆的角度的变化逐渐减少。之后，球杆的角度与上述动作相反，从320度变化为270度，从270度变化为210度，从210度变化为135度，从135度变化为45度，然后从45度变化为0度，所以预计挥杆动作是挥杆顶点到击球间的动作。另外，击球以后的挥杆的动作也可同样地进行预计。

因此，在摄像装置1中，能够根据拍摄到挥杆的一连串的动作的摄像图像决定在各摄像图像中的球杆的角度，从而生成确定挥杆的姿势的图表。

采用以上构成的摄像装置1具备：图像取得部51、差分图像生成部54、强调图像生成部55、霍夫变换部562和角度决定部151。

图像取得部51取得被摄体的运动被连续拍摄到的多个图像的数据。

差分图像生成部54根据由图像取得部51取得的多个图像的数据，分别生成在时间上相邻的所述多个图像的数据间的差分图像的数据。

强调图像生成部55根据由差分图像生成部54生成的差分图像的数据，生成用于确定被摄体的运动的图像的数据。

霍夫变换部562对由强调图像生成部55生成的图像的数据进行运算处理(霍夫变换处理)。

角度决定部151基于霍夫变换部562的运算结果，确定被摄体的运动的变化点。

因此，在本发明的摄像装置1中，能够根据取得的一连串的摄像图像来确定球杆的角度。另外，能够基于所确定的球杆的角度，来确定被摄体的挥杆姿势。而且，能够根据被摄体的挥杆姿势，来进行挥杆的评价等。

另外，摄像装置1还具备图表化部152，该图表化部152基于霍夫变换部562的霍夫变换的投票结果，生成表示由角度决定部151确定的球杆的角度的图表的数据。

因此，在摄像装置1中，能够生成使连拍图像中的球杆的角度的变化可视化的图表。用户能够根据图表容易识别球杆的角度的变化。

另外，摄像装置1还具备基准位置决定部52和不投票区域去除部561。

基准位置决定部52检测与由图像取得部51取得的多个图像的数据相应的基准位置的指定。

不投票区域去除部561基于由基准位置决定部52检测的基准位置，将由霍夫变换部562生成的图像的数据的一部分区域的数据变换成其他数据，由此将该区域从运算处理的对象中去除。

霍夫变换部562对由不投票区域去除部561去除了区域的图像进行运算处理(霍夫变换处理)。

因此，在摄像装置1中，不会取出霍夫变换中的不必要的直线，能够提高高尔夫球杆的提取精度。

另外，摄像装置1还具备比较用图表提取部43和显示控制部44。

比较用图表提取部43设定用于与由图表化部152生成的图表的数据进行比较的其他图表的数据。

显示控制部44按照由比较用图表提取部43设定的其他图表的数据与由第3生成单元生成的图表的数据重叠地显示输出的方式进行控制。

因此，在摄像装置1中，例如能够在表示自己的挥杆动作中的球杆的角度的变化的图表上重叠显示作为比较用图表的表示专业的球杆的角度的变化的图表。由此，用户能够理解与其他者之间的比较。

另外，作为比较用图表，并不限于专业的球杆的角度的变化，也可将以往解析的自己的挥杆动作重叠在图表上进行比较。

另外，摄像装置1还具备亮度图像变换部，该亮度图像变换部将多个图像的数据变换成亮度图像的数据。

差分图像生成部54根据所述亮度图像的数据来生成差分图像的数据。

在本实施方式中，被摄体的运动是高尔夫球的一连串的挥杆动作。此外，被摄体的运动并不限定于高尔夫球的挥杆运动，只要是棒状体与姿势的变化一起移动的情况即可，例如可以是棒球、剑术、射术(archery)等运动。

此外，本发明并不限于上述的实施方式，能达成本发明目的的范围内的变形、改良等也包含在本发明中。

此外，较之前后帧，成为异常角度的帧不作为图表的对象。因此，如图所示，表示异常的值的图像部分为空白栏。

另外，在上述的实施方式中，强调图像生成部55通过将差分图像的像素值和前一个差分图像的像素值相乘(乘法运算)来生成强调图像，但是并不限定于此。只要强调图像生成部55能够生成强调后的图像即可，例如也可将各个像素值相加或相减(加法运算或减法运算)。另外，在生成强调图像时，使用了强调对象的图像前一个的差分图像，但是并不限定于此，也可使用该强调对象的图像后一个的差分图像，也可使用多个(3个以上)的图像来生成强调图像。

另外，在上述的实施方式中，加权部563构成为在投票结果中被推测的球杆位置附近的区域评价得高，但是并不限定于此。即、只要在投票结果中被推测的球杆位置附近的区域评价相对高即可，所以例如也可构成为被推测的球杆位置附近的区域以外的区域评价低。

另外，在上述的实施方式中，说明了将进行右撇子挥杆的动作者作为被摄体进行拍摄，并根据该摄像图像生成表示了球杆位置的变化的图表的例子，但是也可将进行左撇子挥杆的动作者作为被摄体进行拍摄，并根据该摄像图像生成表示了球杆位置的变化的图表。这种情况下，上述的实施方式可以通过下述等方式进行：利用相反算法进行处理，或者使用公知的镜像处理来反转摄像图像进行处理。

另外，在上述的实施方式中，本发明应用的摄像装置1以数码相机为例进行了说明，但是并不特别限定于此。

例如，本发明能够应用于具有图表显示处理功能的一般电子设备中。具体而言，例如本发明能够应用于笔记本型的个人计算机、打印机、电视接收机、摄像机、便携型导航装置、便携电话机、便携式游戏机等中。

上述的一连串的处理，既可以通过硬件执行，也可以通过软件执行。

换言之，图2及图3的功能性构成只是例示，并不特别限定。即、能将上述的一连串的处理作为整体执行的功能，只要在摄像装置1中具备即可，为了实现该功能采用什么功能块并不特别限定于图2及图3的例子。

另外，一个功能块，既可以由硬件单体构成，也可以由软件单体构成，还可以由它们组合构成。

在通过软件执行一连串的处理的情况下，能够从网络或记录介质向计算机等安装构成该软件的程序。

计算机也可以是嵌入到专用硬件中的计算机。另外，计算机也可以是通过安装各种程序能执行各种功能的计算机，例如通用的个人计算机。

包含这种程序的记录介质，不仅由为了向用户提供程序而与装置主体分别分布的图1的可移动媒体31构成，还由以预先嵌入到装置主体中的状态向用户提供的记录介质等构成。可移动媒体31例如由磁盘(包括软盘)、光盘、或者光磁盘等构成。光盘例如由CD-ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)等构成。光磁盘由MD(Mini-Disk)等构成。另外，以预先嵌入装置主体的状态向用户提供的记录介质，例如由记录了程序的图1的ROM12或图1的存储部21中包含的硬盘等构成。

此外，在本说明书中，描述了在记录介质中记录的程序的步骤，除了包括沿着该顺序在时间序列上进行的处理之外，还包括不按时间序列进行处理而并行或单独地执行的处理。

另外，在本说明书中，***这一用语是指由多个装置或多个单元等构成的整体性装置。

以上，对本发明的几个实施方式进行了说明的，但是这些实施方式只是例示，并不限定本发明的技术范围。本发明可以采取其他各种的实施方式，而且能够在不脱离本发明宗旨的范围内进行省略或置换等各种变更。这些实施方式及其变形例包含在本说明书等中记载的发明范围及主旨中，并且包含在权利要求书中记载的发明及其等同发明的范围中。

Claims (9)

1.一种图像处理装置，其特征在于，具备：

取得单元，其取得被摄体的运动被连续拍摄到的多个图像的数据；

第1生成单元，其根据由所述取得单元取得的多个图像的数据，分别生成在时间上相邻的所述多个图像的数据间的差分图像的数据；

第2生成单元，其根据由所述第1生成单元生成的差分图像的数据，生成用于确定被摄体的运动的图像的数据；和

变化点确定单元，其基于由所述第2生成单元生成的图像的数据，确定所述被摄体的运动的变化点。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具备运算处理单元，该运算处理单元对由所述第2生成单元生成的图像的数据进行运算处理，

所述变化点确定单元基于所述运算处理单元的运算结果，确定所述被摄体的运动的变化点。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述图像处理装置还具备第3生成单元，该第3生成单元基于所述运算单元的运算结果，来生成表示由所述变化点确定单元所确定的变化点的图表的数据。

4.根据权利要求2所述的图像处理装置，其特征在于，

所述图像处理装置还具备：

位置决定单元，其决定与由所述取得单元取得的所述多个图像的数据相关的基准位置；和

去除单元，其基于由所述位置决定单元决定的所述基准位置，将由所述第2生成单元生成的所述图像的数据的一部分区域的数据置换成其他数据，由此将所述区域从所述运算处理单元的运算处理的对象中去除，

所述运算单元对由所述去除单元去除了所述区域之后的所述图像进行运算处理。

5.根据权利要求3所述的图像处理装置，其特征在于，

所述图像处理装置还具备：

设定单元，其设定用于与由所述第3生成单元生成的所述图表的数据进行比较的其他图表的数据；和

显示控制单元，其按照将由所述设定单元设定的其他图表的数据与由所述第3生成单元生成的图表的数据重叠地显示输出的方式进行控制。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具备变换单元，该变换单元将所述多个图像的数据变换成亮度图像的数据，

所述第1生成单元根据所述亮度图像的数据生成差分图像的数据。

7.根据权利要求2所述的图像处理装置，其特征在于，

所述运算单元包括直线确定单元，该直线确定单元对由所述第2生成单元生成的图像的数据进行霍夫变换处理，由此确定该图像数据中的近似直线，

所述变化点确定单元基于由所述直线确定单元确定的近似直线的角度和由所述取得单元分别取得图像数据的定时来确定所述变化点。

8.根据权利要求1至5任意一项所述的图像处理装置，其特征在于，

所述被摄体的运动是高尔夫球的一连串的挥杆动作。

9.一种图像处理方法，其特征在于，包括：

取得步骤，取得被摄体的运动被连续拍摄到的多个图像的数据；

第1生成步骤，根据由所述取得步骤的处理取得的多个图像的数据，分别生成在时间上相邻的所述多个图像的数据间的差分图像的数据；

第2生成步骤，根据由所述第1生成步骤的处理生成的差分图像的数据，生成用于确定被摄体的运动的图像的数据；和

变化点确定步骤，基于由所述第2生成步骤的处理生成的图像的数据，确定所述被摄体的运动的变化点。

Images