CN103685862B - 图像处理装置、图像处理方法 - Google Patents
图像处理装置、图像处理方法 Download PDFInfo
- Publication number
- CN103685862B CN103685862B CN201310429419.4A CN201310429419A CN103685862B CN 103685862 B CN103685862 B CN 103685862B CN 201310429419 A CN201310429419 A CN 201310429419A CN 103685862 B CN103685862 B CN 103685862B
- Authority
- CN
- China
- Prior art keywords
- dynamic image
- image
- subject
- viewpoint
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供一种图像处理装置及图像处理方法。图像处理装置执行:判断存储在存储部中的多个动态图像数据中的每个动态图像数据反映的被摄体的运动的类似性的判断处理;根据通过所述判断处理判断出的类似性,从所述多个动态图像数据之中选择特定的动态图像数据的选择处理;和输出所述选择处理的选择结果的信息的输出处理。
Description
技术领域
本发明涉及以动态图像作为对象的进行规定图像处理的图像处理装置、图像处理方法以及记录了程序的记录介质。
背景技术
在现有技术中,公知将多个动态图像分割显示在同一画面上来进行显示,从而进行同时再生的技术(例如,参照日本特开2003—117045号公报、日本特开2008—242965号公报)。
此时,用户使用用于从多个动态图像中选择再生对象的GUI(Graphical UserInterface)。在这种现有的GUI中,以时间及日期、文件名的顺序分类显示能够确定多个动态图像的信息(缩略图图像或文件名)。
但是,在为了比较高尔夫挥杆动作等规定动作而同时再生反映用户等比较对象的动态图像、和反映成为模板的人等的比较对手的动态图像等情况下,存在很难从作为进行运动的被摄体拍摄了用户或成为模板的人等的多个动态图像中选择成为比较对手的动态图像和成为比较对象的动态图像的问题。
发明内容
本发明鉴于这种状况而完成,目的在于,从拍摄了进行运动的被摄体的多个动态图像中能够容易地选择出成为比较等规定处理对象的动态图像。
本发明的1个方式是一种具备存储部、CPU和输出部的图像处理装置,其特征在于,
所述存储部存储多个动态图像数据,
所述CPU执行:判断存储在所述存储部中的多个动态图像数据的每一个所反映出的被摄体的运动的类似性的判断处理;和根据通过所述判断处理判断出的类似性而从所述多个动态图像数据中选择特定的动态图像数据的选择处理,
所述输出部输出所述选择处理的选择结果信息。
此外,本发明的其他方式是一种图像处理方法,包括:
判断多个动态图像数据的每一个所反映出的被摄体的运动的类似性的判断步骤;
根据通过所述判断步骤判断出的类似性而从所述多个动态图像数据中选择特定的动态图像数据的选择步骤;和
输出所述选择步骤的选择结果信息的输出步骤。
此外,本发明的又一方式是一种记录了程序的非易失性记录介质,该记录介质使计算机执行:判断多个动态图像数据的每一个所反映出的被摄体的运动的类似性的判断处理;根据通过所述判断处理判断出的类似性而从所述多个动态图像数据中选择特定的动态图像数据的选择处理;和输出所述选择处理的选择结果信息的输出处理。
附图说明
图1是表示本发明的第1实施方式的图像处理装置的硬件结构的框图。
图2是表示图1的图像处理装置的功能结构中的用于执行动态图像再生处理的功能性结构的功能框图。
图3是用于说明作为图2的图像处理装置所采用的比较观点而用于说明采用高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态时的例的示意图。
图4是用于说明作为图2的图像处理装置所采用的比较观点而用于说明采用高尔夫挥杆的静止状态下的方向、具体是身体的倾斜程度时的例的示意图。
图5是用于说明作为图2的图像处理装置所采用的比较观点而采用高尔夫挥杆动作的位置时的例的示意图。
图6是表示由图2的图像处理装置显示的分类结果图像的一例的图。
图7说明图2的功能性结构的图像处理装置1所执行的动态图像再生处理。
图8是说明图7的动态图像再生处理中第1实施方式的再生对象动态图像分类显示处理的详细内容的流程图。
图9是说明图7的动态图像再生处理中第2实施方式的再生对象动态图像分类显示处理的详细内容的流程图。
图10是说明图7的动态图像再生处理中第3实施方式的再生对象动态图像分类显示处理的详细内容的流程图。
图11是表示由图2的图像处理装置显示的分类结果图像的一例的图,是不同于图6的例的图。
具体实施方式
以下,参照附图说明本发明的实施方式。
[第1实施方式]
图1是表示本发明的第1实施方式的图像处理装置1的硬件结构的框图。
图像处理装置1构成为例如是数码相机。
图像处理装置1具备CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、总线14、输入输出接口15、摄像部16、输入部17、输出部18、存储部19、通信部20和驱区动器21。
CPU11按照记录在ROM12中的程序、或从存储部19加载到RAM13中的程序,执行各种处理。
RAM13还适当存储CPU11执行各种处理时所需的数据等。
CPU11、ROM12以及RAM13经由总线14而互相被连接。该总线14上还连接有输入输出接口15。输入输出接口15与摄像部16、输入部17、输出部18、存储部19、通信部20以及驱动器21连接。
虽然未图示,但摄像部16具备光学透镜部和图像传感器。
光学透镜部为了拍摄被摄体而由聚集光的透镜、例如聚焦透镜和变焦透镜等构成。
聚焦透镜是在图像传感器的受光面使被摄体像成像的透镜。变焦透镜是在一定范围内自由改变焦点距离的透镜。
根据需要,光学透镜部中还设有调整焦点、曝光、白平衡等设定参数的***电路。
图像传感器由光电变换元件、AFE(Analog Front End)等构成。
光电变换元件例如由CMOS(Complementary Metal Oxide Semiconductor)型光电变换元件等构成。从光学透镜部向光电变换元件入射被摄体像。因此,光电变换元件对被摄体像进行光电变换(拍摄)来在一定时间内蓄积图像信号,依次向AFE提供所蓄积的图像信号作为模拟信号。
AFE对该模拟图像信号执行A/D(Analog/Digital)变换处理等各种信号处理。通过各种信号处理,生成数字信号,作为摄像部16的输出信号来输出。
以下将这种摄像部16的输出信号称为“摄像图像的数据”。向CPU41等适当提供摄像图像的数据。
输入部17由各种按钮等构成,根据用户的指示操作输入各种信息。
输出部18由显示器、扬声器等构成,输出图像、声音。
存储部19由硬盘或DRAM(Dynamic Random Access Memory)等构成,存储各种图像的数据。
通信部20控制经由包含因特网在内的网络在与其他装置(未图示)之间进行的通信。
驱动器21上适当装载了由磁盘、光盘、光磁盘、或半导体存储器等构成的、可移动介质31。根据需要,在存储部19中安装由驱动器21从可移动介质31读出的程序。此外,可移动介质31能够与存储部19同样地存储在存储部19中存储的图像数据等各种数据。
图2是表示这种图像处理装置1的功能结构中的用于执行动态图像再生处理的功能性结构的功能框图。
在此,动态图像再生处理是指如下的一系列处理。
即,在本实施方式中,反映规定的人(在此为了便于说明,设为是图像处理装置1的用户)进行高尔夫挥杆动作的样子的动态图像成为再生对象。以下,将这种动态图像称为“再生对象动态图像”。
在本实施方式中,除了再生对象动态图像外,作为与该再生对象动态图像的比较对照用的动态图像,还将反映职业高尔夫球员等成为模板的人进行高尔夫挥杆动作的样子的动态图像(以下,称为“模板动态图像”)作为显示对象。即,在本实施方式中,在输出部18的显示器上以2个画面同时再生再生对象动态图像和模板动态图像。
用户一般反复进行多次高尔夫挥杆动作,从而使高尔夫挥杆得以进步。在此,作为多次高尔夫挥杆动作的反复,具有时间上连续的过程中的反复(例如,在1次练习中的反复等)、时间上有相隔的过程中的反复(例如,每周进行1次练习的各次单位的反复等)。因此,有时再生对象动态图像的候补存在多个。此时,一般,用户大多情况下期望将离模板最近的候补、即反映高尔夫挥杆动作最出色时的样子的候补作为再生对象动态图像。
因此,在用户从多个候补中选择再生对象动态图像来进行操作时,若能够事先(实际上不再生)视觉辨认哪个候补接近模板动态图像,则对于该用户的选择操作而言是很方便的。
因此,在本实施方式中,图像处理装置1从与高尔夫挥杆动作的模板动态图像的类似性的观点出发,分类再生对象动态图像的多个候补,从输出部18显示并输出表示分类结果的图像(以下,称为“分类结果图像”)。以下,将这种处理称为“再生对象动态图像分类显示处理”。
在此,“动态图像再生处理”是:图像处理装置1通过执行这种模板动态图像分类显示处理,从而显示分类结果图像,由视觉辨认了该分类结果图像的用户选择再生对象动态图像,以2画面同时再生该再生对象动态图像以及模板动态图像为止的一系列处理。
在执行动态图像再生处理的情况下,如图2所示,CPU11起到分类对象动态图像确定部51、比较观点设定部52、分类部53、分类结果图像生成部54、显示控制部55和再生对象获取部56的功能。
在存储部19的一区域内设有模板动态图像存储部61和再生动态图像存储部62。
在模板动态图像存储部61中,预先存储模板动态图像的多个候补的数据,并且分别按各候补的数据,预先分析成为模板的人(职业高尔夫球员等)的挥杆动作,并且还预先存储该分析结果。分析方法并没有被特别限定,适用与由后述的分类对象动态图像确定部51当作再生对象动态图像的候补的数据的分析相同的方法。
在再生动态图像存储部62中存储再生对象动态图像的多个候补的数据。另外,再生对象动态图像的候补的数据可以采用由包括图像处理装置1以外的装置在内的规定的摄像装置在过去拍摄到的摄像图像的数据,也可以采用由图像处理装置1在刚刚之前拍摄到的摄像图像的数据。此外,再生对象动态图像的候补的数据可以采用时间上连续拍摄的多个摄像图像的数据,也可以采用时间上分开拍摄的多个摄像图像的数据。
分类对象动态图像确定部51基于用户进行的输入部17的操作,从作为数据而存储在模板动态图像存储部61中的模板动态图像的多个候补中确定成为基准的模板动态图像。
接着,分类对象动态图像确定部51基于被摄体的运动(在此是高尔夫挥杆动作)与该模板动态图像的类似性,从成为数据而存储在再生动态图像存储部62中的再生对象动态图像的多个候补中确定作为规定处理的对象的动态图像。在此,在本实施方式中,成为规定处理如后述那样采用分类处理,因此确定成为分类对象的动态图像(以下,称为“分类对象动态图像”)。
在此,分类对象动态图像确定部51为了分别判断再生对象动态图像的多个候补各自与模板动态图像之间的类似性,根据与构成模板动态图像的数据的分析相同的方法,分别分析多个候补的数据。
该分析方法并没有特别限制,例如可以采用如下的方法。
即,动态图像是配置帧或场这样所谓的与影像的1画面(coma,コマ)相当的图像而构成。这种被称为帧或场的图像大多被用作图像处理的单位,因此以下称为“单位图像”。
此时,分类对象动态图像确定部51可采用如下的方法:按多个候补的每一个从规定的单位图像中检测被摄体,分析该被摄体的运动(在此是高尔夫挥杆动作)。
此外,分类对象动态图像确定部51可采用如下的方法:将反映在多个动态图像中的被摄体所进行的共同的特定动作(在此是高尔夫挥杆动作)作为对象,分析该特定动作中的一系列流程。
比较观点设定部52设定用于被摄体的运动与模板动态图像之间的类似性的判断中的、规定的比较观点,并将其设定结果通知给分类对象动态图像确定部51。
即,分类对象动态图像确定部51对反映在模板动态图像中的被摄体的运动(在此是成为模板的人的高尔夫挥杆)、和分别反映在再生对象动态图像的多个候补中的被摄体的运动(在此是用户每一次的高尔夫挥杆),判断规定的比较观点下的类似性。然后,分类对象动态图像确定部51从再生对象动态图像的多个候补中确定1个以上的成为基于该规定的比较观点的类似度的规定处理(在此是分类)的对象的动态图像作为分类对象动态图像。
在此,参照图3至图5,说明规定的比较观点的具体例。
图3是用于说明作为比较观点采用在高尔夫挥杆的一系列动作中被分析的各种信息、即多个动作定时(timing)的位置、角度、方向、距离、速度等变化状态时的例的示意图。图3的具体例表示从上挥杆(backswing)至送球(fo11ow swing)为止的球杆头部的速度变化。另外,击球中的球杆头部的速度也可以理解为击球前后的多个动作定时的位置的变化状态。
图4是用于说明作为比较观点而采用高尔夫挥杆的静止状态下分析的各种信息、即静止状态下的位置、角度、方向、距离等状态时的例的示意图。图4的具体例表示瞄准(address)击球时的身体的倾斜程度。
图5是用于说明作为比较观点采用在高尔夫挥杆的一系列动作中被分析的各种信息、即特定的动作定时的位置、角度、方向、距离等状态时的例的示意图。图5的具体例表示送球(fo11ow swing)时的球杆头部的高度与步幅。
在图3的例中,在高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态这样的比较观点下,比较再生对象动态图像的候补和模板动态图像。即,在高尔夫挥杆动作的速度接近模板的顺序这样的观点下,确定多个分类对象动态图像,如后述那样对该多个分类对象动态图像进行分类。
此时,也可以比较高尔夫挥杆过程中的从上挥杆至送球为止的一系列动作整体的平均速度。
并且,在本实施方式中,从上挥杆到送球为止的一系列动作被区分为包括顶点、击球、击球在内的多个检验点(期间)。更具体而言,在图3的例中被区分为用圆圈数字表示的7个检验点。由此,能够以检验点为单位比较速度。具体而言,在由用户指定的检验点,同步地产生再生对象动态图像和模板动态图像,从而该用户能够视觉辨认对于该检验点的挥杆动作速度而言自身和成为模板的人的差异点的同时进行比较。
因此,以这些多个检验点为单位,基于高尔夫挥杆动作的速度接近模板的顺序的观点,确定多个分类对象动态图像,并且还能够如后述那样对多个分类对象动态图像进行分类。
另外,图3是一例,作为在高尔夫挥杆的一系列动作中被分析的各种信息,也可以和模板比较多个动作定时的位置、角度、方向、距离、速度等变化状态。
但是,在以下的说明中,为了便于说明,在使用图3的例的比较观点进行说明时,关注“高尔夫挥杆动作的速度”。换言之,对于表现为“高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态”的处理等而言,作为在高尔夫挥杆的一系列动作中被分析的各种信息,采用了多个动作定时的位置、角度、方向、距离、速度等变化状态时也完全适用。
在图4的例中,基于高尔夫挥杆的静止状态下的方向、具体是身体的倾斜程度这样的比较观点,将再生对象动态图像的候补与模板动态图像进行比较。即,基于身体的倾斜程度靠近模板的顺序的观点,确定多个分类对象动态图像,并且还能够如后述那样对多个分类对象动态图像进行分类。
例如,在本实施方式中,作为身体的倾斜程度,以球杆的头部为中心,采用从球杆的头部经过被摄体的肩上部的直线和大致平行于球杆的直线所构成的角度(以下称为“身体倾斜角度”)。即,在本实施方式中,通过比较从再生对象动态图像中检测出的身体倾斜角度、和从模板动态图像中检测出的身体倾斜角度,实现身体的倾斜程度的比较作为高尔夫挥杆的静止状态下的方向。
因此,基于身体倾斜角度接近模板的顺序的观点,确定多个分类对象动态图像,并且还能够如后述那样对多个分类对象动态图像进行分类。
另外,图4是一例,作为在高尔夫挥杆的静止状态下分析的各种信息,也可以与模板比较静止状态下的位置、角度、方向、距离等状态。
但是,在以下的说明中,为了便于说明,在使用图4的例的比较观点进行说明时,关注“高尔夫挥杆的静止状态下的方向”。换言之,对于表示为“高尔夫挥杆的静止状态下的方向”的处理等而言,作为在高尔夫挥杆的静止状态下分析的各种信息,采用静止状态下的位置、角度、方向、距离等的状态时也完全适用。
在图5的例中,基于高尔夫挥杆动作的位置、具体而言是步幅和挥杆位置(球杆头部为止的高度)中的至少一方的比较观点,再生对象动态图像的候补与模板动态图像比较。即,基于步幅和挥杆位置(球杆头部为止的高度)中的至少一方接近模板的顺序的观点,确定多个分类对象动态图像,并且还能够如后述那样对多个分类对象动态图像进行分类。
另外,图5是一例,作为在高尔夫挥杆的一系列动作中被分析的各种信息,也可以与模板比较特定动作定时的位置、角度、方向、距离等状态。
但是,在以下的说明中,为了便于说明,在采用图5的例的比较观点进行说明时,关注“高尔夫挥杆动作的位置”。换言之,对于表现为“高尔夫挥杆动作的位置”的处理等而言,作为在高尔夫挥杆的一系列动作中被分析的各种信息,采用特定动作定时的位置、角度、方向、距离等状态时也完全适用。
返回图2,分类部53根据由比较观点设定部52设定的比较观点下的与模板动态图像之间的类似度,对由分类对象动态图像确定部51确定的多个分类对象动态图像进行分类。
在此,多个分类对象动态图像的分类是基于规定的比较观点下的与模板动态图像之间的类似度进行的。因此,规定的比较观点还可以掌握为关于多个分类对象动态图像的分类条件。
例如,在设定了图3的例的高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态这样的分类条件(比较观点)的情况下,按照高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态接近模板动态图像的顺序对多个分类对象动态图像进行分类。
例如,在设定了图4的例的高尔夫挥杆的静止状态下的方向、具体而言身体的倾斜程度这样的分类条件(比较观点)的情况下,按照身体的倾斜程度(图4的身体倾斜角度)接近模板动态图像的顺序对多个分类对象动态图像进行分类。
例如,在图5的例中,在设定了高尔夫挥杆动作的位置、具体而言步幅和挥杆位置(到球杆头部为止的高度)这样的分类条件(比较观点)的情况下,按照步幅和挥杆位置(到球杆头部为止的高度)接近模板动态图像的顺序对多个分类对象动态图像进行分类。
分类结果图像生成部54生成表示这种分类部53的结果的分类结果图像的数据。
显示控制部55进行控制以使输出部18的显示器显示该分类结果图像。
图6是表示分类结果图像的一例的图。
在图6的例中,分类结果图像中设有模板动态图像显示区域71、再生对象动态图像候补显示区域72、以及分类条件显示区域73。
模板动态图像显示区域71显示能够确定模板动态图像的信息(在此是文件名和缩略图图像)。
再生对象动态图像候补显示区域72以分类部53的分类结果的顺序按照从上开始的顺序显示多个分类对象动态图像、即能够确定再生对象动态图像的多个候补的信息(在此是文件名和缩略图图像)。
另外,用户操作输入部17(图1),从显示在再生对象动态图像候补显示区域72上的再生对象动态图像的多个候补(能够确定再生对象图像的信息)之中,选择期望的1个作为再生对象动态图像。
此时,以根据规定的分类条件(显示于后述的分类条件显示区域73)分类的顺序,从上方开始按顺序显示再生对象动态图像的多个候补(能够确定再生对象图像的信息)。即,在该分类条件(比较观点)下按照与模板动态图像(在模板动态图像显示区域71显示能够确定再生对象图像的信息)之间的类似度从高到低的顺序显示再生对象动态图像的多个候补(能够确定再生对象图像的信息)。
因此,用户只要进行从上方显示着的候补中按顺序选择这样的简单的操作,就能够恰当地选择与模板动态图像类似的再生对象动态图像的候补(能够确定再生对象动态图像的信息)作为再生对象动态图像。
在分类条件显示区域73,可以显示当前选择的分类条件的同时,还如图6所示那样显示作为下拉菜单而能够选择的多个分类条件。
因此,用户操作输入部17(图1),从该下拉菜单中能够选择期望的分类条件。该选择结果被反馈到分类部53,根据该分类条件,再次对多个分类对象动态图像(再生对象动态图像的多个候补)进行分类。然后,通过分类结果图像生成部54,生成(更新)表示再次分类结果的分类图像的数据,通过显示控制部55的控制,在输出部18的显示器上显示更新后的分类结果图像。即,根据再次分类结果,更新再生对象动态图像候补显示区域72中的再生对象动态图像的多个候补(能够确定再生对象图像的信息)的显示顺序。
返回图2,再生对象获取部56从再生动态图像存储部62获取用户从这种分类结果图像中作为再生对象动态图像而选择的动态图像的数据,并且从模板动态图像存储部61获取模板动态图像的数据。
显示控制部55按照在输出部18的显示器上同时以2个画面显示该再生对象动态图像以及该模板动态图像的方式进行控制。
接着,参照图7,说明图2的功能性结构的图像处理装置1所执行的动态图像再生处理。
图7是说明动态图像再生处理的流程的流程图。
在本实施方式中,若作为图像处理装置1的再生模式而选择2画面再生模式,则以此为契机开始动态图像再生处理。
在步骤S1中,分类部53等执行再生对象动态图像分类显示处理,从而基于高尔夫挥杆动作与模板动态图像的类似性的观点,对再生对象动态图像的多个候补进行分类,从输出部18以显示的方式输出表示其分类结果的分类结果图像(参照图6)。
将在后面参照图8详细说明再生对象动态图像分类显示处理。
在步骤S2中,再生对象获取部56判定是否选择了再生对象动态图像。
在还未选择再生对象动态图像的情况下,判定为步骤S2是“否”,处理返回步骤S2。即,在直到选择再生对象动态图像为止的期间,反复执行步骤S2的判定处理,动态图像再生处理处于待机状态。
然后,若选择再生对象动态图像,则判定为步骤S2是“是”,处理转移到步骤S3。
在步骤S3中,再生对象获取部56从再生动态图像存储部62中获取由用户在步骤S2的处理中选择出的再生对象动态图像的数据,并且从模板动态图像存储部61获取模板动态图像的数据。
在步骤S4中,显示控制部55从输出部18以2画面方式同时再生该再生对象动态图像和该模板动态图像。
由此,动态图像再生处理结束。
接着,详细说明这种动态图像再生处理中的第1实施方式的步骤S1的再生对象动态图像分类显示处理。
图8是详细说明图7的动态图像再生处理中的步骤S1的再生对象动态图像分类显示处理的流程图。
在图8的例中,作为分类条件,预先设定高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态(参照图3)、高尔夫挥杆的静止状态下的方向(身体的倾斜程度:参照图4)、或高尔夫挥杆动作的位置(步幅以及挥杆位置(到球杆头部为止的高度):参照图5)。
在步骤S21中,分类对象动态图像确定部51基于用户对输入部17进行的操作,从存储在模板动态图像存储部61中的模板动态图像的多个候补之中,确定(选择)成为基准的模板动态图像。
在步骤S22中,分类对象动态图像确定部51判定分类条件是否为高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态。
若分类条件不是高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态,即高尔夫挥杆的静止状态下的方向(身体的倾斜程度:参照图4)、或高尔夫挥杆动作的位置(步幅以及挥杆位置(到球杆头部为止的高度):参照图5)为分类条件,则在步骤S22中判定为是“否”,处理进入步骤S23。
在步骤S23中,分类对象动态图像确定部51为了从存储在模板动态图像存储部61中的再生对象动态图像的多个候补之中确定(选择)分类对象动态图像,计算出分类条件下的再生对象动态图像的多个候补中每一个候补与模板动态图像的差分。
即,分类条件下的再生对象动态图像的多个候补中每一个候补与模板动态图像之间的差分,表示规定的比较观点(分类条件)下的被摄体的运动(在此是高尔夫挥杆动作)与该模板动态图像的类似度(或其指标值)。也就是说,若差分小则判断为类似度高,而若差分大则判断为类似度低。
例如,在设定了图4的例的高尔夫挥杆的静止状态下的方向、具体而言是身体的倾斜程度这样的分类条件(比较观点)的情况下,针对身体的倾斜程度(图4的身体倾斜角度)计算出差分。
此外,例如,在设定了图5的例的高尔夫挥杆动作的位置、具体而言是步幅和挥杆位置(到球杆头部为止的高度)这样的分类条件(比较观点)的情况下,针对步幅和挥杆位置(到球杆头部为止的高度)计算出差分。
在步骤S24中,分类对象动态图像确定部51基于步骤S23的处理中计算出的差分,对表示与模板动态图像之间的类似度的得分进行评分。该得分是越接近模板动态图像(越类似)其值就越高。
然后,分类对象动态图像确定部51基于得分,从再生对象动态图像的多个候补之中确定分类对象动态图像。
另外,若在分类结果图像中能够显示缩略图等,则分类对象动态图像确定部51确定再生对象动态图像的多个候补的全部作为分类对象动态图像。
在步骤S25中,分类部53以接近模板动态图像的顺序、即在步骤S24的处理中所评分的得分从高到低的顺序对分类对象动态图像进行分类。
在步骤S26中,分类结果图像生成部54生成表示步骤S25的结果的分类结果图像的数据。
在步骤S27中,显示控制部55在输出部18的显示器上显示该分类结果图像。
由此,再生对象动态图像分类显示处理结束,即图7的步骤S1的处理结束,处理进入步骤S2。
以上,说明了分类条件不是高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态时、即高尔夫挥杆的静止状态下的方向(身体的倾斜程度:参照图4)、或高尔夫挥杆动作的位置(步幅以及挥杆位置(到球杆头部为止的高度):参照图5)为分类条件时的再生对象动态图像分类显示处理。
接着,说明分类条件为高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态时的再生对象动态图像分类显示处理。此时,在步骤S22中判定为“是”,处理进入步骤S28。
在步骤S28中,分类对象动态图像确定部51判定是否设定了平均速度作为分类条件的速度。
在作为分类条件的速度而设定了平均速度的情况下,在步骤S28中判定为“是”,处理进入步骤S29。
在步骤S29中,分类对象动态图像确定部51针对再生对象动态图像的多个候补中每一个候补计算出7个点(图3的用圆圈表示的7个检验点)的平均速度。
由此,处理进入步骤S23。此时,在步骤S23的处理中计算出7个点的平均速度的差分,执行上述的S23以后的一系列处理。
相对于此,在作为分类条件的速度而未设定平均速度的情况下,即设定了各检验点中的速度的情况下,在步骤S28中判定为是“否”,处理进入步骤S30。
在步骤S30中,分类对象动态图像确定部51从7个点(图3的用圆圈表示的7个检验点)之中选择与模板动态图像进行比较的对象点。
该选择方法没有特别限制,可以基于用户对输入部17进行的操作选择,也可以基于规定的算法自动选择。
在步骤S31中,分类对象动态图像确定部51对在步骤S30的处理中选择出的各点进行加权。加权的设定方法并没有特别限制,可以采用基于用户对输入部17进行的操作来设定的方法,也可以采用基于预先设定的规定的算法自动设定。
在步骤S32中,分类对象动态图像确定部51计算出在步骤S30的处理中选择出的各点的速度。
由此,处理进入步骤S23。此时,在步骤S23的处理中计算出各点的速度的差分,例如执行如下的步骤S24的处理。
在步骤S24中,分类对象动态图像确定部51基于在步骤S23的处理中按各点分别计算出的差分、和在步骤S31的处理中按各点分别设定的权重,按再生对象动态图像的多个候补的每一个候补对表示与模板动态图像的类似度的得分进行评分。
具体而言,例如,针对1个再生对象动态图像,按各点求出权重和差分之积,作为该再生对象动态图像的得分而评分按各点分别求出的各个积的累计相加值和平均值等。
此外,在哪怕是有任1点在很大程度上远离了模板动态图像时看作整体的类似度低的情况下,也可以进行对各点的差分的平方值的加权的乘法运算、累计加法运算、或者平均值的计算。
然后,执行上述的步骤S25以后的一系列处理。
以上,说明了第1实施方式。接着,说明第2实施方式。
[第2实施方式]
第2实施方式的图像处理装置1能够取与第1实施方式基本相同的硬件结构。因此,图1也是表示第2实施方式的图像处理装置1的硬件结构的框图。
此外,第2实施方式的图像处理装置1能够取得与第1实施方式基本相同的功能性结构。因此,图2也是表示第2实施方式的图像处理装置1的功能性结构的功能框图。
此外,第2实施方式的图像处理装置1所执行的动态图像再生处理的大部分流程与第1实施方式基本相同。因此,图7也是说明第2实施方式的图像处理装置1所执行的动态图像再生处理的流程的流程图。
但是,在动态图像再生处理的步骤S1的再生对象动态图像再生处理中,在上述的第1实施方式中,作为求出与模板动态图像的类似度时的规定的比较观点(分类条件),只考虑了由用户选择出的1种。因此,在第1实施方式中,步骤S1的再生对象动态图像再生处理是如图8的流程图所示的流程。
相对于此,在第2实施方式中,作为求出与模板动态图像之间的类似度时的规定的比较观点(分类条件),考虑多个种类的组合。
由此,能够充分应对用户的各种期望、具体而言是即想要基于第1观点进行比较也想要基于第2观点进行比较的期望、想要进行第1观点与第2观点的综合比较的期望。
图9是详细说明图7的动态图像再生处理中的这种第2实施方式的步骤S1的再生对象动态图像分类显示处理的流程图。
在图9的例中,作为分类条件,从高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态(参照图3)、高尔夫挥杆的静止状态下的方向(身体的倾斜程度:参照图4)、高尔夫挥杆动作的位置(步幅以及挥杆位置(到球杆头部为止的高度):参照图5)等多个种类之中预先设定2种以上的组合。
在步骤S41中,分类对象动态图像确定部51基于用户对输入部17进行的操作,从存储在模板动态图像存储部61中的模板动态图像的多个候补之中,确定成为基准的模板动态图像。
在步骤S42中,分类对象动态图像确定部51设定各比较观点(各分类条件)的加权。
加权的设定方法并没有特别限制,可以采用基于用户对输入部17进行的操作设定的方法,也可以采用基于预先设定的规定的算法自动设定的方法。
在此,在多个种类的比较观点(分类条件)中,对未设定的比较观点设定“0”作为权重。
在步骤S43中,分类对象动态图像确定部51为了从存储在模板动态图像存储部61中的再生对象动态图像的多个候补之中确定分类对象动态图像,分别计算出多个种类的分类条件的每一个分类条件下的、再生对象动态图像的多个候补中每个候补与模板动态图像之间的差分。
在步骤S44中,分类对象动态图像确定部51基于在步骤S43的处理中按分类条件的每个种类分别计算出的差分、和在步骤S42的处理中按分类条件的每个种类分别设定的权重,按再生对象动态图像的多个候补中每个候补对表示与模板动态图像的类似度的得分进行评分。
具体而言,例如,针对1个再生对象动态图像,按分类条件的每个种类求出权重与差分之积,作为该再生对象动态图像的得分而对按分类条件的每个种类求出的各个积的累计相加值进行评分。
然后,分类对象动态图像确定部51基于得分,从再生对象动态图像的多个候补之中确定分类对象动态图像。
另外,在分类结果图像中,若能够显示缩略图等,则分类对象动态图像确定部51也可以将再生对象动态图像的多个候补的全部确定为分类对象动态图像。
在步骤S45中,分类部53按接近模板动态图像的顺序,即以在步骤S44的处理中所评分的得分从高到低的顺序,对分类对象动态图像进行分类。
在步骤S46中,分类结果图像生成部54生成表示步骤S45的结果的分类结果图像的数据。
在步骤S47中,显示控制部55在输出部18的显示器上显示该分类结果图像。
由此,再生对象动态图像分类显示处理结束,即图7的步骤S1的处理结束,处理进入步骤S2。
以上,说明了第2实施方式。接着,说明第3实施方式。
[第3实施方式]
第3实施方式的图像处理装置1取与第1实施方式或第2实施方式基本相同的硬件结构。因此,图1也是表示第3实施方式的图像处理装置1的硬件结构的框图。
此外,第3实施方式的图像处理装置1取与第1实施方式或第2实施方式基本相同的功能性结构。因此,图2也是表示第3实施方式的图像处理装置1的功能性结构的功能框图。
此外,第3实施方式的图像处理装置1所执行的动态图像再生处理的大部分流程基本上与第1实施方式或第2实施方式相同。因此,图7也是说明第3实施方式的图像处理装置1所执行的动态图像再生处理的流程的流程图。
但是,在动态图像再生处理的步骤S1的再生对象动态图像再生处理中,在上述的第2实施方式中,作为求出与模板动态图像之间的类似度时的规定的比较观点(分类条件),考虑了多个种类的组合,但作为综合类似度而统一为1个(作为得分)来进行了分类等。
相对于此,在第3实施方式中,作为求出与模板动态图像之间的类似度时的规定的比较观点(分类条件),考虑多个种类的组合这一点与第2实施方式相同,但构筑以比较观点的各种类为轴的空间,根据再生对象动态图像的多个候补作为该空间上的点而被分布时的该点的坐标来表示类似度。
由此,用户能够容易进行相互比较并考量各比较观点时的再生对象动态图像的选择,例如比第1观点更重视第2观点的选择、均衡地考虑了第1观点和第2观点的选择这样的灵活的选择。
图10是详细说明图7的动态图像再生处理中的这种第3实施方式的步骤S1的再生对象动态图像分类显示处理的流程图。
在图10的例中,作为分类条件,从高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态(参照图3)、高尔夫挥杆的静止状态下的方向(身体的倾斜程度:参照图4)、高尔夫挥杆动作的位置(步幅以及挥杆位置(到球杆头部为止的高度):参照图5)等多个种类之中,预先设定多个种类的组合。
在步骤S51中,分类对象动态图像确定部51基于用户对输入部17进行的操作,从存储在模板动态图像存储部61中的模板动态图像的多个候补之中,确定成为基准的模板动态图像。
在步骤S52中,分类对象动态图像确定部51从各比较观点(各分类条件)中选择2个种类。
2个种类的比较观点的设定方法并没有特别限制,可以采用基于用户对输入部17的操作设定的方法,也可以采用基于预先设定的规定的算法来自动设定的方法。
在步骤S53中,分类对象动态图像确定部51设定在步骤S52的处理中选择的2种比较观点(分类条件)的加权。
加权的设定方法并没有特别限制,可以采用基于用户对输入部17进行的操作设定的方法,也可以采用基于预先设定的规定的算法自动设定的方法。
在步骤S54中,分类对象动态图像确定部51为了从存储在模板动态图像存储部61中的再生对象动态图像的多个候补之中确定分类对象动态图像,分别计算出在步骤S52的处理中选择出的2种分类条件各自的、再生对象动态图像的多个候补中每个候补与模板动态图像之间的差分。
在此,分类对象动态图像确定部51也可以计算出单纯的差分,但是在本实施方式中,计算出使用了在步骤S53的处理中所设定的加权的差分,例如单纯的差分与加权之积等。
然后,分类对象动态图像确定部51基于差分,从再生对象动态图像的多个候补之中确定分类对象动态图像。
另外,在分类结果图像中,若能够显示缩略图等,则也可以将再生对象动态图像的多个候补全部确定为分类对象动态图像。
在步骤S55中,分类部53将分类对象动态图像按照接近模板动态图像的顺序分别分类为2轴(即求出2轴的各坐标),分类结果图像生成部54生成将分类对象动态图像按照接近模板动态图像的顺序进行2轴显示的分类结果图像的数据。
在此,在由2轴构筑的2维空间(平面)内,根据距原点的距离,表示与模板动态图像之间的类似度。即,距原点的距离越近,越接近(类似)模板动态图像。
在步骤S56中,显示控制部55在输出部18的显示器上显示该分类结果图像。
由此,再生对象动态图像分类显示处理结束,即图7的步骤S1的处理结束,处理进入步骤S2。
图11是表示2轴显示的分类结果图像的一例的图。
在图11的例中,分类结果图像中设有模板动态图像显示区域81以及再生对象动态图像候补2轴显示区域82。
在模板动态图像显示区域81显示能够确定模板动态图像的信息(在此是缩略图图像)。
在再生对象动态图像候补2轴显示区域82,以2种分类条件(比较观点)为轴的平面上分布显示多个分类对象动态图像、即能够确定再生对象动态图像的多个候补的信息(在此是缩略图图像)。
具体而言,在图11的例中,将高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态(参照图3)设定为纵轴(挥杆速度的轴),将高尔夫挥杆的静止状态下的方向(身体的倾斜程度:参照图4)设定为横轴(姿势的轴)。
基于高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态、和高尔夫挥杆的静止状态下的方向(身体的倾斜程度)的观点,原点是与模板动态图像(在模板动态图像显示区域81显示能够确定模板动态图像的信息)一致的点。距原点位于靠近横方向(左右方向)的距离内的程度在高尔夫挥杆的静止状态下的方向(身体的倾斜程度)的观点下表示接近(类似)模板动态图像的情况。另一方面,距原点位于靠近纵方向(上下方向)的距离内的程度在高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态的观点下表示接近(类似)模板动态图像的情况。
例如,在表示再生对象动态图像的多个候补的缩略图图像(以下称为“候补图像”)g1至g6中,由于候补图像g2(与g2对应的动态图像)最靠近原点,因此可知在高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态、和高尔夫挥杆的静止状态下的方向(身体的倾斜程度)的观点下,最接近(最类似于)模板动态图像。更具体而言,候补图像g2(与g2对应的动态图像)的纵轴方向的坐标大致为0,因此可知在高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态的观点下,与模板动态图像一致。
相对于此,由于候补图像g3或g6(与g3或g6对应的动态图像)距原点的距离较远,因此可知在高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态、和高尔夫挥杆的静止状态下的方向(身体的倾斜程度)的观点下,背离(不类似)了模板动态图像。
用户从这种分类结果图像中的显示在再生对象动态图像候补2轴显示区域82上的多个候补图像g1至g6之中,能够选择期望的1个作为再生对象动态图像。
此时,用户只要进行基于距原点的距离进行选择这样简单的操作,就能够恰当地选择与模板动态图像类似的再生对象动态图像的候补(能够确定再生对象动态图像的信息)作为再生对象动态图像。并且,用户在高尔夫挥杆动作的速度(位置的变化状态)或速度的变化状态、和高尔夫挥杆的静止状态下的方向(身体的倾斜程度)的观点中,若想要使前者优先就关注距原点的纵轴的距离,若想要使后者优先就关注距原点的横轴的距离,由此进行选择,从而能够进行视觉上直观的选择操作。
以上,作为本发明的实施方式,以第1至第3实施方式的顺序单独进行了说明。
另外,本发明并不限于上述的第1至第3实施方式,能够达成本发明的目的的范围内的变形、改良等均包含在本发明中。
例如,具有以下的功能的图像处理装置也包含在本发明中。
图像处理装置能够具备基于多个动态图像中每个动态图像所反映的被摄体的运动的类似性,从多个动态图像之中确定成为规定处理对象的动态图像的确定功能。
在此,作为规定处理,可以采用任意的处理,例如,可以采用按照基于与基准动态图像之间的类似度的顺序对多个动态图像进行分类的处理。
即,此时,图像处理装置的确定功能包括如下功能:确定成为基准的基准动态图像(例如模板动态图像),基于该基准动态图像反映的被摄体的运动、与多个动态图像中每个动态图像反映的被摄体的运动之间的类似性,从多个动态图像之中,确定基于类似度的规定处理,更具体而言是确定成为分类处理的对象的动态图像。
由此,在同时再生比较对象的动态图像和比较对手的动态图像时,基于比较对象的动态图像的多个候补反映的被摄体的运动的类似性来确定多个候补并对其进行分类,因此用户能够容易选择与比较对手的动态图像(模板动态图像等基准动态图像)类似的图像。
即,从拍摄了进行运动的被摄体的多个动态图像之中,能够容易选择成为比较等规定处理对象的动态图像。
在图像处理装置中,规定的比较观点能够包含关于被摄体的动作速度、动作方向、动作定时、动作位置以及动作状态中的多个观点。
规定的比较观点中,作为在被摄体的一系列动作中被分析的各种信息,可以包括多个动作定时的位置、角度、方向、距离、速度中的任一个变化状态的观点。
在规定的比较观点中,作为在被摄体的一系列动作中被分析的各种信息,也可以包括特定的动作定时的被摄体的状态的观点。在此,被摄体的状态可以包括关于所述被摄体的位置、角度、方向、或距离。
由此,根据关于被摄体的动作的各种观点,能够求出多个动态图像中每个动态图像反映的被摄体的运动的类似性。
在图像处理装置中,作为规定的比较观点而存在多种观点,确定功能能够从多个种类中选择1个以上的种类作为规定的比较观点。
在此,在能够选择的所述多种比较观点中,作为在被摄体的一系列动作中被分析的各种信息,可以包括多个动作定时的位置、角度、方向、距离、速度中的任一个变化状态的观点,作为在被摄体的一系列动作中被分析的各种信息,可以包括特定的动作定时的被摄体的状态的观点,或作为在被摄体的静止状态下分析的各种信息,可以包括静止状态下的状态的观点中的多个观点。另外,特定的动作定时的被摄体的状态以及被摄体的静止状态下的状态也可以包括关于被摄体的位置、角度、方向、或距离。
由此,基于关于被摄体动作的各种观点,能够求出多个动态图像中每个动态图像反映的被摄体运动的类似性。特别是,能够通过用户进行的操作进行该选择,从而可基于用户的期望的观点,求出多个动态图像中每个动态图像反映的被摄体运动的类似性。其结果,用户能够在期望的观点下容易选择与比较对手的动态图像(模板动态图像等基准动态图像)类似的图像。
图像处理装置中的确定功能能够包括如下功能:按多个动态图像中的每个动态图像,根据规定的单位图像检测被摄体,并进一步分析该被摄体的运动,基于按多个动态图像中的每个动态图像分析出的被摄体的运动的类似性,从多个动态图像之中确定成为规定处理的对象的动态图像。
由此,基于恰当的分析结果,能够求出按多个动态图像中的每个动态图像分析出的被摄体的运动的类似性。其结果,用户能够选择恰当的图像作为与比较对手的动态图像(模板动态图像等基准动态图像)类似的图像。
图像处理装置中的确定功能还能够包括如下功能:将多个动态图像反映的被摄体所进行的共同的特定动作作为对象,并进一步分析该特定动作中的一系列动作的流程,基于该分析结果,计算出多个动态图像中每个动态图像反映的被摄体的运动的类似性。
由此,基于一系列动作的恰当的分析结果,能够求出按多个动态图像中每个动态图像分析出的被摄体的运动的类似性。其结果,用户能够选择恰当的图像作为与比较对手的动态图像(模板动态图像等基准动态图像)类似的图像。
图像处理装置中的确定功能能够包括如下功能:对一系列动作流程中的多个检验点进行规定比较观点下的比较,从而能够计算出多个动态图像中每个动态图像反映的被摄体的运动的类似性。
由此,关于被摄体的一系列动作中重要的点等,能够细致地求出多个动态图像中每个动态图像反映的被摄体的运动的类似性。其结果,起到用户能够在重要的点容易选择与比较对手的动态图像(模板动态图像等基准动态图像)类似的图像的效果。
在此,例如,特定动作是高尔夫挥杆动作,对上挥杆(backswing)至送球(followswing)为止的一系列动作流程中的包括顶点、击球、送球(follow)在内的多个检验点进行规定的比较观点下的比较,从而能够使上述效果更佳显著。
此外,也可以针对多个检验点中的每个检验点,将规定的比较观点下的比较结果数值化,对各个数值附加规定的权重,从而计算出多个动态图像中每个动态图像反映的被摄体的运动的类似性。
由此,根据多个点的各重要度,能够适当地求出多个动态图像中每个动态图像反映的被摄体的运动整体的类似性。其结果,用户针对一系列动作能够容易且适当地选择与比较对手的动态图像(模板动态图像等基准动态图像)类似的图像。
图像处理装置能够具备执行规定处理的执行功能、和执行显示表示执行单元的执行结果的图像的控制的显示控制功能。
由此,用户能够通过图像来容易地视觉上辨认执行单元的执行结果。在此,例如,若规定处理是上述的分类处理,则显示表示结果的分类结果图像。用户通过视觉辨认该分类结果图像,从而能够更容易选择与比较对手的动态图像(模板动态图像等基准动态图像)类似的图像
图像处理装置中的执行功能能够包括如下的功能:构筑由与多个观点中的每个观点对应的多个轴构成的空间,基于多个动态图像中每个动态图像反映的被摄体的运动的类似性,在空间上分布多个动态图像,从而对多个动态图像进行分类,显示控制功能能够包括执行对表示分布于空间的多个动态图像的样子的图像进行显示的控制的功能。
由此,对于与比较对手的动态图像(模板动态图像等基准动态图像)类似的图像,用户能够容易且直观地在多个比较观点中每个观点的一方面(选择在该观点下类似但在其他观点下不类似的图像等)、和整体的一方面(选择整体类似的图像等)这样的多方面进行选择。
此时,执行功能还能够选择分配给多个轴的观点。通过用户操作接受该选择,从而由用户向期望的轴分配期望的比较观点,因此用户能够更容易且恰当地选择与比较对手的动态图像(模板动态图像等基准动态图像)类似的图像。
此外,执行功能能够包括如下的功能:
构筑与基准动态图像对应的位置成为原点的空间,基于多个动态图像中每个动态图像反映的被摄体的运动与基准动态图像的类似性,决定多个动态图像中每个动态图像的配置位置,在各个配置位置上使多个动态图像分布,从而对多个动态图像进行分类。
由此,用户能够根据原点到动态图像的配置位置为止的距离,能够直观且直接地视觉辨认关于该动态图像的与比较对手的动态图像(模板动态图像等基准动态图像)的类似度。因此,用户能够更容易且恰当地选择与比较对手的动态图像(模板动态图像等基准动态图像)类似的图像。
图像处理装置还具备获取用于同步再生的多个动态图像的数据的获取功能,显示控制功能具有同步再生多个动态图像来在画面上排列显示这些多个动态图像的功能。
由此,用户能够同时观看且比较比较对象的动态图像(再生对象的动态图像)和比较对手的动态图像(模板动态图像等基准动态图像),同时进行视觉辨认。
此外,在上述的实施方式中,以数码相机为例说明适用本发明的图像处理装置1,但并不特别限于此。
例如,本发明能够普遍地适用于具有显示控制功能的电子设备中。具体而言,例如,本发明能够适用于笔记本型个人计算机、打印机、电视接收机、摄像机、便携式导航装置、移动电话、智能手机、便携式游戏机等。
上述的一系列处理可通过硬件来执行,也可通过软件来执行。
换言之,图2的功能性结构仅仅是例示,并没有特别限制。即,只要图像处理装置1具备能够整体执行上述的一系列处理的功能即可,为了实现该功能而使用什么样的功能模块并不特别限于图2的例。
此外,1个功能模块可以由硬件单体构成,也可以由软件单体构成,也可以是它们的组合。
想在通过软件执行一系列处理的情况下,构成该软件的程序上从网络或记录介质安装到计算机等。
计算机也可以是组装到专用硬件中的计算机。此外,计算机也可以是通过安装各种程序来执行各种功能的计算机,例如通用的个人计算机。
包括这种程序的记录介质除了由为了向用户提供程序而与装置主体分开配置的图1的可移动介质31构成外,还可以由以预先组装到装置主体的状态提供给用户的记录介质等构成。可移动介质31例如由磁盘(包括软盘)、光盘、或光磁盘等构成。光盘例如由CD—ROM(Compact Disk —Read Only Memory),DVD(Digital Versatile Disk)等构成。光磁盘由MD(Mini—Disk)等构成。此外,以预先组装到装置主体的状态提供给用户的记录介质例如由记录了程序的图1的ROM12、图1的存储部19所包含的硬盘等构成。
另外,在本说明书中,记述记录在记录介质中的程序的步骤当然包括沿着其顺序以时间序列的方式进行的处理,但不需要一定是以时间序列的方式进行的处理,还包括并列或单独执行的处理。
以上,说明了本发明的几个实施方式,这些实施方式仅仅是例示,并不限定本发明的技术范围。本发明能够取其他各种实施方式,并且在不超出本发明的宗旨的范围内,能够进行省略或置换等各种变更。这些实施方式或其变形也包含在本说明书等中记载的发明范围或宗旨内,包含在权利要求书记载的发明及其均等的范围内。
Claims (21)
1.一种图像处理装置,具备存储部、CPU和输出部,该图像处理装置的特征在于,
所述存储部存储多个动态图像数据,
所述CPU,确定作为基准的基准动态图像,判断所确定的该基准动态图像反映的被摄体的运动、与存储在所述存储部中的所述基准动态图像以外的多个动态图像数据的每一个数据反映的被摄体的运动的类似性,根据所判断出的与所述基准动态图像的类似性,决定所述多个动态图像数据的与相对于所述基准动态图像的类似度的高低相关的顺序,
所述输出部,对表示所决定的所述基准动态图像以外的多个动态图像的顺序的信息进行显示。
2.根据权利要求1所述的图像处理装置,其特征在于,
根据所判断的与所述基准动态图像的类似性,从所述多个动态图像数据之中选择所决定的各个顺序所对应的动态图像数据,按照所决定的顺序对表示所选择的各个动态图像数据的信息进行一览显示。
3.根据权利要求2所述的图像处理装置,其特征在于,
按照所决定的顺序对所述多个动态图像数据进行排序,对该排序的结果的信息进行一览显示。
4.根据权利要求1所述的图像处理装置,其特征在于,
判断规定的比较观点下的、所述多个动态图像中每个动态图像反映的被摄体的运动的类似性。
5.根据权利要求4所述的图像处理装置,其特征在于,
所述规定的比较观点包括关于被摄体的动作速度、动作方向、动作定时、动作位置以及动作状态中的多个观点。
6.根据权利要求5所述的图像处理装置,其特征在于,
所述规定的比较观点包括作为在被摄体的一系列动作中被分析的各种信息的、多个动作定时下的位置、角度、方向、距离、速度中的任一个变化状态的观点。
7.根据权利要求5所述的图像处理装置,其特征在于,
所述规定的比较观点包括作为被摄体的一系列动作中被分析的各种信息的特定的动作定时下的被摄体的状态的观点。
8.根据权利要求7所述的图像处理装置,其特征在于,
所述被摄体的状态包括关于所述被摄体的位置、角度、方向或距离。
9.根据权利要求5所述的图像处理装置,其特征在于,
作为所述规定的比较观点存在多个种类,
从所述多个种类中选择1个以上的种类作为所述规定的比较观点。
10.根据权利要求7所述的图像处理装置,其特征在于,
能够选择的所述多个种类的比较观点包括作为在被摄体的一系列动作中被分析的各种信息的多个动作定时下的位置、角度、方向、距离、速度中的任一个变化状态的观点、作为在被摄体的一系列动作中被分析的各种信息的特定的动作定时下的被摄体的状态的观点、或作为在被摄体的静止状态下被分析的各种信息的静止状态下的状态的观点中的多个观点。
11.根据权利要求10所述的图像处理装置,其特征在于,
所述特定的动作定时下的所述被摄体的状态以及所述被摄体的静止状态下的状态包括关于所述被摄体的位置、角度、方向或距离。
12.根据权利要求1所述的图像处理装置,其特征在于,
所述CPU还对所述多个动态图像中的每一个动态图像,根据规定的单位图像检测被摄体,并执行对该被摄体的运动进行分析的分析处理,
判断对所述多个动态图像中的每一个动态图像分析的所述被摄体的运动的类似性。
13.根据权利要求12所述的图像处理装置,其特征在于,
以所述多个动态图像反映的被摄体进行的共同的特定动作作为对象,分析该特定动作中的一系列动作的流程,
基于分析结果,计算出所述多个动态图像中每个动态图像反映的被摄体的运动的类似度。
14.根据权利要求13所述的图像处理装置,其特征在于,
通过针对所述一系列动作的流程中的多个检验点进行规定的比较观点下的比较,来计算出所述多个动态图像中每个动态图像反映的被摄体的运动的类似度。
15.根据权利要求14所述的图像处理装置,其特征在于,
所述特定动作是高尔夫挥杆动作,
对从上挥杆到送球为止的一系列动作的流程中的包括顶点、击球、送球在内的所述多个检验点进行所述规定的比较观点下的比较。
16.根据权利要求14所述的图像处理装置,其特征在于,
通过针对所述多个检验点中的每个检验点,将所述规定的比较观点下的比较结果数值化并对各个数值追加规定的权重,来计算出所述多个动态图像中每个动态图像反映的被摄体的运动的类似度。
17.根据权利要求1所述的图像处理装置,其特征在于,
构筑与所述基准动态图像对应的位置成为原点的空间,基于多个动态图像中每个动态图像反映的被摄体的运动相对于所述基准动态图像的类似性,决定所述多个动态图像中每个动态图像的配置位置,使所述多个动态图像分布在各个配置位置上,从而对所述多个动态图像进行分类。
18.根据权利要求1所述的图像处理装置,其特征在于,
所述CPU还执行获取用于同步再生的多个动态图像的数据的获取处理,
所述输出部同步再生所述多个动态图像,在画面上排列显示所述多个动态图像。
19.一种图像处理装置,具备存储部、CPU和输出部,该图像处理装置的特征在于,
所述存储部存储多个动态图像数据,
所述CPU执行:确定作为基准的基准动态图像,判断所确定的该基准动态图像反映的被摄体的运动与存储在所述存储部中的多个动态图像数据的每一个数据反映的被摄体的运动的类似性的判断处理;根据通过所述判断处理判断出的类似性,从所述多个动态图像数据之中选择特定的动态图像数据的选择处理,
所述输出部输出所述选择处理的选择结果的信息,
所述判断处理判断规定的比较观点下的、所述多个动态图像中每个动态图像反映的被摄体的运动的类似性,
所述规定的比较观点包括关于被摄体的动作速度、动作方向、动作定时、动作位置以及动作状态中的多个观点,
所述选择处理构筑由与所述多个观点中的每一个观点对应的多个轴构成的空间,基于所述多个动态图像中每个动态图像反映的被摄体的运动的类似性,使所述多个动态图像分布在所述空间上,从而对所述多个动态图像进行分类,
所述输出部输出表示分布于所述空间的所述多个动态图像的样子的图像。
20.根据权利要求19所述的图像处理装置,其特征在于,
所述选择处理还选择分配给所述多个轴的观点。
21.一种图像处理方法,包括:
确定作为基准的基准动态图像,判断所确定的该基准动态图像反映的被摄体的运动、与所述基准动态图像以外的多个动态图像数据中的每个数据反映的被摄体的运动的类似性;
根据所判断出的与所述基准动态图像的类似性,决定所述多个动态图像数据的与相对于所述基准动态图像的类似度的高低相关的顺序;和
对表示所决定的所述基准动态图像以外的多个动态图像的顺序的信息进行显示。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-207064 | 2012-09-20 | ||
JP2012207064A JP5794215B2 (ja) | 2012-09-20 | 2012-09-20 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103685862A CN103685862A (zh) | 2014-03-26 |
CN103685862B true CN103685862B (zh) | 2017-09-08 |
Family
ID=50274516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310429419.4A Active CN103685862B (zh) | 2012-09-20 | 2013-09-18 | 图像处理装置、图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9324158B2 (zh) |
JP (1) | JP5794215B2 (zh) |
KR (1) | KR101558659B1 (zh) |
CN (1) | CN103685862B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6384549B2 (ja) | 2014-10-10 | 2018-09-05 | 富士通株式会社 | スキル判定プログラム、スキル判定方法およびスキル判定装置 |
JP6939939B2 (ja) * | 2015-09-29 | 2021-09-22 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP6165815B2 (ja) * | 2015-09-30 | 2017-07-19 | 国立大学法人 筑波大学 | 学習システム、学習方法、プログラム、記録媒体 |
US10814202B2 (en) | 2016-07-05 | 2020-10-27 | Sony Corporation | Information processing device, sensor device, and information processing system |
JP7005970B2 (ja) * | 2017-07-07 | 2022-01-24 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
US11277556B2 (en) * | 2019-04-01 | 2022-03-15 | Jvckenwood Corporation | Control device for automatic tracking camera |
KR102357117B1 (ko) * | 2020-01-09 | 2022-01-27 | 주식회사 엘지유플러스 | 다중 영상 재생 방법 및 장치 |
US12008839B2 (en) | 2021-05-28 | 2024-06-11 | Sportsbox.ai Inc. | Golf club and other object fitting using quantitative biomechanical-based analysis |
US11640725B2 (en) | 2021-05-28 | 2023-05-02 | Sportsbox.ai Inc. | Quantitative, biomechanical-based analysis with outcomes and context |
USD1035721S1 (en) * | 2022-04-20 | 2024-07-16 | Sportsbox.ai Inc. | Display screen with transitional graphical user interface |
USD1036464S1 (en) * | 2022-04-20 | 2024-07-23 | Sportsbox.ai Inc. | Display screen with transitional graphical user interface |
USD1035720S1 (en) * | 2022-04-20 | 2024-07-16 | Sportsbox.ai Inc. | Display screen with transitional graphical user interface |
WO2024062882A1 (ja) * | 2022-09-20 | 2024-03-28 | 株式会社Ollo | プログラム、情報処理方法、及び情報処理装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002346012A (ja) * | 2001-05-23 | 2002-12-03 | Konami Sports Corp | トレーナーサポートシステム、トレーナーサポート方法、及びプログラム |
US6514081B1 (en) * | 1999-08-06 | 2003-02-04 | Jeffrey L. Mengoli | Method and apparatus for automating motion analysis |
CN201349264Y (zh) * | 2008-12-30 | 2009-11-18 | 深圳市同洲电子股份有限公司 | 一种运动图像处理装置和*** |
JP2010127639A (ja) * | 2008-11-25 | 2010-06-10 | Casio Computer Co Ltd | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5111410A (en) * | 1989-06-23 | 1992-05-05 | Kabushiki Kaisha Oh-Yoh Keisoku Kenkyusho | Motion analyzing/advising system |
JP3579909B2 (ja) * | 1993-11-01 | 2004-10-20 | 松下電器産業株式会社 | フォーム練習装置 |
US7266771B1 (en) * | 2000-04-21 | 2007-09-04 | Vulcan Patents Llc | Video stream representation and navigation using inherent data |
US20020064764A1 (en) * | 2000-11-29 | 2002-05-30 | Fishman Lewis R. | Multimedia analysis system and method of use therefor |
US6431990B1 (en) * | 2001-01-19 | 2002-08-13 | Callaway Golf Company | System and method for measuring a golfer's ball striking parameters |
JP2003117045A (ja) | 2001-10-18 | 2003-04-22 | Takasago Electric Ind Co Ltd | スイングフォーム診断装置 |
US7227893B1 (en) * | 2002-08-22 | 2007-06-05 | Xlabs Holdings, Llc | Application-specific object-based segmentation and recognition system |
JP2004134891A (ja) | 2002-10-08 | 2004-04-30 | Canon Inc | 画像処理装置 |
JP4494837B2 (ja) * | 2003-12-26 | 2010-06-30 | Sriスポーツ株式会社 | ゴルフスウィング診断システム |
US7744480B2 (en) * | 2004-01-20 | 2010-06-29 | Acushnet Company | One camera club monitor |
JP2006181014A (ja) | 2004-12-27 | 2006-07-13 | Fuji Photo Film Co Ltd | 画像解析装置および動作修正システム |
US7936945B2 (en) * | 2006-12-18 | 2011-05-03 | Nokia Corporation | System, method, device, and computer program product for providing image correction |
JP4979070B2 (ja) | 2007-03-28 | 2012-07-18 | Kddi株式会社 | 動画像提示システム |
JP2008287177A (ja) | 2007-05-21 | 2008-11-27 | Ricoh Co Ltd | 画像形成装置 |
JP2009200713A (ja) | 2008-02-20 | 2009-09-03 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
JP2009226094A (ja) * | 2008-03-25 | 2009-10-08 | Brother Ind Ltd | 運動支援装置及び運動支援システム |
JP2015037435A (ja) * | 2008-04-25 | 2015-02-26 | 横浜ゴム株式会社 | ゴルフクラブの選定方法およびゴルフクラブ |
US20110060738A1 (en) * | 2009-09-08 | 2011-03-10 | Apple Inc. | Media item clustering based on similarity data |
JP2011146799A (ja) * | 2010-01-12 | 2011-07-28 | Brother Industries Ltd | 画像処理装置及び画像処理プログラム |
JP4930615B2 (ja) * | 2010-03-19 | 2012-05-16 | ブラザー工業株式会社 | 出力装置及びプログラム |
JP5240317B2 (ja) | 2011-04-28 | 2013-07-17 | カシオ計算機株式会社 | ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラム |
JP5941752B2 (ja) * | 2012-05-22 | 2016-06-29 | ブリヂストンスポーツ株式会社 | 解析システムおよび解析方法 |
-
2012
- 2012-09-20 JP JP2012207064A patent/JP5794215B2/ja active Active
-
2013
- 2013-09-16 US US14/028,272 patent/US9324158B2/en active Active
- 2013-09-17 KR KR1020130111852A patent/KR101558659B1/ko active IP Right Grant
- 2013-09-18 CN CN201310429419.4A patent/CN103685862B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6514081B1 (en) * | 1999-08-06 | 2003-02-04 | Jeffrey L. Mengoli | Method and apparatus for automating motion analysis |
JP2002346012A (ja) * | 2001-05-23 | 2002-12-03 | Konami Sports Corp | トレーナーサポートシステム、トレーナーサポート方法、及びプログラム |
JP2010127639A (ja) * | 2008-11-25 | 2010-06-10 | Casio Computer Co Ltd | 画像処理装置、画像処理方法、及びプログラム |
CN201349264Y (zh) * | 2008-12-30 | 2009-11-18 | 深圳市同洲电子股份有限公司 | 一种运动图像处理装置和*** |
Also Published As
Publication number | Publication date |
---|---|
KR101558659B1 (ko) | 2015-10-07 |
JP2014064110A (ja) | 2014-04-10 |
US9324158B2 (en) | 2016-04-26 |
CN103685862A (zh) | 2014-03-26 |
US20140079290A1 (en) | 2014-03-20 |
KR20140043665A (ko) | 2014-04-10 |
JP5794215B2 (ja) | 2015-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103685862B (zh) | 图像处理装置、图像处理方法 | |
CN105450911B (zh) | 图像处理装置、图像处理方法 | |
US8824802B2 (en) | Method and system for gesture recognition | |
CN103888643B (zh) | 信息报知装置、信息报知方法以及记录介质 | |
CN103581522B (zh) | 信息通知装置以及信息通知方法 | |
CN103688275A (zh) | 分析体育运动的视频的方法 | |
CN103327234B (zh) | 图像处理装置、以及图像处理方法 | |
CN103327235B (zh) | 图像处理装置以及图像处理方法 | |
JP4784538B2 (ja) | ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラム | |
CN112818843B (zh) | 基于通道注意力导向时间建模的视频行为识别方法及*** | |
CN103916586B (zh) | 图像解析装置以及图像解析方法 | |
Lavinia et al. | Fusion based deep CNN for improved large-scale image action recognition | |
JP5928386B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
TWI764240B (zh) | 智慧型影片編輯方法及系統 | |
CN102047652A (zh) | 摄像装置、集成电路、摄像方法、程序及记录介质 | |
CN104065872B (zh) | 运动图像提取装置、运动图像提取方法和记录介质 | |
CN102739957A (zh) | 能够确定被摄体的运动的图像处理装置及图像处理方法 | |
JP5799441B2 (ja) | ゴルフコンテンツ提供装置及びこれを用いるゴルフコンテンツ提供システム、仮想ゴルフシミュレーション装置、ゴルフコンテンツ提供方法及び仮想ゴルフシミュレーション方法 | |
CN103685931A (zh) | 信息生成装置以及信息生成方法 | |
CN103914700B (zh) | 显示控制装置、显示控制方法以及记录介质 | |
CN108810398B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
CN103578102A (zh) | 被摄体检测装置及被摄体检测方法 | |
JP5240317B2 (ja) | ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラム | |
JP6567891B2 (ja) | プログラム及び方法 | |
WO2023047542A1 (ja) | 学習装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |