CN103327234B - 图像处理装置、以及图像处理方法 - Google Patents
图像处理装置、以及图像处理方法 Download PDFInfo
- Publication number
- CN103327234B CN103327234B CN201310090849.8A CN201310090849A CN103327234B CN 103327234 B CN103327234 B CN 103327234B CN 201310090849 A CN201310090849 A CN 201310090849A CN 103327234 B CN103327234 B CN 103327234B
- Authority
- CN
- China
- Prior art keywords
- image
- action
- composograph
- unit
- series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 21
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000009471 action Effects 0.000 claims abstract description 121
- 238000012546 transfer Methods 0.000 claims description 7
- 230000033228 biological regulation Effects 0.000 abstract description 17
- 230000000875 corresponding effect Effects 0.000 description 39
- 238000000034 method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 24
- 230000015572 biosynthetic process Effects 0.000 description 15
- 238000003786 synthesis reaction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像处理装置。摄像装置(1)具有图像取得部(71)、图像确定部(72)、图像选择部(73)、以及合成图像生成部(74)。图像取得部(71)取得表示被摄物的一系列动作的多个图像的数据。图像确定部(72)根据由图像取得部(71)所取得的多个图像，确定被摄物的一系列动作中的部分动作。图像选择部(73)基于由图像确定部(72)的确定结果，从多个图像的数据中选择多个与规定的部分动作对应的图像的数据。合成图像生成部(74)根据图像选择部(73)所选择出的多个图像的数据生成一个合成图像。
Description
技术领域
本发明涉及生成合成图像的图像处理装置以及图像处理方法。
背景技术
以往，能够事后确认反映在由数码相机等摄像装置所拍摄的运动图像中的被摄物的动作。例如，在高尔夫球等体育运动中，将挥杆动作记录为运动图像，并能够进行挥杆(swing)的确认。
作为这种挥杆姿势的确认技术，公知有专利文献1所记载的技术。在日本专利特开平11-98450号公报记载的技术是使高尔夫球头的一系列挥杆动作合成显示为一张静止图像的技术。
但是，在上述的专利文献1所记载的技术中，因为使高尔夫球头的一系列的挥杆动作合成显示为一张静止图像，所以各挥杆动作(水平挥杆、击中前后的挥杆、随球挥杆等)的轨迹重叠，存在难于把握哪部分与哪个挥杆的动作对应的忧虑。
发明内容
本发明是鉴于这样的状况而完成的，其目的是能够易于把握被摄物的动作。
用于解决技术问题的手段
本发明一个形态的图像处理装置，其特征在于，具有：图像取得部，取得表示被摄物的一系列动作的多个图像的数据；图像确定部，根据由所述图像取得部取得的所述多个图像，确定所述被摄物的一系列动作中的规定的部分动作；图像选择部，基于所述图像确定部的确定结果，从所述多个图像中，选择多个与规定的部分动作对应的多个图像；以及合成图像生成单元，根据由所述图像选择部选择出的多个图像，生成一个合成图像。
本发明一个形态的图像处理方法，是图像处理装置执行的图像处理方法，其特征在于，具有：图像取得步骤，取得表示被摄物的一系列动作的多个图像；图像确定步骤，根据由所述图像取得步骤所取得的所述多个图像，确定所述被摄物的一系列动作中的规定的部分动作；图像选择步骤，基于所述图像确定步骤的确定结果，从所述多个图像中，选择多个与规定的部分动作对应的多个图像；以及合成图像生成步骤，根据由所述图像选择步骤选择出的多个图像，生成一个合成图像。
附图说明
图1是表示本发明的图像处理装置的一个实施方式涉及的摄像装置的硬件结构的框图。
图2是表示在图1的摄像装置的功能的结构中用于执行合成图像生成处理的功能结构的功能框图。
图3是表示由合成图像生成处理所生成的全合成图像的一个例子的示意图。
图4是表示部分合成图像的显示的一个例子的示意图。
图5是表示摄像装置的输出部所显示的部分合成图像的选择画面的一个例子的图。
图6是对具有图2的功能结构的图3的摄像装置所执行的合成图像生成处理的流程进行说明的流程图。
具体实施方式
以下，对于本发明的实施方式，使用附图进行说明。
图1是表示本发明的图像处理装置的一个实施方式涉及的摄像装置的硬件结构的框图。
摄像装置1例如构成为数码摄像机。
摄像装置1具有CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、图像处理部14、总线15、输入输出接口16、摄像部17、输入部18、输出部19、存储部20、通信部21、以及驱动器22。
CPU11根据ROM12所记录的程序、或从存储部20向RAM13加载的程序来执行各种处理。
RAM13中也适宜地存储CPU11执行各种处理所需要的数据等。
CPU11、ROM12、RAM13以及图像处理部14通过总线15被相互连接着。在该总线15上也连接有输入输出接口16。在输入输出接口16连接有摄像部17、输入部18、输出部19、存储部20、通信部21、以及驱动器22。
摄像部17虽然并未图示，但具有光学透镜部、和图像传感器。
光学透镜部用于拍摄被摄物，由聚集光的透镜、例如对焦透镜和变焦透镜等构成。
对焦透镜是在图像传感器的受光面使被摄物像成像的透镜。变焦透镜是在一定的范围内使焦点距离自由地变化的透镜。
另外，在光学透镜部根据需要设置有对焦点、曝光、白平衡等的设定参数进行调整的周边电路。
图像传感器由光电变换元件或AFE(Analog Front End：模拟前置电路)等构成。
光电变换元件例如由CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)型的光电变换元件等构成。从光学透镜部向光电变换元件入射被摄物像。在此，光电变换元件对被摄物像进行光电变换(摄像)并蓄积一定时间的图像信号，将蓄积的图像信号作为模拟信号顺次提供给AFE。
AFE对该模拟的图像信号执行A/D(Analog/Digital：模/数)变换处理等的各种信号处理。通过各种信号处理生成数字信号，并作为摄像部17的输出信号而被输出。
以下将这样的摄像部17的输出信号称为“摄像图像的数据”。摄像图像的数据被适宜地供给到CPU11和图像处理部14等。
输入部18由各种按钮等构成，按照用户的指示操作输入各种信息。
输出部19由显示器和扬声器等构成，输出图像和声音。
存储部20由硬盘或DRAM(Dynamic Random Access Memory：动态随机存取存储器)等构成，存储各种图像的数据。
通信部21经由包括互联网在内的网络来控制与其他装置(未图示)之间进行的通信。
驱动器22适宜地安装由磁盘、光盘、光磁盘、或者半导体存储器等构成的可移动介质31。根据需要将由驱动器22从可移动介质31读出的程序安装到存储部20。另外，可移动介质31可与存储部20同样地存储由存储部20所存储的图像的数据等的各种数据。
图2是表示在图1的摄像装置的功能结构中用于执行合成图像生成处理的功能结构的功能框图。
所谓合成图像生成处理是指基于所取得的运动图像的数据，对该运动图像进行分析，来确定照入到该运动图像的被摄物的动作，合成与确定后的动作对应的静止图像(后述的全合成图像和后述的部分合成图像)并进行显示等的一系列处理。
在本实施方式中，摄像装置1对将进行高尔夫球的挥杆的对象作为被摄物来进行拍摄的例子进行说明。
另外，在本实施方式中，将被拍摄的被摄物的动作确定为一系列动作(以下，也称为“全体动作”)、和构成一系列动作的部分动作(以下，称为“部分动作”)。
即，在拍摄高尔夫球的挥杆而生成合成图像的本实施方式中，全体动作是挥杆的一系列动作，部分动作构成挥杆的各动作(例如，瞄准挥杆、向后引棒、高举、水平挥杆、击中、随球挥杆、结束)。
在执行合成图像生成处理时，如图2所示，在CPU11中，摄像控制部51、和输出控制部52发挥作用，在图像处理部14中，图像取得部71、图像确定部72、图像选择部73、以及合成图像生成部74发挥作用。
但是，图2仅是例示，也可以将CPU11的功能的至少一部分移交给图像处理部14，相反，也可以将图像处理部14的功能的至少一部分移交给CPU11。
这种情况下，可以使用作为存储部20的一个区域而被设置的取得图像存储部91、以及合成图像存储部92。
在取得图像存储部91存储有从摄像部17输出并由图像取得部71所取得的摄像图像的数据。
在合成图像存储部92存储有从合成图像生成部74输出的合成图像的数据。
摄像控制部51设定各种拍摄条件，对控制部17的摄像的动作进行控制。
在本实施方式中，为了拍摄被摄物的动作，摄像控制部51通过摄像部17使之拍摄运动图像。
输出控制部52控制输出部19，以便将合成图像存储部92所存储的合成图像(后述的全合成图像和后述的部分合成图像)显示输出。
图像取得部71能将从摄像部17所输出的动图像的数据作为多个单一图像(静止图像)来取得，该多个单一图像是表示一系列动作的多个图像的数据。此后，图像取得部71使取得了的运动图像数据存储在取得图像存储部91。
图像确定部72对确定照入到单一图像的被摄物的动作的图像进行确定。另外，图像确定部72将确定后的动作与单一图像建立对应。详细地说，图像确定部72从取得图像存储部91取得运动图像的数据，对照入到构成该运动图像的单一图像内的被摄物的动作进行确定。并且，图像确定部72将确定后的被摄物的动作与对应的单一图像建立对应，使之存储到取得图像存储部91。在本实施方式中，图像确定部72根据人的动作、球棒的动作(特别，球棒头的动作)来确定成为全体动作的挥杆动作、和构成挥杆的动作(例如，瞄准挥杆、向后引棒、高举、水平挥杆、击中、随球挥杆、结束)。
对于确定属于被摄物的部分动作的手法，未被特别地限定，例如，也可以使用根据挥杆的时间进行判断，推定部分动作并进行确定的手法，在与成为基准的图像进行比较的过程中，也可以使用确定部分动作等的图像匹配技术的手法。另外，也可以使用如下的手法：从图像提取球棒和球棒头，根据提取到的球棒和球棒头的位置关系来确定挥杆的部分动作。
对于确定属于这样的被摄物的动作的部分动作的手法，可采用公知或今后出现的任意手法，例如可采用由日本特开2008-278386号公报、日俄本特开2009-53786号公报、日本专利第4415198号等公开的手法等。
图像选择部73基于来自输入部18的图像的合成指示选择多个被确定的单一图像。详细地说，图像选择部73基于来自输入部18的、后述的全合成图像和后述的部分合成图像的合成指示，选择构成取得图像存储部91所存储的运动图像的、与被指定的动作对应的单一图像的数据。
合成图像生成部74对由图像选择部73所选择的单一图像进行合成，并生成合成图像的数据。
合成图像生成部74在通过图像选择部73选择了与作为整体动作的挥杆的一系列动作对应的单一图像的情况下，生成将所有拍摄下挥杆的单一图像合成为1张静止图像的图像(以下，称为“全合成图像”)的数据。
另外，合成图像生成部74，在通过图像选择部73选择了与挥杆的部分动作对应的单一图像的情况下(例如，水平挥杆)，生成将所有拍摄了水平挥杆的单一图像合成为一张静止图像的图像(以下，称为“部分合成图像”)的数据。另外，在本实施方式中，部分合成图像被合成为包含有与部分动作对应的单一图像、和与部分动作在时间上位于前后的单一图像。即，在通过水平挥杆法的部分动作而生成部分合成图像的数据的情况下，合成照入了水平挥杆的前后(高举与水平挥杆之间的动作、从水平挥杆到击中之间的动作)的动作的单一图像。
另外，合成图像生成部74在生成部分合成图像时，可仅对成为动作的主体的部分(例如，球棒头和球)进行合成。即，合成图像生成部74可对将该动作最好地表现的图像的前后存在的动作部分进行合成，以使在最好地表现所选择的动作的图像上得知动作的轨迹。
通过像这样生成部分合成图像的数据，从而可不繁杂地提供可易于把握被摄物的动作的图像。
总之，合成图像生成部74通过输入部18基于全合成图像的合成指示，生成全合成图像的数据，并基于指定规定的动作的部分合成图像的合成指示生成部分合成图像的数据。
接着，对于由合成图像生成处理所生成的全合成图像的例子，参照图3进行说明。
图3是表示由合成图像生成处理所生成的全合成图像的一个例子的示意图。
在图3的例子中，根据从背后拍摄正在挥杆的对象的运动图像的数据生成全体图像的数据。
全合成图像因为由照入全部与挥杆的一系列动作对应的动作的图像构成，所以成为构成挥杆的部分动作如残像那样照入的图像。即，全合成图像在本实施方式中成为合成了有动作的被摄物(包含挥杆对象100和球棒头101、球棒长柄102的球棒等)的全部被合成的图像。
在高尔夫球的挥杆的情况下，从瞄准挥杆到完成挥杆的动作之间的、从瞄准挥杆到向后引棒、以及从高举经过水平挥杆到击中之间的球棒的动作(轨迹)大体相同。
另外，在从背后拍摄正在挥杆的对象的情况下，从瞄准挥杆到击中、以及从击中到完成挥杆的动作也沿着大体相似的轨迹。
因此，观看了全合成图像的用户虽然能捕捉到挥杆全体动作的图像，但是难于把握部分的动作与哪种情况对应。
因此，本实施方式的摄像装置1仅挑选部分的动作生成可显示的图像，作为部分合成图像。
接着，对于由合成图像生成处理所生成的部分合成图像的例子，参照图4A～4F进行说明。
图4A～4F是表示由合成图像生成处理所生成的部分合成图像的例子的示意图。
图4A～4C是表示与从挥杆对象100的背面侧拍摄了挥杆的动作时的水平挥杆、击中以及隨球挥杆对应的部分合成图像的例子的示意图。
在图4A～4C的例子中，与挥杆的动作向图像的纵深方向变化的图3的例子进行比较，容易把握挥杆的动作向挥杆对象100的平面方向变化。
另外，在图4A～4C的例子中，包含指定的动作的前后的动作来进行合成，主要仅包含球棒头101以及球103的动作来进行合成。即，挥杆对象100本身仅合成指定的动作(例如，在图4B情况下击中的动作)。通过这样合成，能够把握部分动作的流程，并能够容易地进行指定的部分动作自身的确认。
通过像这样仅对部分动作进行合成，可在描绘重复的轨迹的动作的情况下不成为繁杂的图像。
另外，图4D～4F是示出从挥杆对象100的正面侧拍摄挥杆的动作情况的水平挥杆、击中以及隨球挥杆对应的部分合成图像的例子的示意图。
图4D～4F的例子将图4A～4C对应的部分动作合成为部分合成图像。
另外，在图4D～4F的例子中，主要被构成为：主要著眼于球棒头101和球103的动作，尽量不显示球棒头101和球103以外的轨迹。即，在图4D～4F的例子中，挥杆对象100、球棒长柄102等构成为尽量仅显示规定的1个动作部分，球棒头101和球103构成为显示所有部分动作。即，在选择规定的动作的情况下，采用照入构成规定的动作的1张图像中的挥杆对象100和球棒长柄102等，关于球棒头101和球103等，采用照入所有规定动作的图像。即，挥杆对象100、球棒长柄102以及背景没有动作，关于球棒头101和球103生成具有合成多个动作的图像。
作为具体的手法，可采用各种公知的手法，例如，作为对象，在图像内能提取挥杆对象100、球棒(球棒头101、球棒长柄102)、球103，从1张图像中仅采用挥杆对象100和球棒长杆102等，根据规定的动作范围的图像可采用其他的球棒头101和球103等。
另外，在图4D～4F的例子中，以均等的间隔合成单一的图像，但不限于此，也可以与动作的速度和指定了的部分对应地变更合成的图像的间隔。
接着，参照图5对从全合成图像向部分合成图像的显示切换的一个例子进行说明。
图5是表示在摄像装置的输出部19显示的部分合成图像的选择画面的一个例子的图。
在本实施方式的摄像装置1，在全合成图像的显示后，可选择图5所示的部分图像的软件按钮B1～B3出现，在选择软件按钮B1～B3的某一个时，生成与被选择的软件按钮B1～B3对应的部分合成图像，并进行显示。
在图5的例子中，在全合成图像上显示软件按钮(“FS”按钮、“IP”按钮、“DS”按钮)。用户通过触摸操作或操作输入部18来选择某个软件按钮，摄像装置1生成与选择出的软件按钮对应的部分合成图像并进行显示。
另外，“FS”按钮是进行生成并显示与隨球的动作对应的部分合成图像的指示的软件按钮。“IP”按钮是进行生成并显示与击中的动作对应的部分合成图像的指示的软件按钮。“DS”按钮是进行生成并显示与水平挥杆的动作对应的部分合成图像的指示的软件按钮。
也可以通过触摸或选择对象来生成对应的动作的部分图像。
其次，参照图6的流程图，对具有图2的功能结构的图1的摄像装置1执行的合成图像生成处理进行说明。另外，在本例中对如下的例子进行说明，该例子为在生成全合成图像的数据并进行显示之后，生成隨球挥杆的部分合成图像的数据并进行显示。
图6是表示具有图2的功能结构的图1的摄像装置1执行的合成图像生成处理流程一个例子的流程图。
通过用户对输入部18的规定的操作，在指示合成图像生成处理的开始时，开始合成图像生成处理，执行如下的处理。
在步骤S1中，图像取得部71取得运动图像的数据，以作为表示一系列动作的多个图像的数据。详细地说，接受来自输入部18的开始摄像的输入后，摄像控制部51在摄像部17中开始拍摄。并且，图像取得部71取得由摄像部17所拍摄的运动图像的数据。另外，图像取得部71在取得图像存储部91存储所取得的运动图像的数据。
在步骤S2中，图像确定部72对运动图像的数据进行分析。即，图像确定部72对构成运动图像的单一图像的数据进行分析。通过确定照入单一图像内的被摄物的动作来进行单一图像的数据的分析。
具体地说，图像确定部72确定照入到构成运动图像的单一图像中的被摄物的动作例如属于挥杆的情况。
在步骤S3中，图像确定部72将确定结果和单一图像建立对应。详细地说，图像确定部72将表示是由步骤S2所确定的部分动作的数据、和单一图像的数据建立对应，并使之存储在取得图像存储部91中。
在步骤S4中，合成图像生成部74合成所有的单一图像，并生成全合成图像的数据。详细地说，由图像选择部73选择所有的单一图像，合成图像生成部74将被选择出的所有单一图像合成为一个静止图像，并生成全合成图像数据。
在步骤S5中，输出部19显示全合成图像。详细地说，以使由输出控制部52显示输出全合成图像的方式控制输出部19。其结果，在输出部19显示全合成图像，该全合成图像是合成如图3所示的构成运动图像的所有的单一图像而得到的。
在步骤S6中，图像选择部73选择与被指定的部分动作对应的单一图像的数据。详细地说，图像选择部73通过由用户操作输入部18，从而如图5所示在指定了部分动作的情况下，从所存储的取得图像存储部91选择由取得图像存储部91所存储的与被指定的部分动作对应的单一图像的数据。
此时，在图5示出的例子中，触摸操作“FS”的软件按钮B1，选择与该“FS”的软件按钮B1对应的隨球挥杆对应的单一图像。
在步骤S7中，合成图像生成部74合成被选择出的单一图像，生成部分合成图像的数据。详细地说，通过图像选择部73选择全部的单一图像，合成图像生成部74将被选择出的单一图像的全部合成为一个静止图像，并生成全合成图像的数据。
合成图像生成部74从取得图像存储部91取得与被选择出的隨球挥杆对应的单一图像，对与隨球挥杆对应的单一图像的全部进行合成，生成与隨球挥杆的部分动作对应的部分合成图像的数据。
这时，取得所有与被指定的隨球挥杆对应的单一图像，进而取得与隨球挥杆前后的部分动作对应的单一图像。
在步骤S8中，输出部19显示部分合成图像。详细地说，控制输出部19，以使由输出控制部52显示输出部分合成图像。其结果，在输出部19中显示如图4C所示的、对与隨球挥杆的动作对应的单一图像进行合成而得到的部分合成图像。
另外，在步骤S6中，通过变更部分动作的指定，例如通过触摸“IP”的软件按钮B2，从而作为其结果，显示如图4B所示的与击中的动作对应的部分合成图像。
通过从被摄物的正面侧进行摄像，例如能够生成如图4D所示的与水平挥杆对应的动作的部分合成图像、如图4E所示的与击中对应的动作的部分合成图像、如图4F所示的与隨球挥杆对应的动作的部分合成图像等，并进行显示。
像这样，由步骤S8的处理进行部分合成图像的显示时，结束合成图像生成处理。
执行如上的合成图像生成处理的摄像装置1具有图像取得部71、图像确定部72、图像选择部73、以及合成图像生成部74。
图像取得部71取得表示被摄物的动作的多个图像的数据。
图像确定部72根据由图像取得部71所取得的多个图像，确定构成被摄物的动作的部分动作。
图像选择部73基于图像确定部72的确定结果，从多个图像的数据中，选择与规定的部分动作对应的图像的数据。
合成图像生成部74根据图像选择部73所选择的多个图像的数据生成1个合成图像。
因此，在摄像装置1中，从基于由图像确定部72的确定结果所选择的多个图像数据中，根据与规定的部分动作对应的图像数据生成一个合成图像。
由此，在摄像装置1能够生成易于把握被摄物的动作的确定部分动作。另外，因为所生成的图像仅包含确定部分动作，所以不会成为繁杂的图像。
另外，图像选择部73除了与规定的部分动作对应的图像的数据之外，还选择与该规定的部分动作的、至少前面或至少后面的某一个动作对应的图像的数据。
因此，在摄像装置1中，仅包含与规定的部分动作对应的部分的前或后的动作来合成图像，所以成为包含到达规定的部分动作为止的轨迹或规定的部分的某个部分以后的轨迹，所以能够容易地把握部分动作的轨迹。
另外，本发明不限于上述的实施方式，能够实现本发明的目的范围内的变形改良等包含于本发明。
在上述实施方式中，图像取得部71取得由摄像装置1拍摄的包含被摄物的动作在内的多个图像作为运动图像的数据，但不限于此。被取得的图像的数据，例如只要是包含一系列动作的多个图像即可，不限于运动图像，也可以是静止图像，或者也可以不是由摄像部拍摄的图像而是从外部取得的图像。
另外，在上述实施方式中，合成图像(全合成图像以及部分合成图像)与动作的速度无关地进行合成，但不限于此。例如，合成图像也可以构成为：对于动作较慢的部分对图像进行间隔剔除后进行合成，或对于动作快的部分在捕捉到的图像与图像之间进行插补。通过这样结构，可提供容易把握部分动作的轨迹的图像。
还有，在上述实施方式中，以高尔夫球的挥杆为例作为一系列动作进行说明，但不限于此。例如，作为一系列动作，特别优选包含往复运动的动作，但不限于棒球、网球、棒球等球类运动的体育运动、或剑术和柔道等的武术动作，另外也不限于一系列的规则的规定动作。通过提取一系列的运动的一部分动作，在合成的图像中易于把握一部分动作，或图像自身不变得繁杂即可。
另外，在上述的实施方式中，适用本发明的摄像装置1以数码摄像机为例进行了说明，但不特别限定于此。
例如，本发明可通常应用于具有合成图像生成功能的电子设备。具体是，例如本发明可应用在笔记型的个人计算机、打印机、电视接收机、摄像机、便携式导航装置、移动电话、以及便携式游戏机等。
上述的一系列的处理，既能够通过硬件来执行，也能够通过软件来执行。
换言之，图2的功能结构只不过是例示，不特别限定于此。即，只要摄像装置1具备能够将上述的一系列的处理作为整体来执行的功能即可，为了实现该功能使用哪些功能块不限于图2的例子。
另外，1个功能块也可以由硬件单体构成，也可以由软件单体构成，也可以由他们的组合构成。
在由软件执行了一系列的处理的情况下，构成该软件的程序从网络或记录介质被安装到计算机等。
计算机也可以是被组装到专用硬件中的计算机。另外，计算机也可以是通过安装各种程序而可执行各种功能的计算机，例如通用的个人计算机。
包含像这样程序的记录介质为了向用户提供程序，不仅可由与装置主体分开配置的图1的可移动介质31构成，也能够以预先组装入装置主体的状态由用户提供的记录介质等构成。可移动介质31例如由磁盘(包含软盘)、光盘、或光磁盘等构成。光盘例如由CD-ROM(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)等构成。光磁盘由MD(Mini Disk)等构成。另外，以预先组装到装置主体的状态向用户提供的记录介质例如由记录有程序的图1的ROM12或包含于图1的存储部19的硬盘等构成。
另外，在本说明书中，记述记录在记录介质的程序的步骤可以是按照该顺序在时序上进行的处理，当然也未必是时序上的处理，也包含并行的或个别执行的处理。
以上，对于本发明的几个实施方式进行说明，但该实施方式只不过是例示，不是对本发明的技术范围的限定。本发明可采用其他的各种各样的实施方式，进而，在不脱离本发明的要旨的范围内，可进行省略或置换等各种各样的变更。这些实施方式或变形包含于本说明书等所记载的发明的范围和要旨，并且包含在与权利要求的范围记载的发明均等的范围。
Claims (5)
1.一种图像处理装置，其特征在于，具有：
图像取得单元，取得表示被摄物的一系列动作的多个图像；
动作选择单元，选择所述被摄物的一系列动作所包含的第一部分动作；
确定单元，根据由所述图像取得单元所取得的所述多个图像，确定所述第一部分动作；
图像选择单元，基于所述确定单元的确定结果，从所述多个图像中选择与所述第一部分动作对应的多个图像；以及
合成图像生成单元，根据由所述图像选择单元选择出的所述第一部分动作，生成一个合成图像，
所述动作选择单元选择与所述第一部分动作不同的、所述被摄物的一系列动作所包含的第二部分动作，
所述确定单元根据由所述图像取得单元所取得的所述多个图像，来确定所述第二部分动作，
所述图像选择单元基于所述确定单元的确定结果，从所述多个图像中选择与所述第二部分动作对应的多个图像，
所述合成图像生成单元根据由所述图像选择单元选择出的所述第二部分动作，生成一个合成图像。
2.如权利要求1所述的图像处理装置，其特征在于，
所述图像选择单元除了选择与所述第一部分动作及所述第二部分动作对应的图像之外，还选择与该第一部分动作及该第二部分动作的至少前面或后面的某个动作对应的图像。
3.如权利要求1所述的图像处理装置，其特征在于，
所述图像取得单元取得拍摄高尔夫球挥杆的图像，以作为所述被摄物的一系列动作。
4.如权利要求1所述的图像处理装置，其特征在于，
所述图像取得单元以运动图像取得所述多个图像。
5.一种图像处理方法，是具备输入部的图像处理装置执行的图像处理方法，
所述图像处理方法的特征在于，具有：
图像取得步骤，取得表示被摄物的一系列动作的多个图像；
动作选择步骤，选择所述被摄物的一系列动作所包含的第一部分动作；
确定步骤，根据由所述图像取得步骤取得的所述多个图像，确定所述第一部分动作；
图像选择步骤，基于所述确定步骤的确定结果，从所述多个图像中选择与所述第一部分动作对应的多个图像；以及
合成图像生成步骤，根据由所述图像选择步骤选择出的所述第一部分动作，生成一个合成图像，
所述动作选择步骤选择与所述第一部分动作不同的、所述被摄物的一系列动作所包含的第二部分动作，
所述确定步骤根据通过所述图像取得步骤所取得的所述多个图像，来确定所述第二部分动作，
所述图像选择步骤基于所述确定步骤的确定结果，从所述多个图像中选择与所述第二部分动作对应的多个图像，
所述合成图像生成步骤根据由所述图像选择步骤选择出的所述第二部分动作，生成一个合成图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012064529A JP5874476B2 (ja) | 2012-03-21 | 2012-03-21 | 画像処理装置、画像処理方法及びプログラム |
| JP2012-064529 | 2012-03-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103327234A CN103327234A (zh) | 2013-09-25 |
| CN103327234B true CN103327234B (zh) | 2016-08-31 |
Family
ID=49195741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310090849.8A Active CN103327234B (zh) | 2012-03-21 | 2013-03-21 | 图像处理装置、以及图像处理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US20130251287A1 (zh) |
| JP (1) | JP5874476B2 (zh) |
| KR (1) | KR101446641B1 (zh) |
| CN (1) | CN103327234B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6341403B2 (ja) * | 2013-02-14 | 2018-06-13 | 株式会社ユピテル | システム |
| US9706140B2 (en) | 2013-12-18 | 2017-07-11 | United Technologies Corporation | Natural resolution processing for LWIR images |
| US9832396B2 (en) | 2013-12-18 | 2017-11-28 | United Technologies Corporation | Composite image processing for LWIR images using geometric features |
| EP3322178B1 (en) * | 2015-07-10 | 2021-03-10 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device |
| CN105072342B (zh) * | 2015-08-12 | 2018-01-12 | 珠海全志科技股份有限公司 | 图像合成装置及方法 |
| JP7108856B2 (ja) | 2017-01-25 | 2022-07-29 | パナソニックＩｐマネジメント株式会社 | 運転制御システムおよび運転制御方法 |
| CN107025631A (zh) * | 2017-03-13 | 2017-08-08 | 深圳市嘉和顺信息科技有限公司 | 一种高尔夫球场图的图像处理方法、装置及设备 |
| KR102449722B1 (ko) * | 2020-10-23 | 2022-10-04 | (주)브레인키즈 | 골프 스윙궤도 추적 방법 및 장치 |
| CN112788244B (zh) * | 2021-02-09 | 2022-08-09 | 维沃移动通信（杭州）有限公司 | 拍摄方法、拍摄装置和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003117045A (ja) * | 2001-10-18 | 2003-04-22 | Takasago Electric Ind Co Ltd | スイングフォーム診断装置 |
| JP2006203443A (ja) * | 2005-01-19 | 2006-08-03 | Inc Corp | 画像合成装置及び画像合成プログラム |
| JP2008104509A (ja) * | 2006-10-23 | 2008-05-08 | Win System:Kk | ゴルフスイングフォーム撮影装置 |
| JP2010192957A (ja) * | 2009-02-16 | 2010-09-02 | Nikon Corp | 電子カメラ |
| CN102075680A (zh) * | 2009-11-20 | 2011-05-25 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04130882A (ja) * | 1990-09-21 | 1992-05-01 | Hitachi Ltd | ビデオプリンタ |
| JPH10277195A (ja) * | 1997-04-03 | 1998-10-20 | Sanyo Electric Co Ltd | 映像記録再生装置 |
| JPH1198450A (ja) | 1997-09-22 | 1999-04-09 | Sanyo Electric Co Ltd | 映像記録再生装置 |
| JP2002027398A (ja) * | 2000-07-12 | 2002-01-25 | Kodera Electronics Co Ltd | 画像記録再生装置 |
| US20020115047A1 (en) * | 2001-02-16 | 2002-08-22 | Golftec, Inc. | Method and system for marking content for physical motion analysis |
| KR20030070446A (ko) * | 2002-02-25 | 2003-08-30 | (주)버추얼미디어 | 동영상의 영상합성장치 및 그 방법 |
| JP2004164563A (ja) * | 2002-09-26 | 2004-06-10 | Toshiba Corp | 画像解析方法、画像解析装置、画像解析プログラム |
| JP4131929B2 (ja) * | 2002-12-03 | 2008-08-13 | 株式会社東芝 | オブジェクト画像合成方法 |
| JP4256289B2 (ja) * | 2004-03-26 | 2009-04-22 | Ｓｒｉスポーツ株式会社 | ゴルフスウィング診断システム |
| EP2063390B1 (en) * | 2006-09-14 | 2016-08-03 | Fujitsu Limited | Image processing device and its program |
| JP4877154B2 (ja) | 2007-08-24 | 2012-02-15 | カシオ計算機株式会社 | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
| US8696482B1 (en) * | 2010-10-05 | 2014-04-15 | Swingbyte, Inc. | Three dimensional golf swing analyzer |
| US20120243802A1 (en) * | 2011-03-25 | 2012-09-27 | William Vernon Fintel | Composite image formed from an image sequence |
-
2012
- 2012-03-21 JP JP2012064529A patent/JP5874476B2/ja active Active
-
2013
- 2013-03-18 US US13/846,812 patent/US20130251287A1/en not_active Abandoned
- 2013-03-21 CN CN201310090849.8A patent/CN103327234B/zh active Active
- 2013-03-21 KR KR1020130030241A patent/KR101446641B1/ko active IP Right Grant
-
2016
- 2016-10-27 US US15/335,474 patent/US10382704B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003117045A (ja) * | 2001-10-18 | 2003-04-22 | Takasago Electric Ind Co Ltd | スイングフォーム診断装置 |
| JP2006203443A (ja) * | 2005-01-19 | 2006-08-03 | Inc Corp | 画像合成装置及び画像合成プログラム |
| JP2008104509A (ja) * | 2006-10-23 | 2008-05-08 | Win System:Kk | ゴルフスイングフォーム撮影装置 |
| JP2010192957A (ja) * | 2009-02-16 | 2010-09-02 | Nikon Corp | 電子カメラ |
| CN102075680A (zh) * | 2009-11-20 | 2011-05-25 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10382704B2 (en) | 2019-08-13 |
| CN103327234A (zh) | 2013-09-25 |
| US20130251287A1 (en) | 2013-09-26 |
| KR20130107253A (ko) | 2013-10-01 |
| US20170048466A1 (en) | 2017-02-16 |
| JP5874476B2 (ja) | 2016-03-02 |
| JP2013198014A (ja) | 2013-09-30 |
| KR101446641B1 (ko) | 2014-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103327234B (zh) | 图像处理装置、以及图像处理方法 | |
| CN105450911B (zh) | 图像处理装置、图像处理方法 | |
| CN104065875B (zh) | 显示控制装置、显示控制方法以及记录介质 | |
| CN103731601B (zh) | 图像处理装置以及图像处理方法 | |
| CN103581522B (zh) | 信息通知装置以及信息通知方法 | |
| JP5794215B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN103327235B (zh) | 图像处理装置以及图像处理方法 | |
| CN102075682A (zh) | 图像捕获装置、图像处理装置、及其控制方法和程序 | |
| CN103888643A (zh) | 信息报知装置、信息报知方法 | |
| CN102572258A (zh) | 能再现全景图像的图像再现装置 | |
| CN103916586B (zh) | 图像解析装置以及图像解析方法 | |
| CN102739957A (zh) | 能够确定被摄体的运动的图像处理装置及图像处理方法 | |
| JP6149365B2 (ja) | 情報生成装置、情報生成方法及びプログラム | |
| CN103914700B (zh) | 显示控制装置、显示控制方法以及记录介质 | |
| CN103037156A (zh) | 图像处理装置以及图像处理方法 | |
| CN105744143B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
| CN105611119B (zh) | 图像处理装置以及图像处理方法 | |
| CN108810398A (zh) | 图像处理装置、图像处理方法以及记录介质 | |
| JP6115656B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6372176B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6075356B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5948960B2 (ja) | カメラ、画像処理装置及びプログラム | |
| JP6064404B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6418136B2 (ja) | 画像処理装置、画像選択方法及びプログラム | |
| JP6314438B2 (ja) | 表示制御装置、表示制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |