JP2011205657A - Digest image display apparatus, digest image display method, and program - Google Patents
Digest image display apparatus, digest image display method, and program Download PDFInfo
- Publication number
- JP2011205657A JP2011205657A JP2011100293A JP2011100293A JP2011205657A JP 2011205657 A JP2011205657 A JP 2011205657A JP 2011100293 A JP2011100293 A JP 2011100293A JP 2011100293 A JP2011100293 A JP 2011100293A JP 2011205657 A JP2011205657 A JP 2011205657A
- Authority
- JP
- Japan
- Prior art keywords
- digest
- unit
- video
- subject
- blur amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラムに関するものである。 The present invention relates to a digest image display device, a digest image display method, and a program.
従来、スポーツ番組等のダイジェスト（digest）画像（動画）を作成して表示するダイジェスト画像表示装置がある（例えば、特許文献１参照）。 Conventionally, there is a digest image display device that creates and displays a digest image (moving image) of a sports program or the like (see, for example, Patent Document 1).
このダイジェスト画像表示装置は、テレビジョン放送において、音声信号のレベルを検出して、音声信号のレベルが閾値以上となるハイライトシーンを抽出することにより、ダイジェスト画像を作成する。 This digest image display device creates a digest image by detecting the level of an audio signal and extracting a highlight scene in which the level of the audio signal is equal to or greater than a threshold in television broadcasting.
近年、例えば、ビデオカメラや、デジタルカメラを用いて、ゴルフ練習の姿勢解析を行うケースが増えつつある。 In recent years, for example, cases of performing posture analysis for golf practice using a video camera or a digital camera are increasing.
ゴルフ練習では、ゴルフスイングの良否がユーザのフォームに現れてくる。逆に、このフォームを解析してフォームを改善することができれば、ボールも目標とする方向に飛び、打ったボールの飛距離も延びてくる。 In golf practice, the quality of the golf swing appears on the user's form. Conversely, if this form can be analyzed to improve the form, the ball also flies in the target direction and the flight distance of the hit ball also increases.
また、ゴルフ練習の場合、スイングを複数回行うので、ダイジェスト動画を作成することにより、フォームの良否を判別しやすくなる。 In golf practice, the swing is performed a plurality of times, so it is easy to determine the quality of the form by creating a digest video.
しかし、ビデオカメラや、デジタルカメラを従来のダイジェスト画像表示装置に接続してダイジェスト画像を作成しようとしても、ハイライトシーンを検出するだけでは、スイングのダイジェスト画像を作成することはできない。このため、従来のダイジェスト画像表示装置では、動作としてフォーム（姿勢）を詳細に解析することは難しい。 However, even if an attempt is made to create a digest image by connecting a video camera or a digital camera to a conventional digest image display device, a digest image of a swing cannot be created only by detecting a highlight scene. For this reason, in the conventional digest image display device, it is difficult to analyze the form (posture) in detail as the operation.
本発明は、このような従来の問題点に鑑みてなされたもので、動作を容易に解析することが可能なダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラムを提供することを目的とする。 The present invention has been made in view of such a conventional problem, and an object thereof is to provide a digest image display device, a digest image display method, and a program capable of easily analyzing the operation.
この目的を達成するため、本発明の第１の観点に係るダイジェスト画像表示装置は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する映像取得部と、
前記付随音を取得する付随音取得部と、
前記動作を比較するための比較情報を格納する比較情報格納部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するとともに、各タイミングの前記比較情報を取得して前記比較情報格納部に格納するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記比較情報格納部を参照し、格納された前記比較情報に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するダイジェスト画像表示部と、を備えたことを特徴とする。
In order to achieve this object, a digest image display device according to the first aspect of the present invention provides:
A video acquisition unit that captures a subject that performs the operation of generating an accompanying sound a plurality of times and acquires a video of the subject;
An accompanying sound acquisition unit for acquiring the accompanying sound;
A comparison information storage for storing comparison information for comparing the operations;
Based on the video acquired by the video acquisition unit or the accompanying sound acquired by the accompanying sound acquisition unit, each timing at which the accompanying sound occurs is detected, and the comparison information at each timing is acquired to store the comparison information A timing detection unit stored in the unit;
A digest image generation unit that generates a digest image for each timing detected by the timing detection unit from the video acquired by the video acquisition unit;
A digest image display unit that refers to the comparison information storage unit and displays a plurality of digest images generated by the digest image generation unit in an aligned manner based on the stored comparison information. To do.
前記動作は、球を用いた運動であり、
前記映像取得部は、球を用いた運動を複数回行う被写体を撮影して前記被写体の映像を取得するようにしてもよい。
The movement is an exercise using a sphere,
The video acquisition unit may acquire a video of the subject by photographing a subject that performs a plurality of exercises using a sphere.
前記動作は、補助具で前記球に衝撃を加えて飛球させる運動であり、
前記映像取得部は、補助具で前記球に衝撃を加えて飛球させる運動を複数回行う被写体を撮影して前記被写体の映像を取得し、
前記付随音取得部は、前記付随音として、前記補助具で前記球に衝撃を加えたときに発生する音を取得するようにしてもよい。
The operation is an exercise of applying a shock to the ball with an auxiliary tool to fly,
The video acquisition unit acquires a video of the subject by photographing a subject that performs a plurality of movements that impact and fly the ball with an auxiliary tool,
The accompanying sound acquisition unit may acquire a sound generated when an impact is applied to the sphere with the auxiliary tool as the accompanying sound.
前記付随音取得部は、前記球に衝撃が加えられて発生する衝撃音を前記付随音として取得するものであってもよい。 The accompanying sound acquisition unit may acquire an impact sound generated when an impact is applied to the sphere as the accompanying sound.
前記付随音取得部は、前記付随音を取得するとともに前記付随音の大きさを取得するものであり、
前記タイミング検出部は、前記付随音取得部が取得した付随音に基づいて、前記付随音の大きさを、各タイミングの比較情報として取得し、取得した前記付随音の大きさを前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記付随音の大きさに基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
The accompanying sound acquisition unit acquires the accompanying sound and obtains the magnitude of the accompanying sound,
The timing detection unit acquires the size of the accompanying sound as comparison information of each timing based on the accompanying sound acquired by the accompanying sound acquisition unit, and stores the acquired size of the accompanying sound as the comparison information Store in the department,
The digest image display unit refers to the comparison information storage unit, and arranges and displays a plurality of digest images generated by the digest image generation unit based on the stored accompanying sound volume. Also good.
前記ダイジェスト画像生成部が生成したダイジェスト画像毎に、前記被写体の動作を評価する評価値の入力を受け付けて、入力された評価値を前記比較情報として前記比較情報格納部に格納する評価値受付部を備え、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記評価値に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
An evaluation value receiving unit that receives an input of an evaluation value for evaluating the motion of the subject for each digest image generated by the digest image generation unit and stores the input evaluation value as the comparison information in the comparison information storage unit With
The digest image display unit may refer to the comparison information storage unit and display a plurality of digest images generated by the digest image generation unit in an aligned manner based on the stored evaluation values.
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球に衝撃が加えられたときの前記補助具の速度を、各タイミングの比較情報として取得し、取得した前記補助具の速度を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記補助具の速度に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
The timing detection unit acquires the speed of the auxiliary tool when an impact is applied to the ball based on the video acquired by the video acquisition unit as comparison information of each timing, and acquires the acquired Store the speed in the comparison information storage unit,
The digest image display unit may refer to the comparison information storage unit and display a plurality of digest images generated by the digest image generation unit in an aligned manner based on the stored speed of the auxiliary tool. Good.
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球に衝撃が加えられたときの球速を、各タイミングの比較情報として取得し、取得した前記球速を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記球速に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
The timing detection unit acquires the ball speed when an impact is applied to the ball as comparison information of each timing based on the video acquired by the video acquisition unit, and the acquired ball speed is the comparison information storage unit Stored in
The digest image display unit may refer to the comparison information storage unit and display a plurality of digest images generated by the digest image generation unit in an aligned manner based on the stored ball speed.
前記タイミング検出部は、前記映像取得部が取得した映像に基づいて、前記球の飛球方向を、各タイミングの比較情報として取得し、取得した前記飛球方向を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記飛球方向に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
The timing detection unit acquires the flying direction of the sphere as comparison information of each timing based on the video acquired by the video acquisition unit, and stores the acquired flying ball direction in the comparison information storage unit. ,
The digest image display unit may refer to the comparison information storage unit and display a plurality of digest images generated by the digest image generation unit in an aligned manner based on the stored flying ball direction. .
前記タイミング検出部は、時刻を計測する時刻計測部を備え、前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するとともに、検出したタイミングで前記時刻計測部が計測した時刻の時刻情報を、各タイミングの前記比較情報として取得し、取得した時刻情報を前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記時刻情報に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するようにしてもよい。
The timing detection unit includes a time measurement unit that measures time, and detects each timing at which the accompanying sound is generated based on the video acquired by the video acquisition unit or the accompanying sound acquired by the accompanying sound acquisition unit. And the time information of the time measured by the time measurement unit at the detected timing is acquired as the comparison information of each timing, the acquired time information is stored in the comparison information storage unit,
The digest image display unit may refer to the comparison information storage unit and display a plurality of digest images generated by the digest image generation unit in an aligned manner based on the stored time information.
本発明の第２の観点に係るダイジェスト画像表示装置は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する映像取得部と、
前記付随音を取得する付随音取得部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記ダイジェスト画像生成部が各タイミング毎に生成したダイジェスト画像を、前記タイミング検出部が検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する合成画像生成部と、
前記合成画像生成部の前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するブレ量取得部と、
目標とする目標ブレ量と前記ブレ量取得部が取得した前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する評価部と、
前記合成画像生成部が生成した合成画像と前記評価部が評価した結果の評価結果とを表示するダイジェスト画像表示部と、を備えたことを特徴とする。
A digest image display apparatus according to a second aspect of the present invention is provided.
A video acquisition unit that captures a subject that performs the operation of generating an accompanying sound a plurality of times and acquires a video of the subject;
An accompanying sound acquisition unit for acquiring the accompanying sound;
A timing detection unit that detects each timing at which the accompanying sound is generated based on the video acquired by the video acquisition unit or the accompanying sound acquired by the accompanying sound acquisition unit;
A digest image generation unit that generates a digest image for each timing detected by the timing detection unit from the video acquired by the video acquisition unit;
A combined image generating unit that combines the digest images generated by the digest image generating unit at each timing with reference to the timings detected by the timing detecting unit, and generates a combined image showing blurring of the posture of the subject;
A blur amount acquisition unit that compares the digest images used to generate the composite image of the composite image generation unit and acquires a blur amount of the posture of the subject;
An evaluation unit that compares a target target blur amount with the blur amount of the subject acquired by the blur amount acquisition unit and evaluates the motion of the subject based on a difference between the target blur amount and the blur amount of the subject. When,
A digest image display unit that displays a composite image generated by the composite image generation unit and an evaluation result of a result evaluated by the evaluation unit.
前記ブレ量取得部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を比較して、前記被写体の姿勢の総ブレ量を取得し、
前記評価部は、目標とする目標総ブレ量と前記被写体の総ブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価するようにしてもよい。
The blur amount acquisition unit compares a plurality of digest images generated by the digest image generation unit, acquires a total blur amount of the posture of the subject,
The evaluation unit compares the target total blur amount as a target with the total blur amount of the subject, and evaluates the motion of the subject based on a difference between the target blur amount and the blur amount of the subject. Also good.
前記ブレ量取得部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を、それぞれ複数のブロックに分割し、分割したブロック毎の前記被写体の姿勢の局所ブレ量を取得し、
前記評価部は、前記ブレ量取得部が取得した各局所ブレ量と前記各局所ブレ量の目標とする目標局所ブレ量とをそれぞれ比較し、前記被写体の各局所ブレ量と目標局所ブレ量との差に基づいて前記被写体の動作を前記ブロック毎に評価し、
前記ダイジェスト画像表示部は、前記ダイジェスト画像生成部が生成した前記ダイジェスト画像と前記評価部がブロック毎に評価した評価結果とを表示するようにしてもよい。
The blur amount acquisition unit divides a plurality of digest images generated by the digest image generation unit into a plurality of blocks, and acquires a local blur amount of the posture of the subject for each of the divided blocks.
The evaluation unit compares each local blur amount acquired by the blur amount acquisition unit with a target local blur amount targeted for each local blur amount, and each local blur amount and target local blur amount of the subject The movement of the subject is evaluated for each block based on the difference between
The digest image display unit may display the digest image generated by the digest image generation unit and the evaluation result evaluated by the evaluation unit for each block.
前記評価部は、前記被写体の各局所ブレ量と目標局所ブレ量との差と、前記差に対して予め設定された閾値とを比較し、前記差が前記閾値以上となったブロックの画像に、評価結果を示すための画像処理を施すようにしてもよい。 The evaluation unit compares a difference between each local blur amount of the subject and the target local blur amount with a threshold value set in advance for the difference, and determines an image of the block in which the difference is equal to or greater than the threshold value. Image processing for indicating the evaluation result may be performed.
前記ダイジェスト画像生成部は、前記タイミング検出部が検出した１つのタイミングにおいて１回の動作における複数のダイジェスト画像を生成し、
前記評価部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を並べて合成するようにしてもよい。
The digest image generation unit generates a plurality of digest images in one operation at one timing detected by the timing detection unit,
The evaluation unit may synthesize a plurality of digest images generated by the digest image generation unit side by side.
前記目標ブレ量を記憶する目標ブレ量記憶部を備え、
前記評価部は、前記目標ブレ量記憶部を参照して、前記目標ブレ量を取得するようにしてもよい。
A target blur amount storage unit for storing the target blur amount;
The evaluation unit may acquire the target blur amount with reference to the target blur amount storage unit.
本発明の第３の観点に係るダイジェスト画像表示方法は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得するステップと、
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出して前記動作を比較するための比較情報を取得するステップと、
取得した前記比較情報を格納するステップと、
取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
格納された前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示するステップと、を備えたことを特徴とする。
A digest image display method according to a third aspect of the present invention includes:
Photographing a subject that performs an operation of generating an accompanying sound a plurality of times, and obtaining an image of the subject;
Obtaining the accompanying sound;
Based on the acquired video or accompanying sound, detecting each timing at which the accompanying sound is generated and obtaining comparison information for comparing the operations;
Storing the acquired comparison information;
Generating a digest image for each detected timing from the acquired video;
And a step of arranging and displaying a plurality of generated digest images based on the stored comparison information.
本発明の第４の観点に係るダイジェスト画像表示方法は、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得するステップと、
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出するステップと、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成するステップと、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するステップと、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価するステップと、
前記合成画像と評価した結果の評価結果とを表示するステップと、を備えたことを特徴とする。
A digest image display method according to a fourth aspect of the present invention includes:
Photographing a subject that performs an operation of generating an accompanying sound a plurality of times, and obtaining an image of the subject;
Obtaining the accompanying sound;
Detecting each timing at which the accompanying sound is generated based on the acquired video or the accompanying sound; and
Generating a digest image for each detected timing from the acquired video;
Synthesizing the digest image generated at each timing with reference to each detected timing, and generating a composite image showing blurring of the posture of the subject;
Comparing each digest image used to generate the composite image to obtain a blur amount of the posture of the subject;
Comparing a target target blur amount with the subject blur amount, and evaluating the motion of the subject based on a difference between the target blur amount and the subject blur amount;
Displaying the composite image and the evaluation result of the evaluation result.
本発明の第５の観点に係るプログラムは、
コンピュータに、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出して前記動作を比較するための比較情報を取得する手順、
取得した比較情報を格納する手順、
取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
格納した前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示する手順、
を実行させるためのものである。
A program according to the fifth aspect of the present invention is:
On the computer,
A procedure for photographing a subject that performs an operation that generates an accompanying sound a plurality of times and acquiring an image of the subject,
Obtaining the accompanying sound;
A procedure for acquiring comparison information for detecting each timing at which the accompanying sound is generated and comparing the operation based on the acquired video or the accompanying sound,
Procedure to store the acquired comparison information,
A procedure for generating a digest image for each detected timing from the acquired video,
A procedure for aligning and displaying a plurality of generated digest images based on the stored comparison information,
Is to execute.
本発明の第６の観点に係るプログラムは、
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出する手順、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する手順、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得する手順、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する手順、
前記合成画像と評価した結果の評価結果とを表示する手順、
を実行させるためのものである。
A program according to the sixth aspect of the present invention is:
A procedure for photographing a subject that performs an operation that generates an accompanying sound a plurality of times and acquiring an image of the subject,
Obtaining the accompanying sound;
A procedure for detecting each timing at which the accompanying sound is generated based on the acquired video or the accompanying sound,
A procedure for generating a digest image for each detected timing from the acquired video,
A procedure for synthesizing a digest image generated at each timing with reference to each detected timing, and generating a synthesized image showing blurring of the posture of the subject,
A procedure for comparing each digest image used to generate the composite image and obtaining a blur amount of the posture of the subject;
A procedure for comparing a target blur amount and a blur amount of the subject, and evaluating the motion of the subject based on a difference between the target blur amount and the blur amount of the subject;
A procedure for displaying the composite image and an evaluation result of the evaluation result;
Is to execute.
本発明によれば、動作を容易に解析することができる。 According to the present invention, the operation can be easily analyzed.
以下、本発明の実施形態に係るダイジェスト画像表示装置を図面を参照して説明する。尚、本実施形態では、ダイジェスト画像表示装置をデジタルカメラとして説明する。
（実施形態１）
実施形態１に係るデジタルカメラの構成を図１に示す。
実施形態１に係るデジタルカメラ１は、操作インタフェース１１と、音声認識ＲＯＭ１２と、映像・音声入力部１３と、エンコーダ１４と、記憶部１５と、インパクト検出部１６と、インパクト情報格納部１７と、デコーダ１８と、表示部１９と、スピーカ２０と、ＣＰＵ２１と、を備える。
Hereinafter, a digest image display apparatus according to an embodiment of the present invention will be described with reference to the drawings. In the present embodiment, the digest image display device is described as a digital camera.
(Embodiment 1)
FIG. 1 shows the configuration of the digital camera according to the first embodiment.
The
本実施形態１では、動作、運動としてゴルフ練習を対象として説明する。ゴルフは、ボールを用いた競技であり、ゴルフでは、補助具としてゴルフクラブを使用し、ゴルフクラブでボールに衝撃を加えてボールを飛球させる。 In the first embodiment, golf practice will be described as motion and exercise. Golf is a competition using a ball. In golf, a golf club is used as an auxiliary tool, and the ball is impacted by the golf club to cause the ball to fly.
ゴルフ練習では、被写体としてのユーザの動作に付随して、ゴルフクラブでボールに衝撃を加えたときのインパクト音が、動作に付随する付随音として発生する。 In golf practice, accompanying a user's action as a subject, an impact sound when an impact is applied to the ball with a golf club is generated as an accompanying sound accompanying the action.
また、ゴルフ練習では、ユーザが同じようなスイング動作を複数回行い、その都度、インパクト音が発生する。 In golf practice, the user performs a similar swing motion a plurality of times, and an impact sound is generated each time.
本実施形態１のデジタルカメラ１は、インパクト音が発生するタイミングのこのインパクト点を検出し、検出したインパクト点のインパクト情報に基づいてダイジェスト動画（画像）を生成する。このダイジェスト動画は、インパクト点を含み、その前後の予め設定された時間の動画である。
The
そして、デジタルカメラ１は、インパクト情報に基づいて各ダイジェスト動画を整列させることにより、ユーザの動作、運動としてのゴルフ練習の成果を解析できるようにしたものである。
And the
このデジタルカメラ１は、高速連写可能なカメラであり、図２に示すように、三脚２に取り付けられて、画角内に、ゴルフ練習者としてのユーザ３と、ゴルフクラブ４と、ボール５と、が収まるように設置される。そして、デジタルカメラ１は、ユーザ３のゴルフ練習の様子を撮影する。
The
デジタルカメラ１は、図３（ａ）、（ｂ）に示すように、上面部に、電源ボタン３１とシャッタボタン３２とを備え、前面部に、レンズ３３とマイク３４とＬＥＤランプ３５とフラッシュ３６とを備える。
As shown in FIGS. 3A and 3B, the
また、デジタルカメラ１は、図３（ｃ）に示すように、後面部に、動画撮影ボタン３７と静止画撮影ボタン３８と再生ボタン３９と液晶モニタ４０とメニューボタン４１と、コントロール部４２とを備える。
Also, as shown in FIG. 3C, the
図３（ａ）に示す電源ボタン３１は、デジタルカメラ１の電源をオン、オフするためのボタンである。デジタルカメラ１は、電源ボタン３１が押下される毎に、電源をオン、オフする。
A
シャッタボタン３２は、撮影を指示するためのボタンである。デジタルカメラ１は、シャッタボタン３２が押下されると撮影を開始する。静止画撮影の場合、デジタルカメラ１は、電源がオンしている間、シャッタボタン３２が押下される毎に静止画撮影を行う。また、動画撮影の場合、デジタルカメラ１は、電源がオンしている間、シャッタボタン３２が押下される毎に、動画撮影の開始、動画撮影の停止を繰り返す。
The
図３（ａ）、（ｂ）に示すレンズ３３は、ユーザ３、ゴルフクラブ４、ボール５の像を、内蔵する撮像素子（図示せず）に結像させるためのものである。デジタルカメラ１は、ユーザ３を撮影し、撮像素子は、映像データImage1を生成する。
The
図３（ｂ）に示すマイク３４は、ゴルフクラブ４がボール５に衝撃を与えたときに発する打撃音、ユーザ３が発話したときの音声を取得して音声データSound1を生成するものである。
The
マイク３４は、打撃音の音の大きさを示すデータとして、音の大きさ（単位；sone）、音圧（単位；μpa）、音圧レベル（単位；ｄＢ）のいずれかを取得可能なものである。
The
ＬＥＤランプ３５は、ユーザ３の音声を入力する場合に、ユーザ３に音声の入力が可能であることを示すために点灯するものである。ＬＥＤランプ３５は、インパクト点を検出してから予め設定された時間経過後、予め設定された時間だけ、ＣＰＵ２１からＬＥＤ点灯制御信号が供給されて点灯する。フラッシュ３６は、ユーザ３等を照明するためのものである。
The LED lamp 35 is lit to indicate that the
図３（ｃ）に示す動画撮影ボタン３７は、動画撮影を選択するためのボタンである。デジタルカメラ１は、動画撮影ボタン３７が押下されると動画撮影を選択する。
The moving
静止画撮影ボタン３８は、静止画撮影を選択するためのボタンである。静止画撮影の場合、デジタルカメラ１は、静止画撮影ボタン３８が押下されると、静止画撮影を選択する。
The still
再生ボタン３９は、撮影によって得られた動画、静止画の再生を指示するためのボタンである。
The
液晶モニタ４０は、静止画、連続動画、ダイジェスト動画、メニューを表示するものである。このメニューは、デジタルカメラ１の機能を設定するためのものであり、メニューボタン４１は、このメニューを表示するためのボタンである。
The liquid crystal monitor 40 displays a still image, a continuous moving image, a digest moving image, and a menu. This menu is for setting functions of the
コントロール部４２は、液晶モニタ４０に表示された静止画、連続動画、ダイジェスト動画を選択するとともに、デジタルカメラ１の機能を選択、設定するための操作部であり、アップキー４２Ｕと、ダウンキー４２Ｄと、左キー４２Ｌと、右キー４２Ｒと、セットキー４２Ｓと、からなる。
The
アップキー４２Ｕ、ダウンキー４２Ｄ、左キー４２Ｌ、右キー４２Ｒは、それぞれ、選択する画像、選択するメニューの項目を上下左右に移動させるためのボタンである。
セットキー４２Ｓは、メニューにおいて選択された項目を確定させるためのキーである。
The up key 42U, the down key 42D, the
The
動画撮影ボタン３７が押下されてメニューボタン４１が押下されると、デジタルカメラ１は、液晶モニタ４０に、図４（ａ）に示すような動画撮影メニューを表示させる。
When the moving
動画撮影メニューは、連続動画撮影モード又はダイジェスト動画撮影モードを選択するためのメニューである。連続動画撮影モードは、動画撮影を行って連続動画を生成するモードである。 The moving image shooting menu is a menu for selecting a continuous moving image shooting mode or a digest moving image shooting mode. The continuous moving image shooting mode is a mode in which moving image shooting is performed to generate a continuous moving image.
また、ダイジェスト動画撮影モードは、動画撮影を行って連続動画を生成するとともに、生成した連続動画に基づいて再生時に複数のダイジェスト動画を再生できるように所定の情報を得るためのモードである。 The digest moving image shooting mode is a mode for obtaining predetermined information so that a plurality of digest moving images can be reproduced based on the generated continuous moving images while performing moving image shooting to generate continuous moving images.
連続動画撮影モード又はダイジェスト動画撮影モードは、動画撮影メニューにおいて、アップキー４２Ｕ又はダウンキー４２Ｄが操作されることにより、選択される。 The continuous moving image shooting mode or the digest moving image shooting mode is selected by operating the up key 42U or the down key 42D in the moving image shooting menu.
再生ボタン３９が押下されてメニューボタン４１が押下されると、デジタルカメラ１は、図４（ｂ）に示すような再生メニューを液晶モニタ４０に表示させる。
When the
再生メニューは、静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードのいずれかのモードを選択するメニューである。静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードは、それぞれ、静止画撮影、連続動画撮影モードまたはダイジェスト動画撮影モードで得られる、静止画、連続動画、ダイジェスト動画を再生するモードである。 The playback menu is a menu for selecting one of a still image playback mode, a continuous video playback mode, and a digest video playback mode. The still image reproduction mode, continuous moving image reproduction mode, and digest moving image reproduction mode are modes for reproducing still images, continuous moving images, and digest moving images that are obtained in still image shooting, continuous moving image shooting mode, and digest moving image shooting mode, respectively.
静止画再生モード、連続動画再生モード、ダイジェスト動画再生モードは、再生メニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作されることにより選択される。 The still image playback mode, continuous video playback mode, and digest video playback mode are selected by operating the up key 42U and the down key 42D in the playback menu.
また、ダイジェスト動画再生モードが選択された場合、右キー４２Ｒが押下されると、デジタルカメラ１は、図４（ｃ）に示すような並べ替えメニューを液晶モニタ４０に表示させる。
When the digest video playback mode is selected, when the right key 42R is pressed, the
並べ替えメニューは、詳細は後述するように得た複数の各ダイジェスト動画の並べ替え順を選択するためのメニューである。本実施形態１のデジタルカメラ１は、時刻順、音の大きさ順、スイング速度順、飛球方向順の並べ替えが可能なものであり、並べ替えメニューにおいて、これらの並べ替えを示す時刻、音の大きさ、スイング速度、飛球方向を液晶モニタ４０に表示させる。
The rearrangement menu is a menu for selecting the rearrangement order of a plurality of digest videos obtained as will be described later in detail. The
これらの並べ替えは、並べ替えメニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作されることにより選択される。 These rearrangements are selected by operating the up key 42U and the down key 42D in the rearrangement menu.
尚、デジタルカメラ１は、図４（ｃ）に示す並べ替えのうち、時刻順を初期設定（default）とする。
Note that the
並べ替えメニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが押下されて、時刻、音の大きさ、スイング速度、飛球方向のいずれかの並べ替えが選択されてセットキー４２Ｓが押下されると、デジタルカメラ１は、並べ替えを、選択された順に設定する。
In the rearrangement menu, when the up key 42U and the down key 42D are pressed, any one of time, sound volume, swing speed, and flying direction is selected and the
図１に戻り、操作インタフェース１１は、各種ボタン、キーが操作されたときの操作情報を取得するものであり、取得した操作情報をＣＰＵ２１に供給する。
Returning to FIG. 1, the
音声認識ＲＯＭ（Read Only Memory）１２は、音声認識用のデータを記憶するメモリである。 A voice recognition ROM (Read Only Memory) 12 is a memory for storing voice recognition data.
映像・音声入力部１３は、撮像素子が生成した映像データImage1、マイク３４が生成した音声データSound1を入力して、ユーザ３の映像、インパクト音を取得するものである。映像・音声入力部１３は、連続動画撮影、ダイジェスト動画撮影を行う場合、撮影を開始してから、撮影が終了するまでのすべての映像データImage1、音声データSound1を入力する。
The video /
エンコーダ１４は、映像・音声入力部１３が入力した映像データImage1、音声データSound1を、それぞれ、圧縮、符号化し、圧縮、符号化した映像データImage11、音声データSound11を生成するものである。
The
記憶部１５は、ＨＤＤ（Hard Disk Drive）、不揮発性メモリ等によって構成されたものであり、各種データを記憶する。記憶部１５は、データとして、エンコーダ１４が圧縮、符号化した映像データImage11、音声データSound11、図４（ａ）〜（ｃ）に示すメニュー表示用のデータを記憶する。また、記憶部１５は、データとして、ＣＰＵ２１が実行するプログラムのデータを記憶する。
The
インパクト検出部１６は、映像・音声入力部１３が取得したインパクト音（音声データSound1またはSound11）に基づいて、ゴルフクラブ４がボール５に衝撃を与えたときの各インパクト点を検出し、このインパクト点のインパクト情報を取得するものである。このインパクト点はインパクト音が発生するタイミングであり、インパクト情報は、ユーザ３のゴルフ練習の成果を比較するための比較情報である。
The
インパクト検出部１６は、図５に示すように、低周波除去フィルタ１６ａと、メモリ１６ｂと、データ出力器１６ｃと、時刻計測部１６ｄと、分離度フィルタ１６ｅと、スイング速度取得部１６ｆと、飛球方向取得部１６ｇと、音声認識部１６ｈと、を備える。
As shown in FIG. 5, the
インパクト検出部１６は、ダイジェスト動画撮影モードが選択された場合、記憶部１５から、音声データSound11を読み出す。
The
低周波除去フィルタ１６ａは、読み出された音声データSound11から、周辺ノイズを除去するためのフィルタであり、図６（ａ）に示すように、カットオフ周波数fc以下の周波数成分を周辺ノイズとして除去する。
The low
これにより、インパクト検出部１６は、低周波除去フィルタ１６ａから出力された図６（ｂ）に示すような音の大きさ（データ）Im_s1を取得する。
As a result, the
メモリ１６ｂは、打撃音を判別するため、この音の大きさIm_s1に対して予め設定された閾値S_thを記憶するものである。
The
データ出力器１６ｃは、低周波除去フィルタ１６ａを通過した音の大きさIm_s1の出力を制御するものである。データ出力器１６ｃは、メモリ１６ｂから閾値S_thを取得し、低周波除去フィルタ１６ａを通過した音の大きさIm_s1と閾値S_thとを比較する。
The
そして、データ出力器１６ｃは、比較の結果、音の大きさIm_s1が閾値S_th以上となったとき、このデータIm_sを出力し、インパクト検出部１６は、データ出力器１６ｃが音の大きさIm_s1を出力したとき、このタイミングをインパクト点と判別する。
Then, as a result of the comparison, the
時刻計測部１６ｄは、時刻を計測するものである。時刻計測部１６ｄは、インパクト点の時刻情報Im_tを取得する。
The
分離度フィルタ１６ｅは、映像データImage11から、ゴルフクラブ４、ボール５の画像を分離するフィルタである。分離度フィルタ１６ｅは、狭い範囲の濃淡値の分布が二重の環形にどの程度近いかを測ることにより映像データImage11から特定の画像を分離するフィルタである。
The
この分離度フィルタ１６ｅは、出力値が明るさに依存しないため、明暗の差が少ない不明瞭な特徴点に対しても安定な抽出が可能であるという特徴を有している。
The
スイング速度取得部１６ｆは、分離度フィルタ１６ｅが分離したゴルフクラブ４のスイング動作時のスイング速度Im_vを取得するものである。例えば、図７に示すようなゴルフクラブ４の画像４−１，４−２，４−３が得られた場合、スイング速度取得部１６ｆは、この画像４−１〜４−３のヘッドの距離と撮影間隔とに基づいてゴルフクラブ４のスイング速度Im_vを取得する。
The swing
なお、スイング速度取得部１６ｆは、時刻計測部１６ｄにより取得された時刻情報Im_tに基づいてインパクト点近傍の映像データImage11を取得し、該取得したインパクト点近傍の映像データImage11に基づいてそれぞれインパクト点毎にスイング速度Im_vを取得する。
The swing
飛球方向取得部１６ｇは、分離度フィルタ１６ｅが分離したボール５の画像から、ボール５の飛球方向を示す飛球方向Im_cを取得するものである。飛球方向取得部１６ｇは、飛球方向Im_cをｄ１〜ｄ８に分類する。
The flying ball
例えば、図８に示すようなボール５の画像５−１，５−２が得られた場合、飛球方向取得部１６ｇは、ボール５の飛球方向Im_cを、最も近い飛球方向ｄ２に分類する。
For example, when the images 5-1 and 5-2 of the ball 5 as shown in FIG. 8 are obtained, the flying ball
なお、飛球方向取得部１６ｇは、時刻計測部１６ｄにより取得された時刻情報Im_tに基づいてインパクト点近傍の映像データImage11を取得し、該取得したインパクト点近傍の映像データImage11に基づいてそれぞれインパクト点毎に飛球方向Im_cを取得する。
The flying ball
音声認識部１６ｈは、ユーザ３が発話した音声を認識して認識した結果の音声認識データIm_s2を出力するものである。音声認識部１６ｈは、記憶部１５から読み出した音声データSound11と音声認識ＲＯＭ１２に記憶された音声認識用のデータとを比較して、ユーザ３が発話した音声を認識する。
The
インパクト検出部１６は、これらの音の大きさIm_s1、時刻情報Im_t、スイング速度Im_v、飛球方向Im_cを、インパクト点毎に分類してインパクト情報としてインパクト情報格納部１７に格納する。
The
インパクト情報格納部１７は、上述したようにして得たインパクト情報を格納するものである。インパクト情報格納部１７は、供給されたインパクト情報を、図９に示すように、インパクト点毎に格納する。
The impact
尚、図９に示す並べ替え指定欄は、並べ替えに用いるインパクト情報を指定するための欄である。インパクト情報が指定されなければ、図中、○印で示すように、並べ替えに用いるインパクト情報を指定するデータは、初期設定の時刻情報Im_tの並べ替え指定欄に格納される。 Note that the rearrangement designation field shown in FIG. 9 is a field for designating impact information used for rearrangement. If the impact information is not designated, the data designating the impact information used for the rearrangement is stored in the rearrangement designation field of the initial time information Im_t, as indicated by a circle in the figure.
デコーダ１８は、供給された映像データImage11、音声データSound11、メニュー表示用のデータを伸長、解読（デコード）するためのものである。
The
静止画再生モードが選択された場合、連続動画再生モードが選択された場合、デコーダ１８には、記憶部１５から、それぞれ、静止画の映像データImage11、連続動画の映像データImage11、音声データSound11が供給される。
When the still image playback mode is selected, or when the continuous movie playback mode is selected, the
また、ダイジェスト動画再生モードが選択された場合、デコーダ１８には、記憶部１５から、インパクト情報格納部１７に格納されたインパクト情報に基づいて連続動画の映像データImage11、音声データSound11から所定の映像期間または音声期間として選択された複数のダイジェスト動画の映像データImage11、音声データSound11が供給される。
When the digest video playback mode is selected, the
また、メニューボタン４１が押下され、コントロール部４２の各キーが押下されたときは、図４（ａ）〜（ｃ）に示すようなメニューの映像データImage11が供給される。
Further, when the
デコーダ１８は、記憶部１５から供給された映像データImage11、音声データSound11を伸長、解読して映像データImage1、音声データSound1を生成し、この映像データImage1、音声データSound1を、それぞれ、表示部１９、スピーカ２０に供給する。
The
表示部１９は、図３（ｃ）に示す液晶モニタ４０を備えたものであり、ＣＰＵ２１の制御の下、デコーダ１８から供給された映像データImage1に基づいて、静止画、連続動画、複数のダイジェスト動画、メニューを液晶モニタ４０に表示する。
The
スピーカ２０は、ＣＰＵ２１の制御の下、デコーダ１８から供給された音声データSound1に基づいて、音声を発するものである。
The
ＣＰＵ（Central Processing Unit）２１は、操作インタフェース１１から供給された操作情報に基づいて、デジタルカメラ１全体を制御するものである。
A CPU (Central Processing Unit) 21 controls the entire
ＣＰＵ２１は、操作インタフェース１１から、各種ボタン、各キーが押下された旨の情報が供給されると、供給された操作情報に基づいて各部を制御する。
When the information indicating that various buttons and keys are pressed is supplied from the
具体的に、ＣＰＵ２１は、撮影前、あるいは撮影終了後に、図４（ｃ）に示す並べ替えメニューにおいて、並べ替えに用いるインパクト情報が選択された場合、操作インタフェース１１から供給された操作情報に基づいて、このインパクト情報を判別する。
Specifically, the
そして、ＣＰＵ２１は、図９に示す並べ替え指定欄のうち、判別したインパクト情報の欄に、並べ替えを指定するデータを格納する。 And CPU21 stores the data which designates rearrangement in the column of the identified impact information among the rearrangement designation | designated columns shown in FIG.
ＣＰＵ２１は、操作インタフェース１１から、シャッタボタン３２が押下された旨の操作情報が供給されると、映像データImage1、音声データSound1を入力するように映像・音声入力部１３を制御する。
When the operation information indicating that the
動画撮影の場合、ＣＰＵ２１は、操作インタフェース１１から、シャッタボタン３２が押下された旨の操作情報が供給される毎に、映像データImage1、音声データSound1の入力、入力の停止を行うように映像・音声入力部１３を制御する。
In the case of moving image shooting, every time operation information indicating that the
この場合、ＣＰＵ２１は、連続動画撮影モードが選択されたときだけでなく、ダイジェスト動画撮影モードが選択されたときでも、インパクト点前の動画も含めてダイジェスト動画を生成する。このため、ＣＰＵ２１は、すべての映像データImage1、音声データSound1を入力するように映像・音声入力部１３を制御する。
In this case, the
そして、ＣＰＵ２１は、映像・音声入力部１３が入力した映像データImage1、音声データSound1を圧縮、符号化して映像データImage11、音声データSound11を生成するようにエンコーダ１４を制御し、生成した映像データImage11、音声データSound11を記憶部１５に記憶する。
Then, the
ＣＰＵ２１は、操作インタフェース１１から、ダイジェスト動画撮影モードが選択された旨の操作情報が供給されると、インパクト点を検出するようにインパクト検出部１６を制御する。
When the operation information indicating that the digest moving image shooting mode is selected is supplied from the
ＣＰＵ２１は、インパクト検出部１６が各インパクト点を検出すると、インパクト点毎に、当該インパクト点での画像を含むように、インパクト点前後の予め設定された時間分のダイジェスト動画を、記憶部１５が記憶する映像データImage11と音声データSound11とに基づいて生成する。ＣＰＵ２１は、インパクト点毎に生成することで得た複数のダイジェスト動画としての映像データImage11と音声データSound11とを記憶部１５に記憶する。
When the
ユーザ３が発話した音声を認識する場合、ＣＰＵ２１は、ＬＥＤランプ３５にＬＥＤ点灯制御信号を供給して、ＬＥＤランプ３５を点灯する。
When recognizing the voice uttered by the
そして、ＣＰＵ２１は、ＬＥＤ点灯制御信号を供給してから予め設定された点灯時間経過後に、このＬＥＤ点灯制御信号の供給を停止して、ＬＥＤランプ３５を消灯する。
Then, the
ＣＰＵ２１は、ＬＥＤ点灯制御信号を供給している間、マイク３４が生成した音声データSound1を入力するように映像・音声入力部１３を制御する。ＣＰＵ２１は、ユーザ３が発話した音声を認識するようにインパクト検出部１６を制御する。
The
ＣＰＵ２１は、操作インタフェース１１から、静止画再生モードが選択されて再生ボタン３９が押下された旨の操作情報が供給されると、記憶部１５から静止画の映像データImage11を読み出してデコーダ１８に供給する。
When the operation information indicating that the still image reproduction mode is selected and the
ＣＰＵ２１は、操作インタフェース１１から、連続動画再生モードが選択されて再生ボタン３９が押下された旨の操作情報が供給されると、記憶部１５から連続動画の映像データImage11、音声データSound11を読み出してデコーダ１８に供給する。
When the operation information indicating that the continuous video playback mode is selected and the
ＣＰＵ２１は、操作インタフェース１１から、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下された旨の操作情報が供給されると、各インパクト点に対応するダイジェスト動画を順次再生する。
When the operation information indicating that the digest video playback mode is selected and the
なお、ＣＰＵ２１は、ダイジェスト動画を生成および再生するため、インパクト情報格納部１７から各インパクト点の時刻情報Imt_tを読み出す。ＣＰＵ２１は、読み出した各時刻情報Imt_tに対応するように、インパクト点を含み、その前後の予め設定された時間の映像データImage11、音声データSound11を記憶部１５から読み出す。この映像データImage11、音声データSound11がダイジェスト動画用のデータであり、ＣＰＵ２１は、このようにして各インパクト点に対応するダイジェスト動画を生成する。
Note that the
また、ＣＰＵ２１は、生成したダイジェスト動画の並べ替えを行う。ＣＰＵ２１は、並べ替えを行うため、インパクト情報格納部１７を参照し、図９に示す並べ替え指定欄に格納されたデータに基づいて並べ替えに用いるインパクト情報を判別する。ＣＰＵ２１は、記憶部１５から読み出した映像データImage11、音声データSound11を、判別したインパクト情報に基づいて整列させる。
The
ＣＰＵ２１は、整列させた映像データImage11（整列された複数のダイジェスト動画Image11）、音声データSound11をデコーダ１８に供給する。ＣＰＵ２１は、このようにして、生成した複数のダイジェスト画像を、整列させて液晶モニタ４０に表示させる。
The
次に実施形態１に係るデジタルカメラ１の動作を説明する。
デジタルカメラ１は、電源ボタン３１が押下されると電源をオンする。
Next, the operation of the
The
デジタルカメラ１は、再生ボタン３９が押下され、メニューボタン４１が押下されると、図４（ｂ）に示す再生メニューを液晶モニタ４０に表示させ、ダイジェスト動画再生モードが選択されると、図４（ｃ）に示す並べ替えメニューを液晶モニタ４０に表示させる。
When the
この並べ替えメニューにおいて、それぞれ、音の大きさ、スイング速度、飛球方向が選択され、右キー４２Ｒが押下された旨の操作情報が、操作インタフェース１１から供給されると、ＣＰＵ２１は、複数のダイジェスト画像の並べ替えに用いるインパクト情報を判別する。
When the sound information, the swing speed, and the flying direction are selected in the rearrangement menu and operation information indicating that the right key 42R is pressed is supplied from the
ＣＰＵ２１は、このインパクト情報を判別すると、図９に示す並べ替え指定欄のうち、判別したインパクト情報の欄に、並べ替えを指定するデータを格納する。
When the
また、ＣＰＵ２１は、図４（ａ）に示す動画撮影メニューにおいて、操作インタフェース１１から、連続動画撮影モード又はダイジェスト動画撮影モードが選択され、シャッタボタン３２が押下された旨の操作情報が供給されると、記憶部１５から、撮影処理のプログラムデータを読み出し、図１０に示すフローチャートに従って、この処理を実行する。
Further, the
つまり、ＣＰＵ２１は、一回目のシャッタボタン３２が押下された旨の操作情報が供給されると、動画撮影を開始する（ステップＳ１１）。
そして、ＣＰＵ２１は、操作インタフェース１１から供給されたシャッタボタン３２の操作情報に基づいて、動画撮影継続か否かを判定する（ステップＳ１２）。
That is, when the operation information indicating that the
Then, the
再度シャッタボタン３２が押下された旨の操作情報が供給されなかった場合、ＣＰＵ２１は、動画撮影の継続と判定する（ステップＳ１２；Ｙｅｓ）。この場合、ＣＰＵ２１は、映像データImage1、音声データSound1を入力するように映像・音声入力部１３を制御し、圧縮、符号化して映像データImage11、音声データSound11を生成するようにエンコーダ１４を制御する（ステップＳ１３）。
When the operation information indicating that the
ＣＰＵ２１は、エンコーダ１４が生成した映像データImage11、音声データSound11を記憶部１５に記憶し（ステップＳ１４）、再度、動画撮影継続か否かを判定する（ステップＳ１２）。
The
再度シャッタボタン３２が押下された旨の操作情報が供給された場合、ＣＰＵ２１は、動画撮影の終了が指示されたと判定する（ステップＳ１２；Ｎｏ）。この場合、ＣＰＵ２１は、映像データImage1、音声データSound1の入力を停止するように映像・音声入力部１３を制御するとともに、操作インタフェース１１から供給された操作情報に基づいて、インパクト点を検出するか否かを判定する（ステップＳ１５）。
When operation information indicating that the
動画撮影メニューにおいて、ダイジェスト動画撮影モードが選択されていなかった場合、操作インタフェース１１は、その旨の操作情報をＣＰＵ２１に供給し、ＣＰＵ２１は、インパクト点を検出しないと判定する（ステップＳ１５；Ｎｏ）。この場合、ＣＰＵ２１は、この撮影処理を終了させる。
When the digest movie shooting mode is not selected in the movie shooting menu, the
動画撮影メニューにおいて、ダイジェスト動画撮影モードが選択されていた場合、操作インタフェース１１は、その旨の操作情報をＣＰＵ２１に供給し、ＣＰＵ２１は、インパクト点を検出すると判定する（ステップＳ１５；Ｙｅｓ）。そして、ＣＰＵ２１は、インパクト点を検出するようにインパクト検出部１６を制御する。
If the digest movie shooting mode is selected in the movie shooting menu, the
インパクト検出部１６は、記憶部１５から、映像データImage11、音声データSound11を読み出して、上述したようにインパクト点を検出し、音の大きさIm_s1、時刻情報Im_t、スイング速度Im_v、飛球方向Im_cを、インパクト情報（比較情報）としてインパクト情報格納部１７に格納する（ステップＳ１６）。そして、ＣＰＵ２１は、この撮影処理を終了させる。
The
尚、再々度シャッタボタン３２が押下された旨の操作情報が供給された場合、ＣＰＵ２１は、再度、撮影処理を実行する。
When operation information indicating that the
次に、図４（ｂ）に示す再生メニューにおいて、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下された旨の操作情報が、操作インタフェース１１から供給されると、ＣＰＵ２１は、記憶部１５から、再生処理（１）のプログラムデータを読み出して、図１１に示すフローチャートに従い、この処理を実行する。
Next, in the playback menu shown in FIG. 4B, when the operation information indicating that the digest video playback mode is selected and the
つまり、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下された旨の操作情報が、操作インタフェース１１から供給されると、ＣＰＵ２１は、ダイジェスト動画撮影モードで記憶部１５に記憶された映像データImage11、音声データSound11やインパクト情報格納部１７に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画を生成する（ステップＳ２１）。
That is, when the operation information indicating that the digest video playback mode is selected and the
そして、ＣＰＵ２１は、インパクト情報格納部１７を参照し、並べ替えメニューにおいて並べ替え指定欄に格納されたデータに基づいて、並べ替えが音の大きさ順か否かを判定する（ステップＳ２２）。
Then, the
並べ替えが音の大きさ順と判定した場合（ステップＳ２２；Ｙｅｓ）。ＣＰＵ２１は、各インパクト点の音の大きさIm_s1を参照し、各インパクト点に対応するダイジェスト動画を音の大きさIm_s1順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ１８に供給する（ステップＳ２３）。
When it is determined that rearrangement is in order of loudness (step S22; Yes). The
並べ替えが音の大きさ順ではないと判定した場合（ステップＳ２２；Ｎｏ）、ＣＰＵ２１は、並べ替えがスイング速度順か否かを判定する（ステップＳ２４）。
When it is determined that the rearrangement is not in order of sound volume (step S22; No), the
並べ替えがスイング速度順と判定した場合（ステップＳ２４；Ｙｅｓ）、ＣＰＵ２１は、各インパクト点のスイング速度Im_vを参照し、各インパクト点のダイジェスト動画をスイング速度Im_v順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ１８に供給する（ステップＳ２５）。
When the rearrangement is determined to be in the order of the swing speed (step S24; Yes), the
並べ替えがスイング速度順ではないと判定した場合（ステップＳ２４；Ｎｏ）、ＣＰＵ２１は、並べ替えが飛球方向順か否かを判定する（ステップＳ２６）。
When it is determined that the rearrangement is not in the swing speed order (step S24; No), the
並べ替えが飛球方向順と判定した場合（ステップＳ２６；Ｙｅｓ）、ＣＰＵ２１は、各インパクト点の飛球方向Im_cを参照し、各インパクト点のダイジェスト動画を飛球方向Im_c順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ１８に供給する（ステップＳ２７）。
When the rearrangement is determined to be in order of the flying ball direction (step S26; Yes), the
並べ替えが飛球方向順ではないと判定した場合（ステップＳ２６；Ｎｏ）、ＣＰＵ２１は、並べ替えが初期設定の時刻順と判定する。この場合、ＣＰＵ２１は、各インパクト点の時刻情報Im_tを参照し、各インパクト点のダイジェスト動画を時刻情報Im_t順に並べ替え、ダイジェスト動画毎に整列された映像データImage11、音声データSound11をデコーダ１８に供給する（ステップＳ２８）。
When it is determined that the rearrangement is not in the flying ball direction order (step S26; No), the
なお、デコーダ１８に供給された映像データImage11、音声データSound11は、表示部１９やスピーカ２０から時系列的に順次顕在化されて出力される。
Note that the video data Image11 and the audio data Sound11 supplied to the
そして、ＣＰＵ２１は、インパクト点に対応するダイジェスト動画の全て再生が終了すると、この再生処理（１）を終了させる。
Then, when the reproduction of all the digest videos corresponding to the impact points is completed, the
次に、このデジタルカメラ１の動作を具体的な活用例に基づいて説明する。
ユーザ３は、ダイジェスト動画撮影モードでの撮影中にボール５を４球打つものとする。そして、ＣＰＵ２１は撮影処理を実行し、エンコーダ１４が生成した映像データImage11、音声データSound11を記憶部１５に記憶する。
Next, the operation of the
It is assumed that the
ここでは、図１２（ａ）に示すように、時刻順にＡ，Ｂ，Ｃ，Ｄの４つのタイミングでインパクト音が発生したものとする。つまり、ボール５を打つ毎に（スイングを行う毎に）ボール５を打つ瞬間にインパクト音が発生したものとする。 Here, as shown in FIG. 12A, it is assumed that impact sounds are generated at four timings of A, B, C, and D in order of time. That is, it is assumed that an impact sound is generated at the moment of hitting the ball 5 every time the ball 5 is hit (every swing is performed).
インパクト検出部１６は、ダイジェスト動画撮影の終了指示に伴って、インパクト音の発生タイミングとして各インパクト点（Ａ，Ｂ，Ｃ，Ｄ）を検出するとともに、各インパクト点に対応する上述したようなインパクト情報を取得してインパクト情報格納部１７に格納する。
The
尚、図１２（ａ）、図１２（ｂ）における各インパクト点に対応するダイジェスト動画上に示す数値は、音の大きさ順を示し、「１」は音の大きさが最も大きく、「４」は、音の大きさが最も小さいことを示す。 Note that the numerical values shown on the digest video corresponding to each impact point in FIGS. 12A and 12B indicate the order of sound volume, “1” being the largest sound volume, and “4”. "" Indicates that the volume of the sound is the smallest.
また、ユーザ３が並べ替えメニューにおいてダイジェスト動画の並べ替えを指定していなければ、並べ替えを指定するデータは、図９に示すように、並べ替え指定欄のうちの初期設定の時刻情報Im_tの欄に格納されており、並べ替えは時刻順となっている。
Further, if the
そして、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下されると、ＣＰＵ２１は、インパクト情報格納部１７を参照して、ダイジェスト動画撮影モードで記憶部１５に記憶された映像データImage11、音声データSound11（スイングを４回行ったシーン、つまり、ボール５を４回打ったシーン）やインパクト情報格納部１７に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画（スイング毎、つまり、ボール５を打つシーン毎に分離されたダイジェスト動画）を生成する。また、インパクト情報格納部１７を参照して、並べ替えに用いるインパクト情報は、時刻情報Im_tであると判別する。
When the digest video playback mode is selected and the
そして、表示部１９は、図１２（ａ）に示すように、ＣＰＵ２１の制御（ステップＳ２８の処理）により、ダイジェスト動画をインパクト点Ａ，Ｂ，Ｃ，Ｄの順に整列させて、液晶モニタ４０に表示する。
Then, as shown in FIG. 12A, the
つまり、インパクト点Ａ，Ｂ，Ｃ，Ｄに対応するそれぞれのダイジェスト動画を液晶モニタ４０に、インパクト点Ａに対応するダイジェスト動画、インパクト点Ｂに対応するダイジェスト動画、インパクト点Ｃに対応するダイジェスト動画、インパクト点Ｄに対応するダイジェスト動画の順で、動画再生表示する。
That is, the respective digest videos corresponding to the impact points A, B, C, and D are displayed on the
一方、ユーザ３が、図４（ｂ）に示す再生メニューにおいて、ダイジェスト動画再生モードを選択し、図４（ｃ）に示す並べ替えメニューにおいて音の大きさを選択していた場合、ＣＰＵ２１は、インパクト情報格納部１７の並べ替え指定欄のうち、音の大きさIm_s1の欄に、並べ替えを指定するデータを格納している。
On the other hand, when the
このようなときに、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下されると、ＣＰＵ２１は、インパクト情報格納部１７を参照して、並べ替えに用いるインパクト情報は、音の大きさIm_s1であると判別する。
In such a case, when the digest video playback mode is selected and the
そして、表示部１９は、図１２（ｂ）に示すように、ＣＰＵ２１の制御（ステップＳ２３の処理）により、ダイジェスト動画をインパクト点Ｂ，Ｄ，Ｃ，Ａの順に整列させて、液晶モニタ４０に表示する。
Then, as shown in FIG. 12B, the
つまり、インパクト点Ａ，Ｂ，Ｃ，Ｄに対応するそれぞれのダイジェスト動画を液晶モニタ４０に、インパクト点Ｂに対応するダイジェスト動画、インパクト点Ｄに対応するダイジェスト動画、インパクト点Ｃに対応するダイジェスト動画、インパクト点Ａに対応するダイジェスト動画の順で、動画再生表示する。
That is, the respective digest videos corresponding to the impact points A, B, C, and D are displayed on the
以上説明したように、本実施形態１によれば、インパクト検出部１６は、各インパクト点を検出して、インパクト情報をインパクト情報格納部１７に格納する。ＣＰＵ２１は、並べ替えが指定されると、インパクト情報格納部１７に格納されたインパクト情報に基づいて、生成した複数のダイジェスト動画を並べ替え、整列させて液晶モニタ４０に表示するようにした。
As described above, according to the first embodiment, the
従って、練習した中でスイングの部分のみを所望の順番で再生することができるので、ユーザ３に、ゴルフスイングの良否を分かり易く確認させることができ、ユーザ３は、ゴルフ練習の成果を容易に、しかも細かく解析することができる。
Therefore, since only the part of the swing can be reproduced in the desired order during practice, the
（実施形態２）
実施形態２に係るデジタルカメラは、ユーザのフォームと上級者のフォームとを比較し、ユーザのフォームを採点して、そのブレ量を表示するようにしたものである。
(Embodiment 2)
The digital camera according to the second embodiment compares the user's form with the expert's form, scores the user's form, and displays the blur amount.
実施形態２のデジタルカメラ１は、図１３に示すように、図１に示した実施形態１の構成に加え、参照ブレ情報格納部２２と採点部２３とを備える。なお、本実施形態２では、実施形態１と同一の構成については、同一の符号を用い、その構成や動作についての詳細な説明は省略する。
As illustrated in FIG. 13, the
参照ブレ情報格納部２２は、ＲＯＭ等からなり、ユーザ３のフォームを採点するためのフォームの参照データを格納するものである。
The reference blur
このような参照データとして、参照ブレ情報格納部２２は、例えば、図１４（ａ）に示すようにスイングしている上級者６の総ブレ量と局所ブレ量とを格納する。この上級者６の総ブレ量と局所ブレ量とは、ユーザ３の目標となる目標ブレ量を示す。
As such reference data, the reference blur
実施形態２では、ブレ量を、複数回のスイングを撮影した映像において、各スイングのタイミングと各画素とを対応させて得られた画素値の分散値の和とする。 In the second embodiment, the amount of blur is the sum of the dispersion values of pixel values obtained by associating the timing of each swing with each pixel in an image obtained by shooting a plurality of swings.
総ブレ量は、図１４（ａ）に示すような、あるタイミングから所定時間前または所定時間後の画像を１つのフレーム画像とし、各スイングにおける上述したようなフレーム画像間ですべての画素を対象として比較したときのブレ量である。 As shown in FIG. 14 (a), the total amount of blur is defined as one frame image that is a predetermined time before or after a certain time, and all pixels are covered between the frame images as described above in each swing. Is the amount of blurring when compared.
また、局所ブレ量は、図１４（ａ）に示すような、あるタイミングから所定時間前または所定時間後の画像を１つのフレーム画像とし、各スイングにおける上述したようなフレーム画像間で、例えば、図１４（ｂ）に示すように各フレーム画像をブロックblk1〜blk8に分割し、各ブロックblk1〜blk8毎に、それぞれの画素を対象として比較したときのブレ量である。 Further, the amount of local blur is, for example, as shown in FIG. 14A, a frame image that is a predetermined time before or after a certain time as one frame image, and between the frame images as described above in each swing, for example, As shown in FIG. 14 (b), this is a blur amount when each frame image is divided into blocks blk1 to blk8 and each pixel is compared for each block blk1 to blk8.
採点部２３は、ユーザ３のフォームのブレを示す合成画像を生成して、上級者６のフォームのブレとユーザ３のフォームのブレとに基づいてユーザ３のフォームに対しての採点を行うものであり、ＣＰＵ２１からの通知を受けて処理を行う。
The
採点部２３は、インパクト情報格納部１７に格納されたインパクト情報のうちの時刻情報Im_tを参照し、記憶部１５に記憶されている映像データImage11に基づいて複数のダイジェスト動画を生成する。
The
採点部２３は、各ダイジェスト動画におけるインパクト点を基準にして各ダイジェスト動画を合成することで、合成画像を生成する。
The
図１５は、この合成画像の生成を示す図である。各ダイジェスト動画におけるインパクト点を、それぞれ、第１〜Ｎ（Ｎ；自然数）インパクト点とする。そして、第１〜Ｎインパクト点のそれぞれの画像１−１〜１−４，２−１〜２−４，Ｎ−１〜Ｎ−４は、第１〜Ｎインパクト点に対応するそれぞれのダイジェスト動画における各フレーム画像を示す。 FIG. 15 is a diagram illustrating the generation of the composite image. The impact points in each digest video are defined as first to N (N: natural number) impact points, respectively. The images 1-1 to 1-4, 2-1 to 2-4, and N-1 to N-4 of the first to N impact points are digest videos corresponding to the first to N impact points, respectively. Each frame image in is shown.
また、各フレーム画像１−１〜Ｎ−１，１−２〜Ｎ−２，１−３〜Ｎ−３，１−４〜Ｎ−４は、それぞれ、第１〜Ｎインパクト点を基準とし、そこから所定時間前または所定時間後の同じタイミングでのフレーム画像を示す。 Each of the frame images 1-1 to N-1, 1-2 to N-2, 1-3 to N-3, 1-4 to N-4 is based on the first to N impact points, respectively. A frame image at the same timing before or after a predetermined time is shown.
例えば、フレーム画像１−１が第１インパクト点から０．１秒前の画像であれば、フレーム画像２−１・・・Ｎ−１も、それぞれ、第２〜Ｎインパクト点から、同じ０．１秒前の画像を示す。 For example, if the frame image 1-1 is an image 0.1 seconds before the first impact point, the frame images 2-1. An image one second before is shown.
採点部２３は、それぞれ、各フレーム画像１−１〜Ｎ−１，１−２〜Ｎ−２，１−３〜Ｎ−３，１−４〜Ｎ−４を合成する。つまり、採点部２３は、各ダイジェスト動画をフレーム毎に合成してダイジェスト動画の合成画像を生成する。この合成画像は、インパクト点を基準としたユーザ３のフォームスピードのバラツキを画像面内でのブレとして示している。
The
採点部２３は、生成した合成画像の映像データImage11をデコーダ１８に供給する。
The
次に、採点部２３は、各合成画像におけるユーザ３のフォームに対して採点を行う。
Next, the
採点部２３は、ユーザ３のフォームを採点するため、総ブレ量による採点方法又は局所ブレ量による採点方法を用いる。
The
総ブレ量による採点方法の場合、採点部２３は、合成画像に用いたダイジェスト動画をフレーム毎に比較することにより、ユーザ３の総ブレ量を計算する。
In the case of the scoring method based on the total blur amount, the
上級者６のフォームは、複数回スイングを行っても各スイング間のブレ量は小さい（フォームスピードのバラツキは小さい）。これに対して、初級者のブレ量は大きく、ゴルフ練習の成果が上がるに従って、ブレ量は小さくなる。
The form of the
このブレ量に基づいてユーザ３のフォームの採点を行うことができる。採点部２３は、参照ブレ情報格納部２２に予め格納されている上級者６の総ブレ量を参照し、計算したユーザ３の総ブレ量と上級者６の総ブレ量との差δ１を取得する。採点部２３は、取得した差δ１と予め設定されたブレ量閾値とを比較する。
Based on the amount of shake, the
ユーザ３のフォームに対する採点を、例えば、優、良、可、不可のいずれかとするため、δ_th1，δ_th2，δ_th3（δ_th11＜δ_th2＜δ_th3）の３つのブレ量閾値が設定される。採点部２３は、メモリ（図示せず）を備え、これらのブレ量閾値δ_th1，δ_th2，δ_th3を予めメモリに記憶する。
In order to mark the
δ_th3＜δ１の場合、採点部２３は、ユーザ３のフォームは不可と判定する。δ_th2＜δ１≦δ_th3の場合、採点部２３は、ユーザ３のフォームは可と判定する。δ_th1＜δ１≦δ_th2の場合、採点部２３は、ユーザ３のフォームは良と判定する。δ１≦δ_th1の場合、採点部２３は、ユーザ３のフォームは優と判定する。
When δ_th3 <δ1, the
局所ブレ量による採点方法の場合、採点部２３は、合成画像の各ブロックblk1〜blk8毎に、ユーザ３の局所ブレ量を求める。採点部２３は、参照ブレ情報格納部２２に格納された上級者６の各ブロックblk1〜blk8毎の局所ブレ量を参照し、求めたユーザ３の局所ブレ量と上級者６の局所ブレ量との差δ２を求める。採点部２３は、求めた差δ２と各ブレ量閾値δ_th1，δ_th2，δ_th3とを比較する。
In the case of the scoring method based on the local blur amount, the
局所ブレ量による採点方法の場合、採点部２３は、ブロックblk1〜blk8毎に、差δ２と各ブレ量閾値δ_th1，δ_th2，δ_th3とを比較する。
In the case of the scoring method based on the local blur amount, the
採点部２３は、ブロックblk1〜blk8毎に評価結果を示すため、ブロックblk1〜blk8毎に彩色を施したり、模様を付したりして合成画像に画像処理を施し、さらに、差δ２と各ブレ量閾値δ_th1，δ_th2，δ_th3との比較結果に基づいてこの彩色、模様を変える。
Since the
採点部２３は、総ブレ量による採点方法又は局所ブレ量による採点方法に従ってユーザ３のフォームの採点を行うと、この採点結果のデータをデコーダ１８に供給する。
When the
総ブレ量による採点法、局所ブレ量による採点法の選択を可能とするため、記憶部１５は、図１６（ａ）に示すような選択メニュー、図１６（ｂ）に示すような採点方法選択メニューの画像データを記憶する。
In order to enable selection of a scoring method based on the total blur amount and a scoring method based on the local blur amount, the
選択メニューは、並べ替え又は採点方法を選択するメニューであり、採点方法選択メニューは、総ブレ量による採点法、局所ブレ量による採点法のいずれかを選択するためのメニューである。 The selection menu is a menu for selecting a rearrangement or scoring method, and the scoring method selection menu is a menu for selecting either a scoring method based on the total blur amount or a scoring method based on the local blur amount.
実施形態２の場合、図４（ｂ）に示す再生メニューにおいて、ダイジェスト動画再生モードが選択されると、操作インタフェース１１は、この操作情報をＣＰＵ２１に供給し、ＣＰＵ２１は、この操作情報に基づいて記憶部１５から、選択メニューの画像データをデコーダ１８に供給する。このようにして、ＣＰＵ２１は、選択メニューを液晶モニタ４０に表示させる。
In the case of the second embodiment, when the digest video playback mode is selected in the playback menu shown in FIG. 4B, the
この選択メニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作されて採点方法が選択され、右キー４２Ｒが押下されると、操作インタフェース１１は、この操作情報をＣＰＵ２１に供給する。
In this selection menu, when the up key 42U and the down key 42D are operated to select a scoring method and the right key 42R is pressed, the
この操作情報が供給されると、ＣＰＵ２１は、記憶部１５から、採点方法選択メニューの画像データを読み出してデコーダ１８に供給する。このようにして、ＣＰＵ２１は、図１６（ｂ）に示すような採点方法選択メニューを液晶モニタ４０に表示させる。なお、本実施形態２では、図１６（ａ）に示す選択メニューで、並べ替えが選択されると、図４（ｃ）に示した並べ替えメニューに移行することが可能となっている。
When this operation information is supplied, the
総ブレ量による採点方法又は局所ブレ量による採点方法が選択された場合、操作インタフェース１１は、採点方法を選択した操作情報をＣＰＵ２１に供給する。
When the scoring method based on the total blur amount or the scoring method based on the local blur amount is selected, the
ＣＰＵ２１は、操作インタフェース１１から供給された操作情報に基づいて、選択された採点方法を判別し、判別した採点方法を採点部２３に通知する。
The
また、ＣＰＵ２１は、操作インタフェース１１から、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下された旨の操作情報が供給されると、この操作情報を採点部２３に通知する。
Further, when the operation information indicating that the digest moving image reproduction mode is selected and the
尚、記憶部１５は、図１７に示すような指示枠７の画像データを記憶している。この指示枠７は、撮影時に、ユーザ３の姿がこの指示枠７に入るようにデジタルカメラ１の位置、向きを指定する位置決めに用いるものである。
The
ＣＰＵ２１は、動画撮影が選択された場合、撮影時にこの指示枠７の画像データをデコーダ１８に供給し、この指示枠７を液晶モニタ４０に表示させる。
When moving image shooting is selected, the
次に実施形態２に係るデジタルカメラ１の動作を説明する。
デジタルカメラ１は、電源ボタン３１が押下されると電源をオンする。
ＣＰＵ２１は、操作インタフェース１１から、ダイジェスト動画撮影モードが選択された旨の操作情報が供給されると、図１７に示す指示枠７の画像データをデコーダ１８に供給し、液晶モニタ４０に指示枠７を表示させる。
Next, the operation of the
The
When the operation information indicating that the digest video shooting mode has been selected is supplied from the
このとき、ユーザ３は、ユーザ３自身の姿がこの指示枠７に収まるようにデジタルカメラ１の位置決めを行う。そして、ユーザ３自身の姿がこの指示枠７に収まるようにデジタルカメラ１の位置決めが行われ、操作インタフェース１１から、シャッタボタン３２が押下された旨の操作情報が供給されると、ＣＰＵ２１は、図１０に示すフローチャートに従って、実施形態１と同様に、撮影処理を実行する。
At this time, the
撮影処理を実行した後、操作インタフェース１１から、ダイジェスト動画再生モードが選択され、採点方法が選択された旨の操作情報が供給されると、ＣＰＵ２１は、採点部２３に、選択された採点方法を通知する。
After executing the shooting process, when the digest video playback mode is selected from the
また、操作インタフェース１１から、再生ボタン３９が押下された旨の操作情報が供給されると、ＣＰＵ２１は、この操作情報を採点部２３に通知する。採点部２３は、この通知を受けると、記憶部１５から、再生処理（２）のプログラムデータを読み出して、図１８に示すフローチャートに従い、この処理を実行する。
Further, when operation information indicating that the
つまり、操作インタフェース１１から、再生ボタン３９が押下された旨の操作情報が供給されると、採点部２３は、インパクト情報格納部１７に格納されたインパクト情報を参照し、記憶部１５から、ダイジェスト動画撮影モードで撮影された映像データImage11を読み出して、複数のダイジェスト動画を生成し、上述したように、ダイジェスト動画間で、フレーム毎に画像を合成し、ダイジェスト動画の合成画像を生成する（ステップＳ３１）。
That is, when the operation information indicating that the
採点部２３は、ＣＰＵ２１からの通知に基づいて、総ブレ量による採点方法が選択されているか否かを判定する（ステップＳ３２）。
The
総ブレ量による採点方法が選択されていると判定した場合（ステップＳ３２；Ｙｅｓ）、採点部２３は、合成画像に用いた各ダイジェスト動画を比較して、フレーム毎にユーザ３の総ブレ量を計算する（ステップＳ３３）。
When it is determined that the scoring method based on the total blur amount is selected (step S32; Yes), the
採点部２３は、参照ブレ情報格納部２２に格納されている上級者６の総ブレ量をフレーム毎に参照して、ユーザ３の総ブレ量とこの上級者６の総ブレ量との差δ１を計算し、計算した差δ１と各総ブレ量閾値δ_th1，δ_th2，δ_th3とを比較することにより、ユーザ３のフォームをフレーム毎に採点する（ステップＳ３４）。
The
採点部２３は、生成した合成画像の映像データImage11をデコーダ１８に供給する（ステップＳ３５）。
The
採点部２３は、採点結果のデータをデコーダ１８に供給する（ステップＳ３６）。つまり、採点部２３は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応する採点結果を表示中の合成フレーム画像と対応付けて表示する。
そして、採点部２３は、合成されたダイジェスト動画を構成する各合成フレーム画像を全て表示するとともに、それに対応する採点結果を全て表示すると、この再生処理（２）を終了させる。
The
Then, the
一方、ＣＰＵ２１からの通知に基づいて、局所ブレ量による採点方法が選択されていると判定した場合（ステップＳ３２；Ｎｏ）、採点部２３は、ユーザ３のフォームを分割した各ブロックblk1〜blk8毎に対して局所ブレ量をフレーム毎に計算する（ステップＳ３７）。
On the other hand, when it is determined that the scoring method based on the local blur amount is selected based on the notification from the CPU 21 (step S32; No), the
採点部２３は、参照ブレ情報格納部２２に格納されている上級者６の各ブロックblk1〜blk8の局所ブレ量をフレーム毎に参照して、ユーザ３の各ブロックblk1〜blk8の局所ブレ量とこの上級者６の局所ブレ量との差δ２を計算し、各ブロックblk1〜blk8毎に対して計算した差δ２と各ブレ量閾値δ_th1，δ_th2，δ_th3とを比較する。採点部２３は、比較した結果に基づいてユーザ３のフォームの採点をフレーム毎に行う（ステップＳ３８）。
The
採点部２３は、採点結果に基づいて合成画像に画像処理を施す（ステップＳ３９）。
採点部２３は、合成画像の映像データImage11をデコーダ１８に供給する（ステップＳ３５）。
The
The
採点部２３は、採点結果のデータをデコーダ１８に供給する（ステップＳ３６）。つまり、採点部２３は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応するブロックblk1〜blk8毎の採点結果を表示中の合成フレーム画像における各ブロックblk1〜blk8と対応付けてそれぞれに表示する。
The
そして、採点部２３は、合成されたダイジェスト動画を構成する各合成フレーム画像を全て表示するとともに、それに対応する採点結果を全て表示すると、この再生処理（２）を終了させる。
Then, the
次に実施形態２に係るデジタルカメラ１の動作を具体的な活用例に基づいて説明する。
Next, the operation of the
ユーザ３は、ダイジェスト動画撮影モードでの撮影中にボール５を、例えば、４球打つものとする。そして、ＣＰＵ２１は撮影処理を実行し、エンコーダ１４が生成した映像データImage11、音声データSound11を記憶部１５に記憶する。
It is assumed that the
ここでは、図１２（ａ）に示すように、時刻順にＡ，Ｂ，Ｃ，Ｄの４つのタイミングでインパクト音が発生したものとする。つまり、ボール５を打つ毎に（スイングを行う毎に）ボール５を打つ瞬間にインパクト音が発生したものとする。 Here, as shown in FIG. 12A, it is assumed that impact sounds are generated at four timings of A, B, C, and D in order of time. That is, it is assumed that an impact sound is generated at the moment of hitting the ball 5 every time the ball 5 is hit (every swing is performed).
インパクト検出部１６は、ダイジェスト動画撮影の終了指示に伴って、インパクト音の発生タイミングとして各インパクト点（Ａ，Ｂ，Ｃ，Ｄ）を検出するとともに、各インパクト点に対応する上述したようなインパクト情報を取得してインパクト情報格納部１７に格納する。
The
ここで、図１６（ａ）に示したような選択メニューでは、採点方法が選択されているものとする。そして、ユーザにより、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下されると、採点部２３は、インパクト情報格納部１７を参照して、ダイジェスト動画撮影モードで記憶部１５に記憶された映像データImage11、音声データSound11（スイングを４回行ったシーン、つまり、ボール５を４回打ったシーン）やインパクト情報格納部１７に格納されたインパクト情報に基づいて上述したように複数のダイジェスト動画（スイング毎、つまり、ボール５を打つシーン毎に分離されたダイジェスト動画）を生成する。
Here, it is assumed that the scoring method is selected in the selection menu as shown in FIG. When the digest video playback mode is selected by the user and the
採点部２３は、各インパクト点（Ａ，Ｂ，Ｃ，Ｄ）を基準として、生成した複数のダイジェスト動画を上述したようにフレーム毎に合成する。
The
つまり、採点部２３は、図１５に示すように、各インパクト点に対応するダイジェスト動画における各フレーム画像１−１〜４−１，１−２〜４−２，１−３〜４−３，１−４〜４−４を、それぞれ、合成し、図１９（ａ）〜（ｄ）に示すようなフレーム毎の合成画像を生成する（ステップＳ３１の処理）。
That is, the
尚、図１９（ａ）〜（ｄ）のそれぞれの映像の左上又は右上に付した数値は、それぞれ、合成画像のフレーム番号を示す。採点部２３は、ダイジェスト動画のフレーム画像毎にこのような合成画像の生成を行う。
In addition, the numerical value attached | subjected to each upper left or upper right of each image | video of Fig.19 (a)-(d) shows the frame number of a synthesized image, respectively. The
そして、図１６（ｂ）に示したような採点方法選択メニューで総ブレ量による採点方法が選択された場合（ステップＳ３２；Ｙｅｓ）には、採点部２３が、生成した合成画像の映像データImage11をデコーダ１８に供給すると（ステップＳ３５の処理）、表示部１９は、図２０に示す合成画像を液晶モニタ４０に表示する。
When the scoring method based on the total blur amount is selected in the scoring method selection menu as shown in FIG. 16B (step S32; Yes), the
また、採点部２３は、上述したように総ブレ量を計算し、ユーザ３のフォームを採点した結果の採点結果をデコーダ１８に供給し（ステップＳ３３，Ｓ３４，Ｓ３６の処理）、表示部１９は、この採点結果を液晶モニタ４０に表示する。
In addition, the
つまり、採点部２３は、合成されたダイジェスト動画を構成する各合成フレーム画像の表示中に、表示中の合成フレーム画像に対応する採点結果を表示中の合成フレーム画像と対応付けて表示する。
That is, the
例えば、フレーム番号１の合成画像において、ユーザ３の総ブレ量と上級者６の総ブレ量との差δ１を採点部２３が計算した結果、δ_th1＜δ１≦δ_th2になったものとする。
For example, in the composite image of
この場合、採点部２３は、採点結果を良とし、液晶モニタ４０は、図２０に示すように、フレーム番号１の合成画像上に１／良（フレーム番号／採点結果）を表示する。
In this case, the
また、フレーム番号２の合成画像において、採点部２３が差δ１を計算した結果、δ_th2＜δ１≦δ_th3になったものとする。この場合、採点部２３は、採点結果を可とし、液晶モニタ４０は、図２０に示すように、フレーム番号２の合成画像上に２／可を表示する。
In the composite image of
また、フレーム番号３の合成画像において、採点部２３が差δ１を計算した結果、δ１≦δ１th1になったものとする。この場合、採点部２３は、採点結果を優とし、液晶モニタ４０は、図２０に示すように、フレーム番号３の合成画像上に３／優を表示する。
Also, in the composite image of
また、フレーム番号４の合成画像において、採点部２３が差δ１を計算した結果、δ_th3＜δ１になったものとする。この場合、採点部２３は、採点結果を不可とし、液晶モニタ４０は、図２０に示すように、フレーム番号４の合成画像上に４／不可を表示する。
Further, in the composite image of
一方、図１６（ｂ）に示したような採点方法選択メニューで局所ブレ量による採点方法が選択されていた場合（ステップＳ３２；Ｎｏ）、採点部２３は、各ブロックblk1〜blk8毎に対して局所ブレ量をフレーム毎に計算し、ユーザ３のフォームを採点する（ステップＳ３７，Ｓ３８の処理）。
On the other hand, when the scoring method based on the local blur amount is selected in the scoring method selection menu as shown in FIG. 16B (step S32; No), the
採点部２３は、図２１に示すように、ユーザ３の局所ブレ量と上級者６の局所ブレ量との差δ２と、各ブレ量閾値δ_th1，δ_th2，δ_th3と、の比較結果に基づいて、フレーム番号１の合成画像のブロックblk7、フレーム番号２の合成画像のブロックblk6、フレーム番号４の合成画像のブロックblk5，blk7に模様を付す（ステップＳ３９の処理）。
As shown in FIG. 21, the
採点部２３がこの合成画像のデータをデコーダ１８に供給すると（ステップＳ３５の処理）、表示部１９は、図２１に示すように模様を付した合成画像を液晶モニタ４０に表示する。
When the
また、採点部２３が、ユーザ３のフォームを採点した結果の採点結果をデコーダ１８に供給すると（ステップＳ３６の処理）、図２０と同じように、表示部１９は、この採点結果も合わせて液晶モニタ４０に表示する。
Further, when the
従って、液晶モニタ４０には、ユーザ３のフォーム、そのブレ、ユーザ３のフォームの採点結果が表示され、ユーザ３のフォームに欠点がある場合には、その欠点を示す模様がユーザ３のスイングに伴って表示される。
Therefore, on the
以上説明したように、本実施形態２によれば、上級者６の総ブレ量又は局所ブレ量とユーザ３の総ブレ量又は局所ブレ量とを比較して、ユーザ３のフォームの採点を行うようにした。
As described above, according to the second embodiment, the total blur amount or local blur amount of the
従って、ユーザ３のスイングのブレを即座に目視できるので、容易にスイングの欠点を解析することができる。また、ユーザ３のフォームを数値に基づいて客観的に採点することができる。
Therefore, since the swing blur of the
また、総ブレ量による採点方法を採用した場合、簡易な採点が可能となる。
また、局所ブレ量による採点方法を採用した場合、合成画像に、色彩を施したり、模様を付したりすることにより、ユーザ３に欠点箇所を容易に確認させることができる。
In addition, when the scoring method based on the total blur amount is adopted, simple scoring is possible.
In addition, when the scoring method based on the amount of local blur is adopted, the
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態１では、並べ替えを図１２（ａ）、（ｂ）に示すように、各ダイジェスト動画の再生表示を時系列的に順次表示させるものとした。
In carrying out the present invention, various forms are conceivable and the present invention is not limited to the above embodiment.
For example, in the first embodiment, as shown in FIGS. 12A and 12B, rearrangement display of each digest video is sequentially displayed in time series.
しかし、図２２（ａ）に示すように、インパクト点Ａ，Ｂ，Ｃ，Ｄに対応するダイジェスト動画を一括同時再生する構成としてもよい。そしてこのときに、各ダイジェスト動画の再生表示箇所を液晶モニタ４０内でインパクト情報に基づいて並べ替えるようにしてもよい。 However, as shown in FIG. 22 (a), the digest moving images corresponding to the impact points A, B, C, and D may be reproduced simultaneously. At this time, the reproduction display locations of the digest videos may be rearranged in the liquid crystal monitor 40 based on the impact information.
また、所定のダイジェスト動画を比較対象として所定の表示領域に繰り返し再生表示するとともに、他の複数のダイジェスト動画を他の表示領域に時系列的に順次再生表示させる構成としてもよい。そしてこのとき、他の複数のダイジェスト動画の他の表示領域への表示を、インパクト情報に基づいて時系列的に順次再生表示させるようにしてもよい。 Alternatively, a predetermined digest video may be repeatedly reproduced and displayed in a predetermined display area as a comparison target, and another plurality of digest videos may be sequentially reproduced and displayed in time series in the other display areas. At this time, the display of the other plurality of digest videos in other display areas may be sequentially reproduced and displayed in time series based on the impact information.
例えば、図２２（ｂ）に示すように、インパクト点Ｂのダイジェスト動画を比較対象として、インパクト点Ｂのダイジェスト動画と、インパクト点Ｃ，Ｄ，Ａのそれぞれのダイジェスト動画とを、比較するように、液晶モニタ４０内で並べ替えるようにしてもよい。
For example, as shown in FIG. 22 (b), the digest video at impact point B is compared, and the digest video at impact point B and each digest video at impact points C, D, and A are compared. They may be rearranged in the
また、上記実施形態１では、並べ替えを、音の大きさ、時刻、スイング速度、飛球方向順のいずれかとした。しかし、並べ替えは、これに限られるものではない。 In the first embodiment, the rearrangement is performed in any of the order of sound volume, time, swing speed, and flying ball direction. However, rearrangement is not limited to this.
例えば、ユーザ３の運動の成果を評価する評価値を自己採点として、ユーザ３がダイジェスト動画を参照して自己採点の入力を行えるようにして、並べ替えをこの自己採点順としてもよい。
For example, the evaluation value for evaluating the result of the exercise of the
詳述すると、デジタルカメラ１は、このような自己採点を行えるようにするため、図２３（ａ）に示すようなダイジェスト動画オプションメニュー、図２３（ｂ）に示すような自己採点メニューを液晶モニタ４０に表示させる。
More specifically, in order to enable the
図２３（ａ）に示すダイジェスト動画オプションメニューは、ダイジェスト動画のオプションを設定するためのメニューであり、自己採点、並べ替えの項目を有する。 The digest movie option menu shown in FIG. 23A is a menu for setting digest movie options, and has items of self-scoring and rearrangement.
デジタルカメラ１は、図４（ｂ）に示す再生メニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作されてダイジェスト動画再生モードが選択され、右キー４２Ｒが押下されると、このダイジェスト動画オプションメニューを液晶モニタ４０に表示させる。
In the playback menu shown in FIG. 4B, the
このダイジェスト動画オプションメニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作されて自己採点が選択され、右キー４２Ｒが押下されると、デジタルカメラ１は、図２３（ｂ）に示すような自己採点メニューを液晶モニタ４０に表示させる。
In this digest movie option menu, when the up key 42U and the down key 42D are operated to select the self-scoring and the right key 42R is pressed, the
自己採点メニューは、自己採点の有効、無効を選択するためのメニューであり、自己採点の有効、無効は、自己採点メニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作されて有効、無効が選択され、セットキー４２Ｓが押下されることにより選択される。 The self-scoring menu is a menu for selecting valid / invalid of the self-scoring. Valid / invalid of the self-scoring is selected by selecting the valid / invalid by operating the up key 42U and the down key 42D in the self-scoring menu. The key is selected by pressing the set key 42S.
ＣＰＵ２１は、操作インタフェース１１から、図２３（ｂ）に示す自己採点メニューにおいて自己採点の有効が選択された旨の操作情報が供給された場合、自己採点は有効と判定する。
The
自己採点の有効が選択された場合に自己採点データを入力する方法としては、キーによる入力方法、ゼスチャーを認識する方法、音声による入力方法等がある。キーによる入力方法の場合、デジタルカメラ１は、このキーを備える。
Examples of methods for inputting self-scoring data when self-scoring is enabled include a key input method, a gesture recognition method, and a voice input method. In the case of the key input method, the
ゼスチャーを認識する方法の場合、デジタルカメラ１は、例えば、使用する手袋の色を予め登録しておき、ユーザ３が手袋をした手で数字を描いた場合に、その色の位置の変化パターンに基づいて、描いた数字を認識する。
In the case of the method for recognizing a gesture, for example, the
音声による入力方法の場合、音声認識ＲＯＭ１２は、自己採点時に発話される音声を認識するための音声認識用のデータとして、「いち」、「に」、「さん」、「よん」、「ご」、・・・と、「ゆう（優）」、「りょう（良）」、「か（可）」、「ふか（不可）」といった自己採点データを記憶する。
In the case of the voice input method, the
自己採点メニューにおいて自己採点の有効が選択されていると、ＣＰＵ２１は、上述したようなダイジェスト動画撮影モードにおける撮影処理の終了後に、記憶部１５から、音声データ取得処理のプログラムデータを読み出し、図２４に示すフローチャートに従って、この処理を実行する。
When the self-scoring is enabled in the self-scoring menu, the
ＣＰＵ２１は、インパクト情報格納部１７を参照し、インパクト情報に基づいてインパクト点の映像データImage11を記憶部１５から読み出して、デコーダ１８に供給することにより、インパクト点の映像を表示させる（ステップＳ４１）。なお、このとき表示させる映像は、上述したようにＣＰＵ２１によって生成されるダイジェスト動画であってもよい。
The
ＣＰＵ２１は、インパクト点でのフレーム画像（例えばインパクト音発生タイミングに対応するフレーム画像）を表示してから数秒経過後、ＬＥＤランプ３５にＬＥＤ点灯制御信号を供給してＬＥＤランプ３５を点灯する（ステップＳ４２）。
The
ＣＰＵ２１は、ユーザ３の発話による音声データSound1を入力して、自己採点の入力を受け付けるように、映像・音声入力部１３を制御する（ステップＳ４３）。ＣＰＵ２１は、ＬＥＤランプ３５にＬＥＤ点灯制御信号を供給してから、予め設定された時間経過後にＬＥＤ点灯制御信号の供給を停止してＬＥＤランプ３５を消灯する。
The
このとき、ユーザは、表示された映像を確認して自己採点を行い、ＬＥＤランプ３５の点灯中に、例えば「ゆう（優）」、「りょう（良）」、「か（可）」、「ふか（不可）」のように発話する。 At this time, the user performs self-scoring by confirming the displayed video, and during the lighting of the LED lamp 35, for example, “Yu (excellent)”, “Ryo (good)”, “ka (possible)”, “ Speak like "Fuka (impossible)".
エンコーダ１４は、入力された音声データSound1を圧縮、符号化して音声データSound11を生成し、ＣＰＵ２１は、エンコーダ１４が圧縮、符号化した音声データSound11を記憶部１５に記憶する（ステップＳ４４）。
The
ＣＰＵ２１は、インパクト情報格納部１７を参照し、インパクト情報に基づいて、他にインパクト点があるか否かを判定する（ステップＳ４５）。
The
他にインパクト点があると判定した場合（ステップＳ４５；Ｙｅｓ）、ＣＰＵ２１は、ステップＳ４１〜Ｓ４４を実行する。
If it is determined that there is another impact point (step S45; Yes), the
他にインパクト点がないと判定した場合（ステップＳ４５；Ｎｏ）、ＣＰＵ２１は、この音声データ取得処理を終了させる。
When it is determined that there is no other impact point (step S45; No), the
記憶部１５にユーザ３の発話による音声データSound11が記憶されると、ＣＰＵ２１は、取得した音声データから自己採点データを取得するように、インパクト検出部１６を制御する。インパクト検出部１６は、記憶部１５から、この音声データSound11を読み出す。
When the voice data Sound11 based on the speech of the
音声認識部１６ｈは、インパクト検出部１６が記憶部１５から読み出した音声データSound11と音声認識ＲＯＭ１２に記憶された音声認識用のデータとを比較して、ユーザ３が発話した音声を認識し、音声認識データIm_s2を自己採点データとして出力する。以後、この音声認識データIm_s2を自己採点データIm_s2とする。
The
インパクト検出部１６は、音声認識部１６ｈが出力した自己採点データIm_s2をインパクト情報としてインパクト情報格納部１７に格納する。
The
なお、インパクト情報格納部１７は、図２５に示すように、インパクト検出部１６から供給された自己採点データIm_s2をインパクト点毎に格納する。
As shown in FIG. 25, the impact
デジタルカメラ１は、このようにして音声による入力方法により自己採点データを取得する。
In this way, the
次に、図２３（ａ）に示すダイジェスト動画オプションメニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作されて並べ替えが選択され、右キー４２Ｒが押下されると、デジタルカメラ１は、図２３（ｃ）に示すような並べ替えメニューを液晶モニタ４０に表示させる。
Next, in the digest movie option menu shown in FIG. 23A, when the up key 42U and the down key 42D are operated to select the rearrangement and the right key 42R is pressed, the
この並べ替えメニューにおいて、アップキー４２Ｕ、ダウンキー４２Ｄが操作され、並べ替えに用いるインパクト情報として自己採点が選択され、セットキー４２Ｓが押下された旨の操作情報が供給されると、ＣＰＵ２１は、インパクト情報格納部１７の並べ替え指定欄のうちの自己採点データの欄に、並べ替えを指定するデータを格納する。
In this rearrangement menu, when the up key 42U and the down key 42D are operated, self-scoring is selected as impact information used for rearrangement, and operation information indicating that the
操作インタフェース１１から、ダイジェスト動画再生モードが選択されて再生ボタン３９が押下された旨の操作情報が供給されると、ＣＰＵ２１は、記憶部１５から、再生処理（３）のプログラムのデータを読み出し、図２６に示すフローチャートに従って、この処理を実行する。
When the operation information indicating that the digest video playback mode is selected and the
ＣＰＵ２１は、図１１に示す再生処理（１）のステップＳ２１〜２７と同様の処理を実行する（ステップＳ５１〜５７）。 CPU21 performs the process similar to step S21-27 of the reproduction | regeneration process (1) shown in FIG. 11 (step S51-57).
ＣＰＵ２１は、操作インタフェース１１から供給された操作情報に基づいて、並べ替えが飛球方向順ではないと判定すると（ステップＳ５６；Ｎｏ）、並べ替えが自己採点順か否かを判定する（ステップＳ５８）。
When the
並べ替えが自己採点順と判定した場合（ステップＳ５８；Ｙｅｓ）、ＣＰＵ２１は、各インパクト点の自己採点データIm_s2を参照し、各インパクト点のダイジェスト動画を自己採点データIm_s2順に並べ替え、映像データImage11、音声データSound11をデコーダ１８に供給する（ステップＳ５９）。
When it is determined that the rearrangement is in the self-scoring order (step S58; Yes), the
並べ替えが自己採点順ではないと判定した場合（ステップＳ５８；Ｎｏ）、ＣＰＵ２１は、並べ替えが初期設定の時刻順と判定し、各インパクト点のダイジェスト動画を時刻情報Im_t順に並べ替え、映像データImage11、音声データSound11をデコーダ１８に供給する（ステップＳ６０）。そして、ＣＰＵ２１は、この再生処理（３）を終了させる。
When it is determined that the rearrangement is not in the self-scoring order (step S58; No), the
このように、ユーザ３の自己採点の結果に基づいて、ダイジェスト動画を整列させて表示させることにより、複数のダイジェスト動画をユーザ３が考えている通りに整列させることができる。このため、ユーザ３の思い通りに自己のフォームを解析を行うことができる。
In this way, by displaying the digest videos in alignment based on the result of the self-scoring of the
また、ユーザ３の発話を音声認識して自己採点を行うようにすることにより、容易に自己採点を行うことができる。
In addition, self-scoring can be performed easily by recognizing speech of the
上記実施形態１では、スイング速度、飛球方向等の演算を撮影終了後に行うものとした。しかし、これらの演算がＣＰＵの負荷に対して問題にならないような場合には、これらの演算を撮影と平行して行うようにしてもよい。 In the first embodiment, calculations such as the swing speed and the flying ball direction are performed after the photographing is completed. However, when these calculations do not pose a problem with respect to the load on the CPU, these calculations may be performed in parallel with photographing.
上記実施形態１では、インパクト情報を、時刻情報、音の大きさ、スイング速度、飛球方向として説明した。しかし、インパクト情報はこれに限られるものではなく、例えば、ボール５の打球速度であってもよい。この場合、インパクト検出部１６は、ボール５の中心の移動距離を検出し、この移動距離と撮影間隔とに基づいてボール５の打球速度を取得する。
In the first embodiment, the impact information is described as time information, sound volume, swing speed, and flying ball direction. However, the impact information is not limited to this, and may be the hitting speed of the ball 5, for example. In this case, the
上記実施形態１では、検出したインパクト点に対応する全てのダイジェスト動画を表示するものとして説明した。しかし、ダイジェスト動画の表示については、ダイジェスト動画の全てを必ずしも再生しなくてもよい。
In
例えば、インパクト情報を評価し、評価値の高いものだけを表示してもよい。例えば、インパクト情報としてスイングスピードを評価し、スイングスピードの最も速いものだけを表示したりしてもよい。 For example, impact information may be evaluated and only those with high evaluation values may be displayed. For example, the swing speed may be evaluated as impact information, and only the fastest swing speed may be displayed.
上記実施形態１，２では、付随して音が発生する運動として、ゴルフスイングを例に説明した。しかし、このような運動であれば、ゴルフスイングに限られるものではない。例えば、運動は、ボールを用いた運動として、テニスのサーブ練習、野球の打撃練習、バレーボールのサーブ練習、サッカーのシュート練習のような練習であってもよい。 In the first and second embodiments, the golf swing has been described as an example of the accompanying motion that generates sound. However, such an exercise is not limited to a golf swing. For example, the exercise may be exercises such as tennis serve practice, baseball batting practice, volleyball serve practice, soccer shoot practice, etc., as exercise using a ball.
さらに、このような運動は、ボールを用いた運動に限られるものでもなく、例えば、体操競技の跳馬練習、短距離走のスタート練習等であってもよい。 Furthermore, such exercise is not limited to exercise using a ball, and may be, for example, practice of jumping in gymnastics, practice of starting short distance running, or the like.
体操競技の跳馬練習の場合は、跳馬台に手をついたときに音が発生し、短距離走のスタート練習の場合、スタート合図を行うときに信号音が発生する。このように体操競技の跳馬練習、短距離走のスタート練習であっても、発生した音を基準にダイジェスト動画を生成することができる。 In the practice of jumping in gymnastics, a sound is generated when a hand is touched on a jumping platform, and in the case of a start practice of short distance running, a signal sound is generated when a start signal is given. As described above, a digest movie can be generated on the basis of the generated sound even in the practice of jumping in gymnastics and the start practice of short-distance running.
上記実施形態１，２では、インパクト検出部１６が音の大きさに基づいてインパクト点を検出するようにした。しかし、インパクト検出部１６は、例えば、映像に基づいてインパクト点を検出するようにしてもよい。
In the first and second embodiments, the
ゴルフ練習を例にして説明すると、インパクト点では、インパクト音を発するとともに、ボール５の球速等も変化する。映像データImage11から、この変化タイミングを検出することにより、インパクト点を検出することができる。 When explaining golf practice as an example, at the impact point, an impact sound is emitted and the ball speed of the ball 5 also changes. By detecting this change timing from the video data Image11, the impact point can be detected.
上記実施形態１，２では、デジタルカメラ１は、ユーザ３の正面側に配置されるものとして説明した。しかし、デジタルカメラ１の配置位置は、これに限られるものではなく、例えば、ユーザ３の後方に配置されてもよい。
In the first and second embodiments, the
この場合、指示枠７は、ユーザ３の後方から撮影するのにふさわしい形状のものとし、また、参照ブレ情報格納部２２も、上級者６の後方から撮影したときの上級者６のブレ量等を、参照データとして格納する。
In this case, the
上記実施形態２では、総ブレ量が大きい場合でも採点結果を表示するようにした。しかし、総ブレ量が非常に大きく、採点結果を表示するまでもないときは、採点結果の表示を省略してもよい。 In the second embodiment, the scoring result is displayed even when the total blur amount is large. However, when the total blur amount is very large and it is not necessary to display the scoring result, the scoring result display may be omitted.
上記実施形態１，２では、局所ブレ量が大きい場合、そのブロックに色彩を施したり、模様を付したり等の合成画像の加工を行うようにした。しかし、合成画像の画像処理は、これに限られるものではなく、例えば、局所ブレ量が大きいブロックを、点滅、拡大、画面切替間隔を変える等の処理であってもよい。 In the first and second embodiments, when the amount of local blur is large, the synthesized image is processed such as coloring or adding a pattern to the block. However, the image processing of the composite image is not limited to this, and may be, for example, processing such as blinking, enlarging, and changing the screen switching interval for a block having a large local blur amount.
上記実施形態２では、ブレ量を画素値の分散の和とした。しかし、ブレ量は、このような算出方法によるものであるとは限らない。例えば、フレーム画像間の差分を撮った上で画素値の分散値を求めてもよい。また、上級者６、ユーザ３のエッジ画像を生成し、座標を設定してエッジ画像の変位の分散値に基づいて、ブレ量を算出するようにしてもよい。また、分散値の代わりに標準偏差を用いてブレ量を算出してもよい。
In the second embodiment, the blur amount is the sum of the dispersion of pixel values. However, the blur amount is not always based on such a calculation method. For example, a variance value of pixel values may be obtained after taking a difference between frame images. Alternatively, the edge images of the
上記実施形態２では、ダイジェスト動画を合成した合成画像を表示するようにした。しかし、ダイジェスト動画の変わりに、静止画である各フレーム画像の合成画像を並べて表示するようにしてもよい。 In the second embodiment, a composite image obtained by combining digest videos is displayed. However, instead of the digest video, a composite image of each frame image that is a still image may be displayed side by side.
上記実施形態１では、インパクト検出部１６、ＣＰＵ２１を異なる構成として説明した。また、上記実施形態２では、インパクト検出部１６、ＣＰＵ２１、採点部２３を異なる構成として説明した。しかし、これらを同じ構成としてもよい。そして、これらの構成等をデジタルカメラ１とは別のコンピュータに含まれるものとして、コンピュータとデジタルカメラ１とを接続するようにしてもよい。
In the said
上記実施形態１，２では、被写体をゴルフ練習者、動作をゴルフ練習として説明した。しかし、被写体、動作は、これに限られるものではなく、例えば、被写体を自動車、動作を衝突テストのような機械のテストとしてもよい。この場合、衝突テスト毎に、衝突音が付随音として発生するため、デジタルカメラ１は、この衝突音に基づいてダイジェスト動画を生成する。このように、上記実施形態１，２は、衝突テストのような機械のテストにも適用可能である。
In the first and second embodiments, the subject is a golf practitioner and the operation is a golf practice. However, the subject and motion are not limited to this, and for example, the subject may be a car and the motion may be a machine test such as a collision test. In this case, since a collision sound is generated as an accompanying sound for each collision test, the
上記実施形態１，２では、ダイジェスト動画は、インパクト点を含み、その前後の予め設定された時間の動画として説明した。しかし、ダイジェスト動画は、インパクト点を含み、このインパクト点を起点とした、その前またはその後の予め設定された時間の動画としてもよい。 In the first and second embodiments, the digest moving image is described as a moving image of a preset time before and after the impact point including the impact point. However, the digest movie may include an impact point, and may be a movie of a preset time before or after the impact point.
上記実施形態１，２では、ダイジェスト動画撮影モードとダイジェスト動画再生モードとを備え、ダイジェスト動画撮影モードの実行に伴って連続動画からインパクト情報を生成し、ダイジェスト動画再生モードにおいてこの生成されたインパクト情報に基づいてダイジェスト動画を再生する構成について説明した。 In the first and second embodiments, the digest video shooting mode and the digest video playback mode are provided, and impact information is generated from the continuous video in accordance with the execution of the digest video shooting mode, and the generated impact information in the digest video playback mode. The configuration for reproducing the digest video based on the above has been described.
しかし、ダイジェスト動画撮影モードを備えることなく、ダイジェスト動画再生モードにおいて、撮影済みの連続動画に基づいてインパクト情報を生成するとともに、これに基づいてダイジェスト動画を再生する構成としてもよい。 However, without providing the digest movie shooting mode, the digest movie playback mode may be configured to generate impact information based on the captured continuous movie and play the digest movie based on this.
また、ダイジェスト動画撮影モードにおいてダイジェスト動画の生成までを実行し、ダイジェスト動画再生モードにおいてこの生成されたダイジェスト動画を再生する構成としてもよい。 Further, it may be configured to execute up to the generation of a digest video in the digest video shooting mode and to play back the generated digest video in the digest video playback mode.
上記実施形態１，２では、ダイジェスト画像表示装置をデジタルカメラ１として説明した。しかし、ダイジェスト画像表示装置は、デジタルカメラに限られるものではなく、例えば、ビデオカメラであってもよい。
In the first and second embodiments, the digest image display device is described as the
また、表示部１９を大型スクリーンとして、デジタルカメラ１と分離し、さらに、撮影の開始、停止、終了を音声にて行うようにすれば、ユーザ３は、デジタルカメラ１を操作しなくても、音声により、大型スクリーンに映し出された自分のフォームを評価することができる。
Further, if the
また、上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、上記ダイジェスト画像表示装置を、これを含む装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。 In the above-described embodiment, the program is described as being stored in advance in a memory or the like. However, a program for operating the digest image display device as all or a part of the device including the digest image display device, or executing the above-described processing, a flexible disk, a CD-ROM (Compact Disk Read-Only Memory), The program is stored and distributed in a computer-readable recording medium such as a DVD (Digital Versatile Disk) or MO (Magneto Optical disk), installed in another computer, and operated as the above-mentioned means. It may be executed.
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。 Furthermore, the program may be stored in a disk device or the like included in a server device on the Internet, and may be downloaded onto a computer by being superimposed on a carrier wave, for example.
１・・・デジタルカメラ、１２・・・音声認識ＲＯＭ、１３・・・映像・音声入力部、１４・・・エンコーダ、１５・・・記憶部、１６・・・インパクト検出部、１７・・・インパクト情報格納部、１８・・・デコーダ、１９・・・表示部、２１・・・ＣＰＵ、２２・・・参照ブレ情報格納部、２３・・・採点部
DESCRIPTION OF
Claims (20)
前記付随音を取得する付随音取得部と、
前記動作を比較するための比較情報を格納する比較情報格納部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するとともに、各タイミングの前記比較情報を取得して前記比較情報格納部に格納するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記比較情報格納部を参照し、格納された前記比較情報に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示するダイジェスト画像表示部と、を備えた、
ことを特徴とするダイジェスト画像表示装置。 A video acquisition unit that captures a subject that performs the operation of generating an accompanying sound a plurality of times and acquires a video of the subject;
An accompanying sound acquisition unit for acquiring the accompanying sound;
A comparison information storage for storing comparison information for comparing the operations;
Based on the video acquired by the video acquisition unit or the accompanying sound acquired by the accompanying sound acquisition unit, each timing at which the accompanying sound occurs is detected, and the comparison information at each timing is acquired to store the comparison information A timing detection unit stored in the unit;
A digest image generation unit that generates a digest image for each timing detected by the timing detection unit from the video acquired by the video acquisition unit;
A digest image display unit that refers to the comparison information storage unit and displays a plurality of digest images generated by the digest image generation unit based on the stored comparison information.
A digest image display device.
前記映像取得部は、球を用いた運動を複数回行う被写体を撮影して前記被写体の映像を取得する、
ことを特徴とする請求項１に記載のダイジェスト画像表示装置。 The movement is an exercise using a sphere,
The video acquisition unit acquires a video of the subject by photographing a subject that performs a plurality of exercises using a sphere,
The digest image display device according to claim 1.
前記映像取得部は、補助具で前記球に衝撃を加えて飛球させる運動を複数回行う被写体を撮影して前記被写体の映像を取得し、
前記付随音取得部は、前記付随音として、前記補助具で前記球に衝撃を加えたときに発生する音を取得する、
ことを特徴とする請求項２に記載のダイジェスト画像表示装置。 The operation is an exercise of applying a shock to the ball with an auxiliary tool to fly,
The video acquisition unit acquires a video of the subject by photographing a subject that performs a plurality of movements that impact and fly the ball with an auxiliary tool,
The accompanying sound acquisition unit acquires, as the accompanying sound, a sound generated when an impact is applied to the sphere with the auxiliary tool,
The digest image display device according to claim 2.
ことを特徴とする請求項３に記載のダイジェスト画像表示装置。 The accompanying sound acquisition unit acquires an impact sound generated when an impact is applied to the sphere as the accompanying sound.
The digest image display device according to claim 3.
前記タイミング検出部は、前記付随音取得部が取得した付随音に基づいて、前記付随音の大きさを、各タイミングの比較情報として取得し、取得した前記付随音の大きさを前記比較情報格納部に格納し、
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記付随音の大きさに基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項１乃至３に記載のダイジェスト画像表示装置。 The accompanying sound acquisition unit acquires the accompanying sound and obtains the magnitude of the accompanying sound,
The timing detection unit acquires the size of the accompanying sound as comparison information of each timing based on the accompanying sound acquired by the accompanying sound acquisition unit, and stores the acquired size of the accompanying sound as the comparison information Store in the department,
The digest image display unit refers to the comparison information storage unit, and displays a plurality of digest images generated by the digest image generation unit in an aligned manner based on the stored accompanying sound volume.
The digest image display device according to any one of claims 1 to 3.
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記評価値に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項１乃至３に記載のダイジェスト画像表示装置。 An evaluation value receiving unit that receives an input of an evaluation value for evaluating the motion of the subject for each digest image generated by the digest image generation unit and stores the input evaluation value as the comparison information in the comparison information storage unit With
The digest image display unit refers to the comparison information storage unit, and displays a plurality of digest images generated by the digest image generation unit in an aligned manner based on the stored evaluation values.
The digest image display device according to any one of claims 1 to 3.
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記補助具の速度に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項３に記載のダイジェスト画像表示装置。 The timing detection unit acquires the speed of the auxiliary tool when an impact is applied to the ball based on the video acquired by the video acquisition unit as comparison information of each timing, and acquires the acquired Store the speed in the comparison information storage unit,
The digest image display unit refers to the comparison information storage unit and displays a plurality of digest images generated by the digest image generation unit in an aligned manner based on the stored speed of the auxiliary tool.
The digest image display device according to claim 3.
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記球速に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項３に記載のダイジェスト画像表示装置。 The timing detection unit acquires the ball speed when an impact is applied to the ball as comparison information of each timing based on the video acquired by the video acquisition unit, and the acquired ball speed is the comparison information storage unit Stored in
The digest image display unit refers to the comparison information storage unit and displays a plurality of digest images generated by the digest image generation unit in an aligned manner based on the stored ball speed.
The digest image display device according to claim 3.
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記飛球方向に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項２又は３に記載のダイジェスト画像表示装置。 The timing detection unit acquires the flying direction of the sphere as comparison information of each timing based on the video acquired by the video acquisition unit, and stores the acquired flying ball direction in the comparison information storage unit. ,
The digest image display unit refers to the comparison information storage unit and displays a plurality of digest images generated by the digest image generation unit in an aligned manner based on the stored flying ball direction.
The digest image display apparatus according to claim 2, wherein the digest image display apparatus is a digest image display apparatus.
前記ダイジェスト画像表示部は、前記比較情報格納部を参照し、格納された前記時刻情報に基づいて、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を整列させて表示する、
ことを特徴とする請求項１乃至３に記載のダイジェスト画像表示装置。 The timing detection unit includes a time measurement unit that measures time, and detects each timing at which the accompanying sound is generated based on the video acquired by the video acquisition unit or the accompanying sound acquired by the accompanying sound acquisition unit. And the time information of the time measured by the time measurement unit at the detected timing is acquired as the comparison information of each timing, the acquired time information is stored in the comparison information storage unit,
The digest image display unit refers to the comparison information storage unit and displays a plurality of digest images generated by the digest image generation unit in an aligned manner based on the stored time information.
The digest image display device according to any one of claims 1 to 3.
前記付随音を取得する付随音取得部と、
前記映像取得部が取得した映像又は前記付随音取得部が取得した付随音に基づいて、前記付随音が発生する各タイミングを検出するタイミング検出部と、
前記映像取得部が取得した映像から、前記タイミング検出部が検出した各タイミング毎のダイジェスト画像を生成するダイジェスト画像生成部と、
前記ダイジェスト画像生成部が各タイミング毎に生成したダイジェスト画像を、前記タイミング検出部が検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する合成画像生成部と、
前記合成画像生成部の前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するブレ量取得部と、
目標とする目標ブレ量と前記ブレ量取得部が取得した前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する評価部と、
前記合成画像生成部が生成した合成画像と前記評価部が評価した結果の評価結果とを表示するダイジェスト画像表示部と、を備えた、
ことを特徴とするダイジェスト画像表示装置。 A video acquisition unit that captures a subject that performs the operation of generating an accompanying sound a plurality of times and acquires a video of the subject;
An accompanying sound acquisition unit for acquiring the accompanying sound;
A timing detection unit that detects each timing at which the accompanying sound is generated based on the video acquired by the video acquisition unit or the accompanying sound acquired by the accompanying sound acquisition unit;
A digest image generation unit that generates a digest image for each timing detected by the timing detection unit from the video acquired by the video acquisition unit;
A combined image generating unit that combines the digest images generated by the digest image generating unit at each timing with reference to the timings detected by the timing detecting unit, and generates a combined image showing blurring of the posture of the subject;
A blur amount acquisition unit that compares the digest images used to generate the composite image of the composite image generation unit and acquires a blur amount of the posture of the subject;
An evaluation unit that compares a target target blur amount with the blur amount of the subject acquired by the blur amount acquisition unit and evaluates the motion of the subject based on a difference between the target blur amount and the blur amount of the subject. When,
A digest image display unit for displaying a composite image generated by the composite image generation unit and an evaluation result of a result evaluated by the evaluation unit;
A digest image display device.
前記評価部は、目標とする目標総ブレ量と前記被写体の総ブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する、
ことを特徴とする請求項１１に記載のダイジェスト画像表示装置。 The blur amount acquisition unit compares a plurality of digest images generated by the digest image generation unit, acquires a total blur amount of the posture of the subject,
The evaluation unit compares a target total blur amount to be a target and a total blur amount of the subject, and evaluates an operation of the subject based on a difference between the target blur amount and the blur amount of the subject.
The digest image display device according to claim 11.
前記評価部は、前記ブレ量取得部が取得した各局所ブレ量と前記各局所ブレ量の目標とする目標局所ブレ量とをそれぞれ比較し、前記被写体の各局所ブレ量と目標局所ブレ量との差に基づいて前記被写体の動作を前記ブロック毎に評価し、
前記ダイジェスト画像表示部は、前記ダイジェスト画像生成部が生成した前記ダイジェスト画像と前記評価部がブロック毎に評価した評価結果とを表示する、
ことを特徴とする請求項１１に記載のダイジェスト画像表示装置。 The blur amount acquisition unit divides a plurality of digest images generated by the digest image generation unit into a plurality of blocks, and acquires a local blur amount of the posture of the subject for each of the divided blocks.
The evaluation unit compares each local blur amount acquired by the blur amount acquisition unit with a target local blur amount targeted for each local blur amount, and each local blur amount and target local blur amount of the subject The movement of the subject is evaluated for each block based on the difference between
The digest image display unit displays the digest image generated by the digest image generation unit and the evaluation result evaluated by the evaluation unit for each block.
The digest image display device according to claim 11.
ことを特徴とする請求項１３に記載のダイジェスト画像表示装置。 The evaluation unit compares a difference between each local blur amount of the subject and the target local blur amount with a threshold value set in advance for the difference, and determines an image of the block in which the difference is equal to or greater than the threshold value. , Apply image processing to show the evaluation results,
The digest image display device according to claim 13.
前記評価部は、前記ダイジェスト画像生成部が生成した複数のダイジェスト画像を並べて合成する、
ことを特徴とする請求項１１乃至１４のいずれか１項に記載のダイジェスト画像表示装置。 The digest image generation unit generates a plurality of digest images in one operation at one timing detected by the timing detection unit,
The evaluation unit synthesizes a plurality of digest images generated by the digest image generation unit.
The digest image display device according to claim 11, wherein the digest image display device is a digest image display device.
前記評価部は、前記目標ブレ量記憶部を参照して、前記目標ブレ量を取得する、
ことを特徴とする請求項１１乃至１５のいずれか１項に記載のダイジェスト画像表示装置。 A target blur amount storage unit for storing the target blur amount;
The evaluation unit refers to the target blur amount storage unit to obtain the target blur amount;
The digest image display device according to claim 11, wherein the digest image display device is a digest image display device.
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出して前記動作を比較するための比較情報を取得するステップと、
取得した前記比較情報を格納するステップと、
取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
格納された前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示するステップと、を備えた、
ことを特徴とするダイジェスト画像表示方法。 Photographing a subject that performs an operation of generating an accompanying sound a plurality of times, and obtaining an image of the subject;
Obtaining the accompanying sound;
Based on the acquired video or accompanying sound, detecting each timing at which the accompanying sound is generated and obtaining comparison information for comparing the operations;
Storing the acquired comparison information;
Generating a digest image for each detected timing from the acquired video;
And aligning and displaying the plurality of generated digest images based on the stored comparison information,
The digest image display method characterized by the above-mentioned.
前記付随音を取得するステップと、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出するステップと、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成するステップと、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成するステップと、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得するステップと、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価するステップと、
前記合成画像と評価した結果の評価結果とを表示するステップと、を備えた、
ことを特徴とするダイジェスト画像表示方法。 Photographing a subject that performs an operation of generating an accompanying sound a plurality of times, and obtaining an image of the subject;
Obtaining the accompanying sound;
Detecting each timing at which the accompanying sound is generated based on the acquired video or the accompanying sound; and
Generating a digest image for each detected timing from the acquired video;
Synthesizing the digest image generated at each timing with reference to each detected timing, and generating a composite image showing blurring of the posture of the subject;
Comparing each digest image used to generate the composite image to obtain a blur amount of the posture of the subject;
Comparing a target target blur amount with the subject blur amount, and evaluating the motion of the subject based on a difference between the target blur amount and the subject blur amount;
Displaying the composite image and the evaluation result of the evaluation result,
The digest image display method characterized by the above-mentioned.
付随音が発生する動作を複数回行う被写体を撮影し、前記被写体の映像を取得する手順、
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出して前記動作を比較するための比較情報を取得する手順、
取得した比較情報を格納する手順、
取得した前記映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
格納した前記比較情報に基づいて、生成した複数のダイジェスト画像を整列させて表示する手順、
を実行させるためのプログラム。 On the computer,
A procedure for photographing a subject that performs an operation that generates an accompanying sound a plurality of times and acquiring an image of the subject,
Obtaining the accompanying sound;
A procedure for acquiring comparison information for detecting each timing at which the accompanying sound is generated and comparing the operation based on the acquired video or the accompanying sound,
Procedure to store the acquired comparison information,
A procedure for generating a digest image for each detected timing from the acquired video,
A procedure for aligning and displaying a plurality of generated digest images based on the stored comparison information,
A program for running
前記付随音を取得する手順、
取得した映像又は付随音に基づいて、前記付随音が発生する各タイミングを検出する手順、
取得した映像から、検出した各タイミング毎のダイジェスト画像を生成する手順、
各タイミング毎に生成したダイジェスト画像を、検出した各タイミングを基準に合成し、前記被写体の姿勢のブレを示す合成画像を生成する手順、
前記合成画像の生成に用いた各ダイジェスト画像を比較して、前記被写体の姿勢のブレ量を取得する手順、
目標とする目標ブレ量と前記被写体のブレ量とを比較し、前記目標ブレ量と前記被写体のブレ量との差に基づいて前記被写体の動作を評価する手順、
前記合成画像と評価した結果の評価結果とを表示する手順、
を実行させるためのプログラム。 A procedure for photographing a subject that performs an operation that generates an accompanying sound a plurality of times and acquiring an image of the subject,
Obtaining the accompanying sound;
A procedure for detecting each timing at which the accompanying sound is generated based on the acquired video or the accompanying sound,
A procedure for generating a digest image for each detected timing from the acquired video,
A procedure for synthesizing a digest image generated at each timing with reference to each detected timing, and generating a synthesized image showing blurring of the posture of the subject,
A procedure for comparing each digest image used to generate the composite image and obtaining a blur amount of the posture of the subject;
A procedure for comparing a target blur amount and a blur amount of the subject, and evaluating the motion of the subject based on a difference between the target blur amount and the blur amount of the subject;
A procedure for displaying the composite image and an evaluation result of the evaluation result;
A program for running
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011100293A JP5240317B2 (en) | 2011-04-28 | 2011-04-28 | Digest image display device, digest image display method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011100293A JP5240317B2 (en) | 2011-04-28 | 2011-04-28 | Digest image display device, digest image display method and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007070223A Division JP4784538B2 (en) | 2007-03-19 | 2007-03-19 | Digest image display device, digest image display method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011205657A true JP2011205657A (en) | 2011-10-13 |
| JP5240317B2 JP5240317B2 (en) | 2013-07-17 |
Family
ID=44881724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011100293A Expired - Fee Related JP5240317B2 (en) | 2011-04-28 | 2011-04-28 | Digest image display device, digest image display method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5240317B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015052904A (en) * | 2013-09-06 | 2015-03-19 | カシオ計算機株式会社 | Moving image selection device, moving image selection method, and program |
| KR101558659B1 (en) * | 2012-09-20 | 2015-10-07 | 가시오게산키 가부시키가이샤 | Image processing device, image processing method, and storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0663209A (en) * | 1992-08-25 | 1994-03-08 | Kubota Corp | Ball hitting action training machine |
| JP2002210055A (en) * | 2001-01-17 | 2002-07-30 | Saibuaasu:Kk | Swing measuring system |
| JP2004173202A (en) * | 2002-11-22 | 2004-06-17 | Canon Inc | Image recorder |
-
2011
- 2011-04-28 JP JP2011100293A patent/JP5240317B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0663209A (en) * | 1992-08-25 | 1994-03-08 | Kubota Corp | Ball hitting action training machine |
| JP2002210055A (en) * | 2001-01-17 | 2002-07-30 | Saibuaasu:Kk | Swing measuring system |
| JP2004173202A (en) * | 2002-11-22 | 2004-06-17 | Canon Inc | Image recorder |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101558659B1 (en) * | 2012-09-20 | 2015-10-07 | 가시오게산키 가부시키가이샤 | Image processing device, image processing method, and storage medium |
| US9324158B2 (en) | 2012-09-20 | 2016-04-26 | Casio Computer Co., Ltd. | Image processing device for performing image processing on moving image |
| JP2015052904A (en) * | 2013-09-06 | 2015-03-19 | カシオ計算機株式会社 | Moving image selection device, moving image selection method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5240317B2 (en) | 2013-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4784538B2 (en) | Digest image display device, digest image display method and program | |
| CN103888643B (en) | Information reporting device, information report method and recording medium | |
| US12029961B2 (en) | Flagging irregularities in user performance in an exercise machine system | |
| US11826628B2 (en) | Virtual reality sports training systems and methods | |
| GB2567579A (en) | Billiard ball striking assistance method, billiard ball striking assistance system, and portable electronic device | |
| CN103581522B (en) | information notification apparatus and information notification method | |
| KR100347960B1 (en) | Video game machine and controlling method of it | |
| CN105450911B (en) | Image processing apparatus, image processing method | |
| JP6673221B2 (en) | Information processing apparatus, information processing method, and program | |
| JP4264368B2 (en) | Practical skill analysis system and program | |
| EP1907076A1 (en) | A method for analyzing the motion of a person during an activity | |
| JP2006345270A (en) | Information processing device and method therefor, photographing device and program | |
| KR20110085735A (en) | Apparatus for offering image of billiard and method thereof | |
| US20140079289A1 (en) | Information generation apparatus that generates information on a sequence of motions | |
| CN103914700B (en) | Display control unit, display control method and recording medium | |
| JP5786892B2 (en) | Movie playback device, movie playback method and program | |
| JP5240317B2 (en) | Digest image display device, digest image display method and program | |
| JP5283649B2 (en) | Apparatus and method for analyzing an action of shooting an arrow using a bow | |
| US20200387288A1 (en) | Information processing apparatus, method for controlling the same, and storage medium | |
| KR101540771B1 (en) | Judgment system and method for sports game using augmented-reality glass | |
| JP6679951B2 (en) | Teaching Assist System and Teaching Assist Program | |
| JP5318016B2 (en) | GAME SYSTEM, GAME SYSTEM CONTROL METHOD, AND PROGRAM | |
| JPH10341431A (en) | Motion component detection processor for object and medium storing processing program therefor | |
| JP2020135177A (en) | Program, device, and method for analyzing moving image | |
| JP7513938B2 (en) | Information processing method, information processing device, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130318 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5240317 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |