JP6679951B2 - 指導アシストシステム、および指導アシストプログラム - Google Patents

Description

本発明は、指導アシストシステム、および指導アシストプログラムに関する。

近年のデジタル画像撮影技術の進歩により、ユーザがスポーツを楽しんでいる様子をデジタル動画で容易に撮影可能となっている。更に、ユーザのスポーツの様子を映像で記録するのみならず、デジタル画像認識技術により、このスポーツにおけるユーザのフォームを診断することが試みられている。

例えば、特許文献１には、コンピュータを用いてゴルフスウィングの診断を精度良く行うための発明が記載されている。特許文献１の要約書の解決手段には、「クラブシャフト１１ａの長さ方向に間隔をあけた少なくとも２箇所と、ゴルファー１５の頭・首・右肩・左肩・右肘・左肘・左手首・右手首・右腰・左腰・右膝・左膝・右足首・左足首・右足先・左足先から選ばれる少なくとも１箇所以上に色特定した基準点Ｍ１〜Ｍ１７を設定し、ゴルファー１５のスウィング時の動画像をカメラ１３−１、１３−２によって撮影し、該スウィング動画像を複数の静止画像に変換してコンピュータ１４に記憶させ、複数の静止画像上の各基準点Ｍ１〜Ｍ１７の座標データから、アドレスからインパクトまで間に設定した複数のスウィング姿勢でのチェックポイントを数値化し、予め入力されている理想値と比較してスウィング診断する。」と記載されている。

特開２００４−３１３４７９号公報

特許文献１に記載されている発明によれば、機械的にフォームを診断して、スウィングの評価項目の診断結果を出力できる。しかし、この発明によって診断された生徒（ユーザ）にとっては、これら評価項目の診断結果に基づいて、どのように理想とするフォームに近づけてゆけばよいかは、必ずしも明確ではない。よって、コーチによる指導は必要である。

このスポーツについて習熟しているコーチは、生徒に対して、どのようにすれば理想とするフォームに近づくかを指導することができる。しかし、コーチがこの口頭での指導を行うには生徒と一対一で練習する必要があり、時間と空間とが制約される。また、複数のコーチが在籍しているスポーツセンタでは、コーチごとに指導内容が異なったり、相反したりするおそれがある。すなわち、どのコーチであっても重要な指導ポイントを見過ごすことなく指導を行えるように、予めコーチを教育する必要があった。

そこで、本発明は、指導アシストシステムおよび指導アシストプログラムについて、どのコーチであっても重要な指導ポイントを見過ごすことなく指導を可能とすることを課題とする。

上記目的を達成するため、本発明に係る指導アシストシステムは、ユーザのフォームフローを撮影した動画を再生する再生手段と、フォームフローの種類に対応させて予め定められている参照動作タイミングに基づいて、前記動画から指導推奨ポイントとされる動作タイミングを抽出し、抽出した当該動作タイミングにて、前記再生手段に一時停止またはスローを実行させる指導アシスト手段と、を備え、前記再生手段は、第１の表示領域に前記動画を再生表示するとともに、第２の表示領域に前記動画から切り出された互いに異なるタイミングの複数の部分画像を時系列順に並べて表示し、且つ、前記複数の部分画像のうち前記指導推奨ポイントとされる動作タイミングに対応する部分画像に対しては、識別マークを付して表示する、ことを特徴とする。
また、本発明に係る指導アシストプログラムは、コンピュータを、ユーザのフォームフローを撮影した動画を再生する再生手段、フォームフローの種類に対応させて予め定められている参照動作タイミングに基づいて、前記動画から指導推奨ポイントとされる動作タイミングを抽出し、抽出した当該動作タイミングにて、前記再生手段に一時停止またはスローを実行させる指導アシスト手段、として機能させ、前記再生手段は、第１の表示領域に前記動画を再生表示するとともに、第２の表示領域に前記動画から切り出された互いに異なるタイミングの複数の部分画像を時系列順に並べて表示し、且つ、前記複数の部分画像のうち前記指導推奨ポイントとされる動作タイミングに対応する部分画像に対しては、識別マークを付して表示する、ことを特徴とする。

本発明によれば、どのコーチであっても重要な指導ポイントを見過ごすことなく指導が可能となる。

本実施形態における指導アシストシステムの概略を示す構成図である。 サーバ装置の構成を示すブロック図である。 サーバ装置のフォームデータベースに格納された理想のフォーム例を示す図である。 コーチと生徒のタブレット端末の構成を示すブロック図である。 撮影動作と指導アシスト動作と指導動画の閲覧動作とを示すシーケンス図である。 撮影動画の通常再生処理を示すフローチャートである。 指導アシスト処理を示すフローチャートである。 指導アシスト画面を示す図である。 アドレスにおける指導アシスト画面を示す図である。 トップ直前における指導アシスト画面を示す図である。 トップにおける指導アシスト画面を示す図である。 インパクトにおける指導アシスト画面を示す図である。 録画タイムチャート例を示す図である。 所定時間に亘って一時停止を放置したときの録画タイムチャート例を示す図である。

以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
図１は、本実施形態における指導アシストシステムＳの概略を示す構成図である。
指導アシストシステムＳは、例えばスポーツスクールに設置されたカメラ４と、タブレット端末２，３と、ネットワークＮを介してカメラ４やタブレット端末２，３と通信可能なサーバ装置１とを含んで構成される。サーバ装置１は、所謂クラウド上に設けられた計算機資源であり、後記する図２で詳細に説明する。

タブレット端末２は、スポーツスクールにてコーチが操作する端末である。タブレット端末３は、生徒が自宅などで操作する端末である。これらタブレット端末２，３については、後記する図４（ａ），（ｂ）で詳細に説明する。
スポーツスクールにて生徒がゴルフ、テニス、水泳などの各種スポーツを練習する際、コーチから指導を受ける生徒の一連の動作をカメラ４で動画撮影しておく。カメラ４はスポーツスクールの練習場に設置された固定式の撮像装置であり、ネットワークＮを介してサーバ装置１に撮影した動画をストリームで送信する。

コーチが生徒に指導を行う際は、タブレット端末２上で撮影した動画を再生しながら、一連の動作の中での指導ポイントを選択して、その指導ポイントでの指導内容を入力する。タブレット端末２を介して入力された指導内容は、その指導ポイントでの再生タイミングに同期して、クラウド上のサーバ装置１に記憶される。

コーチによるタブレット端末２での指導後に、生徒が自宅などで事後的に指導内容の自己学習を行う。自己学習の際に、指導アシストシステムＳは、生徒のタブレット端末３上に動画を再生させる。サーバ装置１は、その動画の中の一連の動作の中で、指導ポイントとして選択されたタイミングにおいては、そのタイミングに同期して記憶されたコーチによる指導内容を読み出し、その指導内容を生徒のタブレット端末３上に再現させる。これにより生徒は、スポーツスクールでコーチに指導を受けた内容を、その指導ポイントをキーにして自己学習することが可能となる。

図２は、サーバ装置１の構成を示すブロック図である。
サーバ装置１は、ＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、通信部１４、ＨＤＤ（Hard Disk Drive）１５を含んで構成される。
ＲＡＭ１２は揮発性メモリであり、ＣＰＵ１１により一時的な記憶領域として用いられる。ＲＯＭ１３は不揮発性メモリであり、例えばＢＩＯＳ（Basic i/o system）などが格納される。通信部１４は、ネットワークＮ（図１参照）を介してカメラ４やタブレット端末２，３などと通信する。

ＨＤＤ１５には、フォーム情報生成プログラム１５１、カメラ４が撮影した撮影動画１５２、フォームデータベース１５３、フォーム情報１５４、指導アシストサーバプログラム１５５、指導情報１５６、指導動画エンコードプログラム１５７、生徒が自己学習時に再生する指導動画１５８、動画配信プログラム１５９が格納されている。

ＣＰＵ１１が不図示のカメラ制御プログラムを実行すると、カメラ４が撮影した動画が撮影動画１５２としてＨＤＤ１５に格納される。
フォーム情報生成プログラム１５１は、ＣＰＵ１１によって実行され、撮影動画１５２の各フレームから生徒の画像領域を検出させる。ここで検出された生徒の画像は、フォーム情報１５４としてＨＤＤ１５に保存される。
フォームデータベース１５３は、各種フォームにおける理想のフォーム例が格納されたデータベースである。このフォームデータベース１５３に格納される理想のフォーム例については、後記する図３で詳細に説明する。

指導アシストサーバプログラム１５５と動画配信プログラム１５９とは、ＣＰＵ１１によって実行されて、タブレット端末２上に指導アシスト画面（図８参照）を表示させる。この動画配信プログラム１５９を実行するＣＰＵ１１とタブレット端末２とが協調動作することにより、この指導アシスト画面に撮影動画１５２を再生する。更に指導アシストサーバプログラム１５５を実行するＣＰＵ１１により、撮影動画１５２から指導ポイントとなる動作タイミングを抽出して、抽出した動作タイミングにて、撮影動画１５２を一時停止またはスローに遷移させる。更にコーチがタブレット端末２を介して入力した情報が、指導情報１５６としてＨＤＤ１５に格納される。
指導動画エンコードプログラム１５７は、ＣＰＵ１１により実行され、撮影動画１５２と指導情報１５６とから指導動画１５８をエンコードするためのプログラムである。ここでエンコードされた指導動画１５８は、動画配信プログラム１５９を実行するＣＰＵ１１により生徒のタブレット端末３に配信される。

図３は、サーバ装置１のフォームデータベース１５３に格納された理想のフォーム例を示す図である。このフォーム例は、ゴルフのスウィングの７つの指導ポイントを示したものである。
この７つの指導ポイントは、アドレス、ハーフウェイ・バック、トップ、ハーフウェイ・ダウン、インパクト、フォロー、フィニッシュと名付けられている。コーチは、スウィングの７つの指導ポイントに着目することで、生徒に対してフォームを的確に指導することができる。
各指導ポイントには、例えば円環で示されているように、着目すべき点が予め記録されている。この着目点について述べることにより、異なるコーチであっても同じようなレベルの指導をすることができる。

図４（ａ）は、コーチのタブレット端末２の構成を示すブロック図である。
タブレット端末２は、ＣＰＵ２１、ＲＡＭ２２、ＲＯＭ２３、通信部２４、タッチパネルディスプレイ２５、マイク２６、フラッシュメモリ２７、スピーカ２８を含んで構成される。フラッシュメモリ２７は、不揮発性の一時記憶装置であり、指導アシストプログラム２７１を格納している。

ＲＡＭ２２は揮発性メモリであり、ＣＰＵ２１により一時的な記憶領域として用いられる。ＲＯＭ２３は不揮発性メモリである。通信部２４は、通信ネットワークＮ（図１参照）を介してサーバ装置１などと通信する。タッチパネルディスプレイ２５は、例えば液晶パネル上にタッチパネルを積層したものであり、情報の表示と操作情報の入力とを行う。マイク２６は音声を収録し、スピーカ２８は音声を出力する。マイク２６は、コーチの音声による指導内容を収録する。

指導アシストプログラム２７１は、ＣＰＵ２１によって実行され、サーバ装置１と協調動作することにより、このタブレット端末２上に指導アシスト画面（図８参照）を表示させる。これによりコーチは、撮影動画１５２（図２参照）を閲覧して、動画の任意の再生位置を指導ポイントとして選択し、選択した指導ポイントに係る指導内容を入力することができる。コーチが入力した指導内容は、サーバ装置１により指導情報１５６（図２参照）として格納される。

図４（ｂ）は、生徒のタブレット端末３の構成を示すブロック図である。
タブレット端末３は、タブレット端末２と同様にＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、通信部３４、タッチパネルディスプレイ３５、マイク３６、フラッシュメモリ３７、スピーカ３８を含んで構成される。フラッシュメモリ３７は、不揮発性の一時記憶装置であり、指導ブラウザプログラム３７１を格納している。この指導ブラウザプログラム３７１は、ＣＰＵ３１によって実行され、サーバ装置１と協調動作することにより、このタブレット端末３上に指導動画１５８を指導ブラウザ画面（不図示）上に表示させる。これにより生徒は、コーチにより動画の指導ポイントとして選択された再生位置において、この再生位置に係る指導内容を閲覧することができる。

図５は、撮影動作と指導アシスト動作と指導動画１５８の閲覧動作とを示すシーケンス図であり、適宜図２を参照して説明する。
スポーツスクールにて生徒がゴルフ、テニス、水泳などの各種スポーツを練習する際の撮影動作を、シーケンスＱ１０〜Ｑ１３に示す。
カメラ４は、生徒のスウィングのフォームの前後を含んだ撮影内容をそのまま動画撮影し（シーケンスＱ１０）、サーバ装置１に撮影した動画をストリームで送信し（シーケンスＱ１１）する。サーバ装置１は、受信した動画を撮影動画１５２として保存する（シーケンスＱ１２）。なお、撮影動画１５２には、複数のスウィングのフォームが撮影されていてもよい。

コーチが生徒に指導を行う際の動作を、シーケンスＱ２０〜Ｑ２６に示す。コーチは、タブレット端末２にて指導アシストプログラム２７１を起動し（シーケンスＱ２０）、サーバ装置１から撮影動画１５２の配信を受けて、スウィングの前後を含む撮影内容をタブレット端末２にて通常再生する（シーケンスＱ２１）。ここで通常再生とは、撮影時と同様な時間軸で各フレームを再生することである。これによりコーチは、生徒のフォーム全体を把握する。
その後、サーバ装置１は、その撮影動画１５２の中で、スウィングそのものに関わる特定動作であるフォーム部分を画像認識で抽出する。サーバ装置１は、そのフォーム部分をコマ送りでサムネイル化し、フォーム部分の中で予め指導ポイントとされた７つのタイミングを抽出する。サーバ装置１が抽出したフォーム部分は、コーチのタブレット端末２に選択可能に表示される。
コーチがタブレット端末２上でフォーム部分を選択すると、タブレット端末２は、この選択したフォームの情報をサーバ装置１に送信する（シーケンスＱ２２）。その後の再生ボタン６２（図８参照）のタップにより、サーバ装置１は、そのフォーム部分を極めてゆっくりスロー再生し（シーケンスＱ２３）、指導ポイントとして抽出されたタイミングでタブレット端末２に一時停止とガイダンス報知とを行わせる。
コーチは、タブレット端末２を介して、生徒のフォームの中での指導ポイントを選択して、その指導ポイントでの指導情報を入力する。入力した指導情報は、タブレット端末２からサーバ装置１に送信される（シーケンスＱ２４）。コーチは、指導が終了すると、指導録画の終了を指示する。この指導録画の終了指示は、タブレット端末２からサーバ装置１に送信される。
サーバ装置１は、指導ポイントでの再生タイミングに同期して指導情報１５６を保存し（シーケンスＱ２５）、指導動画１５８を生成する（シーケンスＱ２６）。

コーチによるタブレット端末２での指導後に、生徒が自宅などで事後的に指導内容の自己学習を行う際の動作を、シーケンスＱ３０，Ｑ３１に示している。
生徒は、タブレット端末３にて指導ブラウザプログラム３７１を起動する（シーケンスＱ３０）。タブレット端末３は、サーバ装置１から指導動画１５８をストリームで受信して再生する（シーケンスＱ３１）。この指導動画１５８において、コーチにより指導ポイントとして選択されたタイミングで指導内容がタブレット端末３上に再現される。これにより生徒は、スポーツスクールでコーチに指導を受けた内容を、その指導ポイントをキーにして自己学習することが可能となる。
なお、指導動画１５８を予めエンコードすることなく、生徒のタブレット端末３が指導動画１５８を要求した際にリアルタイムで指導動画１５８をエンコードして配信してもよい。更に指導動画１５８をエンコードすることなく、撮影動画１５２と指導情報１５６とを生徒のタブレット端末３に送信して、生徒のタブレット端末３にて指導時の動画を再生してもよく、限定されない。

図６は、撮影動画１５２の通常再生処理を示すフローチャートである。図６の説明において、適宜図２と図５とを参照する。
この撮影動画１５２の通常再生処理は、タブレット端末２にて指導アシストプログラム２７１が起動され、撮影動画１５２の再生が指示されたときの処理である。この通常再生処理は、図５に示したシーケンスＱ２１にて、サーバ装置１のＣＰＵ１１により実行される。

サーバ装置１のＣＰＵ１１は、この撮影動画１５２をタブレット端末２上に通常再生させる（ステップＳ２０）。
通常再生の後、サーバ装置１のＣＰＵ１１は、その撮影動画１５２の中で、スウィングそのものに関わる特定動作であるフォーム部分を画像認識で抽出する（ステップＳ２１）。サーバ装置１は、そのフォーム部分をコマ送りでサムネイル化し（ステップＳ２２）、フォーム部分の中で予め指導ポイントとされた７つのタイミングを抽出する（ステップＳ２３）。これにより、サーバ装置１が抽出したフォーム部分は、コーチのタブレット端末２の不図示のフォーム選択画面に選択可能に表示される。

図７は、指導アシスト処理を示すフローチャートである。図７の説明において、適宜図４（ａ）と図８とを参照する。
この指導アシスト処理は、コーチのタブレット端末２の不図示のフォーム選択画面にてフォーム部分が選択され、更に再生ボタン６２（図８参照）がタップされた後に実行される。
サーバ装置１のＣＰＵ１１は、再生中のフレームが指導ポイントで無いならば（ステップＳ３０→Ｎｏ）、このフレームを極めてゆっくりスロー再生する（ステップＳ３１）。ＣＰＵ１１は、タブレット端末２上の一時停止ボタン６３がタップされていないならば（ステップＳ３２→Ｎｏ）、現在のフレームを１つだけ進め（ステップＳ３３）、選択したフォームが終了するまで（ステップＳ３４→Ｙｅｓ）、これら処理を繰り返す（ステップＳ３４→Ｎｏ）。
サーバ装置１のＣＰＵ１１は、再生中のフレームが指導ポイントならば（ステップＳ３０→Ｙｅｓ）、このタイミングでタブレット端末２に一時停止（ステップＳ３５）とガイダンス報知（ステップＳ３６）とを行わせ、指導情報の入力待ちとなる（ステップＳ３７）。
このときコーチは、そのタイミングで指導を行うべきか否かを判断し、指導の必要があればチョークボード５２やチョークパレット５３をタップして指導情報を残す。サーバ装置１のＣＰＵ１１は、一時停止ボタン６３以外がタップされたならば（ステップＳ３８→Ｎｏ）、指導情報を反映させ（ステップＳ３９）、一時停止ボタン６３がタップされたならば（ステップＳ３８→Ｙｅｓ）、ステップＳ３３に進んで、次のフレームの処理を行わせる。これによりコーチは、指導ポイントを見落とさす指導可能である。

図８は、指導アシスト画面５を示す図である。
この指導アシスト画面５は、コーチのタブレット端末２のＣＰＵ２１が指導アシストプログラム２７１を実行することにより、タッチパネルディスプレイ２５上に表示される。指導アシスト画面５には、アドレスからフィニッシュまでの一連の生徒サムネイル５１が上部に縮小表示され、予め認識された７つの指導ポイントが識別可能に枠付きで表示される。このように、生徒のフォーム部分のみを切り出してサムネイル表示しているので、フレームをサムネイル化して表示するのに比べて、指導アシスト画面５内に、より多くの生徒サムネイル５１を配置可能である。
これら生徒サムネイル５１の上側には、指導ポイントを示す赤い三角形のタグ５１１，５１２が表示される。この指導ポイントを示すタグ５１１，５１２は、例えばコーチがタグ設定ボタン７１をタップすることによって入力される。
生徒サムネイル５１の下側には、撮影動画１５２（図２参照）が再生される動画領域５４が配置される。動画領域５４の左側には、チョークを書き込むためのチョークボード５２、チョークの色を指定するチョークパレット５３が配置される。コーチは、チョークボード５２により文字情報や図形情報を指導内容として入力可能である。動画領域５４の右側には、再生位置を制御するプレビューコントロール６と、タグを制御するタグコントロール７が配置される。

プレビューコントロール６は、指導録画の開始／終了を指示する指導録画ボタン６１、再生ボタン６２、一時停止ボタン６３、コマ戻しボタン６４、コマ送りボタン６５、早戻しボタン６６、早送りボタン６７を含んで構成される。タグコントロール７は、タグを設定するためのタグ設定ボタン７１、設定したタグ間を移動するタグ移動ボタン７２，７３を含んで構成される。

コーチは、その識別表示されるポイントを中心に動画チェックを行い、指導すべき点があればタグ設定ボタン７１で指導ポイントを入力する。コーチは更に、タグ移動ボタン７２，７３のタップにより複数の指導ポイント間を移動することができる。指導時のコーチの音声やチョークの書き込みや身振り手振りなどの指導内容は、このタグ５１１，５１２などに紐付けされてサーバ装置１に保存される。

なお、生徒のタブレット端末３上にも赤い三角形のタグ５１１，５１２が表示される。これらを選択することで、その前後の指導内容を再生することができる。

以下に示す図９から図１２により、コーチが生徒の撮影動画１５２に基づいて指導する例を説明する。
図９は、アドレスにおける指導アシスト画面５を示す図である。この指導アシスト画面５は、図５に示したシーケンスＱ２２にて、コーチがタブレット端末２を操作してフォームを選択した後に、タブレット端末２上に表示される。
この指導アシスト画面５の動画領域５４には、アドレスにおける生徒のフレームが表示されている。この生徒の左手部分には、円環８１が表示されている。この円環８１は、図２に示したフォームデータベース１５３に記録されている情報である。コーチは、この円環８１で示された左手の角度・向きなどについて講評することで、容易に生徒のフォームの問題点を指導可能である。

複数の生徒サムネイル５１のうち、このフレームに係る生徒サムネイル５１が拡大表示されている。このアドレスに係るフォームは、予め定められた所定ポイントなので、その旨を示す矩形枠が生徒サムネイル５１に重畳して表示されている。アドレスの他、ハーフウェイ・バック、トップ、ハーフウェイ・ダウン、インパクト、フォロー、フィニッシュの７つの指導ポイントが矩形枠で示されている。更に動画領域５４の下側には、「指導ポイント“ａｄｄｒｅｓｓ”を検出しました」が表示されている。
コーチが指導録画ボタン６１をタップすると、タブレット端末２は指導録画と音声入力を開始する、更にコーチが再生ボタン６２をタップすると、後記する図１０の指導アシスト画面５に遷移する。

図１０は、トップ直前における指導アシスト画面５を示す図である。
この指導アシスト画面５の動画領域５４には、トップ直前の生徒のフレームが表示されている。この生徒の左手部分には、円環８２が表示されている。この円環８２は、図２に示したフォームデータベース１５３に記録されている情報に基づいて表示される。コーチは、この円環８２で示された左手の角度・向きなどについて講評することで、容易に生徒のフォームの問題点を指導可能である。
複数の生徒サムネイル５１は、このフレームに係る生徒サムネイル５１が拡大表示されている。

図１１は、トップにおける指導アシスト画面５を示す図である。
この指導アシスト画面５の動画領域５４には、トップにおける生徒のフレームが表示されている。この生徒の右膝部分には、円環８３が表示されている。この円環８３は、図２に示したフォームデータベース１５３に記録されている情報である。コーチは、この円環８３で示された右膝の角度・向きなどについて講評することで、容易に生徒のフォームの問題点を指導可能である。

動画領域５４の上側には、複数の生徒サムネイル５１のうち、このフレームに係る生徒サムネイル５１が拡大表示されている。また、このトップにおけるフォームは、予め定められた所定ポイントなので、その旨を示す矩形枠が生徒サムネイル５１に重畳して表示されている。更に動画領域５４の下側には、「指導ポイント“ｔｏｐ”を検出しました」が表示されている。このフレームは指導ポイントなので、動画再生が一時停止され、現フレームが繰り返し表示される。
例えばコーチがタグ設定ボタン７１をタップしてタグを設定しつつ、この膝の角度等について音声で指導する。この指導音声は、マイク２６によって収録される。その後コーチは、一時停止ボタン６３をタップして動画再生を再開させる。

図１２は、インパクトにおける指導アシスト画面５を示す図である。
この指導アシスト画面５の動画領域５４には、インパクトにおける生徒のフレームが表示されている。
複数の生徒サムネイル５１のうち、このフレームに係る生徒サムネイル５１が拡大表示されている。また、このインパクトにおけるフォームは、予め定められた所定ポイントなので、その旨を示す矩形枠が生徒サムネイル５１に重畳して表示されている。更に動画領域５４の下側には、「指導ポイント“ｉｍｐａｃｔ”を検出しました」が表示されている。このフレームは指導ポイントなので、動画再生が一時停止され、現フレームが繰り返し表示される。

ここでコーチは、チョークボード５２をタップして、スウィングすべき部分に矢印８２を描画する。コーチは更に、タグ設定ボタン７１をタップしてタグを設定しつつ、このスウィングについて音声で指導する。この音声は、マイク２６によって収録される。その後コーチは、タグ移動ボタン７２をタップして、タグ設定された直前のフレームに遷移する。

図１３は、録画タイムチャート例を示す図である。
この録画タイムチャートの横軸は、撮影動画１５２における時刻を示し、縦軸は指導動画１５８における時刻を示している。太実線で撮影動画１５２に対する指導動画１５８の位置を示し、その脇の実線矢印で指導音声のタイミングを示している。この録画タイムチャートは、図５に示したシーケンスＱ２２にて、コーチがタブレット端末２を操作してフォームを選択した後を示している。

指導動画１５８の時刻ｔ０かつ撮影動画１５２の０．０秒目にて、コーチは指導録画ボタン６１をタップしたのち、時刻ｔ１にて再生ボタン６２をタップする。これによりサーバ装置１およびタブレット端末２は、撮影動画１５２をスロー再生する。以降、単に時刻と記載した場合は、指導動画１５８の時刻のことである。この場合の指導アシスト画面５は、図９に示している。
時刻ｔ２かつ撮影動画１５２の０．２秒近辺のハーフウェイ・バックにて、タブレット端末２は、撮影動画１５２のスロー再生を一時停止する。コーチは、この指導ポイントは特に指導することはないと判断し、時刻ｔ３にて再生ボタン６２をタップし、撮影動画１５２をスロー再生させる。時刻ｔ３にて付与されたタグは、タグ５１１として指導アシスト画面５に表示される。
時刻ｔ４かつ撮影動画１５２の０．５秒近辺のトップにて、タブレット端末２は、撮影動画１５２の再生を一時停止する。コーチは、時刻ｔ５にてタグ付け、時刻ｔ６にて指導ポイントを描画し、時刻ｔ５〜ｔ７に亘って、指導音声「トップの構えでこの辺りが…」を発声する。この場合の指導アシスト画面５は、図１１に示している。コーチは更に、時刻ｔ７にて再生ボタン６２をタップし、撮影動画１５２をスロー再生させ、次の指導ポイントに進ませる。

時刻ｔ８かつ撮影動画１５２の０．８秒近辺のハーフウェイ・ダウンにて、タブレット端末２は、撮影動画１５２のスロー再生を一時停止する。コーチは、この指導ポイントは特に指導することはないと判断し、時刻ｔ９にて再生ボタン６２をタップし、撮影動画１５２をスロー再生させる。
時刻ｔ１０かつ撮影動画１５２の１．１秒近辺のインパクトにて、タブレット端末２は、撮影動画１５２のスロー再生を一時停止する。コーチは、時刻ｔ１１にてタグ付け、時刻ｔ１２にて指導ポイントを描画し、時刻ｔ１１〜ｔ１３に亘って「インパクトからフォローに掛けては、こういうスウィングで…」と指導音声を発声する。この場合の指導アシスト画面５は、図１２に示している。時刻ｔ７にて付与されたタグは、タグ５１２として指導アシスト画面５に表示される。コーチは更に、時刻ｔ１３にてタグ移動ボタン７２をタップして、現フレーム以前のタグに移動させる。

そしてコーチは、時刻ｔ１３〜ｔ１４に亘って「トップのフォームをもう一度見ると…」と指導音声を発声したのち、時刻ｔ１４にてタグ移動ボタン７３をタップして、現フレーム以降のタグに移動する。その後コーチは、時刻ｔ１５にて再生ボタン６２をタップして、撮影動画１５２のスロー再生を再開させる。
時刻ｔ１５かつ撮影動画１５２の１．４秒近辺のハーフウェイ・ダウンにて、タブレット端末２は、撮影動画１５２のスロー再生を一時停止する。コーチは、この指導ポイントは特に指導することはないと判断し、時刻ｔ１７にて再生ボタン６２をタップし、撮影動画１５２をスロー再生させる。

時刻ｔ１８かつ撮影動画１５２の１．６秒近辺のフィニッシュにて、タブレット端末２は、撮影動画１５２のスロー再生を一時停止する。コーチは、この指導ポイントは特に指導することはないと判断し、時刻ｔ１９にて指導録画ボタン６１をタップし、指導録画を停止させる。これにより、コーチが指導した内容は、指導情報１５６として保存される。コーチは、指導情報１５６により、生徒のフォームを指導することができる。

図１４は、所定時間に亘って一時停止を放置したときの録画タイムチャート例を示す図である。
時刻ｔ２０から時刻ｔ２６までのタイムチャートは、図１３に示した時刻ｔ０から時刻ｔ６までと同様である。コーチは、時刻ｔ２６で指導ポイントを描画したのち、タブレット端末２を操作せずに放置する。
時刻ｔ２７にて所定時間が経過すると、タブレット端末２は、撮影動画１５２の再生位置を、次の指導ポイントである０．８秒近辺のハーフウェイ・ダウンに進める。コーチは、この指導ポイントは特に指導することはないと判断して放置する。時刻ｔ２８にて、放置後の所定時間が経過すると、タブレット端末２は、撮影動画１５２の再生位置を、次の指導ポイントである１．１秒近辺のインパクトに進める。これにより、コーチは、タブレット端末２を所定時間内に操作しなければならないという動機づけをすることができる。また、指導動画１５８のサイズを抑制して、サーバ装置１への負荷を軽減することができる。

時刻ｔ２９から時刻ｔ３７までのタイムチャートは、図１３に示した時刻ｔ１１から時刻ｔ１９までと同様である。

（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｆ）のようなものがある。
（ａ） 上記実施形態では、ゴルフのスウィングに係るフォームで説明した。しかし、これに限られず、水泳のクロールにて手で水を掻くときのフォーム、短距離走にて肩のラインの傾きに係るフォーム、サッカーのフリーキックにてボールを蹴るときのフォーム、卓球にてラケットでボールを捉えるときのフォーム、スキーの回転競技でエッジに係るフォーム、バレーボールのレシーブに係るフォーム、野球のバッティングに係るフォームなどの任意のスポーツのフォームであってもよい。更に、スポーツのフォームに限定されず、お手本となる特定の動作パターンで複数の指導ポイントを有する特定動作であればよく、スポーツ以外に、舞踊の特定動作、神事におけるお辞儀の角度などの各種儀式での特定動作、リハビリ歩行訓練動作等であってもよい。
（ｂ） 上記実施形態では、タブレット端末２は、各指導ポイントにて一時停止していた。しかし、これに限られず、タブレット端末２は、各指導ポイントの近傍にて更なるスロー再生に遷移してもよく、更に各指導ポイントから離れたときに元のスロー再生に遷移してもよい。
（ｃ） 上記実施形態では、一台のカメラ４が生徒の正面から撮影している。しかし、これに限られず、複数台のカメラで生徒の斜め背面方向、前方向、上方向等の複数の角度で撮影してもよい。コーチが指導する際には、複数の再生動画ビューを、正面からの再生動画ビューと並べて表示させる。複数の再生動画ビューの時間軸が同じになるように並べているので、コーチは、各角度からの指導ポイントを明確にしながら指導がしやすくなる。

（ｄ） 上記実施形態でのコーチからの指導内容は、音声の収録やチョークボードの記録であった。しかし、これに限られず、コーチがタブレット端末２で動画を再生しながら指導する際におけるコーチの姿を指導映像として撮影してもよい。更に各指導ポイントでのコーチの身振り・手振りによる実演フォームや、コーチに直接指導を受けている生徒の指導映像を、指導ポイントに同期させて記録させてもよい。更にはコーチが生徒に直接手を触れて指導している姿を静止画または動画で撮影して、指導映像としてもよい。生徒が動画を再生する際は、生徒のフォームを撮影した動画の再生に同期して、各指導ポイントでの静止画または動画の指導映像が表示される。これにより、コーチはタブレット端末２を操作することなしに、生徒を指導することができる。

（ｅ） コーチの実演フォームを更に発展させて、プロの動画像を再生してもよい。例えば生徒のフォームに近いプロの理想的なフォームをクラウドのサーバ装置１に格納されたフォームデータベース１５３との比較で抽出して、生徒の動画像と紐付けして記憶させておく。そして、生徒の撮影画像を再生してコーチが指導を行う際は、そのプロの動画像も再生され、自動的に抽出される指導ポイントあるいは任意に選択されたタグ位置で、コーチが指導した指導内容を音声やチョークボードで記録する。このようにすることで、生徒が学習のための動画像を再生する際は、生徒の画像とプロの画像が対比されて表示されると共に、その時のコーチによる指導内容が自動的に再生されるので、生徒は自己学習を効率的に行える。
（ｆ） クラウドに設けられたサーバ装置１による記録に限定されず、例えばジムやスポーツクラブに設けられたコンピュータによる記録であってもよい。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
ユーザのフォームを撮影した動画を再生する再生手段と、
前記動画から指導ポイントとなる動作タイミングを抽出し、抽出した当該動作タイミングにて、前記再生手段に一時停止またはスローを実行させる指導アシスト手段と、
を備えることを特徴とする指導アシストシステム。
＜請求項２＞
前記指導アシスト手段は、前記再生手段により前記動画を再生する際に、前記動画から指導ポイントとなる動作タイミングを抽出する、
ことを特徴とする請求項１に記載の指導アシストシステム。
＜請求項３＞
前記指導アシスト手段は、前記動画から指導ポイントとなる動作タイミングが抽出されているならば、前記再生手段により前記動画をスロー再生する、
ことを特徴とする請求項２に記載の指導アシストシステム。
＜請求項４＞
前記指導アシスト手段は、前記動作タイミングにおいて、所定時間に亘ってユーザ入力が無い場合、再び前記再生手段に前記動画をスロー再生させる、
ことを特徴とする請求項３に記載の指導アシストシステム。
＜請求項５＞
前記指導アシスト手段は、前記動作タイミングであることをユーザに報知する、
ことを特徴とする請求項１に記載の指導アシストシステム。
＜請求項６＞
前記指導アシスト手段は、前記動作タイミングにおいてユーザによって入力された指導内容を、当該動作タイミングに紐付けて記録する、
ことを特徴とする請求項１ないし５のうちいずれか１項に記載の指導アシストシステム。
＜請求項７＞
前記指導アシスト手段は、前記動作タイミングにおいて、所定時間に亘ってユーザ入力が無い場合、前記再生手段に当該動作タイミングの次の動作タイミングの一時停止またはスローを実行させる、
ことを特徴とする請求項１ないし６のうちいずれか１項に記載の指導アシストシステム。
＜請求項８＞
ユーザのフォームを撮影した動画を再生する再生手段、
前記動画から指導ポイントとなる動作タイミングを抽出し、抽出した当該動作タイミングにて、一時停止またはスローを実行させる指導アシスト手段、
としてコンピュータを機能させるための指導アシストプログラム。

Ｓ 指導アシストシステム
１ サーバ装置
１５１ フォーム情報生成プログラム
１５２ 撮影動画
１５３ フォームデータベース
１５４ フォーム情報
１５５ 指導アシストサーバプログラム
１５６ 指導情報
１５７ 指導動画エンコードプログラム
１５８ 指導動画
１５９ 動画配信プログラム
２ タブレット端末
２７１ 指導アシストプログラム
３ タブレット端末
３７１ 指導ブラウザプログラム
４ カメラ
５ 指導アシスト画面
５１ 生徒サムネイル
５１１，５１２ タグ
５２ チョークボード
５３ チョークパレット
５４ 動画領域
６ プレビューコントロール
６１ 指導録画ボタン
６２ 再生ボタン
６３ 一時停止ボタン
７ タグコントロール
８１〜８３ 円環 （指導内容）
８４ 矢印 （指導内容）
９１〜９３ ガイダンス

Claims (7)

1. ユーザのフォームフローを撮影した動画を再生する再生手段と、
   フォームフローの種類に対応させて予め定められている参照動作タイミングに基づいて、前記動画から指導推奨ポイントとされる動作タイミングを抽出し、抽出した当該動作タイミングにて、前記再生手段に一時停止またはスローを実行させる指導アシスト手段と、
   を備え、
   前記再生手段は、
   第１の表示領域に前記動画を再生表示するとともに、第２の表示領域に前記動画から切り出された互いに異なるタイミングの複数の部分画像を時系列順に並べて表示し、且つ、前記複数の部分画像のうち前記指導推奨ポイントとされる動作タイミングに対応する部分画像に対しては、識別マークを付して表示する、
   ことを特徴とする指導アシストシステム。
2. 前記指導アシスト手段は、前記再生手段により前記動画が再生されているときに、前記動画から指導ポイントとなる動作タイミングを抽出する、
   ことを特徴とする請求項１に記載の指導アシストシステム。
3. 前記指導アシスト手段は、前記動画から指導推奨ポイントとされる動作タイミングの抽出中は、前記再生手段による前記動画再生をスロー再生に設定する、
   ことを特徴とする請求項２に記載の指導アシストシステム。
4. 前記指導アシスト手段は、前記一時停止中に、所定時間に亘ってユーザ入力が無い場合、再び前記再生手段に前記動画をスロー再生させる、
   ことを特徴とする請求項１ないし３のうちいずれか１項に記載の指導アシストシステム。
5. 前記指導アシスト手段は、前記再生手段による前記動画の再生中に前記動画が前記動作タイミングになった場合には、前記動作タイミングになったことをユーザに報知する、
   ことを特徴とする請求項１ないし４のうちいずれか１項に記載の指導アシストシステム。
6. 前記指導アシスト手段は、前記動作タイミングにおいてユーザによって入力された指導内容を、当該動作タイミングに紐付けて記録する、
   ことを特徴とする請求項１ないし５のうちいずれか１項に記載の指導アシストシステム。
7. コンピュータを、
   ユーザのフォームフローを撮影した動画を再生する再生手段、
   フォームフローの種類に対応させて予め定められている参照動作タイミングに基づいて、前記動画から指導推奨ポイントとされる動作タイミングを抽出し、抽出した当該動作タイミングにて、前記再生手段に一時停止またはスローを実行させる指導アシスト手段、
   として機能させ、
   前記再生手段は、
   第１の表示領域に前記動画を再生表示するとともに、第２の表示領域に前記動画から切り出された互いに異なるタイミングの複数の部分画像を時系列順に並べて表示し、且つ、前記複数の部分画像のうち前記指導推奨ポイントとされる動作タイミングに対応する部分画像に対しては、識別マークを付して表示する、
   ことを特徴とする指導アシストプログラム。

Images