JP4643856B2 - ストローク情報測定装置及びストローク情報測定方法 - Google Patents

ストローク情報測定装置及びストローク情報測定方法 Download PDF

Info

Publication number
JP4643856B2
JP4643856B2 JP2001162648A JP2001162648A JP4643856B2 JP 4643856 B2 JP4643856 B2 JP 4643856B2 JP 2001162648 A JP2001162648 A JP 2001162648A JP 2001162648 A JP2001162648 A JP 2001162648A JP 4643856 B2 JP4643856 B2 JP 4643856B2
Authority
JP
Japan
Prior art keywords
tip
stroke
swimmer
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001162648A
Other languages
English (en)
Other versions
JP2002346020A (ja
Inventor
崇宏 村越
祐一 木村
剛弘 黒野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2001162648A priority Critical patent/JP4643856B2/ja
Priority to EP02733255A priority patent/EP1398060B1/en
Priority to US10/479,040 priority patent/US7447336B2/en
Priority to PCT/JP2002/005293 priority patent/WO2002096525A1/ja
Priority to CA002448657A priority patent/CA2448657A1/en
Publication of JP2002346020A publication Critical patent/JP2002346020A/ja
Application granted granted Critical
Publication of JP4643856B2 publication Critical patent/JP4643856B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/12Arrangements in swimming pools for teaching swimming or for training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/807Photo cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、水泳中の泳者を撮像することにより、泳者のストローク時間やストローク距離等のストローク情報を測定するストローク情報測定装置及びストローク情報測定方法に関する。
【0002】
【従来の技術】
競泳において、泳者のペース配分は、競技力向上のための重要な要素の1つとなっている。そのため、泳者の各ストロークにおいて1ストロークに要する時間(以下、「ストローク時間」とする。)や1ストロークで進む距離(以下、「ストローク距離」とする。)等のストローク情報の測定が求められている。
【0003】
このようなストローク情報を測定する技術として、特開2000−42161号公報(文献1)には、オペレータが、被測定者(例えば水泳競技者)の運動を見ながら、被測定者の周期的に繰り返される動作の所定位相毎にスイッチを押して、周期的動作の周期等を算出する技術が記載されている。
【0004】
また、特開平11−159173号公報(文献2)には、水泳中の泳者を撮像し、泳者の手の動きをモーションキャプチャで捉えて、ストローク情報を測定する技術が記載されている。
【0005】
【発明が解決しようとする課題】
しかしながら、文献1に記載された技術にあっては、被測定者の周期的動作における所定位相の検出をオペレータに依存しているため、周期的動作の周期等に誤差が生じるおそれがある。特に水泳においては、泳者の身体の各部位が水飛沫で隠れたり、水中に潜ったりするため、上記誤差がより大きくなるおそれがある。
【0006】
また、文献2に記載された技術にあっては、水飛沫で隠れたり、水中に潜ったりする泳者の手の動きをモーションキャプチャで捉え連続抽出するための具体的な手段が開示されていない。
【0007】
これらの技術の他に、ビデオテープ等に水泳中の泳者を記憶した後にストローク情報を測定する方法もあるが、泳者に結果をフィードバックするのに時間がかかるという問題がある。
【0008】
そこで、本発明は、このような事情に鑑みてなされたものであり、水泳中の泳者のストローク時間やストローク距離等のストローク情報を正確に、また、即座に測定することができるストローク情報測定装置及びストローク情報測定方法を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記目的を達成するために、本発明に係るストローク情報計測装置は、水泳中の泳者を撮像し、所定時間毎の画像データを出力する撮像手段と、各画像データにおいて、泳者の身体の像から泳者の進行方向側の先端部を検出する先端部検出手段と、各先端部のうち、先端部検出手段により検出された第1の先端部と第1の先端部が検出されてから所定時間経過後に検出された第2の先端部との変位量が、減少から増加に変わる際の先端部を検出するストロークポイント検出手段とを備えたことを特徴としている。
【0010】
競泳の近代4種目(フリースタイル、バック、ブレスト、バタフライ)すべてにおいて、泳者の片手または両手が進行方向に向かって伸び、そして、水を掻くことにより縮むという点で、それらのストロークに共通性がある。したがって、上述したような構成により、泳者の身体の像から泳者の進行方向側の先端部を検出し、各先端部のうち、第1の先端部と第1の先端部が検出されてから所定時間経過後に検出された第2の先端部との変位量が、減少から増加に変わる際の先端部を検出すれば、泳者が各ストロークにおいて所定の姿勢となった際の先端部を正確に検出することができ、泳者のストローク時間やストローク距離等のストローク情報を正確に、また、即座に測定することができる。
【0013】
また、先端部検出手段は、撮像手段から出力された各画像データにおいて、色相、彩度又は明度の少なくとも1つに基づいて身体の像の候補となる画素を判別する判別手段と、身体の像の候補となる画素が互いに隣接して形成される領域毎に領域の周長を算出し、周長が所定の周長以下の領域をノイズとして除去する除去手段とを備えることが好ましい。
【0014】
水飛沫や波による反射等が身体の像の候補となる画素として判別されても、これらにより形成される領域は身体の像の領域に比べ周長が短いため、各領域の周長に基づいてノイズを除去することができ、身体の像の先端部を正確に検出することができるからである。
【0015】
また、先端部検出手段は、撮像手段から出力された各画像データにおいて、色相、彩度又は明度の少なくとも1つに基づいて身体の像の候補となる画素を判別する判別手段と、進行方向又は進行方向に垂直な方向のいずれか一方又は双方向に沿って身体の像の候補となる画素を積算し、積算方向に垂直な方向の全長が最大の領域を前記身体の像として抽出する抽出手段とを備えることが好ましい。
【0016】
プールの底に引かれたライン等が身体の像の候補となる画素として判別されても、進行方向又は進行方向に垂直な方向のいずれか一方又は双方向に沿って、身体の像の候補となる画素を積算すると、身体の像の領域が最大となるため、身体の像の領域を抽出することができ、すなわち、身体の像の先端部を正確に検出することができるからである。
【0017】
また、上記目的を達成するために、本発明はストローク情報測定方法にも係り、水泳中の泳者を撮像し、所定時間毎の画像データを出力する撮像ステップと、各画像データにおいて、泳者の身体の像から泳者の進行方向側の先端部を検出する先端部検出ステップと、各先端部のうち、先端部検出ステップにおいて検出された第1の先端部と第1の先端部が検出されてから所定時間経過後に検出された第2の先端部との変位量が、減少から増加に変わる際の先端部を検出するストロークポイント検出ステップとを備えたことを特徴としている。
【0019】
また、先端部検出ステップは、撮像ステップで出力された各画像データにおいて、色相、彩度又は明度の少なくとも1つに基づいて身体の像の候補となる画素を判別する判別ステップと、身体の像の候補となる画素が互いに隣接して形成される領域毎に領域の周長を算出し、周長が所定の周長以下の領域をノイズとして除去する除去ステップとを備えることが好ましい。
【0020】
さらに、先端部検出ステップは、撮像ステップで出力された各画像データにおいて、色相、彩度又は明度の少なくとも1つに基づいて身体の像の候補となる画素を判別する判別ステップと、進行方向又は進行方向に垂直な方向のいずれか一方又は双方向に沿って身体の像の候補となる画素を積算し、積算方向に垂直な方向の全長が最大の領域を身体の像として抽出する抽出ステップとを備えることが好ましい。
【0021】
【発明の実施の形態】
以下、図面と共に本発明の好適な一実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の比率は、説明のものと必ずしも一致していない。
【0022】
図1は、本発明の実施の形態に係るストローク情報測定装置10における撮像部12の配置の説明図であり、図2は、ストローク情報測定装置の10の構成を示すブロック図である。
【0023】
図1に示すように、ストローク情報測定装置10は、撮像部12(撮像手段)から出力される画像データを処理し、ストローク時間やストローク距離等のストローク情報を測定するためのものである。撮像部12は、天井に設置された固定カメラであり、水泳中の泳者を連続的に撮像できるように、プールのコース方向に沿って等間隔に複数台設置されている。
【0024】
図2に示すように、ストローク情報測定装置10は、撮像した画像データをフレーム毎(すなわち、1/30秒毎)に出力する撮像部12と、出力された画像データを記憶する画像メモリ部14と、画像メモリ部14内の画像データの処理タイミングを制御する制御部16と、各画像データにおいて泳者の身体の像が存在すると推定される探索領域を記憶する探索領域メモリ部18と、各画像データ毎に設定された探索領域内の画素について、色相、彩度及び明度の各値を検出するRGB/HSV(Red,Green,Blue/Hue,Saturation,Value)変換回路20とを備えている。
【0025】
さらに、ストローク情報測定装置10は、RGB/HSV変換回路20により検出された色相及び彩度に基づいて画像データの探索領域内の画素を3値化し、泳者の身体の像から、泳者の進行方向側の先端部の画像データ内における座標を検出する先端部検出部22(先端部検出手段)と、先端部の画像データ内における座標を実際の位置(以下、「実位置」とする。)に変換する座標変換部24と、変換された実位置をフレーム毎に記憶する先端部位置メモリ部26と、先端部位置メモリ部26内の各先端部の実位置から、泳者が各ストロークにおいて所定の姿勢となった際の先端部の実位置及び時間をストロークポイントとして検出するストーロークポイント検出部28(ストロークポイント検出手段)と、検出されたストロークポイント等を出力する出力部30とを備えている。
【0026】
上述した撮像部12、制御部16、探索領域メモリ部18、座標変換部24、ストロークポイント検出部28及び先端部検出部22の各構成について詳細に説明する。
【0027】
撮像部12は、それぞれの撮像範囲12aに各コースにおける探索領域が一部でも存在する場合に、同期信号を加えてフレーム毎(すなわち、1/30秒毎)に、画像データを画像メモリ部14にDMA(Direct Memory Access)転送する。図1に示すように、撮像部12は、水面から5mの距離をとってプールの天井に設置されており、その撮像範囲12aは2コース分、プールのコース方向に7.7mである。なお、撮像部12には、倍率0.6のワイドコンバージョンレンズが装着されている。また、ビデオ信号としてはNTSC(National Television System Committee)コンポジットビデオ信号が使用され、画像データのサイズは640×480、RGB24bitである。
【0028】
制御部16は、画像メモリ部14内の画像データの取込み状況を監視し、取込みが終了している場合に、座標変換部24からの処理の終了を示す信号に基づいて、RGB/HSV変換回路20に対し、次フレームの画像データの処理を開始させる。
【0029】
探索領域メモリ部18は、各画像データにおいて、泳者の身体の像が存在すると推定される領域を探索領域として各コース毎に記憶する。探索領域は、飛び込み台直後から進行方向に50画素、進行方向に垂直な方向に200画素(各コースにおけるコースロープ内側の画素数相当)の長方形の領域を初期領域とし、泳者に追従し各コース毎に更新される。この探索領域の更新については後述する。
【0030】
座標変換部24は、撮像部12にワイドコンバージョンレンズを用いたことによる樽型歪みの補正を行い、撮像部12の位置やズーム状況に基づいて、先端部検出部22により検出された先端部の画像データ内における座標を実位置に変換する。本実施形態においては、実位置は飛び込み台からの進行方向に沿った距離とし、1画素当たり1.2cmの条件で変換する。
【0031】
ストロークポイント検出部28は、先端部位置メモリ部26に記憶された先端部の実位置において、連続するフレーム間(すなわち、1/30秒経過前後)の先端部の実位置の変位量が減少から増加に変わる際の先端部の実位置及び時間を、ストロークポイントとして検出する。
【0032】
本発明におけるストロークポイント検出の原理は、競泳の近代4種目(フリースタイル、バック、ブレスト、バタフライ)すべてにおける、泳者の片手または両手が進行方向に向かって伸び、そして、水を掻くことにより縮むという、ストロークの共通性を利用したものである。図3は、フリースタイルの動作を示す説明図である。図示するように、フリースタイルにおいては、一方の手が進行方向側に延び(図3(a))、着水し(図3(b))、水を掻き(図3(c))、次に、他方の手が進行方向側に延びる(図3(d))という動作が繰り返される。そのため、図4に示すように、縦軸を時間、横軸を距離とした時間距離マップに、泳者の身体の先端部の位置(例えば、飛び込み台からの進行方向に沿った距離)をプロットすると、各ストロークに対応して極大値P1や極小値P2が現れる。極大値P1は片手が着水した姿勢に対応し、極小値P2は片手が水を掻き終えた姿勢に対応する。したがって、泳者が各ストローク動作において所定の姿勢となった際の先端部の位置及び時間をストーロークポイントとして検出すれば、泳者のストローク時間やストローク距離等のストローク情報を正確に、また、即座に測定することができる。
【0033】
図5は、ストロークポイント検出部28によるストロークポイントP0の検出処理を示すフローチャートである。まず、先端部の実位置が、前フレームにおける先端部の実位置から閾値d以上変位したか否かが判断される(ステップ60)。この閾値dは、泳者の動作として実現不可能な泳速度であり、本実施形態では4.5m/秒に設定されている。そして、変位量が閾値d以上であれば、先端部の実位置は、暫定値として前フレームにおける先端部の実位置+閾値dに設定され(ステップ62)、ストロークポイントP0の設定が行われず終了となる。また、変位量が閾値d未満であれば、先端部の実位置は正常値とされ、前フレームにおける先端部の実位置が正常値であったか否かが判断される(ステップ64)。
【0034】
正常値でなければ、すなわち、暫定値であれば、正常値と判断された先端部の実位置まで溯って、今回の先端部の実位置まで線形補完して暫定値を修正し(ステップ66)、ステップ68に移行する。例えば図4に示すように、Q1が暫定値であれば、前後の正常値を直線で補完し、この直線上のQ2に修正する。また、正常値であれば、今回、前回及び前々回の先端部の実位置に基づいて、前回のスムージングデータを算出する(ステップ68)。そして、前々回のスムージングデータの、前後のスムージングデータとの曲率が閾値c以上か否かが判断される(ステップ70)。
【0035】
曲率が閾値c未満であれば、ストロークポイントP0の設定が行われず終了となる。また、曲率が閾値c以上であれば、ストロークポイントP0に設定され(ステップ72)、過去時間t以内にストロークポイントP0が設定されたか否かが判断される(ステップ74)。この時間tは、本実施形態では450ミリ秒に設定されている。そして、過去時間t以内にストロークポイントP0が設定されていなければ、終了となる。また、過去時間t以内にストロークポイントP0が設定されていれば、過去時間t以内のストロークポイントP0が除外され(ステップ76)、終了となる。
【0036】
このように、ストロークポイント検出部28は、曲率に基づいて、先端部の実位置の変位量が減少から増加に変わる際、すなわち、泳者が各ストロークにおいて水を掻き終えた姿勢となった際の先端部の実位置及び時間をストロークポイントP0として検出している。片手が水を掻き終えた姿勢時に比べ、片手が着水した姿勢時の方が水飛沫等の影響が大きく、先端部検出部22により検出される先端部の座標に誤差が生じるおそれがある。したがって、泳者が各ストロークにおいて水を掻き終えた姿勢となった際の先端部の実位置及び時間をストロークポイントP0として検出することにより、泳者のストローク時間やストローク距離等のストローク情報をより正確に測定することができる。
【0037】
図2に示すように、先端部検出部22は、RGB/HSV変換回路20により検出された色相、彩度及び明度のうち色相及び彩度に基づいて、画像データの探索領域内の画素を3値化する判別部32(判別手段)と、3値化された画像データを記憶する3値化画像メモリ部34と、3値化画像メモリ部34内の3値化された画像データからノイズを除去する除去部36(除去手段)とを備えている。
【0038】
さらに、先端部検出部22は、除去部36によりノイズが除去され後の3値化された画像データから身体の像を含む領域(以下、「身体領域」とする。)を身体の像として抽出する抽出部38(抽出手段)と、抽出された身体領域から、泳者の進行方向側の先端部を画像データ内における座標として検出する先端部座標検出部40と、各コース毎に探索領域の更新を行い、次フレームの画像データにおける探索領域として探索領域メモリ部18に出力する探索領域更新部42とを備えている。
【0039】
上述した判別部32、除去部36、抽出部38、先端部座標検出部40及び探索領域更新部42の各構成について詳細に説明する。
【0040】
判別部32は、色相処理回路44及び彩度処理回路46により、泳者の身体の像の候補となる画素を判別する。色相処理回路44は、明らかにプールの色相値ではない画素を第1の身体の像の候補となる画素(以下、「第1身体候補画素」とする。)として判別する。本実施形態においては、標準カラーホイールにおいて180°〜260°の色相値を有する画素を第1身体候補画素とする。また、彩度処理回路46は、第1身体候補画素を除いた画素のうち彩度の低い画素を第2の身体の像の候補となる画素(以下、「第2身体候補画素」とする。)として判別する。本実施形態においては、彩度が10%未満の画素を第2身体候補画素とする。このように、判別部32は、探索領域内の全画素を第1身体候補画素、第2身体候補画素及びその他の画素(以下、「背景画素」とする。)の3値に判別し、3値化された画像データを3値化画像メモリ部34に記憶する。
【0041】
除去部36は、輪郭追跡回路48、セグメント回路50及び小領域除去回路52により、3値化画像メモリ部34に記憶された3値化された画像データからノイズを除去する。輪郭追跡回路48は、第1身体候補画素及び第2身体候補画素について輪郭の追跡を行い、第1身体候補画素及び第2身体候補画素が互いに隣接して形成される領域毎にその領域の周長を算出する。そして、セグメント回路50は、形成された各領域毎にセグメント処理を行い、小領域除去回路52は、輪郭追跡回路48により算出された各領域の周長が所定の周長以下となる領域をノイズとして除去する。
【0042】
このように、除去部36によれば、水飛沫や波による反射等が身体の像の候補となる画素、すなわち、第1身体候補画素及び第2身体候補画素として判別されても、これらにより形成される領域は身体の像を含む領域に比べ周長が短いため、各領域の周長に基づいてノイズを除去することができる。
【0043】
抽出部38は、身体領域を身体の像として抽出する。図6は、抽出部38による進行方向に垂直な方向の抽出処理を示すフローチャートであり、図7は、プロファイルデータの説明図である。図7に示すように、探索領域38a内に、第1身体候補画素及び第2身体候補画素により形成された領域である、身体領域38bとその進行方向側にプールの底に引かれたラインによる領域38cとが存在する場合について説明する。
【0044】
図6、図7に示すように、抽出部38は、探索領域38a内の第1身体候補画素及び第2身体候補画素を泳者の進行方向に垂直な方向に積算し、進行方向に沿った一次元のHプロファイルデータを算出する(ステップ80)。次に、積算して形成された各領域毎にセグメント処理を行い(ステップ82)、進行方向の全長が最大の領域に対応する領域を身体領域38bとして抽出する(ステップ84)。そして、Hプロファイルデータの最大領域の範囲となるHmin、Hmaxを算出する(ステップ86)。
【0045】
このように、抽出部38によれば、プールの底に引かれたライン等が身体の像の候補となる画素、すなわち、第1身体候補画素及び第2身体候補画素として判別されても、泳者の進行方向に垂直な方向に沿って第1身体候補画素及び第2身体候補画素を積算すれば、身体領域38bが最大となるため、身体領域38bを身体の像として抽出することができる。
【0046】
また、図7に示すように、進行方向についても、第1身体候補画素及び第2身体候補画素を積算する方向を進行方向に変えるだけで、その他は上述した進行方向に垂直な方向の抽出処理と同様の処理ステップにより、進行方向に垂直な方向に沿った一次元のVプロファイルデータの作成、及び、Vプロファイルデータの最大領域の範囲となるVmin、Vmaxの算出が行われる。バタフライやブレスト等の場合には、Vプロファイルデータの最大領域の範囲の変位量に基づいて、ストロークポイントを検出することもできる。
【0047】
先端部座標検出部40は、図7に示すように、抽出部38により抽出された身体領域38bから泳者の進行方向側の先端部40aを、画像データ内における座標として検出する。なお、身体領域38bにおいて、進行方向側の先端となる画素が進行方向に垂直な方向に沿って複数存在する場合には、進行方向に垂直な方向の座標はそれらの平均値とする。
【0048】
探索領域更新部42は、各コース毎に探索領域38aの更新を行い、次フレームの画像データにおける探索領域38aとして探索領域メモリ部18に出力する。図8は、探索領域の更新の説明図である。図示するように、抽出部38により算出されたHプロファイルデータの最大領域の範囲となるHmin、Hmax及びVプロファイルデータの最大領域の範囲となるVmin、Vmaxにより囲まれる長方形の領域42aの周囲にそれぞれ50画素ずつ増加した長方形の範囲を、次フレームの画像データにおける探索領域38aとする。
【0049】
以上のように構成されたストロークポイント測定装置10により、出力部30から、図9に示すようなストロークポイントP0等を得ることができる。図9は、フリースタイルにおける先端部の実位置の推移及びストロークポイントP0の検出結果を示す時間距離マップである。なお、図9に示すデータは、泳者が飛び込み台に向かって泳いでいる際のデータである。また、検出されたストロークポイントP0に基づいて、図10、図11に示すように、泳者のストローク時間やストローク距離等のストローク情報を正確に、また、即座に測定することができる。図10は、図9におけるストローク時間の推移を示すグラフであり、図11は、図9におけるストローク距離の推移を示すグラフである。
【0050】
次に、ストローク情報測定装置10の動作について説明し、併せて、本発明の一実施形態に係るストローク情報測定方法について説明する。なお、本発明に係るストローク情報測定方法は、ストローク情報測定装置10を用いた場合に限定されないことは言うまでもない。
【0051】
まず、撮像部12により、撮像された水泳中の泳者の画像データがフレーム毎(すなわち、1/30秒毎)に出力され、画像メモリ部14に記憶される。制御部16からの処理の開始を示す信号に基づいて、RGB/HSV変換回路20により、探索領域メモリ部18に設定された探索領域内について、画像データ内の画素の色相、彩度及び明度の各値が検出されて先端部検出部22の判別部32に出力される。
【0052】
そして、判別部32において、色相処理回路44により第1身体候補画素が判別され、彩度処理回路46により第2身体候補画素が判別されることにより、探索領域内の全画素が第1身体候補画素、第2身体候補画素及び背景画素の3値に判別され、3値化画像メモリ部34に3値化された画像データが記憶される。
【0053】
この3値化画像メモリ部34内の3値化された画像データは、除去部36において、輪郭追跡回路48により第1身体候補画素及び第2身体候補画素について輪郭の追跡が行われ、第1身体候補画素及び第2身体候補画素が互いに隣接して形成される領域毎にその領域の周長が算出される。そして、セグメント回路50により、形成された各領域毎にセグメント処理され、小領域除去回路52により輪郭追跡回路48で算出された各領域の周長が所定の周長以下となる領域がノイズとして除去される。
【0054】
除去部36によりノイズが除去された後、抽出部38において、3値化された画像データから身体領域38bが身体の像として抽出される。また、同時に、Hプロファイルデータの最大領域の範囲となるHmin、Hmax及びVプロファイルデータの最大領域の範囲となるVmin、Vmaxが算出される。
【0055】
そして、先端部座標検出部40により、抽出部38で抽出された身体領域38bから泳者の進行方向側の先端部40aが、画像データ内における座標として検出される。また、探索領域更新部42により、各コース毎に探索領域38aの更新が行われ、次フレームの画像データにおける探索領域38aとして探索領域メモリ部18に記憶される。
【0056】
そして、座標変換部24により、先端部座標検出部40で検出された先端部40aの画像データ内における座標が実位置に変換され、先端部位置メモリ部26に、フレーム毎(すなわち、1/30秒毎)に記憶される。そして、ストロークポイント検出部28により、曲率に基づいて、先端部位置メモリ26に記憶された連続するフレーム間(すなわち、1/30秒経過前後)の先端部の実位置の変位量が減少から増加に変わる際の先端部の実位置及び時間がストロークポイントP0として検出され、出力部30によりストロークポイントP0等が出力される。
【0057】
以上、本発明の一実施形態について詳細に説明したが、本発明は上記実施形態に限定されないことはいうまでもない。
【0058】
本実施形態では、ストロークポイント検出部28により、曲率に基づいてストロークポイントの検出を行ったが、図9に示す先端部の実位置の波形において、期間を複数設定し、それぞれの周期間隔(すなわち、ストロークポイント)をフーリエ解析法により算出してもよい。また、ニューラルネット等の学習型モデルを用いて、上記波形に対する周期間隔を算出してもよい。
【0059】
また、本実施形態では、撮像部がプールの天井に設置された複数台の固定カメラである場合について説明したが、プールサイドや水中に設置された複数台の固定カメラ、プールサイド等に設置されたレール上をコース方向に移動可能なカメラ、或いは雲台に装着されたカメラ等、水泳中の泳者を連続的に撮像できるものであればよい。プールサイド等横からの撮像の場合、ブレストにおいては両手が常に水中にあるため、泳者の身体の像から泳者の進行方向側の先端部として泳者の頭が検出される。ブレストにおいては泳者の頭も各ストロークにおいて周期的な動きをするため、ストロークポイントの検出を行うことができる。また、水中に設置されたカメラの場合にも、泡等によるノイズを除去することにより、同様にストロークポイントの検出を行うことができる。
【0060】
【発明の効果】
以上説明したように、本発明によれば、競泳の近代4種目(フリースタイル、バック、ブレスト、バタフライ)すべてにおける、泳者の片手または両手が進行方向に向かって伸び、そして、水を掻くことにより縮むという、ストロークの共通性を利用することにより、泳者の身体の像から泳者の進行方向側の先端部を検出すれば、それらの先端部から、泳者が各ストロークにおいて所定の姿勢となった際の先端部を求めることにより、泳者のストローク時間やストローク距離等のストローク情報を正確に、また、即座に測定することができる。
【0061】
また、泳者の身体の進行方向側の先端部を検出しているため、泳速度や、特定距離におけるラップタイム等も同期して算出することができる。また、各泳者それぞれのフォームに基づいて、その泳者の身体の先端部と任意の部位との位置関係は一定であるため、例えば泳者の腰等、身体の任意の部位における泳速度等も算出することができる。そして、これらのデータについて、過去のデータや他の泳者のデータとの比較を容易に行うことができ、解析システムへの応用も可能となる。
【0062】
さらに、ストローク時間やストローク距離等の目標値を設定し、水泳中の泳者に対し、測定値との差を音や光等により伝えることも可能となる。これは、泳者が泳ぎながらその差を体感し、修正することを可能とし、効率的に泳者の競技力を向上させることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る撮像部の配置の説明図である。
【図2】本発明の実施の形態に係るストローク情報測定装置の構成を示すブロック図である。
【図3】(a) フリースタイルにおける一方の手が進行方向側に伸びる際の姿勢を示す説明図である
(b) フリースタイルにおける一方の手が着水する際の姿勢を示す説明図である
(c) フリースタイルにおける一方の手が水を掻く際の姿勢を示す説明図である
(d) フリースタイルにおける他方の手が進行方向側に伸びる際の姿勢を示す説明図である
【図4】フリースタイルにおける泳者の身体の先端部の位置を示す時間距離マップである。
【図5】本発明の実施の形態に係るストロークポイント検出部によるストロークポイント検出処理を示すフローチャートである。
【図6】本発明の実施の形態に係る抽出部による抽出処理を示すフローチャートである。
【図7】本発明の実施の形態に係るプロファイルデータの説明図である。
【図8】本発明の実施の形態に係る探索領域の更新の説明図である。
【図9】本実施の形態に係るフリースタイルにおける先端部の実位置の推移及びストロークポイントの検出結果を示す時間距離マップである。
【図10】図9におけるストローク時間の推移を示すグラフである。
【図11】図9におけるストローク距離の推移を示すグラフである。
【符号の説明】
10…ストローク情報測定装置、12…撮像部、22…先端部検出部、28…ストロークポイント検出部、32…判別部、36…除去部、38…抽出部、40…先端部座標検出部。

Claims (6)

  1. 水泳中の泳者を撮像し、所定時間毎の画像データを出力する撮像手段と、
    前記各画像データにおいて、前記泳者の身体の像から前記泳者の進行方向側の先端部を検出する先端部検出手段と、
    前記各先端部のうち、前記先端部検出手段により検出された第1の先端部と前記第1の先端部が検出されてから前記所定時間経過後に検出された第2の先端部との変位量が、減少から増加に変わる際の先端部を検出するストロークポイント検出手段と
    を備えたことを特徴とするストローク情報測定装置。
  2. 前記先端部検出手段は、
    前記撮像手段から出力された各画像データにおいて、色相、彩度又は明度の少なくとも1つに基づいて前記身体の像の候補となる画素を判別する判別手段と、
    前記身体の像の候補となる画素が互いに隣接して形成される領域毎に前記領域の周長を算出し、前記周長が所定の周長以下の領域をノイズとして除去する除去手段と
    を備えたことを特徴とする請求項に記載のストローク情報測定装置。
  3. 前記先端部検出手段は、
    前記撮像手段から出力された各画像データにおいて、色相、彩度又は明度の少なくとも1つに基づいて前記身体の像の候補となる画素を判別する判別手段と、
    前記進行方向又は前記進行方向に垂直な方向のいずれか一方又は双方向に沿って前記身体の像の候補となる画素を積算し、前記積算方向に垂直な方向の全長が最大の領域を前記身体の像として抽出する抽出手段と
    を備えたことを特徴とする請求項に記載のストローク情報測定装置。
  4. 水泳中の泳者を撮像し、所定時間毎の画像データを出力する撮像ステップと、
    前記各画像データにおいて、前記泳者の身体の像から前記泳者の進行方向側の先端部を検出する先端部検出ステップと、
    前記各先端部のうち、前記先端部検出ステップにおいて検出された第1の先端部と前記第1の先端部が検出されてから前記所定時間経過後に検出された第2の先端部との変位量が、減少から増加に変わる際の先端部を検出するストロークポイント検出ステップと
    を備えたことを特徴とするストローク情報測定方法。
  5. 前記先端部検出ステップは、
    前記撮像ステップで出力された各画像データにおいて、色相、彩度又は明度の少なくとも1つに基づいて前記身体の像の候補となる画素を判別する判別ステップと、
    前記身体の像の候補となる画素が互いに隣接して形成される領域毎に前記領域の周長を算出し、前記周長が所定の周長以下の領域をノイズとして除去する除去ステップと
    を備えたことを特徴とする請求項に記載のストローク情報測定方法。
  6. 前記先端部検出ステップは、
    前記撮像ステップで出力された各画像データにおいて、色相、彩度又は明度の少なくとも1つに基づいて前記身体の像の候補となる画素を判別する判別ステップと、
    前記進行方向又は前記進行方向に垂直な方向のいずれか一方又は双方向に沿って前記身体の像の候補となる画素を積算し、前記積算方向に垂直な方向の全長が最大の領域を前記身体の像として抽出する抽出ステップと
    を備えたことを特徴とする請求項に記載のストローク情報測定方法。
JP2001162648A 2001-05-30 2001-05-30 ストローク情報測定装置及びストローク情報測定方法 Expired - Fee Related JP4643856B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2001162648A JP4643856B2 (ja) 2001-05-30 2001-05-30 ストローク情報測定装置及びストローク情報測定方法
EP02733255A EP1398060B1 (en) 2001-05-30 2002-05-30 Stroke information measuring apparatus and stroke information measuring method
US10/479,040 US7447336B2 (en) 2001-05-30 2002-05-30 Stroke information measuring apparatus and stroke information measuring method
PCT/JP2002/005293 WO2002096525A1 (fr) 2001-05-30 2002-05-30 Appareil de mesure d'informations de nage et procede de mesure y relatif
CA002448657A CA2448657A1 (en) 2001-05-30 2002-05-30 Stroke information measuring apparatus and stroke information measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001162648A JP4643856B2 (ja) 2001-05-30 2001-05-30 ストローク情報測定装置及びストローク情報測定方法

Publications (2)

Publication Number Publication Date
JP2002346020A JP2002346020A (ja) 2002-12-03
JP4643856B2 true JP4643856B2 (ja) 2011-03-02

Family

ID=19005743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001162648A Expired - Fee Related JP4643856B2 (ja) 2001-05-30 2001-05-30 ストローク情報測定装置及びストローク情報測定方法

Country Status (5)

Country Link
US (1) US7447336B2 (ja)
EP (1) EP1398060B1 (ja)
JP (1) JP4643856B2 (ja)
CA (1) CA2448657A1 (ja)
WO (1) WO2002096525A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018146919A1 (ja) 2017-02-08 2018-08-16 パナソニックIpマネジメント株式会社 選手状態表示システムおよび選手状態表示方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3844989B2 (ja) * 2001-10-15 2006-11-15 浜松ホトニクス株式会社 ストローク情報測定装置及びストローク情報測定方法
US7869621B1 (en) * 2007-06-07 2011-01-11 Aydin Arpa Method and apparatus for interpreting images in temporal or spatial domains
US10022087B2 (en) 2012-11-29 2018-07-17 Johnson Outdoors Inc. Swim stroke counter
US20140200116A1 (en) * 2013-01-17 2014-07-17 Alex Aquatics Real Time Feedback Swim Training System and Method Based on Instantaneous Speed
JP2015012434A (ja) * 2013-06-28 2015-01-19 カシオ計算機株式会社 フォーム確認支援装置、及びその方法とプログラム、フォーム確認支援システム
KR102197585B1 (ko) 2014-01-28 2020-12-31 삼성전자주식회사 수영 경기 시스템, 수영 경기 방법, 수질 관리 방법 및 디스플레이 장치
WO2016007858A2 (en) * 2014-07-11 2016-01-14 Matko Michelle Anna Alert system for children within proximity of a pool or water
US10888764B2 (en) * 2016-05-18 2021-01-12 Panasonic Intellectual Property Management Co., Ltd. Method for identifying state of athlete and device for identifying state of athlete
US10354128B2 (en) * 2017-12-07 2019-07-16 Friendsport, Inc. Apparatus and method for improving swimmer performance

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08171693A (ja) * 1994-12-19 1996-07-02 Nec Corp 車両検出装置
JPH11159173A (ja) * 1997-11-28 1999-06-15 Ishikawajima Harima Heavy Ind Co Ltd 訓練用プール
JPH11271024A (ja) * 1998-03-26 1999-10-05 Kubota Corp 果菜類の計測装置
JP2000003450A (ja) * 1999-05-24 2000-01-07 Honda Motor Co Ltd カラ―画像における複数領域の併合方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60148574A (ja) 1984-01-14 1985-08-05 蓮沼 功 トレ−ニング装置
JPS6144977A (ja) 1984-08-09 1986-03-04 Canon Inc El素子
JP2629810B2 (ja) 1988-04-22 1997-07-16 石川島播磨重工業株式会社 回流水槽式プール設備
JPH02235481A (ja) 1989-03-08 1990-09-18 O V S:Kk プール用テレビカメラシステム
US5130955A (en) * 1990-12-11 1992-07-14 Dean Luerker Athletic timer correction system
JPH06174450A (ja) 1992-12-03 1994-06-24 Toto Ltd 動作空間計測装置
EP0662600A4 (en) 1993-06-10 1997-02-12 Oh Yoh Keisoku Kenkyusho Kk DEVICE FOR MEASURING THE POSITION OF A MOVABLE OBJECT.
JP2975975B2 (ja) 1993-11-09 1999-11-10 日本ビクター株式会社 水中移動カメラ撮影装置
JP3190964B2 (ja) 1994-05-30 2001-07-23 日本放送協会 カメラの移動装置
JPH08317277A (ja) 1995-05-22 1996-11-29 Kowa Kk 水中監視カメラ
FR2741370B1 (fr) * 1995-11-16 1998-05-29 Poseidon Systeme de surveillance d'une piscine pour la prevention des noyades
US5864518A (en) * 1996-03-29 1999-01-26 Performance General Corporation Device and method for analyzing a swimmer's swim stroke
US6169966B1 (en) * 1996-12-27 2001-01-02 Kabushiki Kaisha Toshiba Apparatus for detecting a moving state of an object
US6141041A (en) * 1998-06-22 2000-10-31 Lucent Technologies Inc. Method and apparatus for determination and visualization of player field coverage in a sporting event
JP2000042161A (ja) 1998-07-30 2000-02-15 Ysdi:Kk 運動モニター装置
US6086379A (en) * 1998-10-20 2000-07-11 Research Foundation Of State University Of New York System and method for training a swimmer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08171693A (ja) * 1994-12-19 1996-07-02 Nec Corp 車両検出装置
JPH11159173A (ja) * 1997-11-28 1999-06-15 Ishikawajima Harima Heavy Ind Co Ltd 訓練用プール
JPH11271024A (ja) * 1998-03-26 1999-10-05 Kubota Corp 果菜類の計測装置
JP2000003450A (ja) * 1999-05-24 2000-01-07 Honda Motor Co Ltd カラ―画像における複数領域の併合方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018146919A1 (ja) 2017-02-08 2018-08-16 パナソニックIpマネジメント株式会社 選手状態表示システムおよび選手状態表示方法
US11135502B2 (en) 2017-02-08 2021-10-05 Panasonic Intellectual Property Management Co., Ltd. Player state display system and player state display method

Also Published As

Publication number Publication date
JP2002346020A (ja) 2002-12-03
US20040218786A1 (en) 2004-11-04
EP1398060A4 (en) 2008-04-30
WO2002096525A1 (fr) 2002-12-05
CA2448657A1 (en) 2002-12-05
EP1398060A1 (en) 2004-03-17
EP1398060B1 (en) 2011-08-03
US7447336B2 (en) 2008-11-04

Similar Documents

Publication Publication Date Title
JP4331197B2 (ja) 眼開度検出装置及び方法
CN107688764B (zh) 检测车辆违章的方法及装置
JP4643856B2 (ja) ストローク情報測定装置及びストローク情報測定方法
US20160110610A1 (en) Image processor, image processing method, and computer program
CN107016348B (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
JP2015070566A (ja) カメラのレンズ汚れ検知装置
US20200306585A1 (en) Jump counting method for jump rope
CN103996203A (zh) 一种检测图像面部遮挡的方法和装置
JPH0738796A (ja) 自動合焦装置
JP3844989B2 (ja) ストローク情報測定装置及びストローク情報測定方法
JP2021114288A (ja) 深層学習に基づく馬速計算システム及び方法
JP2009088801A (ja) 撮影対象物の静止判定方法および装置
JP4821355B2 (ja) 人物追跡装置、人物追跡方法および人物追跡プログラム
JP4209525B2 (ja) パンタグラフすり板の厚み測定方法
KR100631082B1 (ko) 단일 카메라를 사용한 3차원 영상정보 획득방법 및 이를이용한 영상검지방법
JP3631541B2 (ja) ステレオ画像による物体の移動追跡方法
CN109089032A (zh) 一种烟雾视觉成像装置
CN114519684A (zh) 一种基于图像差分的引体向上计数方法
JP2001021321A (ja) トロリ線支持碍子の高さ測定装置
JP5047115B2 (ja) 移動物体追跡装置
JP4234407B2 (ja) ストローク情報計測装置
CN112489045B (zh) 一种用于集卡的防吊起检测方法
JP2001094976A (ja) 画像抽出装置
Pogalin et al. Video-based training registration for swimmers
CN114973190A (zh) 一种距离检测方法、装置及车辆

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101130

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101203

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees