JP7439727B2 - 判定装置、及び判定方法 - Google Patents

判定装置、及び判定方法 Download PDF

Info

Publication number
JP7439727B2
JP7439727B2 JP2020180326A JP2020180326A JP7439727B2 JP 7439727 B2 JP7439727 B2 JP 7439727B2 JP 2020180326 A JP2020180326 A JP 2020180326A JP 2020180326 A JP2020180326 A JP 2020180326A JP 7439727 B2 JP7439727 B2 JP 7439727B2
Authority
JP
Japan
Prior art keywords
runners
running
unit
runner
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020180326A
Other languages
English (en)
Other versions
JP2022071392A (ja
Inventor
英一 細野
裕介 清水
晃輝 前野
正晃 山口
大介 小嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2020180326A priority Critical patent/JP7439727B2/ja
Priority to PCT/JP2021/028069 priority patent/WO2022091507A1/ja
Publication of JP2022071392A publication Critical patent/JP2022071392A/ja
Priority to US18/056,740 priority patent/US20230079694A1/en
Application granted granted Critical
Publication of JP7439727B2 publication Critical patent/JP7439727B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0686Timers, rhythm indicators or pacing apparatus using electric or electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/0028Training appliances or apparatus for special sports for running, jogging or speed-walking
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625Emitting sound, noise or music
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0658Position or arrangement of display
    • A63B2071/0661Position or arrangement of display arranged on the user
    • A63B2071/0666Position or arrangement of display arranged on the user worn on the head or face, e.g. combined with goggles or glasses
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/05Image processing for measuring physical parameters
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50Wireless data transmission, e.g. by radio transmitters or telemetry

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ペースメーカとすべきランナーを判定する判定装置、及び判定方法に関する。
マラソン大会には大勢のランナーが参加する。マラソン大会で好記録を出すには、自分の実力に合ったペースメーカを見つけ、その後ろに付いて走ることが有効である。ペースメーカに関して、走行中のユーザが装着しているディスプレイグラスに、ユーザが設定したペースで走行するバーチャルランナーを表示させることが考えられる(例えば、特許文献1参照)。特に、一人でランニングしているときに有効な方法である。
特開2014-54303号公報
バーチャルランナーは風除けにならないため、実際のレースでは、周囲に実在する複数のランナーから、自分に適したペースメーカを見つけることが望ましい。
本実施形態はこうした状況に鑑みてなされたものであり、その目的は、周囲から、ペースメーカに適したランナーを探索する技術を提供することにある。
上記課題を解決するために、本実施形態のある態様の判定装置は、ランニングに係るユーザの設定情報を記憶する記憶部と、前記ユーザの周囲を撮影している撮像部から、前記ユーザの周囲に存在する複数のランナーの映像を取得する取得部と、前記取得部で取得した映像内から、前記複数のランナーを画像認識して、前記複数のランナーのランニングの速度、ランニングのピッチ、ランニングフォーム、及び体の大きさの少なくとも一を認識する画像認識部と、前記記憶部に設定情報として記憶されたランニングの速度、及びランニングのピッチの少なくとも一と、前記画像認識部で画像認識した前記複数のランナーのランニングの速度、ランニングのピッチ、ランニングフォーム、及び体の大きさの少なくとも一に基づいて、前記複数のランナーから一のランナーを特定する判定部と、前記判定部で特定した一のランナーを前記ユーザに提示するための提示情報を出力する出力部と、を備える。
本実施形態の別の態様は、判定方法である。この方法は、ユーザの周囲を撮影している撮像部から、前記ユーザの周囲に存在する複数のランナーの映像を取得するステップと、取得した映像内から、前記複数のランナーを画像認識して、前記複数のランナーのランニングの速度、ランニングのピッチ、ランニングフォーム、及び体の大きさの少なくとも一を認識するステップと、め前記ユーザの設定情報として記憶されたランニングの速度、及びランニングのピッチの少なくとも一と、画像認識した前記複数のランナーのランニングの速度、ランニングのピッチ、ランニングフォーム、及び体の大きさの少なくとも一に基づいて、前記複数のランナーから一のランナーを特定するステップと、特定した一のランナーを前記ユーザに提示するための提示情報を出力するステップと、を有する。
なお、以上の構成要素の任意の組合せ、本実施形態の表現を装置、システム、方法、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本実施形態の態様として有効である。
本実施形態によれば、周囲から、ペースメーカに適したランナーを探索することができる。
本発明の実施の形態1に係るウェアラブル端末装置の機能ブロックを示す図である。 実施の形態1に係るウェアラブル端末装置の構成例を示す図である。 実施の形態1に係るウェアラブル端末装置の画像認識部が、フレームにおいて、複数のランナーを認識した状態の一例を示す図である。 実施の形態1に係るウェアラブル端末装置において、ペースメーカとすべきランナーをユーザに認識させるための表示例を示す図である。 本発明の実施の形態2に係るウェアラブル端末装置の機能ブロックを示す図である。 実施の形態2に係るウェアラブル端末装置の判定部が、近距離無線通信に基づき、ユーザと、ユーザの周囲に存在する複数のランナーの相対的な位置関係を把握した状態の一例を示す図である。 実施の形態2に係るウェアラブル端末装置において、ペースメーカとすべきランナーをユーザに認識させるための表示例を示す図である。
(実施の形態1)
図1は、本発明の実施の形態1に係るウェアラブル端末装置1の機能ブロックを示す図である。実施の形態1に係るウェアラブル端末装置1は、ランナーに装着されるメガネ型の端末装置であり、当該ランナーの周囲に位置する他のランナーから、ペースメーカとすべきランナーを探索する機能を有している。
実施の形態1に係るウェアラブル端末装置1は、撮像部10、GPSセンサ11、加速度センサ12、操作部13、処理部20、及び提示部30を備える。撮像部10は、ウェアラブル端末装置1を装着しているランナー(以下、ユーザという)の周囲を撮影するためのカメラである。例えば、撮像部10はメガネ型のウェアラブル端末装置1のフレームに固定され、主に、ユーザの進行方向前方を撮影する。なお、魚眼レンズ等の超広角レンズを有するカメラを使用する場合、前方だけでなく、より広範囲を画角に収めることができる。例えば、帽子の上に外付けのカメラを設置した場合、360°全周囲を画角に収めることができる。
撮像部10は、固体撮像素子及び信号処理回路を含む。固体撮像素子には例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ又はCCD(Charge Coupled Devices)イメージセンサを使用することができる。固体撮像素子は、入射される光を電気的な映像信号に変換し、信号処理回路に出力する。信号処理回路は、固体撮像素子から入力される映像信号に対して、A/D変換、ノイズ除去などの信号処理を施し、処理部20に出力する。
GPSセンサ11は、ウェアラブル端末装置1の現在位置を検出して処理部20に出力する。具体的には複数のGPS衛星からそれぞれ発信時刻を受信し、受信した複数の発信時刻をもとに受信地点の緯度経度を算出する。加速度センサ12は、ウェアラブル端末装置1に加わる三軸の加速度成分を検出して処理部20に出力する。
操作部13は、ボタンやタッチパネル等を有し、ユーザの入力を受け付ける。例えば、操作部13は、ユーザからランニングの目標速度(例えば、キロ4分)、ランニングの目標ピッチ等の設定情報を受け付ける。当該設定情報は、複数のランナーが参加するランニング競技(例えば、マラソン大会)の前に入力される必要がある。
処理部20は、映像取得部21、位置情報取得部22、加速度情報取得部23、入力情報取得部24、記憶部25、測定部26、画像認識部27、判定部28、提示情報生成部29、及び出力部210を含む。処理部20のこれらの機能は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、CPU、ROM、RAM、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、ISP(Image Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、SoC(System on a Chip)、その他のLSIを利用できる。ソフトウェア資源としてファームウェアなどのプログラムを利用できる。
入力情報取得部24は、操作部13から入力された、ランニングの目標速度等のランニングに係る設定情報を取得する。記憶部25は、入力情報取得部24により取得された、ランニングに係る設定情報を記憶する。
位置情報取得部22は、GPSセンサ11から、ウェアラブル端末装置1を装着しているユーザの現在位置情報を取得する。加速度情報取得部23は、加速度センサ12から、ウェアラブル端末装置1に加わる三軸の加速度成分情報を取得する。
測定部26は、位置情報取得部22により取得されたユーザの現在位置情報をもとに、ユーザの速度を測定する。最も単純な処理として、測定部26は、二地点の位置情報をもとに、二地点間の距離と、二地点の位置情報をそれぞれ取得した二の時刻間の時間を特定し、当該距離と当該時間をもとに速度を測定する。
測定部26は、加速度情報取得部23により取得された三軸の加速度成分をもとに、ユーザのピッチ(単位時間あたりの歩数)を測定する。ユーザのランニング又はウォーキング中は、加速度センサ12がどのような向きであっても、X軸、Y軸、Z軸方向の加速度成分の内、一の軸の加速度成分が他の二軸の加速度成分に対して、相対的な周期的変化が大きくなる。測定部26は、周期的変化が最も大きな一の軸の加速度成分のピーク値を継続的に検出することにより、ユーザのピッチを測定する。
映像取得部21は、撮像部10により撮像された映像を取得する。画像認識部27は、取得された映像の各フレーム内において、オブジェクト(本明細書では、ランナー)を探索する。画像認識部27は、辞書データとして、ランナーが写った多数の画像を学習して生成されたランナーの識別器を有する。
画像認識部27は、映像のフレーム内をランナーの識別器を用いて探索する。ランナー(オブジェクト)の認識には例えば、HOG(Histograms of Oriented Gradients)特徴量を用いることができる。なお、Haar-like特徴量やLBP(Local Binary Patterns)特徴量などを用いてもよい。フレーム内にランナーが存在する場合、画像認識部27は、矩形の検出枠でランナーを補足する。フレーム内に複数のランナーが存在する場合、画像認識部27は、個々のランナーを個別に認識する。
画像認識部27は、フレーム内で認識した個々のランナーを、後続するフレーム内において追尾する。ランナー(オブジェクト)の追尾には、例えば、パーティクルフィルタやミーンシフト法を使用することができる。
画像認識部27は、連続的に撮像される複数のフレーム内における、個々のランナーの位置をもとに、個々のランナーの相対的な速度を推定する。具体的には、画像認識部27は、第1のフレーム内のランナーの位置のy座標と、予め用意されたテーブル又は関数をもとに、第1のフレームの撮像時刻における、撮像部10から当該ランナーまでの距離を推定する。同様に、画像認識部27は、第2のフレーム内の当該ランナーの位置のy座標と、予め用意されたテーブル又は関数をもとに、第2のフレームの撮像時刻における、撮像部10から当該ランナーまでの距離を推定する。
当該テーブル又は関数は、フレーム内のランナーの位置のy座標と、撮像部10から当該ランナーまでの距離との関係性を記述したものであり、撮像部10の想定される装着位置(路面からの高さ)及び撮像部10の画角に応じて決定される。
なお、撮像部10が2眼ステレオカメラで構成されている場合、図示しない距離推定部は、2眼で撮影された画像の視差をもとに、撮像部10から当該ランナーまでの距離を推定することができる。また、撮像部10にLiDAR(Light Detection and Ranging)等のTOF(Time Of Flight)センサが搭載されている場合、距離推定部は、TOFセンサの検出値をもとに、撮像部10から当該ランナーまでの距離を推定することができる。
画像認識部27は、第2のフレームの撮像時刻における撮像部10から当該ランナーまでの距離から、第1のフレームの撮像時刻における撮像部10から当該ランナーまでの距離を減算して、第1のフレームの撮像時刻から第2のフレームの撮像時刻の間に、当該ランナーが進んだ距離を推定する。画像認識部27は、当該距離と、第1のフレームの撮像時刻と第2のフレームの撮像時刻間の時間をもとに、当該ランナーの相対的な速度を推定する。
画像認識部27は、測定部26からユーザ自身のランニングの速度を取得する。画像認識部27は、上述のように推定した上記ランナーの相対的な速度に、ユーザ自身の速度を加算することにより、上記ランナーの絶対的な速度を推定する。ユーザの周囲に複数のランナーが存在する場合、個々のランナーごとに絶対的な速度を推定する。
判定部28は、記憶部25に記憶されているランニングに係る設定情報と、画像認識部27により認識されたユーザの周囲に存在する複数のランナーの情報に基づいて、当該複数のランナーから、ペースメーカとすべき一のランナーを特定する。
例えば、判定部28は、画像認識部27により認識された複数のランナーの速度の内、記憶部25に記憶されているユーザの目標速度に最も近い速度のランナーを、ペースメーカとすべきランナーと判定する。なお、判定部28は、ペースメーカとすべきランナーと判定するための絶対的な条件を設定していてもよい。
例えば、ペースメーカとして選定されるランナーは、ユーザの目標速度との差異が所定値以内の速度で走っているランナーに限るという速度条件が課されてもよい。この場合、ユーザの周囲に少なくとも一のランナーが存在する場合でも、当該速度条件を満たすランナーがいない場合、ペースメーカが選定されない。目標速度との乖離が大きいランナーは、ペースメーカに適さない。
また、ペースメーカとして選定されるランナーは、ユーザとの距離が所定の距離内であるランナーに限るという距離条件が課されてもよい。この場合、ユーザの周囲に少なくとも一のランナーが存在する場合でも、当該距離条件を満たすランナーがいない場合、ペースメーカが選定されない。
また、ユーザの周囲に速度条件と距離条件を満たすランナーが複数存在する場合、判定部28は、別の追加条件を加味して、ペースメーカとすべきランナーを選定してもよい。
例えば、画像認識部27は、フレーム内において追尾している個々のランナーの足の上下運動を認識して、個々のランナーのピッチを測定する。判定部28は、ユーザの周囲に距離条件と速度条件を満たすランナーが複数存在する場合、記憶部25に記憶されているユーザの目標ピッチに最も近いピッチのランナーを、ペースメーカとすべきランナーに選定する。ピッチが近い方が、後ろに付いて走りやすい。
また、画像認識部27は、フレーム内において追尾している個々のランナーのランニングフォームの良し悪しを、フォーム採点用の識別器を用いてスコア化する。判定部28は、ユーザの周囲に距離条件と速度条件を満たすランナーが複数存在する場合、ランニングフォームのスコアが最も高いランナーを、ペースメーカとすべきランナーに選定する。ランニングフォームが良いランナーの方が後ろに付いて走りやすい。
また、画像認識部27は、フレーム内において認識した個々のランナーの体の大きさを認識する。判定部28は、ユーザの周囲に距離条件と速度条件を満たすランナーが複数存在する場合、体が最も高いランナーを、ペースメーカとすべきランナーに選定する。体の大きいランナーの方が後ろに付いて走った際、空気抵抗が軽減される。
また、判定部28は、ユーザの周囲に距離条件と速度条件を満たすランナーが複数存在する場合、個々のランナーのランニングの速度、ランニングのピッチ、ランニングフォーム、及び体の大きさをそれぞれ、所定の基準をもとにスコア化し、スコアの合計値が最も高いランナーを、ペースメーカとすべきランナーに選定してもよい。
提示情報生成部29は、判定部28により特定された一のランナーをユーザに知らせるための提示情報を生成する。提示情報の具体例は後述する。出力部210は、生成された提示情報を提示部30に出力する。
提示部30は、ペースメーカとすべきランナーをユーザに知らせるためのユーザインタフェースである。提示部30は、表示部31及び音声出力部32を備える。表示部31は、液晶ディスプレイ、有機ELディスプレイ、マイクロLEDディスプレイ等のディスプレイを備える。表示部31は、出力部210から提示情報を受信すると、メガネのレンズにペースメーカとすべきランナーを指し示す画像を、AR(Augmented Reality)画像で表示する。
音声出力部32はスピーカを備える。音声出力部32は、出力部210から提示情報を受信すると、ペースメーカとすべきランナーを指し示す音声案内を出力する。例えば、「左前方3mのランナーです。」といった音声案内を出力する。なお、ユーザへのペースメーカの提示は、表示部31及び音声出力部32の少なくとも一方を使用して行われる。
図2は、実施の形態1に係るウェアラブル端末装置1の構成例を示す図である。図2は、実施の形態1に係るウェアラブル端末装置1を、透過式のスマートグラスで構成する例を示している。レンズは度付きであってもよいし、度なしであってもよい。サングラスであってもよい。図2に示す例では、左側のレンズの外側の左上に小型の表示部31が取り付けられている。表示部31に隣接する位置に撮像部10が取り付けられている。なお、表示部31として、レンズに映像を投影するHUD(Head-Up Display)を使用してもよい。
図3は、実施の形態1に係るウェアラブル端末装置1の画像認識部27が、フレームF1において、複数のランナーRa、Rb、Rcを認識した状態の一例を示す図である。ここでは、判定部28により、左前方のランナーRaがペースメーカとすべきランナーと判定されたとする。
図4は、実施の形態1に係るウェアラブル端末装置1において、ペースメーカとすべきランナーRaをユーザに認識させるための表示例を示す図である。図4に示す例では、ペースメーカとすべきランナーRaを指し示す矢印と、ペースメーカという文字が表示されている。
以上説明したように実施の形態1によれば、ユーザの周囲から、ユーザに適したペースメーカを探索することができる。例えば、マラソン大会においても、自分の近くを走る大勢の他のランナーから、ペースメーカとすべき適切なランナーを容易に探索することができる。実施の形態1では、無線通信を必要としないため、電波状況の悪い環境下でも、ペースメーカとすべきランナーを的確に見つけることができる。
(実施の形態2)
図5は、本発明の実施の形態2に係るウェアラブル端末装置1の機能ブロックを示す図である。実施の形態2に係るウェアラブル端末装置1は、ランナーに装着される時計型の端末装置であり、実施の形態1と同様に、当該ランナーの周囲に位置する他のランナーから、ペースメーカとすべきランナーを探索する機能を有している。なお、実施の形態2に係るウェアラブル端末装置1では撮像部10が必須ではない。以下、撮像部10を搭載しないウェアラブル端末装置1を説明する。
実施の形態2に係るウェアラブル端末装置1は、GPSセンサ11、加速度センサ12、操作部13、生体センサ14、無線通信部15、処理部20、及び提示部30を備える。以下、実施の形態1に係るウェアラブル端末装置1との相違点を説明する。
生体センサ14はユーザに装着され、ユーザの生体情報を測定し、測定した生体情報を処理部20に出力する。生体センサ14として例えば、光学式の心拍センサを使用することができる。光学式の心拍センサはユーザの手首に装着され、手首にLED光を照射し、血管内の血流によって散乱された光量を測定することにより心拍を測定する。また、光学式の心拍センサのLED光を複数(例えば、緑、赤、赤外線)にすることにより、血中酸素濃度を測定することもできる。また、微弱な電気信号を人体に流して直接、心電図を測定する脈拍センサを使用してもよい。
無線通信部15は、近距離無線通信を実行する。近距離無線通信として、Bluetooth(登録商標)、Wi-Fi(登録商標)、赤外線通信等を使用することができる。無線通信部15は、ユーザの周囲に存在する複数のランナーがそれぞれ装着している他のウェアラブル端末装置1と無線通信することができる。例えば、P2P(Peer to Peer)やメッシュネットワークにより、所定の距離圏内に位置する二以上のウェアラブル端末装置1間で、アクセスポイントを介さずに直接、無線通信することもできる。
実施の形態2では、処理部20は、位置情報取得部22、加速度情報取得部23、入力情報取得部24、生体情報取得部211、データ提供・取得部212、記憶部25、測定部26、判定部28、提示情報生成部29、及び出力部210を含む。
実施の形態2では、ユーザは、操作部13からランニングの目標速度、ランニングの目標ピッチに加え、マラソン大会の目標タイム、過去のマラソン大会の実績タイム等の設定情報を入力する。入力情報取得部24は、操作部13から入力された、ランニングの目標速度等のランニングに係る設定情報を取得し、記憶部25に記憶する。
生体情報取得部211は、生体センサ14からユーザの生体情報を取得する。生体情報として例えば、心拍数や血中酸素濃度を取得する。
データ提供・取得部212は、無線通信部15を介して、他のウェアラブル端末装置1に、ユーザの位置情報、並びにユーザのランニングの速度、ランニングのピッチ、生体データ、目標タイム、及び実績タイムの少なくとも一を送信することができる。また、データ提供・取得部212は、無線通信部15を介して、他のウェアラブル端末装置1から、他のランナーの位置情報、並びに他のランナーのランニングの速度、ランニングのピッチ、生体データ、目標タイム、及び実績タイムの少なくとも一を受信することができる。
判定部28は、記憶部25に記憶されているランニングに係る設定情報と、データ提供・取得部212により取得されたユーザの周囲に存在する複数のランナーの情報に基づいて、当該複数のランナーから、ペースメーカとすべき一のランナーを特定する。
例えば、判定部28は、データ提供・取得部212により取得された複数のランナーの速度の内、記憶部25に記憶されているユーザの目標速度に最も近い速度のランナーを、ペースメーカとすべきランナーと判定する。なお実施の形態1と同様に、判定部28は、ペースメーカとすべきランナーと判定するための絶対的な条件を設定していてもよい。
また、判定部28は、データ提供・取得部212により取得された複数のランナーの別のデータをもとに、ペースメーカとすべきランナーを絞り込んでもよい。
例えば、判定部28は、取得された生体データに含まれる心拍数が基準値より高いランナーを、ペースメーカの選定候補から除外してもよい。心拍数が高すぎるランナーは、今後ペースが落ちてくる蓋然性が高いと推測でき、ペースメーカに適さないと判定する。
また、判定部28は、取得されたマラソンの目標タイム又は実績タイムと、現在のペースに基づく予測タイムとの乖離が所定値以上のランナーを、ペースメーカの選定候補から除外してもよい。目標タイム又は実績タイムが現在のペースに基づく予測タイムと大きく異なる場合、今後ペースが落ちる又は上がる蓋然性が高いと推測でき、ペースメーカに適さないと判定する。
提示情報生成部29は、判定部28により特定された一のランナーをユーザに知らせるための提示情報を生成する。実施の形態2では例えば、提示情報生成部29は、複数のランナーがそれぞれ装着している複数のウェアラブル端末装置1から取得した位置情報をもとに、ユーザと、ユーザの周囲に存在する少なくとも一のランナーの相対的な位置関係を示す模式的な俯瞰画像を生成する。出力部210は、生成された提示情報を提示部30に出力する。
表示部31は、出力部210から提示情報を受信すると、受信した俯瞰画像を表示する。音声出力部32は、出力部210から提示情報を受信すると、ペースメーカとすべきランナーを指し示す音声案内を出力する。なお、ユーザへのペースメーカの提示は、表示部31及び音声出力部32の少なくとも一方を使用して行われる。
図6は、実施の形態2に係るウェアラブル端末装置1の判定部28が、近距離無線通信に基づき、ユーザRuと、ユーザRuの周囲に存在する複数のランナーRa、Rb、Rc、Rdの相対的な位置関係を把握した状態の一例を示す図である。ここでは、判定部28により、左前方のランナーRaがペースメーカとすべきランナーと判定されたとする。
図7は、実施の形態2に係るウェアラブル端末装置1において、ペースメーカとすべきランナーRaをユーザに認識させるための表示例を示す図である。図7に示す例では、時計型のウェアラブル端末装置1の表示部31内において、ペースメーカとすべきランナーRaがマーキングされている。
以上説明したように実施の形態1によれば、ユーザの周囲から、ユーザに適したペースメーカを探索することができる。例えば、マラソン大会においても、自分の近くを走る大勢の他のランナーから、ペースメーカとすべき適切なランナーを容易に探索することができる。実施の形態2では、無線通信を使用するため、自分より後ろを走っているランナーの情報も容易に取得することができる。
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
例えば、実施の形態1に係るメガネ型のウェアラブル端末装置1に、無線通信部15が追加されてもよい。さらに外付けの生体センサ14が追加されてもよい。その場合、無線通信を使用して、他のランナーの速度、ピッチ、生体データ、目標タイム、及び実績タイムの少なくとも一を取得することができ、周囲の複数のランナーから、より総合的な判断に基づき、ペースメーカを選定することができる。
また、実施の形態2に係る時計型のウェアラブル端末装置1に、撮像部10が追加されてもよい。その場合、画像認識により、他のランナーの速度、ピッチ、ランニングフォーム、及び体の大きさの少なくとも一を認識することができ、周囲の複数のランナーから、より総合的な判断に基づき、ペースメーカを選定することができる。
実施の形態1、2では、ユーザがランニング中に、ユーザの周囲の複数のランナーからペースメーカを選定する例を説明した。この点、ユーザが競歩中に、ユーザの周囲の複数の選手からペースメーカを選定することにも使用可能である。
1 ウェアラブル端末装置、 10 撮像部、 11 GPSセンサ、 12 加速度センサ、 13 操作部、 14 生体センサ、 15 無線通信部、 20 処理部、 21 映像取得部、 22 位置情報取得部、 23 加速度情報取得部、 24 入力情報取得部、 25 記憶部、 26 測定部、 27 画像認識部、 28 判定部、 29 提示情報生成部、 210 出力部、 211 生体情報取得部、 212 データ提供・取得部、 30 提示部、 31 表示部、 32 音声出力部。

Claims (4)

  1. ランニングに係るユーザの設定情報を記憶する記憶部と、
    前記ユーザの周囲を撮影している撮像部から、前記ユーザの周囲に存在する複数のランナーの映像を取得する取得部と、
    前記取得部で取得した映像内から、前記複数のランナーを画像認識して、前記複数のランナーのランニングの速度、ランニングのピッチ、ランニングフォーム、及び体の大きさの少なくとも一を認識する画像認識部と、
    前記記憶部に設定情報として記憶されたランニングの速度、及びランニングのピッチの少なくとも一と、前記画像認識部で画像認識した前記複数のランナーのランニングの速度、ランニングのピッチ、ランニングフォーム、及び体の大きさの少なくとも一に基づいて、前記複数のランナーから一のランナーを特定する判定部と、
    前記判定部で特定した一のランナーを前記ユーザに提示するための提示情報を出力する出力部と、
    を備えることを特徴とする判定装置。
  2. 前記判定部は、前記記憶部に設定情報として記憶されたランニングの速度と、前記取得部で取得した情報に基づく前記複数のランナーのランニングの速度を比較して、前記複数のランナーから一のランナーを特定する、
    ことを特徴とする請求項1に記載の判定装置。
  3. 前記取得部は、前記複数のランナーの判定装置から無線通信を介して、前記複数のランナーのランニングの速度、ランニングのピッチ、生体データ、目標タイム、及び実績タイムの少なくとも一を取得し、
    前記判定部は、前記記憶部に設定情報として記憶されたランニングの速度、ランニングのピッチ、目標タイム、及び実績タイムの少なくとも一と、前記取得部で取得した前記複数のランナーのランニングの速度、ランニングのピッチ、生体データ、目標タイム、及び実績タイムラの少なくとも一に基づいて、前記複数のランナーから一のランナーを特定する、
    ことを特徴とする請求項1または2に記載の判定装置。
  4. ユーザの周囲を撮影している撮像部から、前記ユーザの周囲に存在する複数のランナーの映像を取得するステップと、
    取得した映像内から、前記複数のランナーを画像認識して、前記複数のランナーのランニングの速度、ランニングのピッチ、ランニングフォーム、及び体の大きさの少なくとも一を認識するステップと、
    め前記ユーザの設定情報として記憶されたランニングの速度、及びランニングのピッチの少なくとも一と、画像認識した前記複数のランナーのランニングの速度、ランニングのピッチ、ランニングフォーム、及び体の大きさの少なくとも一に基づいて、前記複数のランナーから一のランナーを特定するステップと、
    特定した一のランナーを前記ユーザに提示するための提示情報を出力するステップと、
    を有することを特徴とする判定方法。
JP2020180326A 2020-10-28 2020-10-28 判定装置、及び判定方法 Active JP7439727B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020180326A JP7439727B2 (ja) 2020-10-28 2020-10-28 判定装置、及び判定方法
PCT/JP2021/028069 WO2022091507A1 (ja) 2020-10-28 2021-07-29 判定装置、及び判定方法
US18/056,740 US20230079694A1 (en) 2020-10-28 2022-11-18 Determination device and determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020180326A JP7439727B2 (ja) 2020-10-28 2020-10-28 判定装置、及び判定方法

Publications (2)

Publication Number Publication Date
JP2022071392A JP2022071392A (ja) 2022-05-16
JP7439727B2 true JP7439727B2 (ja) 2024-02-28

Family

ID=81382284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020180326A Active JP7439727B2 (ja) 2020-10-28 2020-10-28 判定装置、及び判定方法

Country Status (3)

Country Link
US (1) US20230079694A1 (ja)
JP (1) JP7439727B2 (ja)
WO (1) WO2022091507A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242584A (ja) 2002-02-13 2003-08-29 Seiko Instruments Inc 身体装着型電子機器システム及び身体装着型電子機器
US20100222179A1 (en) 2009-02-27 2010-09-02 Sinclair Temple Presenting information to users during an activity, such as information from a previous or concurrent outdoor, physical activity
US20140244010A1 (en) 2013-02-25 2014-08-28 Peter Randall Harvey Portable race device for displaying real-time race information
JP2015166816A (ja) 2014-03-04 2015-09-24 富士通株式会社 表示装置,表示制御プログラム及び表示制御方法
US20170182360A1 (en) 2015-12-27 2017-06-29 Lumo BodyTech, Inc System and method for using performance signatures
US20180172835A1 (en) 2015-06-22 2018-06-21 Elite Positioning Technologies Pty Limited System and method for providing a user with an indication of position
KR101933310B1 (ko) 2017-07-05 2018-12-27 김용숙 위치 기반 스포츠 코칭 서비스 제공 방법, 이를 수행하는 위치 기반 스포츠 코칭 서비스 제공 시스템
US20190311539A1 (en) 2018-04-05 2019-10-10 5 Stone Patents System for simulating a virtual fitness partner

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10518131B2 (en) * 2017-01-04 2019-12-31 International Business Machines Corporation Normalizing scores of one or more predefined segments to establish pace comparisons of actors that participate in physical activities on the predefined segments

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242584A (ja) 2002-02-13 2003-08-29 Seiko Instruments Inc 身体装着型電子機器システム及び身体装着型電子機器
US20100222179A1 (en) 2009-02-27 2010-09-02 Sinclair Temple Presenting information to users during an activity, such as information from a previous or concurrent outdoor, physical activity
US20140244010A1 (en) 2013-02-25 2014-08-28 Peter Randall Harvey Portable race device for displaying real-time race information
JP2015166816A (ja) 2014-03-04 2015-09-24 富士通株式会社 表示装置,表示制御プログラム及び表示制御方法
US20180172835A1 (en) 2015-06-22 2018-06-21 Elite Positioning Technologies Pty Limited System and method for providing a user with an indication of position
US20170182360A1 (en) 2015-12-27 2017-06-29 Lumo BodyTech, Inc System and method for using performance signatures
KR101933310B1 (ko) 2017-07-05 2018-12-27 김용숙 위치 기반 스포츠 코칭 서비스 제공 방법, 이를 수행하는 위치 기반 스포츠 코칭 서비스 제공 시스템
US20190311539A1 (en) 2018-04-05 2019-10-10 5 Stone Patents System for simulating a virtual fitness partner

Also Published As

Publication number Publication date
WO2022091507A1 (ja) 2022-05-05
US20230079694A1 (en) 2023-03-16
JP2022071392A (ja) 2022-05-16

Similar Documents

Publication Publication Date Title
AU2020273327B2 (en) Systems and methods of swimming analysis
US10169923B2 (en) Wearable display system that displays a workout guide
KR101509472B1 (ko) 운동파라미터 확정방법, 장치와 운동지원방법
EP2509070B1 (en) Apparatus and method for determining relevance of input speech
US20130177296A1 (en) Generating metadata for user experiences
EP2596746A1 (en) Pupil detection device and pupil detection method
JP4811259B2 (ja) 視線方向推定装置及び視線方向推定方法
JP7504476B2 (ja) モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム
EP3188128A1 (en) Information-processing device, information processing method, and program
CN104820488A (zh) 用户定向式个人信息助理
US20210396779A1 (en) User posture transition detection and classification
JP2022550895A (ja) 道路状況のプロンプト方法、装置、電子機器、記憶媒体及びプログラム製品
CN113140132A (zh) 一种基于5g v2x移动智能终端行人防碰撞预警***与方法
Windau et al. Situation awareness via sensor-equipped eyeglasses
US10948988B1 (en) Contextual awareness based on eye motion tracking by an eye-mounted system
CN111742239A (zh) 用于被动扫描对象或情景的设备和方法
CN116416291A (zh) 电子围栏自动生成方法、实时检测方法及装置
US20200342617A1 (en) Information processing apparatus, information processing method, and program
JP7439727B2 (ja) 判定装置、及び判定方法
Chen et al. Vision-based elderly fall detection algorithm for mobile robot
US11393196B2 (en) Line of sight assistance device and method
Botezatu et al. Development of a versatile assistive system for the visually impaired based on sensor fusion
CN110803170A (zh) 智能用户接口的驾驶辅助***
CN110470307A (zh) 一种视障患者导航***和方法
CN111344776B (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240129

R150 Certificate of patent or registration of utility model

Ref document number: 7439727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150