JP7491280B2 - 電子機器、プログラム及び地形判定方法 - Google Patents

電子機器、プログラム及び地形判定方法 Download PDF

Info

Publication number
JP7491280B2
JP7491280B2 JP2021150780A JP2021150780A JP7491280B2 JP 7491280 B2 JP7491280 B2 JP 7491280B2 JP 2021150780 A JP2021150780 A JP 2021150780A JP 2021150780 A JP2021150780 A JP 2021150780A JP 7491280 B2 JP7491280 B2 JP 7491280B2
Authority
JP
Japan
Prior art keywords
user
body movement
terrain
movement information
route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021150780A
Other languages
English (en)
Other versions
JP2023043266A (ja
Inventor
建彦 紀井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2021150780A priority Critical patent/JP7491280B2/ja
Priority to US17/894,883 priority patent/US20230081304A1/en
Priority to CN202211107238.5A priority patent/CN115826735A/zh
Priority to EP22195348.2A priority patent/EP4151149B1/en
Publication of JP2023043266A publication Critical patent/JP2023043266A/ja
Application granted granted Critical
Publication of JP7491280B2 publication Critical patent/JP7491280B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V20/00Geomodelling in general
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Geophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Navigation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、電子機器、プログラム及び地形判定方法に関する。
従来、移動動作中のユーザの体動情報を取得し、評価する技術が知られている。この種の技術が記載されているものとして、例えば特許文献1がある。特許文献1には、ユーザの運動データ、自己評価データ、GPSデータを教師データとして機械学習を行い、新たな運動データに対する自己評価を予測して算出する装置が記載されている。
特開2020-5766号公報
特許文献1では運動データや地形データ等の種々のデータを用いてユーザのランニングフォーム等を評価しているが、地形データについてはデータベース等から取得しており、ユーザが移動している地形のより詳細な情報を取得するという点で改善の余地があった。
本発明は、このような状況に鑑みてなされたものであり、ユーザが移動している地形を高い精度で判定できる電子機器、プログラム及び地形判定方法を提供することを目的とする。
上記目的を達成するため、本発明の一態様の電子機器は、ユーザが移動動作中の前記ユーザの体動情報を取得し、判定対象経路を移動動作中の前記ユーザの前記体動情報と前記ユーザ以外の前記判定対象経路を移動動作中の移動者の前記体動情報が、前記判定対象経路内の特定区間において共通の挙動を示す場合、天候情報が晴天又は曇天であれば、ある経路を移動動作中の複数の移動者の体動情報を入力データとして取得し、前記ある経路の地形をラベルとして取得し、前記入力データと前記ラベルとの組を教師データとして教師あり学習を行うことによって構築された学習モデルと、前記判定対象経路を移動動作中の前記ユーザの前記体動情報と、に基づいて、前記ユーザが移動している地形を判定し、前記天候情報が晴天又は曇天でなければ、前記地形を平地と判定し、取得した前記ユーザの前記体動情報のうち、前記ユーザの骨盤の傾き、ピッチ、ストライド、及び上下方向における足の移動量のいずれかを解析することによって前記ユーザの姿勢を特定し、判定された前記地形としての水平面に対する傾斜又地表面の形状に基づいた基準姿勢と、特定された前記ユーザの姿勢とに基づいて前記ユーザの姿勢を評価する処理部を備える。
本発明によれば、ユーザが移動している地形を高い精度で判定できる電子機器、プログラム及び地形判定方法を提供することができる。
本発明の一実施形態に係る地形判定システムの構成を示すシステム構成図である。 本発明の一実施形態に係るセンサ装置の使用例を示す模式図である。 本発明の一実施形態に係るセンサ装置のハードウェアの構成を示すブロック図である。 本発明の一実施形態に係るユーザ端末のハードウェアの構成を示すブロック図である。 本発明の一実施形態に係る管理サーバのハードウェアの構成を示すブロック図である。 本発明の一実施形態に係る管理サーバの機能的構成の一部を示す機能ブロック図である。 本発明の一実施形態に係る管理サーバによる学習モデルの構築処理の流れの一例を示すフローチャートである。 本発明の一実施形態に係る地形判定システムが実行する地形判定処理においてユーザ端末が実行する処理の流れの一例を示すフローチャートである。 本発明の一実施形態に係る地形判定システムの管理サーバが実行する地形判定処理の流れの一例を示すフローチャートである。
以下、本発明の実施形態について、図面を用いて説明する。
[地形判定システム]
図1は、本発明の一実施形態に係る地形判定システムSを示すシステム構成図である。図1に示すように、地形判定システムSは、地形判定処理を行う電子機器としての管理サーバ1と、センサ装置2と、ユーザ端末3と、を含む。
管理サーバ1とユーザ端末3は、相互に通信可能である。管理サーバ1とユーザ端末3の通信は、例えば、インターネット、LAN(Local Area Network)、及び携帯電話網の何れか又はこれらを組み合わせたネットワーク4により実現される。また、ユーザ端末3とセンサ装置2も、相互に通信可能である。ユーザ端末3とセンサ装置2の通信は、例えば、BLE(Bluetooth(登録商標) Low Energy)によって行われる。なお、通信方式は例示であり、管理サーバ1とユーザ端末3の通信及びユーザ端末3とセンサ装置2の通信はこれ以外の通信方式を用いてもよい。
センサ装置2は、ユーザがウォーキングやランニング等の移動動作を行ったときの当該ユーザの体動をセンシングするセンシング機能と、センサ装置2の位置を測位する測位機能と、ユーザ端末3に対してセンシング結果を送信する通信機能と、を有する。以下、センサ装置2によって取得される各種データをログデータと称して説明する。
センサ装置2の使用例について説明する。図2は、本発明の一実施形態に係るセンサ装置2の使用例を示す模式図である。図2に示すように、本実施形態のセンサ装置2は、地表面5上で所定の移動動作(本実施形態においては、ウォーキングやランニングの場合で説明するが、移動動作はこれに限らない)を行うユーザの体幹に沿った位置の腰付近に装着される。
センサ装置2は、センシング機能によってユーザのウォーキング中やランニング中の動作速度の変化(加速度)や動作方向の変化(角速度)等の動作データを取得する。センサ装置2は、測位機能によってユーザがウォーキングやランニング等のアクティビティを行ったときの移動軌跡や走行距離等の測位データを取得する。以下、センサ装置2が取得する動作データ及び測位データを含むデータをログデータと称して説明する。また、移動距離の他、移動時の姿勢等も重力加速度と、センサ装置2の長手方向(所定方向)の軸がなす角を用いてキャリブレーションしてもよい。
ユーザ端末3は、演算処理機能や、通信機能を有する通信機器である。ユーザ端末3は、例えば、ユーザにより携帯可能な、スマートフォン、タブレット、スマートウォッチ等のウェアラブルデバイスにより実現される。
本実施形態のユーザ端末3は、センサ装置2からログデータを受信し、管理サーバ1に送信するとともに、管理サーバ1からの情報を受信する通信機能と、ユーザ端末3の位置を測位する測位機能と、管理サーバ1によるログデータの解析結果を表示出力する出力機能と、を有する。ユーザ端末3の出力機能により、センサ情報の解析結果を、簡単、かつ、直感的に認識可能な形態でユーザが把握することができる。
管理サーバ1は、演算処理機能や、通信機能を有する管理装置である。管理サーバ1は、例えば、サーバ装置や、パーソナルコンピュータ等の電子機器により実現される。管理サーバ1は、ユーザ端末3を介してセンサ装置2から送信されるログデータに基づいて、ユーザの体動情報を取得し、ユーザが移動している地形を判定する。また管理サーバ1は、測位データを解析することでユーザが移動した経路の高度、緯度、経度情報等の情報を含む経路情報を取得し、必要に応じて該経路情報を補正する。管理サーバ1によって取得された体動情報や経路情報、地形の判定結果等は、ユーザ端末3に送信される。なお、管理サーバ1は、複数のユーザ端末3を介して複数のセンサ装置2からのログデータを受信可能に構成される。
[ハードウェア構成]
次に、センサ装置2のハードウェアの構成の一例について説明する。図3は、本発明の一実施形態に係るセンサ装置2のハードウェアの構成を示すブロック図である。図3に示すように、センサ装置2は、CPU(Central Processing Unit)11-1と、ROM(Read Only Memory)12-1と、RAM(Random Access Memory)13-1と、バス14-1と、入出力インターフェース15-1と、センサ部16-1と、入力部17-1と、出力部18-1と、記憶部19-1と、通信部20-1と、GNSS部21-1と、を備えている。
CPU11-1は、ROM12-1に記録されているプログラム、又は、記憶部19-1からRAM13-1にロードされたプログラムに従って各種の処理を実行する。
RAM13-1には、CPU11-1が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11-1、ROM12-1及びRAM13-1は、バス14-1を介して相互に接続されている。このバス14-1にはまた、入出力インターフェース15-1も接続されている。入出力インターフェース15-1には、センサ部16-1、入力部17-1、出力部18-1、記憶部19-1、通信部20-1及びGNSS部21-1が接続されている。
入力部17-1は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18-1は、LED(Light Emitting Diode)ランプ、ディスプレイ、スピーカ等で構成され、光、画像、音声等を出力する。
記憶部19-1は、ハードディスク或いはフラッシュメモリ等で構成され、各種データを記憶する。
通信部20-1は、例えば、BLE(Bluetooth(登録商標) Low Energy)等の無線、又はUSB等の有線による、他の装置との間で行う通信を制御する。
センサ部16-1は、センサ装置2自身の三次元的な動きを計測するための加速度センサやジャイロセンサ等により構成される。加速度センサは、任意の方向の移動と加速度を検出する装置である。例えば、加速度センサは、静電容量型或いはピエゾ抵抗素子型の3軸センサであり、互いに直交する3軸方向のそれぞれに生じる加速度を検出する。ジャイロセンサは、任意の方向の移動と角速度を検出する装置である。例えば、ジャイロセンサは、静電容量型或いはピエゾ抵抗素子型の3軸センサであり、互いに直交する3軸方向のそれぞれに生じる角速度を検出する。
センサ部16-1は、少なくとも、センサ装置2を装着したユーザの動作に応じてセンサ装置2に与えられた加速度及び角速度を検出して、ログデータとして記憶部19-1に記憶する。ログデータは、事後的に通信部20-1を介してユーザ端末3に送信され、ユーザ端末3を介して管理サーバ1に送信される。管理サーバ1は、受信したログデータを解析することでセンサ装置2を装着したユーザの体動情報を取得する。本実施形態においては、センシングの開始・終了は、入力部17-1に対するユーザ操作を契機に行われる。
GNSS部21-1は、測位衛星から送信される測位衛星信号に基づいて測位を行う。GNSSは、Global Navigation Satellite Systemの略称であり、GNSS部21-1はGPS等の衛生測定システムを利用する。本実施形態のGNSS部21-1は、アンテナを含み、複数の測位衛星からの測位衛星信号を受信し、受信した測位衛星信号をCPU11-1に送信する。CPU11-1は、GNSS部21-1から受信した測位衛星信号に基づいて、センサ装置2の位置情報を含む測位データを取得する。
なお、センサ装置2は、上記例示した構成の他に、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア適宜装着されるドライブを備えてもよい。ドライブによってリムーバブルメディアから読み出されたプログラムやデータは、必要に応じて記憶部19-1にインストールされる。
次に、ユーザ端末3のハードウェア構成について説明する。図4は、本発明の一実施形態に係るユーザ端末3のハードウェアの構成を示すブロック図である。図4に示すように、ユーザ端末3は、CPU11-2と、ROM12-2と、RAM13-2と、バス14-2と、入出力インターフェース15-2と、入力部17-2と、出力部18-2と、記憶部19-2と、通信部20-2と、GNSS部21-2と、撮像部22-2と、を備える。ユーザ端末3では、センサ装置2と同様の構成については、説明を省略する。
入力部17-2及び出力部18-2は、有線又は無線により電気的に入出力インターフェース15-2に接続されるユーザインターフェースである。入力部17-2は、例えばキーボードやマウス、各種のボタン、マイク等で構成され、ユーザの指示操作に応じて各種情報を入力する。出力部18-2は、例えば画像を表示するディスプレイや音声を拡声するスピーカ等で構成され、画像や音声を出力する。
撮像部22-2は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。撮像部22-2が撮像した撮像画像のデータは、CPU11-2や図示しない画像処理部等に適宜供給される。
次に、管理サーバ1のハードウェア構成について説明する。図5は、本発明の一実施形態に係る管理サーバ1のハードウェアの構成を示すブロック図である。図5に示すように、管理サーバ1は、CPU11-3と、ROM12-3と、RAM13-3と、バス14-3と、入出力インターフェース15-3と、入力部17-3と、出力部18-3と、記憶部19-3と、通信部20-3と、気象情報取得部23-3と、を備える。管理サーバ1では、センサ装置2と同様の構成については、説明を省略する。
気象情報取得部23-3は、通信部20-3を介してアメダス等の気象データ収集システム等から気象情報を取得する。気象情報には、晴天、曇天、雨天、雪等の天候情報が含まれる。
次に、地形判定処理を行う管理サーバ1の機能的構成について説明する。図6は、管理サーバ1の機能的構成の一部を示す機能ブロック図である。
図6に示すように、記憶部19-3の一領域には、複数のセンサ装置2から取得したログデータやログデータに紐づけられた天候情報等が記憶される履歴情報記憶部190と、後述する学習モデルや該学習モデルを構築するために用いる教師データに関する情報が記憶される機械学習情報記憶部191と、管理サーバ1の通信に関する情報が記憶される通信情報記憶部192と、が設定される。
管理サーバ1の各種の制御を行う処理部30は、演算処理を実行するCPU11-3によって実現される。本実施形態の処理部30は、通信処理部31と、識別情報取得部32と、経路情報取得部33と、体動情報取得部34と、天候情報取得部35と、学習部36と、地形判定部37と、経路情報補正部38と、姿勢解析部39と、出力処理部40と、を備える。
通信処理部31は、通信部20-3を介して外部の機器と通信するための処理を実行する。例えば、通信処理部31は、管理サーバ1に接続されるユーザ端末3や該ユーザ端末3を介してセンサ装置2と各種の情報を送受信するための処理を実行する。
識別情報取得部32は、ログデータの送信元であるセンサ装置2を識別するための識別情報を取得する。識別情報取得部32から取得される識別情報により、センサ装置2を装着するユーザを識別できる。
経路情報取得部33は、GNSS部21-1によって取得され、通信部20-3を介して送信された測位データに基づいて、センサ装置2を装着するユーザが移動している経路の経路情報を取得する。経路情報とは、ユーザが移動している経路の高度、緯度、経度情報等を含む地理的な位置情報である。
体動情報取得部34は、センサ部16-1によって検出され、ユーザ端末3を介してセンサ装置2から送信される動作データに基づいて、ユーザの体動情報を取得する。具体的には、体動情報取得部34は、ウォーキング中やランニング中のユーザの動作速度の変化や動作方向の変化を解析することで体動情報を取得する。ユーザの体動情報としては、例えば、ユーザのウォーキングやランニング等の移動動作中におけるピッチ、ストライド、骨盤の傾き、上下方向における足の移動量、足の接地時間、蹴り出し時の加速度、足の接地時の減速量等が挙げられる。ストライドとは移動動作中のユーザの一歩の幅であり、ピッチとはケイデンス等の単位時間当たりの歩数である。また、体動情報取得部34は、学習部36の入力データとしての体動情報を取得する。
体動情報取得部34がユーザの姿勢に起因する骨盤の傾きを取得する処理の例について説明する。体動情報取得部34は、センサ装置2を装着したユーザの直立した姿勢である場合に対応する骨盤の傾きが基準となるように、直立した姿勢時のセンサ装置2の傾きと鉛直方向とを一致させるキャリブレーションを行う。キャリブレーションでは、直立した姿勢に対応する骨盤の傾きで、静止状態を所定の時間維持することで、直立した姿勢の骨盤の傾きが基準となるように、重力加速度と、装置の長手方向の軸がなす角を用いて行う。センサ装置2を装着したユーザが骨盤の傾きが前傾姿勢に相当する傾きとなる場合には、腰付近に装着されたセンサ装置2も追従して傾くことになり、直立した姿勢になる場合の傾きよりも、前傾姿勢となった傾きの方が大きくなる。これにより、ユーザの骨盤の傾きの変化を取得し、前傾姿勢等の姿勢変化を取得する。
天候情報取得部35は、気象情報取得部23-3から天候情報を取得する。処理部30は、気象情報取得部23-3によって取得された天候情報をセンサ装置2から送信されたログデータに対応付けて記憶する。具体的には、処理部30は、同じログデータを解析することで取得された識別情報、経路情報、及び体動情報と、対応する天候情報とを互いに紐づけて1組の履歴情報として履歴情報記憶部190に記憶する。
学習部36は、教師あり学習を行うことにより、ユーザが移動している地形を判定するために用いられる学習モデルを構築する。学習部36は、入力データ取得部361と、ラベル取得部362と、学習モデル構築部363と、を備える。
入力データ取得部361は、履歴情報記憶部190から地形のある経路、例えば既知である経路(以下、既知経路という)を移動している複数の異なるユーザの体動情報を入力データとして取得する。入力データ取得部361は、地形の異なる複数の既知経路に対する入力データを取得し、既知経路ごとに複数の異なるユーザの体動情報を取得することが好ましい。これにより、ユーザの体動情報と地形の相関関係をより高い精度で特定できる。入力データとして取得される体動情報は、天候情報が晴天又は曇天である場合の情報であることが好ましい。例えば、天候が雨や雪である場合、経路の地表面5が雨や雪で濡れて泥濘が生じ、晴天時又は曇天時に比べてユーザが移動動作し難い状態に変化する。晴天時又は曇天時の経路の地表面5が乾いている状態で移動動作を行ったユーザの体動情報のみを入力データとして用いることで、天候に起因する地表面5の状態の変化を排除できる。よって、ユーザの体動情報と地形の相関関係をより正確に反映した学習モデルを構築できる。
ラベル取得部362は、既知経路の地形をラベルとして取得する。地形としては、例えば、上り坂や下り坂、平地等の水平面に対する経路の傾斜や地表面5の形状等が挙げられる。経路の地表面5の形状としては、例えば、平坦な形状、階段状、凹凸状等が挙げられる。地形の例としては、ユーザの進行方向に対してある角度上方に傾斜しており、地表面5が階段状である地形や、ユーザの進行方向に対してある角度下方に傾斜しており、地表面5が平坦な地形、地表面5が凹凸状の平地等が挙げられる。既知経路の地形は、ユーザが入力部17-3等を介して地形データを入力することや地形のデータベース等から取得することによって得られる。
学習モデル構築部363は、入力データ取得部361によって取得された入力データとラベル取得部362によって取得されたラベルとの組を教師データとして教師あり学習を行うことにより、地形が未知である判定対象経路の地形を判定するための学習モデルを構築する。教師あり学習とは、入力データ(入力)とラベル(結果)のデータの組を大量に学習部36に与えることで、それらのデータセットにある特徴を学習し、入力から結果を推定するモデルであり、ニューラルネットワークやサポート・ベクター・マシン(Support Vector Machine、以下SVMともいう)等を用いて実現することが可能である。
学習モデル構築部363は、構築した学習モデルを機械学習情報記憶部191に記憶させる。なお、学習モデル構築部363は、地形の異なる複数の既知経路に対する教師データを用いて学習モデルを構築することが好ましい。
ここで、入力データである体動情報とラベルである地形の関係について説明する。例えば、ユーザが移動している地形が上り坂である場合、ユーザが平地を移動している場合に比べてピッチが下がり、ストライドが小さくなる傾向がある。反対にユーザが移動している地形が下り坂である場合、ピッチが上がり、ストライドが大きくなる傾向がある。また例えば、地表面の形状が階段状である場合、平坦な形状と比べて上り坂では上下方向における足の移動量が大きく、下り坂では小さくなる傾向がある。
地形判定部37は、例えば、体動情報取得部34によって取得された体動情報に基づいて、センサ装置2を装着するユーザが移動している地形を判定する。具体的には、地形判定部37は、判定対象経路を移動動作中のユーザの体動情報を学習部36によって構築された学習モデルに入力することで該ユーザが移動している地形を判定する。
地形判定部37は、判定対象経路の地形の判定を体動情報に基づいて行うか否かを、体動情報使用条件を満たすか否かに応じて選択してもよい。例えば、次の(a)~(c)の全てを満たす場合に体動情報使用条件を満たすとしてもよく、(a)、(b)を満たす場合に体動情報使用条件を満たすとしてもよく、(c)のみを満たす場合に体動情報使用条件を満たすとしてもよい。なお、以下の説明において、地形判定部37による地形判定処理のためその体動情報が用いられるユーザを「判定対象ユーザ」とし、判定対象ユーザ以外のユーザを「他ユーザ」とし、判定対象ユーザと他ユーザの共通の内容を説明する場合は単に「ユーザ」とする。
(a)履歴情報記憶部190に判定対象経路を移動した複数のユーザの履歴情報が記憶されている
(b)判定対象ユーザの体動情報と所定の人数以上の他ユーザの体動情報が、判定対象経路内の特定区間において共通の挙動を示す
(c)判定対象ユーザの移動動作中の天候情報が晴天又は曇天である
特定区間は、例えば、地形が平地から上り坂に変化する地点を含む区間であってもよい。疲労等が蓄積されていない通常の状態のランナーは、平地から上り坂に差し掛かると、ピッチが下がり、ストライドが小さくなる傾向がある。一方で疲労等が蓄積されているランナーは、平地においてもピッチが下がり、ストライドが小さい状態であるので、通常の状態のランナーのような特定区間での体動の変化が起こり難い。即ち、上記のような特定区間において判定対象ユーザの体動情報が他ユーザの体動情報と共通の挙動を示すか否かを確認することで、判定対象ユーザが通常の状態であるか否かを把握できる。
地形判定部37は、例えば、体動情報使用条件を満たす場合にのみ、体動情報取得部34によって取得された体動情報を用いて判定対象経路の地形を判定してもよい。一方で、地形判定部37は、体動情報使用条件を満たさない場合に、体動情報を用いずに判定対象経路の地形を判定してもよく、また判定対象経路の地形の判定処理を行わなくてもよい。体動情報を用いずに地形を判定する場合、例えば、判定対象経路の地形を平地としてもよい。
ここで、移動動作中のユーザの体動は、地形の要因だけでなく、移動動作中のユーザの疲労やユーザの足が接地する地表面5の状態等の要因によっても影響を受けることが考えられる。例えば、ランニング中のユーザの疲労が溜まると、地形が平坦であっても地形が上り坂である場合のように、ピッチが下がり、ストライドが小さくなる可能性がある。これに対して、本実施形態では、特定区間において判定対象ユーザの体動情報が他ユーザの体動情報と共通の挙動を示す場合にのみ体動情報を用いて地形を判定する。これにより、例えば判定対象ユーザの体動が疲労によって変化している場合に体動情報を用いた地形の判定を避けることができるので、地形の誤判定を防止できる。また例えば、降雨や降雪によって地表面5が濡れて泥濘等が生じると、ユーザがランニングし難くなり、該ユーザの体動に影響を与える。本実施形態では、降雨や降雪の場合に体動情報を用いた地形の判定を避けることができるので、地形の誤判定を防止できる。
経路情報補正部38は、経路情報取得部33によって取得された判定対象経路の経路情報を地形判定部37によって判定された地形に基づいて補正する。具体的には、経路情報補正部38は、地形判定部37によって判定された地形に基づいて高度を推定し、推定した推定高度と、経路情報取得部33によって取得された経路情報に含まれる高度とに基づいて判定対象経路の高度を決定してもよい。経路情報補正部38は、例えば、推定高度と、推定高度が推定された地点と同じ地点における経路情報取得部33によって取得された経路情報に含まれる高度との比較結果に基づいて上記地点の高度を決定してもよい。また、経路情報補正部38は、経路情報取得部33によって取得された経路情報の判定対象経路内の高度の最大値と最小値と、地形判定部37によって判定された地形から推定された判定対象経路内の推定高度の最大値と最小値の差とに基づいて高度を決定してもよい。例えば、経路情報取得部33が判定対象経路内の高度の最大値と最小値の差が20mとする経路情報を取得し、判定対象経路内の推定高度の最大値と最小値の差が10mであった場合に、判定対象経路内の高度の最大値と最小値の差を15mと補正してもよい。これにより、例えば電波環境による影響を受けて誤差が生じた測位データに基づいて取得した経路情報であっても、直接地表面5上に接地するユーザの体動情報を用いて判定された地形に基づいて補正できる。
姿勢解析部39は、ユーザの体動情報に基づいて該ユーザの姿勢を特定し、ウォーキングやランニング等の移動動作の種類及び地形に応じて予め定められた基準姿勢と特定したユーザの体動情報とに基づいてユーザのウォーキングフォームやランニングフォーム等の移動動作中の姿勢の良悪を判定する。例えば姿勢解析部39は、ユーザの姿勢を、体動情報取得部34によって取得された移動動作中のユーザの骨盤の傾き、ピッチ、ストライド、上下方向における足の移動量等を解析することで導出してもよい。例えば、体動情報に含まれる骨盤の傾きからユーザが直立した姿勢であるか、前傾姿勢であるか等を特定し、移動動作中のユーザの姿勢を特定してもよい。また姿勢解析部39は、地形判定部37によって判定された地形に基づいた基準姿勢を特定する。基準姿勢は、例えば、地形が上り坂である場合に、地形が平地である場合に比べてより前方に傾いた姿勢を基準姿勢として設定されている。そして、姿勢解析部39は、体動情報に基づいて特定したユーザの姿勢と特定した基準姿勢との比較結果に基づいてユーザの姿勢を判定する。姿勢解析部39は、例えば、基準姿勢に対するユーザの姿勢の類似度が高いほど移動動作中の姿勢が良いと判定してもよい。
出力処理部40は、経路情報取得部33によって取得された判定対象経路の経路情報又は経路情報補正部38によって補正された判定対象経路の経路情報と、地形判定部37によって判定された判定対象経路の地形と、姿勢解析部39によるユーザの移動動作中の姿勢の解析結果等の出力する処理を行う。
[学習モデルの構築処理]
次に、本実施形態に係る地形判定システムSにおける機械学習時の動作について説明する。図7は、管理サーバ1の学習部36による学習モデルの構築処理の流れの一例を示すフローチャートである。
学習部36の入力データ取得部361は、履歴情報記憶部190に記憶された体動情報のうち既知経路を移動動作中のユーザの体動情報を入力データとして取得する(ステップS11)。
ラベル取得部362は、履歴情報記憶部190に記憶された地形のうちステップS11で取得した体動情報に紐づいた既知経路の地形をラベルとして取得する(ステップS12)。
学習モデル構築部363は、ステップS11で取得した入力データとステップS12で取得したラベルとの組を教師データとして受け付ける(ステップS13)。
学習モデル構築部363は、ステップS13で受け付けた教師データを用いて機械学習を実行する(ステップS14)。
ステップS14の後、学習モデル構築部363は、機械学習を終了するか機械学習を繰り返すかを判定する(ステップS15)。学習モデル構築部363は、機械学習を繰り返すと判定した場合(ステップS15;No)、処理をステップS11に戻す。そして、管理サーバ1は同じ動作を繰り返す。一方、学習モデル構築部363は、機械学習を終了すると判定した場合(ステップS15;Yes)、処理をステップS16に移行させる。なお、機械学習を終了させる条件は任意に定めることができる。例えば、予め定められた回数だけ機械学習を繰り返した場合に、機械学習を終了させるようにしてもよい。具体的には、予め定められた判定経路数以上の既知経路のそれぞれに対して予め定められた判定人数以上の異なるユーザから得た教師データを用いて機械学習を実行した場合に、機械学習を終了させるようにしてもよい。
学習部36は、機械学習情報記憶部191にこの学習モデルを記憶する(ステップS16)。これにより、地形判定部37から地形の判定のために学習モデルを要求された場合に、機械学習情報記憶部191から学習モデルを取り出すことができる。また、新たな教師データを取得した場合に、学習モデルに対して更なる機械学習を行うこともできる。
[地形判定処理]
次に、地形判定システムSによる地形判定処理の一例について図を参照しながら説明する。本地形判定処理では、ユーザが移動動作としてランニングを行った場合を例に説明する。
まず、主にユーザ端末3が実行する処理の流れの一例について図8を参照しながら説明する。図8は、地形判定システムSが実行する地形判定処理においてユーザ端末3が実行する処理の流れの一例を示すフローチャートである。
まず、ユーザ端末3を携帯したユーザがセンサ装置2を起動させ、センサ装置2を腰付近に装着した状態で、ランニングを開始する(ステップS21)。このとき、ユーザは入力部17-1を操作してセンサ部16-1及びGNSS部21-1によるログデータの検出開始を指示する。
ユーザ端末3は、センサ装置2によって検出されたログデータを取得し、保存する(ステップS22)。具体的には、まずセンサ装置2のCPU11-1が、センサ部16-1によって検出されたセンサ装置2の加速度と角速度を示す動作データと、GNSS部21-1によって検出されたセンサ装置2の測位データを取得し、これらの動作データと測位データをユーザ端末3に送信する。そしてユーザ端末3は、通信部20-2を介して動作データと測位データを取得し、記憶部19-3に保存する。
ユーザがランニングを終了する(ステップS23)。このとき、ユーザは入力部17-1を操作してセンサ部16-1及びGNSS部21-1によるログデータの検出終了を指示する。
ユーザ端末3のCPU11-2は、ステップS22で保存したログデータを記憶部19-2から取り出し、通信部20-2を介して管理サーバ1に送信する(ステップS24)。管理サーバ1が実行する処理については後述する。
ユーザ端末3のCPU11-2は、管理サーバ1から送信された後述する経路情報、地形の判定結果、及びラニングフォームの解析結果を受信しているか否かを判定する(ステップS25)。CPU11-2が管理サーバ1から経路情報、地形の判定結果、及びランニングフォームの解析結果を受信していない場合(ステップS25;No)、ステップS25の処理を繰り返す。一方で、管理サーバ1から経路情報、地形の判定結果、及びランニングフォームの解析結果を受信した場合(ステップS25;Yes)、処理をステップS26に移行させる。
ユーザ端末3のCPU11-2は、管理サーバ1からの経路情報、地形の判定結果、及びランニングフォームの解析結果をディスプレイ等の出力部18-2に表示する(ステップS26)。ステップS26の処理の後、地形判定処理においてユーザ端末3が実行する処理が終了する。
次に、管理サーバ1が実行する処理の流れの一例について図9を参照しながら説明する。図9は、地形判定システムSの管理サーバ1による地形判定処理の流れを示すフローチャートである。
図9に示すように、管理サーバ1の通信処理部31は、ステップS24でユーザ端末3から送信されたログデータを受信する(ステップS31)。
管理サーバ1の処理部30は、ステップS31で受信したログデータから識別情報、経路情報、体動情報を取得する(ステップS32)。具体的には、識別情報取得部32によってログデータから識別情報を取得し、経路情報取得部33によってログデータから経路情報を取得し、体動情報取得部34によってログデータから体動情報を取得する。経路情報取得部33が経路情報を取得することによって、地形判定システムSによって地形が判定される判定対象経路が特定される。
天候情報取得部35は、気象情報取得部23-3から判定対象経路における判定対象ユーザの移動動作中の天候情報を取得する(ステップS33)。
地形判定部37は、判定対象ユーザ以外の他ユーザが判定対象経路をランニングして取得された履歴情報が履歴情報記憶部190に記憶されているか否かを判定する(ステップS34)。地形判定部37は、判定対象経路をランニングした他ユーザの履歴情報が記憶されていなかった場合(ステップS34;No)、処理をステップS37に移行させる。そして、地形判定部37は、判定対象経路の地形を地表面5が平坦な平地と判定する(ステップS37)。一方で、地形判定部37は、判定対象経路をランニングした他ユーザの履歴情報が記憶されていた場合(ステップS34;Yes)、処理をステップS35に移行させる。
地形判定部37は、判定対象経路内の特定区間においてステップS31で判定対象ユーザと他ユーザとの間に共通の体動情報の変化があるか否かを判定する(ステップS35)。地形判定部37は、判定対象経路内の特定区間において判定対象ユーザと所定の人数以上の他ユーザとの間に共通の体動情報の変化がなかった場合(ステップS35;No)、処理をステップS37に移行させる。そして、地形判定部37は、判定対象経路の地形を地表面が平坦な平地と判定する(ステップS37)。一方で、地形判定部37は、判定対象経路中の特定区間において判定対象ユーザと所定の人数以上の他ユーザとの間に共通の体動情報の変化があった場合(ステップS35;Yes)、処理をステップS36に移行させる。
地形判定部37は、ステップS33で取得した天候情報が晴天又は曇天であるか否かを判定する(ステップS36)。地形判定部37は、ステップS33で取得した天候情報が晴天又は曇天でなかった場合(ステップS36;No)、処理をステップS37に移行させる。そして、地形判定部37は、判定対象経路の地形を地表面5が平坦な平地と判定する(ステップS37)。一方で、地形判定部37は、ステップS33で取得した天候情報が晴天又は曇天であった場合、処理をステップS38に移行させる。
次に、地形判定部37は、機械学習情報記憶部191に記憶された学習モデルを用いて判定対象経路の地形を判定する(ステップS38)。具体的には、地形判定部37は、機械学習情報記憶部191に記憶された学習モデルにステップS32で取得された体動情報を入力することで判定対象経路の地形を判定する。
経路情報補正部38は、ステップS38で判定した地形に基づいて算出された判定対象経路の推定高度を取得する(ステップS39)。
経路情報補正部38は、ステップS39で取得した推定高度とステップS32で取得した経路情報の高度に差があるか否かを判定する(ステップS40)。経路情報補正部38は、推定高度と経路情報の高度に差がある場合(ステップS40;Yes)、処理をステップS41に移行させる。そして、経路情報補正部38は、ステップS32で取得した経路情報をステップS39で取得した推定高度を用いて補正し(ステップS41)、処理をステップS42に移行させる。一方で、経路情報補正部38は、推定高度と経路情報の高度に差がない場合(ステップS40;No)、ステップS41を介せずに処理をステップS42に移行させる。
姿勢解析部39は、ステップS37又はステップS38で判定された地形と、ステップS32で取得された体動情報と、ステップS37又はステップS38で判定された地形に基づいて特定された基準姿勢に基づいて判定対象ユーザのランニングフォームを解析し、ランニングフォームの良悪を判定する(ステップS42)。具体的には、姿勢解析部39は、まず、ステップS32で取得されたユーザの体動情報に基づいて該ユーザの姿勢を特定するとともに、ステップS37又はステップS38で判定された地形に基づいて予め定められた基準姿勢を特定する。そして、姿勢解析部39は、特定したユーザの姿勢と特定した基準姿勢とを比較することでユーザの移動動作中の姿勢の良悪を判定する。
出力処理部40は、ステップS32で取得した経路情報又はステップS41で補正した経路情報と、ステップS37又はステップS38で判定された地形と、ステップS42で解析されたランニングフォームの解析結果をユーザ端末3に送信する(ステップS43)。ステップS43の処理の後、地形判定処理において管理サーバ1が実行する処理が終了する。
以上説明したように、電子機器としての管理サーバ1は、ユーザが移動動作しているときのユーザの体動情報を取得し、取得した前記体動情報に基づいて、ユーザが移動している地形を判定する処理部30を備える。
これにより、地表面5に直接接触するユーザの足の動きが反映される体動情報から地形を判定するので、より高い精度で地形を判定することができる。具体的には、所定の区間の高度差等から得られる傾斜だけでなく、地表面5の階段状、凹凸状等の形状を含むより詳細な地形を判定できる。
また、本実施形態では、体動情報は、ユーザの移動動作中におけるピッチ、ストライド、骨盤の傾き、上下方向における足の移動量、足の接地時間、蹴り出し時の加速度、及び足の接地時の減速量のうちの少なくとも1つを含む。
これにより、より高い精度で地形の詳細な情報を判定できる。
また、本実施形態では、処理部30は、体動情報に基づいてユーザの姿勢を特定し、判定された地形に基づいた基準姿勢を特定し、基準姿勢とユーザの姿勢とに基づいてユーザの姿勢を判定する。
これにより、高い精度で判定された地形に基づいて基準姿勢を特定するので、地形に応じたユーザの移動動作中の姿勢の良悪をより正確に判定できる。
また、本実施形態では、処理部30は、ある経路を移動動作中の複数のユーザの前記体動情報を入力データとして取得し、ある経路の地形をラベルとして取得し、入力データと前記ラベルとの組を教師データとして教師あり学習を行うことによって構築された学習モデルと教師データとは別個に取得した体動情報とに基づいて該ユーザが移動している地形を判定する。
これにより、複数のユーザの体動情報を用いるので、より一般化した体動情報と地形の関係を反映した学習モデルを構築でき、地形をより高い精度で効率的に判定できる。
また、本実施形態では、処理部30は、体動情報に基づいて地形を判定するか否かを、判定対象経路を移動動作中のユーザの体動情報と該ユーザ以外の判定対象経路を移動動作中のユーザの体動情報が、判定対象経路内の特定区間において共通の挙動を示すか否かに基づいて選択する。
これにより、地形の誤判定を防止できる。例えば、移動動作中の判定対象ユーザの体動は同じ地形を移動している場合であっても判定対象ユーザの疲労によって変化する場合がある。疲労が蓄積した判定対象ユーザの体動情報から地形を判定した場合、疲労の要因によって体動情報が変化し、地形の誤判定が生じるおそれがある。本実施形態では、判定対象ユーザと他ユーザの体動情報が共通の挙動を示すか否かによって体動情報を利用して地形を判定するか選択するので、判定対象ユーザの疲労等に起因する体動の変化による地形の誤判定を防止できる。
また、本実施形態では、処理部30は、体動情報に基づいて地形を判定するか否かを、ユーザが移動動作中の天候情報に基づいて選択する。
これにより、天候に起因する地表面5の状態の変化による誤判定を防止できる。
また、本実施形態では、処理部30は、判定した地形に基づいて推定した推定高度と、推定高度が推定された地点と同じ地点における外部から受信する測位衛星信号に基づく高度とに基づいて、上記地点の高度を決定する。
これにより、測位衛星信号に基づく高度とともに体動情報に基づいて判定した地形から推定した高度を用いて経路の高度を決定できる。よって、例えば電波環境による影響を受けて誤差が生じた測位衛星信号に基づいて経路情報が取得された場合であっても、経路を実際に移動したユーザの体動情報を用いて得られた地形の判定結果に基づいてより正確な高度に補正できる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、地形判定部37は、体動情報使用条件を満たすか否かに応じて判定対象経路の地形を体動情報に基づいて判定するか否かを選択していたが、体動情報使用条件を満たすか否かに拘わらず体動情報に基づいて地形を判定してもよい。
また、上述の実施形態では、学習部36が入力データである体動情報とラベルである地形との組みを教師データとして教師あり学習を行うことにより、地形を判定するための学習モデルを構築したが、入力データとして天候情報を含めてもよい。即ち、処理部30は、ある経路における複数の異なるユーザの移動動作中の天候情報を入力データとして更に取得し、学習モデルと判定対象経路を移動動作中のユーザの体動情報と該ユーザが判定対象経路を移動動作中の天候情報とに基づいて該ユーザが移動している地形を判定してもよい。具体的には、入力データ取得部361は、体動情報とともに天候情報を取得し、学習モデル構築部363が入力データである体動情報及び天候情報と、ラベルである地形との組を教師データとして教師あり学習を行うことにより、判定対象経路の地形を判定するための学習モデルを構築してもよい。そして、地形判定部37は、体動情報とともに天候情報を学習モデルに入力することで、判定対象経路の地形を判定してもよい。
これにより、ユーザが移動している判定対象経路の地表面5の状態を加味して地形を判定できる。例えば、降雨や降雪によって地表面5が濡れて泥濘等が生じると、ユーザが該地表面5上を移動し難くなり、該ユーザの体動に影響を与える。これに対して、体動情報とともに天候情報を用いて学習モデルを構築しているので、降雨や降雪により地表面5に泥濘等が生じてユーザが移動し難くなる状況を加味して地形を判定できる。
また例えば、学習部36は、ラベルとして地形とともにユーザの移動動作中の姿勢の良悪を示す情報を含めてもよい。即ち、処理部30は、地形に応じて設定された基準姿勢とある経路を移動動作中のユーザの姿勢との比較情報をラベルとして更に取得し、学習モデルと判定対象経路を移動動作中のユーザの体動情報とに基づいて、該ユーザが移動している地形を判定するとともに基準姿勢と判定対象経路を移動動作中の該ユーザの姿勢との比較情報を判定してもよい。具体的には、ラベル取得部362は、地形とともに基準姿勢と地形が既知である経路を移動動作中のユーザの姿勢との比較情報を取得し、学習モデル構築部363が入力データである体動情報と、ラベルである地形と上記比較情報との組を教師データとして教師あり学習を行うことにより、判定対象経路の地形と該地形を移動しているユーザの姿勢の良し悪しを判定するための学習モデルを構築してもよい。そして、姿勢解析部39は、ユーザの体動情報を学習モデルに入力することで、上記基準姿勢と移動動作中の該ユーザの姿勢との比較情報を判定してもよい。
これにより、ユーザが移動した経路の地形とともにユーザの移動動作中の姿勢の良悪を効率的に判定できる。例えば、地形判定部37によって地形が階段状の上り坂と判定された場合に、この階段状の上り坂の地形に対するユーザのランニングフォームの良悪を判定できる。
また例えば、学習部36は、移動動作中のユーザの体動情報を入力データとして取得し、ラベルとして地形と該ユーザの姿勢の良悪を示す評価結果をラベルとして取得し、入力データである体動情報とラベルである地形及び姿勢の評価結果との組を教師データとして教師あり学習を行うことにより、判定対象経路の地形と該地形を移動しているユーザの姿勢の良悪を判定するための学習モデルを構築してもよい。そして、姿勢解析部39は、ユーザの体動情報を学習モデルに入力することで、該ユーザが移動している地形とそのときのユーザの姿勢の評価結果を判定する構成としてもよい。
また上述の実施形態では、地形判定処理を行う電子機器としての管理サーバ1が学習モデルを構築していたが、管理サーバ1等の電子機器とは別の装置が学習モデルを構築してもよい。そして、管理サーバ1は上記別の装置から受信した学習モデルを用いて地形判定を実行してもい。
また上述の実施形態では、管理サーバ1が地形判定処理を行う処理部30を備える電子機器としていたが、センサ装置2及びユーザ端末3の少なくとも何れかを地形判定処理を行う処理部30を備える電子機器としてもよく、管理サーバ1、センサ装置2、及びユーザ端末3の全てが地形判定処理を行う構成としてもよい。
また上述の実施形態では、地形判定部37は、体動情報使用条件を満たす場合に体動情報と学習モデルに基づいて地形の判定を行っていたが、学習モデルを用いずに体動情報と地形の間の相関関係に基づいて計算式を作成し、該計算式によって地形を判定してもよい。この場合、地形判定部37は体動情報使用条件を満たすか否かに拘わらず体動情報と地形の間の相関関係に基づいて作成した計算式によって地形を判定してもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図6の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が管理サーバ1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図6の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体で構成しても良いし、それらの組み合わせで構成しても良い。本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路が組み合わせられたものを含む。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)、Blu-ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図3のROM12-1や記憶部19-1、図4のROM12-2や記憶部19-2、図5のROM12-3や記憶部19-3に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
ユーザが移動動作しているときの前記ユーザの体動情報を取得し、
取得した前記体動情報に基づいて、前記ユーザが移動している地形を判定する処理部を備える電子機器。
[付記2]
前記体動情報は、前記ユーザの移動動作中におけるピッチ、ストライド、骨盤の傾き、上下方向における足の移動量、足の接地時間、蹴り出し時の加速度、及び足の接地時の減速量のうちの少なくとも1つを含む付記1に記載の電子機器。
[付記3]
前記処理部は、
前記体動情報に基づいて前記ユーザの姿勢を特定し、
判定された前記地形に基づいた基準姿勢を特定し、
前記基準姿勢と前記ユーザの姿勢とに基づいて前記ユーザの姿勢を判定する付記1又は2に記載の電子機器。
[付記4]
前記処理部は、
ある経路を移動動作中の複数のユーザの前記体動情報を入力データとして取得し、
前記ある経路の地形をラベルとして取得し、
前記入力データと前記ラベルとの組を教師データとして教師あり学習を行うことによって構築された学習モデルと前記教師データとは別個に取得した前記体動情報とに基づいて該ユーザが移動している地形を判定する付記1~3の何れかに記載の電子機器。
[付記5]
前記処理部は、
前記ある経路における複数のユーザの移動動作中の天候情報を入力データとして更に取得し、
前記学習モデルと判定対象経路を移動動作中の前記ユーザの前記体動情報と該ユーザが前記判定対象経路を移動動作中の前記天候情報とに基づいて該ユーザが移動している地形を判定する付記4に記載の電子機器。
[付記6]
前記処理部は、
前記地形に応じて設定された基準姿勢と前記ある経路を移動動作中の前記ユーザの姿勢との比較情報を前記ラベルとして更に取得し、
前記学習モデルと判定対象経路を移動動作中の前記ユーザの前記体動情報とに基づいて、該ユーザが移動している地形を判定するとともに前記基準姿勢と前記判定対象経路を移動動作中の該ユーザの姿勢との比較情報を判定する付記4に記載の電子機器。
[付記7]
前記処理部は、
前記体動情報に基づいて地形を判定するか否かを、判定対象経路を移動動作中の前記ユーザの前記体動情報と該ユーザ以外の前記判定対象経路を移動動作中の前記ユーザの前記体動情報が、前記判定対象経路内の特定区間において共通の挙動を示すか否かに基づいて選択する付記1~6の何れかに記載の電子機器。
[付記8]
前記処理部は、
前記体動情報に基づいて地形を判定するか否かを、前記ユーザが移動動作中の天候情報に基づいて選択する付記1~7の何れかに記載の電子機器。
[付記9]
前記処理部は、
判定した地形に基づいて推定した推定高度と、
前記推定高度が推定された地点と同じ地点における外部から受信する測位衛星信号に基づく高度とに基づいて、前記地点の高度を決定する付記1~8の何れかに記載の電子機器。
[付記10]
コンピュータに、
電子機器に、ユーザが移動動作しているときの前記ユーザの体動情報を取得し、
取得した前記体動情報に基づいて、前記ユーザが移動している地形を判定する処理機能を実行させるプログラム。
[付記11]
電子機器が実行する地形判定方法であって、
ユーザが移動動作しているときの前記ユーザの体動情報を取得し、
取得した前記体動情報に基づいて、前記ユーザが移動している地形を判定する処理ステップを含む地形判定方法。
1 管理サーバ(電子機器)
11-3 CPU
12-3 ROM
13-3 RAM
17-3 入力部
19-3 記憶部
30 処理部

Claims (4)

  1. ユーザが移動動作中の前記ユーザの体動情報を取得し、
    定対象経路を移動動作中の前記ユーザの前記体動情報と前記ユーザ以外の前記判定対象経路を移動動作中の移動者の前記体動情報が、前記判定対象経路内の特定区間において共通の挙動を示す場合、
    天候情報が晴天又は曇天であれば、ある経路を移動動作中の複数の移動者の体動情報を入力データとして取得し、前記ある経路の地形をラベルとして取得し、前記入力データと前記ラベルとの組を教師データとして教師あり学習を行うことによって構築された学習モデルと、前記判定対象経路を移動動作中の前記ユーザの前記体動情報と、に基づいて、前記ユーザが移動している地形を判定し、
    前記天候情報が晴天又は曇天でなければ、前記地形を平地と判定し、
    得した前記ユーザの前記体動情報のうち、前記ユーザの骨盤の傾き、ピッチ、ストライド、及び上下方向における足の移動量のいずれかを解析することによって前記ユーザの姿勢を特定し、
    判定された前記地形としての水平面に対する傾斜又地表面の形状に基づいた基準姿勢と、特定された前記ユーザの姿勢とに基づいて前記ユーザの姿勢を評価する処理部を備える電子機器。
  2. 前記体動情報は、前記ユーザの移動動作中における足の接地時間、蹴り出し時の加速度、及び足の接地時の減速量のうちの少なくとも1つをさらに含む請求項1に記載の電子機器。
  3. 電子機器のコンピュータに、
    ユーザが移動動作中の前記ユーザの体動情報を取得
    定対象経路を移動動作中の前記ユーザの前記体動情報と前記ユーザ以外の前記判定対象経路を移動動作中の移動者の前記体動情報が、前記判定対象経路内の特定区間において共通の挙動を示す場合、
    天候情報が晴天又は曇天であれば、ある経路を移動動作中の複数の移動者の体動情報を入力データとして取得し、前記ある経路の地形をラベルとして取得し、前記入力データと前記ラベルとの組を教師データとして教師あり学習を行うことによって構築された学習モデルと、前記判定対象経路を移動動作中の前記ユーザの前記体動情報と、に基づいて、前記ユーザが移動している地形を判定し、
    前記天候情報が晴天又は曇天でなければ、前記地形を平地と判定し、
    得した前記ユーザの前記体動情報のうち、前記ユーザの骨盤の傾き、ピッチ、ストライド、及び上下方向における足の移動量のいずれかを解析することによって前記ユーザの姿勢を特定し、
    判定された前記地形としての水平面に対する傾斜又地表面の形状に基づいた基準姿勢と、特定された前記ユーザの姿勢とに基づいて前記ユーザの姿勢を評価する処理機能を実行させるプログラム。
  4. 電子機器が実行する地形判定方法であって、
    ユーザが移動動作中の前記ユーザの体動情報を取得し、
    定対象経路を移動動作中の前記ユーザの前記体動情報と前記ユーザ以外の前記判定対象経路を移動動作中の移動者の前記体動情報が、前記判定対象経路内の特定区間において共通の挙動を示す場合、
    天候情報が晴天又は曇天であれば、ある経路を移動動作中の複数の移動者の体動情報を入力データとして取得し、前記ある経路の地形をラベルとして取得し、前記入力データと前記ラベルとの組を教師データとして教師あり学習を行うことによって構築された学習モデルと、前記判定対象経路を移動動作中の前記ユーザの前記体動情報と、に基づいて、前記ユーザが移動している地形を判定し、
    前記天候情報が晴天又は曇天でなければ、前記地形を平地と判定し、
    得した前記ユーザの前記体動情報のうち、前記ユーザの骨盤の傾き、ピッチ、ストライド、及び上下方向における足の移動量のいずれかを解析することによって前記ユーザの姿勢を特定し、
    判定された前記地形としての水平面に対する傾斜又地表面の形状に基づいた基準姿勢と、特定された前記ユーザの姿勢とに基づいて、前記ユーザの姿勢を評価する処理ステップを含む地形判定方法。
JP2021150780A 2021-09-16 2021-09-16 電子機器、プログラム及び地形判定方法 Active JP7491280B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021150780A JP7491280B2 (ja) 2021-09-16 2021-09-16 電子機器、プログラム及び地形判定方法
US17/894,883 US20230081304A1 (en) 2021-09-16 2022-08-24 Electronic device, storage medium and terrain sensing method
CN202211107238.5A CN115826735A (zh) 2021-09-16 2022-09-09 电子设备、存储介质以及地形判定方法
EP22195348.2A EP4151149B1 (en) 2021-09-16 2022-09-13 Electronic device, storage medium and terrain sensing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021150780A JP7491280B2 (ja) 2021-09-16 2021-09-16 電子機器、プログラム及び地形判定方法

Publications (2)

Publication Number Publication Date
JP2023043266A JP2023043266A (ja) 2023-03-29
JP7491280B2 true JP7491280B2 (ja) 2024-05-28

Family

ID=83319085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021150780A Active JP7491280B2 (ja) 2021-09-16 2021-09-16 電子機器、プログラム及び地形判定方法

Country Status (4)

Country Link
US (1) US20230081304A1 (ja)
EP (1) EP4151149B1 (ja)
JP (1) JP7491280B2 (ja)
CN (1) CN115826735A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008302746A (ja) 2007-06-05 2008-12-18 Fujitsu Ten Ltd 車両制御装置及び車両制御方法
JP2013255608A (ja) 2012-06-11 2013-12-26 Nippon Telegr & Teleph Corp <Ntt> 歩容計測装置、方法及びプログラム
JP2017023689A (ja) 2015-07-24 2017-02-02 株式会社東芝 モニタリングシステム、モニタ方法およびプログラム
JP2018079102A (ja) 2016-11-16 2018-05-24 富士通株式会社 歩行状態推定方法、歩行状態推定プログラムおよび情報処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015017712A1 (en) * 2013-07-31 2015-02-05 Sensoria Inc Methods and systems for data collection, analysis and formulation of user-specific feedback; use of sensing systems as input devices
GB2508617A (en) * 2012-12-05 2014-06-11 Vert Systems Ltd Terrain-topography motion capture system, apparatus and method
US10524699B2 (en) * 2012-12-26 2020-01-07 Rochester Institute Of Technology Method and system for monitoring terrain and gait and predicting upcoming terrain
US9619626B2 (en) * 2013-01-08 2017-04-11 Samsung Electronics Co., Ltd Method and apparatus for identifying exercise information of user
JP6463587B1 (ja) 2018-07-04 2019-02-06 航 梅山 ランニング支援システム
JP2021150780A (ja) 2020-03-18 2021-09-27 パイオニア株式会社 情報送信端末及び情報送信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008302746A (ja) 2007-06-05 2008-12-18 Fujitsu Ten Ltd 車両制御装置及び車両制御方法
JP2013255608A (ja) 2012-06-11 2013-12-26 Nippon Telegr & Teleph Corp <Ntt> 歩容計測装置、方法及びプログラム
JP2017023689A (ja) 2015-07-24 2017-02-02 株式会社東芝 モニタリングシステム、モニタ方法およびプログラム
JP2018079102A (ja) 2016-11-16 2018-05-24 富士通株式会社 歩行状態推定方法、歩行状態推定プログラムおよび情報処理装置

Also Published As

Publication number Publication date
JP2023043266A (ja) 2023-03-29
CN115826735A (zh) 2023-03-21
US20230081304A1 (en) 2023-03-16
EP4151149B1 (en) 2024-05-29
EP4151149A1 (en) 2023-03-22

Similar Documents

Publication Publication Date Title
Hou et al. Pedestrian dead reckoning with wearable sensors: A systematic review
US10429196B2 (en) Method and apparatus for cart navigation
Skog et al. Zero-velocity detection—An algorithm evaluation
JP6199875B2 (ja) 電子地図上の経路を生成する際に使用するコストデータを作成する方法及び装置
US20130196688A1 (en) Gps odometer
US10145707B2 (en) Hierarchical context detection method to determine location of a mobile device on a person&#39;s body
US20210254979A1 (en) Method of estimating a metric of interest related to the motion of a body
Tan et al. Measurement of stride parameters using a wearable GPS and inertial measurement unit
EP2350565B1 (fr) Dispositif et procede de determination d&#39;une caracteristique d&#39;une trajectoire formee de positions successives d&#39;un accelerometre triaxial lie de maniere solidaire a un element mobile
US10136265B2 (en) Trace/trajectory reconstruction via wearable and/or mobile sensors for indoor/outdoor location
US20150362330A1 (en) Method and System for Varying Step Length Estimation Using Nonlinear System Identification
US20210093918A1 (en) Detecting the end of hiking activities on a wearable device
CN109387199B (zh) 轨迹估计装置、轨迹估计方法及记录介质
EP3438984B1 (en) Activity recording data processing apparatus, method for processing activity recording data, and program for processing activity recording data
WO2012045484A1 (en) Gps-calibrated pedometer
JP6459311B2 (ja) 行動推定装置、行動推定方法、および、行動推定プログラム
JP7491280B2 (ja) 電子機器、プログラム及び地形判定方法
US20180160921A1 (en) Physical ability evaluation system, electronic apparatus, physical ability evaluation server, physical ability evaluation method, physical ability evaluation program, and recording medium
JP2019101191A (ja) 走行データ評価システム、情報処理システム、情報処理サーバ
Kamalian et al. A survey on local transport mode detection on the edge
Chang et al. Cycling dead reckoning for enhanced portable device navigation on multi-gear bicycles
Chang Enhanced portable navigation for cycling applications
Parviainen Studies on sensor aided positioning and context awareness
Procházka et al. Motion Analysis Using Global Navigation Satellite System and Physiological Data
Drorsén et al. Distance estimations by non-linear step length models using accelerometer sensor data from waist-worn smart-phones

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220916

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240429

R150 Certificate of patent or registration of utility model

Ref document number: 7491280

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150