JP7353438B2 - 動画像判定方法 - Google Patents
動画像判定方法 Download PDFInfo
- Publication number
- JP7353438B2 JP7353438B2 JP2022124096A JP2022124096A JP7353438B2 JP 7353438 B2 JP7353438 B2 JP 7353438B2 JP 2022124096 A JP2022124096 A JP 2022124096A JP 2022124096 A JP2022124096 A JP 2022124096A JP 7353438 B2 JP7353438 B2 JP 7353438B2
- Authority
- JP
- Japan
- Prior art keywords
- walking
- video
- determination
- determining
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 211
- 238000004458 analytical method Methods 0.000 claims description 189
- 230000005021 gait Effects 0.000 claims description 169
- 230000005484 gravity Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 28
- 238000010801 machine learning Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 description 41
- 210000004247 hand Anatomy 0.000 description 20
- 210000002683 foot Anatomy 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 210000003128 head Anatomy 0.000 description 16
- 238000002360 preparation method Methods 0.000 description 9
- 210000002659 acromion Anatomy 0.000 description 8
- 210000003423 ankle Anatomy 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Description
はじめに、本実施形態の概要について説明する。
本実施形態の動画像判定方法(以下、本方法と表示する場合がある)は、歩行する被験者が撮影された動画像が歩行解析条件を満たすか判定する方法である。本方法は、歩行する被験者が撮影された動画像を解析し、当該被験者の歩行態様などを解析する際に、動画像が歩行解析条件を満たすか否かを判定することで、歩行解析条件を満たす動画像のみ被験者の歩行態様などを解析対象とすることにもできるため、歩行解析条件を満たさない動画像に対する解析を行う必要がなくなり、処理負荷を軽減することが可能となる。
本方法は、動画取得工程および歩行動画判定工程を含む。動画取得工程は、歩行する被験者が撮影された動画像データを取得する工程である。歩行動画判定工程は、取得した動画像データは、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能であることを判定するための歩行解析条件を満たすか判定する工程である。本方法で判定する動画像は、複数フレームで構成され、歩行動画判定工程は、動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行う。
歩行する被験者とは、乳幼児、幼児、児童などいわゆる子供から成人に至るまで年齢は問わない。ただし、歩行していることを解析条件としているため、自立して歩行が行えない乳幼児や高齢者は該当しない。
撮影された動画像とは、どのような場所で撮影されたものでもよく、歩行測定を行う実験室に限らず、日常生活において撮影された動画像も該当する。どのような撮影装置で撮影されたものでもよく、デジタルカメラ、ビデオカメラの他、一般的に移動端末と称される携帯電話、タブレット端末、PDA、モバイルパーソナルコンピュータが備える撮影装置やパーソナルコンピュータが備える撮影装置で撮影された動画像が対象となる。どのような撮影者が撮影したものでもよい。動画像データは複数フレームで構成されたデータである。
歩行解析条件とは、取得した動画像データに撮影されている歩行する被験者の歩行態様を解析する際に必要な所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能であることを判定するための条件である。所定の歩行条件には、被験者が所定歩数以上歩行しているか、被験者の歩行速度、所定の範囲内を歩行しているか(左右の揺れが所定範囲を超えていないか)、被験者の顔は正面を向いているか、被験者の両手の位置は所定範囲内かなどが含まれる。所定の撮影条件には、骨格データを取得可能に撮影されているか、全身が撮影されているか、撮影装置と被験者との距離は所定範囲内、所定歩数以上撮影されているかなどが含まれる。
歩行解析が可能であることを判定するための歩行解析条件を満たすかを判定するとは、歩行解析条件を満たさなければ所定の歩行解析が可能でないこと(行えないこと)に限らず、所定の歩行解析は行えるが(所定の歩行解析の処理は実行できるが)、所定の歩行解析結果(所定精度の歩行解析結果)が得られないかを判定することも含む。詳細は後述するが、具体的には本方法によって判定する所定の歩行条件または所定の撮影条件には、条件を満たさなかった動画像データでは所定の歩行解析を行えない条件もあれば、条件を満たさなかった動画像データでも、例えば精度を犠牲にすることで、所定の歩行解析を行える条件もある。言い方を変えると、歩行解析が可能であると判定されなかった動画像データには、所定の歩行解析結果(所定精度の歩行解析結果)は得られない可能性が高いが、所定の歩行解析は行えるものが含まれている。所定の歩行解析を行うのに必要な条件を満たさなかった動画像データは所定の歩行解析には用いることはできないが、所定の歩行条件または所定の撮影条件を満たさなくても所定の歩行解析を行える動画像データについては所定の歩行解析を行い、歩行解析結果にどのような所定の歩行条件または所定の撮影条件を満たしたもしくは満たさなかった動画像データであるかの情報を含めるようにしてもよい。また、歩行解析条件を判定する際には、所定の歩行条件または所定の撮影条件が複数ある場合は、条件の判定順に優先順位をつけて行っても良い。優先順位をつけることで、処理負荷を抑えることが可能となる。
動画像を取得するとは、撮影装置で撮影されたデータを逐次入手するものや過去に撮影されたデータをネットワーク経由または所定の媒体を経由して入手するものや所定のサーバに記憶されている動画像データにアクセスすることで取得するものなどが含まれる。
歩行動画判定工程は、動画取得工程によって撮影装置で撮影されたデータを逐次入手し、取得したフレーム毎に判定を行ってもよいし、過去に撮影されたデータについて全フレーム取得した後に判定してもよい。
工程(ステップS100)は、歩行する被験者が撮影された動画像を取得する動画取得工程である。
工程(ステップS111)は、取得した動画像から3次元骨格点の抽出を行う。動画像に複数の被験者が含まれる場合は、被験者単位に3次元骨格点の抽出を行う。動画像から抽出する3次元骨格点について図3に示す。
本実施形態では、図3に示した16箇所の骨格点および重心を抽出する。重心は歩行解析で用いるため、骨格点の抽出と合わせて行うが同時に行わなくてもよい。重心は抽出された骨格点から算出してもよい。本実施形態では16箇所の骨格点を抽出したが、抽出する骨格点の数はこれに限らない。
なお、工程(ステップS111)は、骨格点抽出工程に相当する。
なお、工程(ステップS112)は、骨格点判定工程に相当する。
なお、工程(ステップS113)は、全身判定工程に相当する。
本工程では、被験者の人体寸法を取得し、取得した人体寸法に対応する部位の動画像における長さ(例えば、動画像におけるピクセル数)と動画像の撮影位置と被験者の位置との奥行き方向の距離(図3のY軸方向の距離)との比率を計算し、この比率と被験者から取得した人体寸法の実際の長さとを用いて奥行寸法の実際の長さを推定し、推定結果が歩行解析条件を満たすか判定する。人体寸法とは、人体各部位の寸法のことをいい、具体的には、身長、眼高、肩峰高、前方腕長、肩幅、重心高、膝関節高などがある。人体寸法は、上記に例示されるもののうち一つまたは複数を選択してもよい。複数の人体寸法を選択した場合、上記の比率を人体寸法ごとにそれぞれ計算したうえで、上記の奥行き寸法の実際の長さの推定値の平均値を算出して推定結果としてもよい。また、人体寸法は動画像に写り込んでいる被験者の身体に応じて選択してもよい。例えば、被験者の足元が動画像に十分に写り込んでいない場合は、足元位置を用いずに人体寸法(動画像におけるピクセル数)を求めることが可能な前方腕長や肩幅を選択するとよい。人体寸法を用いることに代えて、後述するように光の反射を活用し、光学的に動画像の撮影位置と被験者の位置との奥行き方向の距離(図3のY軸方向の距離)を推定し、推定結果が歩行解析条件を満たすか判定してもよい。ステップS114での歩行解析条件は所定の撮影条件の1つであり、動画像の撮影位置と被験者の位置との距離が1~7mで撮影された動画像のフレームであることである。歩行解析条件を満たすと判定された場合はステップS116へ進み、歩行解析条件を満たさないと判定された場合はステップS115へ進む。
なお、工程(ステップS114)は、骨格点判定工程、人体寸法工程および距離推定工程に相当する。
本工程では、ステップS114で歩行解析条件を満たすと判定された動画像フレームに対し行う。したがって、ステップS114で歩行解析条件を満たすと判定されず、ステップS115でその旨の判定結果の登録がされた動画像フレームに対しては行わない。本工程では、ステップS111で抽出した左右足首の骨格点および重心から、左右踵が接地する位置を推定する。具体的には、重心位置が最も低いとき(図3のX方向の値が最も小さいとき)踵が接地しているときと推定でき、また、左足首の骨格点に対し重心位置が最も前方向に位置したとき(図3のY方向の値が最も大きいとき)左踵が接地したと推定でき、右足首の骨格点に対し重心位置が最も前方向に位置したときに右踵が接地したと推定できる。このようにして、踵が交互に各2回接地した動画像があるかを判定する。ステップS116での歩行解析条件は所定の歩行条件の1つであり、踵が交互に各2回接地した動画像があるか(4歩以上歩行した動画があるか)である。歩行解析条件を満たすと判定された場合はステップS118へ進み、歩行解析条件を満たさないと判定された場合はステップS117へ進む。
なお、工程(ステップS116)は、骨格点判定工程および歩数判定工程に相当する。
ここで、総合得点について説明する。総合得点とは、歩行動画判定工程で行う各判定結果に基づき、判定した動画像が歩行解析条件をどの程度満たしているか、どの程度歩行解析に適した動画像であるかを数値化するために用いるものである。
本工程では、被験者の重心を判定し、当該重心が撮影装置に対し左右方向(図3のZ軸方向)の移動範囲が所定範囲であるかを判定する。本実施形態では、ステップS111で抽出した重心を被験者の重心として用いる。ステップS119での歩行解析条件は所定の歩行条件の1つであり、被験者の重心が撮影装置に対し左右方向の移動範囲が1メートル以内であることである。歩行解析条件を満たすと判定された場合はステップS121へ進み、歩行解析条件を満たさないと判定された場合はステップS120へ進む。
なお、工程(ステップS119)は、骨格点判定工程および重心判定工程に相当する。
本工程での判定は、被験者が走っていることを示唆する歩行指標を判定することで行う。
被験者が走っていることを示唆する歩行指標について説明する。
被験者が走っていることを示唆する歩行指標としては、歩行速度、右足左足の接地時間、足位置の変化などがある。
歩行速度の場合、被験者の重心位置に基づき所定距離(例えば5m)移動した際に要した時間を計測し、速度を算出する。このときに用いる被験者の重心位置は、ステップS111で抽出した重心位置を用いればよい。
右足左足の接地時間の場合、右足踵と左足踵とのどちらも接地していない時間の有無によって判定する。右足踵と左足踵とのどちらも接地していない時間が有れば走っていると判定するようにする。右足踵および左足踵が接地しているか否かは、ステップS116の歩数判定工程と同様の方法で推定する。
足位置の変化の場合、ステップS111で抽出した左右足首の骨格点の上下(図3のX軸方向)の移動範囲が所定範囲以上の場合は、走っていると判定するようにする。
ステップS122での歩行解析条件は所定の歩行条件の1つであり、上記何れかの歩行指標に基づき、走っていないと判定されたフレームがあることである。歩行解析条件を満たすと判定された場合はステップS124へ進み、歩行解析条件を満たさないと判定された場合はステップS123へ進む。
なお、工程(ステップS122)は、骨格点判定工程および歩行判定工程に相当する。
本工程では、ステップS111で抽出した頭頂(頭)、眉間、首、左右肩峰、および重心位置を用いて判定する。図4を用いて、本工程での判定方法について説明する。
頭頂、眉間、首、左右肩峰、および重心位置から、頭部座標系および身体座標系を作成する。頭部座標系は、頭頂と首を通るX軸(上下方向軸)・眉間を通りX軸と直交するY軸(前後方向軸)・X軸とY軸に直交するZ軸(左右方向軸)から成り立つ。身体座標系は、重心と左右肩峰の中点を通るX軸(上下方向軸)・左右肩峰を通る直線と平行なZ軸(左右方向軸)・X軸とZ軸に直交するY軸(前後方向軸)から成り立つ。身体座標系のZ軸およびY軸の高さ(X軸切片)は任意であるが、左右肩峰および重心を3頂点とする三角形の重心高さとすることができる。身体座標系に対して頭部座標系が上下左右に所定角度(例えば±30度)以内である場合に、被験者の顔の向きが上下左右方向に所定範囲内と判定する。より具体的には、頭部座標系のX軸と身体座標系のX軸との為す角が30度以下である場合に頭の倒れが小さいと判定する。また、頭部座標系のY軸と身体座標系のY軸との為す角が30度以下である場合に顔の左右の向き(よそ見)が小さいと判定する。Y軸に代えてZ軸を用い、頭部座標系のZ軸と身体座標系のZ軸との為す角が30度以下である場合に顔の左右の向き(よそ見)が小さいと判定してもよい。ステップS125での歩行解析条件は所定の歩行条件の1つであり、被験者の顔の上下および左右方向の移動範囲がそれぞれ±30度以内であることである。上記の例では頭の上下方向の許容角度と頭の左右方向の許容角度をどちらも±30度で共通としたが、本発明はこれに限られない。上下方向に頭を傾けて、すなわち足下を見ながら俯いて歩行することは、左右方向によそ見をしながら歩行することに比べて正常な歩容をとりやすいことから、頭の上下方向の許容角度を、頭の左右方向の許容角度よりも大きく設定してもよい。
動画像のうち被験者の顔の向きが僅かな時間(フレーム数)のみで±30度を超えた場合、歩行全体としては歩行解析に適した動画と判断することが好ましい。そこでステップS125の条件判定には顔の向きが上下または左右にぶれることを許容する「閾値割合」を予め設定しておくとよい。そして被験者の顔の上下方向または左右方向の少なくとも一方の向きが±30度を超えている時間またはフレーム数が、歩行全体の時間またはフレーム数に対してこの閾値割合以上となった場合に、当該歩行を不適すなわち歩行解析条件を満たさないと判定するとよい。この閾値割合は10%以上30%以下とすることが好ましい。そして所定条件を満たすと判定された場合はステップS127へ進み、歩行解析条件を満たさないと判定された場合はステップS126へ進む。
なお、工程(ステップS125)は、骨格点判定工程および顔判定工程に相当する。
本工程では、被験者の両手を判定し、両手の位置が所定位置以下であるかを判定する。本実施形態では所定位置を両肘の位置とする。本実施形態では、ステップS111で抽出した被験者の両手首の骨格点の位置と両肘の骨格点の位置を比較し、両肘の骨格点の位置より両手首の骨格点の位置が低いか(図3のX軸の値が小さいか)を判定する。ステップS128での歩行解析条件は所定の歩行条件の1つであり、被験者の両手の位置が両肘の位置より低いことである。歩行解析条件を満たすと判定された場合はステップS130へ進み、歩行解析条件を満たさないと判定された場合はステップS129へ進む。
なお、工程(ステップS128)は、骨格点判定工程および両手判定工程に相当する。
上述したように、ステップS114、ステップS116、ステップS119、ステップS122、ステップS125、およびステップS128の判定結果に応じて、総合得点に所定点の加点を行う。この総合得点によって、動画像が歩行解析に適した動画像であるか評価することができる。また、総合得点によって、当該動画像を用いた歩行解析結果の精度を評価することも可能である。本実施形態では、歩行解析条件に関わらず、歩行解析条件を満たしていれば所定点として1点加点するようにしたが、歩行解析条件によって加点する得点を異ならせても良い。例えば、必須の判定条件と、あった方が好ましい判定条件とで、加点する得点を異ならせてもよい。総合得点は紙媒体、電子媒体に関わらず、結果を出力することを可能とする。また、判定された動画像を用いた歩行解析処理を行った結果に総合得点を含めてもよい。このようにすることで、どのような動画像を用いた歩行解析処理結果であるかがわかるため、歩行解析処理の結果精度の参考にすることができる。
図5(a)の横軸は、動画像を撮影した日付を示し、縦軸は、発達日数を示す。ここでの発達日数とは、歩行解析に適した動画像であるか否かの判定を行った動画像を用いて、所定の歩行解析を行うことにより算出した被験者(乳幼児)の歩行発達日数である。算出した歩行発達日数の精度は、歩行解析に用いた動画像の判定結果および総合得点が影響する。図5(a)では、総合得点に応じてプロットの色を変えることにより、歩行解析に用いた動画像がどのような判定結果の動画像であるかを把握することが可能である。例えば、総合得点が高い順に、緑色(図5(a)では白塗り)→黄色(図5(a)では小ドットの網掛け)→橙色(図5(a)では大ドットの網掛け)でプロットする。プロットの色は、総合得点が満点の場合に緑色とし、満点に対し例えば-1~-3点の場合は黄色、それ以下の場合は橙色とする。プロットの色および対応する得点は、評価内容を考慮し設定することが好ましい。
図5(b)は、所定の撮影日の動画像の判定条件毎の判定結果を示している。図5(b)は、例えば、撮影日を指定(クリックやタッチ)することにより、該当の判定結果が表示されてもよいし、撮影日に対応したプロットを指定(クリックやタッチ)することにより、該当の判定結果が表示されてもよい。判定条件毎の判定結果によって、判定条件(例えば、図5(b)の歩数)の並びに表示されるボックスの色を変える。図5(b)では、ステップS116で判定された歩数については歩行解析条件である4歩を満たしていたため、よい判定結果を示す緑色(図5(b)では白塗り)が表示され、ステップS119で判定された直線歩行については、斜め歩行であったため、悪い判定結果を示す橙色(図5(b)では大ドットによる網掛け)が表示されている。このように、どのような条件の判定により、総合得点が高得点であった/低得点であったかを把握することができ、その後の撮影時に反映することが可能となる。
次に、上述した動画像判定方法を実行する撮影装置を備えた情報処理端末(携帯端末)100について説明する。情報処理端末(携帯端末)100の概念図を図6に示す。
情報処理端末(携帯端末)100は、撮影装置(カメラ)110を備えていれば、一般的に携帯端末と称される携帯電話、タブレット端末、PDA、モバイルパーソナルコンピュータやウェアラブルデバイス、パーソナルコンピュータなどの何れでもよい。携帯端末100には、撮影手段である撮影装置110、判定手段である判定部120、記憶部130、および姿勢センサ140を備える。また、図示はしていないが、キーボード(タッチキーボードを含む)、ポインティングデバイスなどの入力装置、演算処理装置、表示装置などを備えている。
撮影装置110は、動画像を撮影する手段であり、携帯端末100が備えるカメラが相当する。
判定部120は、上述した動画像判定方法を実行する手段あり、演算処理装置に含まれる。
記憶部130は、撮影した動画像を記憶する手段である。また、判定部120による判定結果や評価結果(総合得点)なども記憶する手段であり、さらに、上述した動画像判定方法を実行するコンピュータプログラムも記憶する手段である。
姿勢センサ140は、携帯端末100の姿勢を計測するセンサで、携帯端末100が備える加速度センサ・角速度センサなどである。
携帯端末100には姿勢センサ140が設けられているため、撮影装置110の姿勢を判定することができる。図1のステップS110に、撮影装置の姿勢を判定する処理を含め、当該処理では、姿勢センサ140から姿勢データを取得し、演算処理装置は、取得した姿勢データに基づき、撮影時の撮影装置110の姿勢を判定し、所定範囲以内の姿勢であれば携帯端末100に備えられている表示装置にアドバイスを表示しない、または、「正常」を表示し、それ以外の姿勢となると「撮影装置110が傾いています」などのアドバイスを表示するようにしてもよい。本実施形態では、所定範囲としては、左右前後方向に±25度とする。このように構成することで、歩行解析に適した動画像を撮影できるようにでき、撮影(取得)した動画像を用いた歩行解析の精度を高めることができる。
携帯端末100には、取得処理および判定処理を携帯端末100に実行させるためのコンピュータプログラム(以下、本プログラム)がインストールされている。本実施形態ではコンピュータプログラムは、上述した動画像判定アプリケーションソフトである。
取得処理は、歩行する被験者の動画像を取得する処理である。所定の媒体から取得する、ネットワーク経由で取得する、撮影装置から取得するなど動画像の取得元は問わない。判定処理は、歩行条件または撮影条件が所定条件を満たすか否かを判定する処理である。本プログラムにより、図1、図2-1、図2-1のフローチャートに示された処理が実行される。
本実施形態では、機械学習により得られた骨格点学習モデルを用いて、取得した動画像から被験者の骨格点を抽出することで被験者を特定し、当該被験者の歩行解析を行うようにしたがこれに限らない。例えば、他の画像解析により被験者を特定し、被験者の動きを抽出し歩行解析を行ってもよい。この場合、判定する歩行解析条件に当該画像解析に適した条件を設定することで、同様の効果を得ることが可能となる。
例えば、携帯端末100に備えられた撮影装置を用いて動画像を撮影する場合、動画像に撮影時の携帯端末100の姿勢情報を付加して記憶し、判定工程で姿勢情報を取得し、当該姿勢情報が所定範囲内であれば歩行解析条件を満たし、当該姿勢情報が所定範囲内でなければ歩行解析条件を満たさないと判定するようにしてもよい。例えば、図2-2に示したステップS130の処理の後に、撮影装置の姿勢情報を取得する姿勢取得工程と判定工程として、取得した姿勢情報が左右前後方向に±25度以内であるか判定する処理を設ければよい。この処理での歩行解析条件は所定の撮影条件の1つであり、具体的には、撮影装置の姿勢情報が左右前後方向に±25度以内であるかである。そして、歩行解析条件を満たすと判定された場合は、総合得点に1点加点するようにすることが好ましい。このように構成することで、動画像が歩行解析に適しているかさらに評価を行うことが可能となる。
「歩行路ガイド」とは、歩行動画を撮影する撮影者が精度のよい歩行解析を行える動画像を撮影できているかを撮影時に確認するための表示の1つである。撮影画面に被験者が歩行開始位置として最適な位置を表示し、また、歩行方向として最適な位置を表示する。図9に歩行路ガイドの表示例を示す。図9(a)は撮影範囲に被験者がいないため、撮影画面には被験者が表示されていない。図9(a)の撮影画面に表示された歩行路ガイド500は、被験者が歩行開始位置として最適な位置を示している。歩行路ガイド500の表示位置は、撮影装置110との距離および歩行解析に必要な歩数(4歩以上)分の距離を考慮して設定されている。具体的には、撮影装置110から6から8メートル程度、好ましくは7メートル程度の位置に歩行路ガイド500を表示する。図9(a)の歩行路ガイド500は人の形を模した図としているが、表示態様はこれに限らず、例えば、歩行開始位置として最適な位置に足跡マークを表示するようにしてもよい。図9(a)の歩行路ガイド510は、被験者の歩行方向および歩行範囲として最適な位置を示している。歩行路ガイド510の表示位置は、撮影装置110の位置(向き)に基づき、撮影装置110に対して垂直となるように設定されている。また、被験者が撮影装置110へ向かって歩行する際に左右方向に蛇行しながら歩行すると精度のよい歩行解析を行える動画像を撮影することができない。そこで、歩行路ガイド510は被験者と撮影装置110との方向、被験者と撮影装置110との距離、および、左右方向の歩行範囲(歩行幅)を考慮して設定されている。具体的には、撮影装置110から6から8メートル程度、好ましくは7メートル程度の距離で、被験者が撮影装置110に向かって垂直方向で、歩行範囲は2メートル程度、好ましくは1メートル程度となるように歩行路ガイド510を表示する。図9(a)の歩行路ガイド510は点線としているが、表示態様はこれに限らず、例えば、ブロックを模した図やロープを模した図を表示するようにしてもよい。
「水平ガイド」とは、歩行路ガイドと同様に、歩行動画を撮影する撮影者が精度のよい歩行解析を行える動画像を撮影できているかを撮影時に確認するための表示の1つである。水平ガイドは、撮影装置110の姿勢に関する情報である。撮影装置110の姿勢は携帯端末100に設けられている姿勢センサ(例えば、ジャイロセンサ)を用いて重力方向に対する携帯端末100の姿勢を検出し、検出結果に基づき現在の撮影方向を示す記号である姿勢表示マーカ「●」を水平ガイド520に表示する。図9に水平ガイド520の表示例を示す。水平ガイド520は十文字の中心に姿勢表示マーカ「●」が重なっていると、撮影装置110の姿勢が撮影者の接地面に対し水平であることを示し、十文字の中心から姿勢表示マーカ「●」がずれていると、撮影装置110の姿勢が撮影者の接地面に対し水平でないことを示している。図9(a)は撮影範囲に被験者がいないため、撮影画面には被験者が表示されていない。図9(b)は撮影範囲に被験者がおり、歩行路ガイド500の表示位置と被験者が重なって撮影画面に表示されるように撮影装置110を移動させる、または、被験者に移動を促す。このとき、被験者の顔の高さ、好ましくは目の高さと撮影装置110のレンズの高さが同程度であると精度のよい歩行解析を行える動画像を撮影することができる。図9(c)は、撮影装置110のレンズの高さと被験者の顔の高さが同程度であり、撮影装置110の姿勢が撮影者の接地面に対し水平であるため、水平ガイド520は撮影装置110の姿勢が水平であることを示している。図9(d)は、歩行路ガイド500の表示位置に被験者はいるが、撮影装置110のレンズの高さが被験者の顔より高い位置にあるため、被験者を見下ろすような角度に撮影装置110が設けられている。そこで、図9(d)の水平ガイド520は十文字の中心から姿勢表示マーカ「●」がずれて表示されている。水平ガイド520を確認することで、撮影者は撮影装置110の姿勢が傾いているか把握でき、また、水平ガイド520を確認しながら撮影装置110を正しい姿勢に調整することが可能となる。なお、水平ガイド520は図9に示した表示態様に限らず、数値によるもの、撮影画面上にグリッド線を表示するものなど、どのような表示態様でもよい。なお、図9では、歩行路ガイド500、歩行路ガイド510および水平ガイド520を撮影画面上に表示したが、音声によるガイドでもよく、表示と音声を併用してもよい。
図9(a)は、撮影装置110が撮影準備状態であるときの撮影画面のイメージ図である。撮影位置に被験者が存在するか否かに関わらず、歩行路ガイド500、歩行路ガイド510および水平ガイド520が表示される。撮影準備状態であるときに歩行路ガイド500、歩行路ガイド510および水平ガイド520が表示されると、撮影者は被験者の位置や撮影装置110を調整しやすくなる。
図9(b)は、撮影装置110が撮影準備状態であるときに被験者が撮影位置に存在する状態の撮影画面のイメージ図である。図9(b)に示すように、撮影者は被験者の位置や撮影装置110の姿勢を表示されている歩行路ガイド500、歩行路ガイド510および水平ガイド520に基づき調整を行うことが可能となる。
図9(c)は、被験者の位置および撮影装置110の姿勢を調整し、撮影中の撮影画面イメージ図である。撮影中であることを530は撮影中であるときに表示される。このとき、歩行路ガイド500を表示してもよいが、図9(c)に示すように、歩行路ガイド500は表示せず、歩行路ガイド510および水平ガイド520を表示するようにしてもよい。このように撮影中も歩行路ガイド510および水平ガイド520が表示されていることにより、撮影者は被験者の歩行の位置や撮影装置110の姿勢を調整しながら撮影可能となる。
図9(d)は、図9(b)の状態で、被験者の目の高さより高い位置に撮影装置110があることにより、水平ガイド520は撮影装置110の姿勢が水平でないことを示している。また、「カメラが傾いています」とアドバイス表示をしてもよい。このような表示がされた場合、撮影者は撮影装置110の姿勢が水平になるように調整するようにすればよい。
図9は歩行路ガイド工程が行われる際の画面イメージである。図10に歩行路ガイド工程に加えて被験者マスク工程が行われる場合の画面イメージを示す。
図10(a)は、撮影中であり、かつ、被験者が所定範囲内に存在しない場合の撮影画面のイメージ図である。図10(a)に示すように、被験者が所定範囲内に存在しないため、撮影画面全体にマスク処理を施している。
図10(b)は、撮影中であり、かつ、被験者が所定範囲内に存在する場合の撮影画面イメージである。図10(b)に示すように、被験者が所定範囲内に存在するため、被験者の目にマスク処理を施している。
<1>
歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能であることを判定するための歩行解析条件を満たすかを判定する動画像判定方法であって、
前記動画像を取得する動画取得工程と、
取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定工程と、を含むことを特徴とする動画像判定方法。
さらに、前記動画像は複数フレームで構成され、前記歩行動画判定工程は、前記動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行うことを特徴とする上記の動画像判定方法。
<2>
前記歩行動画判定工程は、骨格点抽出工程と、該骨格点抽出工程後に実行される骨格点判定工程を含み、
前記骨格点抽出工程は、機械学習により得られた骨格点学習モデルを用いて前記動画像から前記被験者の骨格点を抽出し、
前記骨格点判定工程は、
前記骨格点抽出工程によって抽出された前記骨格点を用いて前記歩行解析条件を満たすかを判定することを特徴とする<1>に記載の動画像判定方法。
<3>
前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定工程と、をさらに含み、
前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含むことを特徴とする<1>または<2>に記載の動画像判定方法。
<4>
前記被験者の歩数を判定する歩数判定工程をさらに含み、
前記所定の歩行条件は、前記判定した歩数が所定歩数以上であることを含むことを特徴とする<1>から<3>何れか1に記載の動画像判定方法。
<5>
前記被験者の重心を判定する重心判定工程をさらに含み、
前記所定の歩行条件は、前記判定した重心が左右方向に所定範囲内であることを含むことを特徴とする<1>から<4>何れか1に記載の動画像判定方法。
<6>
前記被験者が走っていることを示唆する歩行指標を判定する歩行判定工程をさらに含み、
前記所定の歩行条件は、走っていないと判定されたフレームがあることを含むことを特徴とする<1>から<5>何れか1に記載の動画像判定方法。
<7>
前記被験者の顔を判定する顔判定工程をさらに含み、
前記所定の歩行条件は、前記判定した前記顔の向きが左右方向に所定範囲内であることを含むことを特徴とする<1>から<6>何れか1に記載の動画像判定方法。
<8>
前記被験者の両手を判定する両手判定工程をさらに含み、
前記所定の歩行条件は、前記判定した前記両手が所定位置以下の高さであることを含むことを特徴とする<1>から<7>何れか1に記載の動画像判定方法。
<9>
前記動画像に複数の被験者が含まれる場合は、被験者単位に前記骨格点抽出を行うことを特徴とする<1>から<8>何れか1に記載の動画像判定方法。
<10>
前記骨格点抽出工程は、前記骨格点学習モデルを用いて前記動画像から前記被験者の骨格点を16箇所以上抽出することを特徴とする<2>から<9>何れか1に記載の動画像判定方法。
<11>
前記歩行動画判定工程は、前記被験者の骨格点を抽出できなかったフレームに対しては当該工程を終了することを特徴とする<2>から<10>何れか1に記載の動画像判定方法。
<12>
前記歩行動画判定工程は、前記骨格点抽出工程によって1被験者に対し所定数の骨格点を抽出できなかった場合および/または前記抽出した骨格点に基づき前記被験者の重心が算出されない場合は、当該工程を終了することを特徴とする<2>から<11>何れか1に記載の動画像判定方法。
<13>
前記所定の歩行条件は、前記骨格点抽出工程によって1被験者に対し所定数の骨格点の抽出および前記被験者の重心が算出されることを含む<2>から<12>何れか1に記載の動画像判定方法。
<14>
前記被験者の全身が撮影されているかを判定する全身判定工程をさらに含み、
前記全身判定工程は、前記骨格点抽出工程で抽出された前記被験者の骨格点同士が予め決められた位置関係にあるか判定し、
前記所定の撮影条件には、前記被験者の骨格点同士が予め決められた位置関係にあることを含む<2>から<13>何れか1に記載の動画像判定方法。
<15>
前記所定の撮影条件には、前記骨格点抽出工程で抽出された前記被験者の骨格点同士が予め決められた位置関係にあることであり、
前記歩行動画判定工程は、前記骨格点抽出工程で抽出された前記被験者の骨格点同士が予め決められた位置関係にない場合は、当該工程を終了することを含む<14>に記載の動画判定方法。
<16>
前記所定の撮影条件には、前記距離推定工程によって前記動画像の撮影位置と前記被験者の位置との距離が1~7mと推定された動画像があることを含むことを特徴とする<3>から<15>何れか1に記載の動画像判定方法。
<17>
前記歩行動画判定工程は、前記距離推定工程によって、前記動画像の撮影位置と前記被験者の位置との距離が所定範囲内ではないと推定された動画像に対応付けて当該推定結果を記憶することを特徴とする<3>から<16>何れか1に記載の動画像判定方法。
<18>
前記歩数判定工程は、前記骨格点抽出工程で抽出した左右足首の骨格点および重心から推定する左右踵が交互に各2回接地した動画像がある場合、前記所定歩数以上であると判定することを含む<4>から<17>何れか1に記載の動画像判定方法。
<19>
前記歩行動画判定工程は、前記歩数判定工程によって、前記判定した歩数が前記所定歩数以上でないと判定された動画像に対応付けて当該判定結果を記憶することを特徴とする<4>から<18>何れか1に記載の動画像判定方法。
<20>
前記歩行動画判定工程は、前記距離推定工程によって、前記動画像の撮影位置と前記被験者の位置との距離が所定範囲内であると推定されかつ前記歩数判定工程によって、前記判定した歩数が前記所定歩数以上であると判定されると推定および判定された動画像に対応付けて記憶される得点に加点することを特徴とする<4>から<19>何れか1に記載の動画像判定方法。
<21>
前記所定の歩行条件には、前記重心判定工程によって、前記骨格点抽出工程で抽出した被験者の重心が撮影装置に対し左右方向の移動範囲が1メートル以内であると判定されることを含む<5>から<20>何れか1に記載の動画像判定方法。
<22>
前記歩行動画判定工程は、前記重心判定工程によって、前記被験者の重心が撮影装置に対し左右方向の移動範囲が1メートル以内であると判定されない場合は動画像に対応付けて当該判定結果を記憶することを特徴とする<5>から<21>何れか1に記載の動画像判定方法。
<23>
前記歩行動画判定工程は、前記重心判定工程によって、前記被験者の重心が撮影装置に対し左右方向の移動範囲が1メートル以内であると判定された動画像に対応付けて記憶される得点に加点することを特徴とする<5>から<22>何れか1に記載の動画像判定方法。
<24>
前記歩行判定工程が判定する前記歩行指標は、歩行速度、右足左足の接地時間または足位置の変化の少なくとも何れかであり、
前記歩行速度の場合、前記骨格点抽出工程で抽出した骨格点を用いて算出した前記被験者の重心に基づき所定距離移動した際に要した時間を計測し、算出した速度が所定範囲以上の場合は、走っていると判定し、
前記右足左足の接地時間の場合、前記歩数判定工程で抽出した左右踵が接地する位置に基づき右足踵と左足踵とのどちらも接地していない時間が有れば走っていると判定し、
前記足位置の変化の場合、前記骨格点抽出工程で抽出した左右足首の骨格点の上下の移動範囲が所定範囲以上の場合は、走っていると判定することを特徴とする<6>から<23>何れか1に記載の動画像判定方法。
<25>
前記歩行動画判定工程は、前記歩行判定工程によって、走っている旨の判定がされた動画像データに対応付けて当該判定結果を記憶することを特徴とする<6>から<24>何れか1に記載の動画像判定方法。
<26>
前記歩行動画判定工程は、前記歩行判定工程によって、走っている旨の判定がされなかった動画像データに対応付けて記憶される得点に加点することを特徴とする<6>から<25>何れか1に記載の動画像判定方法。
<27>
前記所定の歩行条件には、前記顔判定工程によって、前記顔の向きの上下および左右方向の移動範囲が±30度以内であると判定されることを含む<7>から<26>何れか1に記載の動画像判定方法。
<28>
前記歩行動画判定工程は、前記顔判定工程によって、前記顔の向きの上下または左右方向の少なくとも一方の向きの移動範囲が±30度を超えている時間またはフレーム数、歩行全体の時間またはフレーム数に対して前記閾値割合以上となった場合に、前記所定の歩行条件を満たさないと判定し、前記閾値割合は10%以上30%以下であることを特徴とする<27>に記載の動画像判定方法。
<29>
前記歩行動画判定工程は、前記顔判定工程によって、前記顔の向きの上下および左右方向の移動範囲が±30度以内であると判定されなかった動画像に対応付けて当該判定結果を記憶することを特徴とする<7>から<28>何れか1に記載の動画像判定方法。
<30>
前記歩行動画判定工程は、前記顔判定工程によって、前記顔の向きの上下および左右方向の移動範囲が±30度以内であると判定された動画像に対応付けて記憶される得点に加点することを特徴とする<7>から<29>何れか1に記載の動画像判定方法。
<31>
前記所定の歩行条件には、前記両手判定工程によって、前記骨格点抽出工程で抽出した被験者の両手首の骨格点の位置と両肘の骨格点の位置を比較し、被験者の両手の位置が両肘の位置より低いと判定されることを含む<8>から<30>何れか1に記載の動画像判定方法。
<32>
前記歩行動画判定工程は、前記両手判定工程によって、前記被験者の両手の位置が両肘の位置より低いと判定されなかった動画像に対応付けて当該判定結果を記憶することを特徴とする<8>から<31>何れか1に記載の動画像判定方法。
<33>
前記歩行動画判定工程は、前記両手判定工程によって、前記被験者の両手の位置が両肘の位置より低いと判定された動画像に対応付けて記憶される得点に加点することを特徴とする<8>から<32>何れか1に記載の動画像判定方法。
<34>
前記撮影時の光量を判定する光量判定工程をさらに含み、
前記所定の撮影条件は、前記光量が所定範囲内であることを含むことを特徴とする<1>から<33>何れか1に記載の動画像判定方法。
<35>
前記歩行動画判定工程は、前記光量判定工程によって、前記光量が前記所定範囲内であると判定されなかった動画像に対応付けて当該判定結果を記憶することを特徴とする<34>に記載の動画像判定方法。
<36>
前記歩行動画判定工程は、前記光量判定工程によって、前記光量が前記所定範囲内であると判定された動画像に対応付けて記憶される得点に加点することを特徴とする<34>または<35>に記載の動画像判定方法。
<37>
前記撮影時の光量を判定する撮影装置揺れ判定工程をさらに含み、
前記所定の撮影条件は、前記撮影装置の揺れが所定範囲内であることを含むことを特徴とする<1>から<36>何れか1に記載の動画像判定方法。
<38>
前記歩行動画判定工程は、前記撮影装置揺れ判定工程によって、前記撮影装置の揺れが前記所定範囲内であると判定されなかった動画像に対応付けて当該判定結果を記憶することを特徴とする<37>に記載の動画像判定方法。
<39>
前記歩行動画判定工程は、前記撮影装置揺れ判定工程によって、前記撮影装置の揺れが前記所定範囲内であると判定された動画像に対応付けて記憶される得点に加点することを特徴とする<37>または<38>に記載の動画像判定方法。
<40>
前記歩行動画判定工程は、前記重心判定工程、前記歩行判定工程、前記顔判定工程、前記両手判定工程、前記光量判定工程および前記撮影装置揺れ判定工程の判定結果によって加点された得点によって、前記動画像が歩行解析に適した動画像であるかを評価する、または、前記動画像を用いた前記歩行解析結果の精度を評価することを特徴とする<23>、<26>、<30>、<33>、<36>および<39>いずれか1に記載の動画像判定方法。
<41>
前記被験者の人体の一部または全部の部位に関する寸法データを取得する人体寸法取得工程と、
前記動画像の前記被験者の画像における、前記部位の長さおよび前記被験者までの奥行き距離と、前記人体寸法データと、に基づき、前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定工程と、をさらに含むこと特徴とする<3>から<40>何れか1に記載の動画像判定方法。
<42>
歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能であることを判定するための歩行解析条件を満たすかを判定する動画像判定プログラムであって、
前記動画像を取得する動画取得処理と、
取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定処理と、を含み、
前記動画像は複数フレームで構成され、
前記歩行動画判定処理は、前記動画取得処理によって全フレームを取得した後、または、取得したフレーム毎に判定を行うことを特徴とする動画像判定プログラム。
<43>
歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能であることを判定するための歩行解析条件を満たすかを判定する動画像判定装置であって、
前記動画像を取得する動画取得手段と、
取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定手段と、を含み、
前記動画像は複数フレームで構成され、
前記歩行動画判定手段は、前記動画取得手段によって全フレームを取得した後、または、取得したフレーム毎に判定を行うことを特徴とする動画像判定装置。
<44>
前記動画像判定装置は、携帯端末であって、撮影手段、姿勢センサおよび表示手段をさらに備え、
前記歩行動画判定手段は、前記撮影手段の撮影時の姿勢を前記姿勢センサの検出結果に基づき左右前後方向に±25度以内であるか判定し、前記判定結果が前記左右前後方向に±25度以内であれば前記表示手段に正常である旨の情報を前記表示手段に表示制御し、または、前記判定結果に伴う情報を前記表示手段に表示制御しない一方、前記判定結果が前記左右前後方向に±25度以内でなければその旨の情報を前記表示手段に表示制御することを特徴とする<43>に記載の動画像判定装置。
<45>
前記動画像判定装置は、表示手段をさらに備え、
前記歩行動画判定手段は、前記動画取得手段によって取得したフレーム毎に判定を行う場合、各判定結果に応じて撮影者に撮影に関するアドバイスを前記表示手段に表示制御することを特徴とする<43>または<44>に記載の動画像判定装置。
<46>
前記動画像判定装置は、<42>に記載の動画像判定プログラムを記憶していることを特徴とする<43>から<45>何れか1に記載の動画像判定装置。
<47>
前記被験者が歩行すべき範囲および前記動画像を撮影する撮影装置の姿勢を撮影者にガイドする歩行路ガイド工程をさらに含むことを特徴とする<1>から<41>何れか1に記載の動画像判定方法。
<48>
前記被験者が特定できないように前記動画像にマスク処理を行う被験者マスク工程をさらに含むことを特徴とする<1>から<41>、<47>何れか1に記載の動画像判定方法。
110 撮影装置
120 判定部
130 記憶部
140 姿勢センサ
500 歩行路ガイド
510 歩行路ガイド
520 水平ガイド
530 撮影中の表示
550 目付近のモザイク態様
560 全体のモザイク態様
Claims (11)
- 歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能な動画像であることを判定するための歩行解析条件を満たすかを判定する動画像判定方法であって、
前記動画像を取得する動画取得工程と、
取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定工程と、
前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定工程と、
前記被験者の歩数を判定する歩数判定工程と、を含み、
前記動画像は複数フレームで構成され、
前記歩行動画判定工程は、前記動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行い、
前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含み、
前記所定の歩行条件は、前記判定した歩数が所定歩数以上であることを含むことを特徴とする動画像判定方法。 - 歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能な動画像であることを判定するための歩行解析条件を満たすかを判定する動画像判定方法であって、
前記動画像を取得する動画取得工程と、
取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定工程と、
前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定工程と、
前記被験者の重心を判定する重心判定工程と、を含み、
前記動画像は複数フレームで構成され、
前記歩行動画判定工程は、前記動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行い、
前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含み、
前記所定の歩行条件は、前記判定した重心が左右方向に所定範囲内であることを含むことを特徴とする動画像判定方法。 - 歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能な動画像であることを判定するための歩行解析条件を満たすかを判定する動画像判定方法であって、
前記動画像を取得する動画取得工程と、
取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定工程と、
前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定工程と、
前記被験者が走っていることを示唆する歩行指標を判定する歩行判定工程と、を含み、
前記動画像は複数フレームで構成され、
前記歩行動画判定工程は、前記動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行い、
前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含み、
前記所定の歩行条件は、走っていないと判定されたフレームがあることを含むことを特徴とする動画像判定方法。 - 歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能な動画像であることを判定するための歩行解析条件を満たすかを判定する動画像判定方法であって、
前記動画像を取得する動画取得工程と、
取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定工程と、
前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定工程と、
前記被験者の顔を判定する顔判定工程と、を含み、
前記動画像は複数フレームで構成され、
前記歩行動画判定工程は、前記動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行い、
前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含み、
前記所定の歩行条件は、前記判定した前記顔の向きが左右方向に所定範囲内であることを含むことを特徴とする動画像判定方法。 - 歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能な動画像であることを判定するための歩行解析条件を満たすかを判定する動画像判定方法であって、
前記動画像を取得する動画取得工程と、
取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定工程と、
前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定工程と、
前記被験者の両手を判定する両手判定工程と、を含み、
前記動画像は複数フレームで構成され、
前記歩行動画判定工程は、前記動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行い、
前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含み、
前記所定の歩行条件は、前記判定した前記両手が所定位置以下の高さであること含むことを特徴とする動画像判定方法。 - 前記歩行動画判定工程は、
前記動画像に対応付けて判定結果に基づく得点を記憶させ、
前記歩行解析条件を満たさないと判定されたフレームに対しては、当該歩行動画判定工程を終了する、または当該フレームに対しては前記得点に判定結果に基づく得点を加算しない、のいずれかを行うことを特徴とする請求項1から5何れか一項に記載の動画像判定方法。 - 前記歩行動画判定工程は、骨格点抽出工程と、該骨格点抽出工程後に実行される骨格点判定工程を含み、
前記骨格点抽出工程は、機械学習により得られた骨格点学習モデルを用いて前記動画像から前記被験者の骨格点を抽出し、
前記骨格点判定工程は、
前記骨格点抽出工程によって抽出された前記骨格点を用いて前記歩行解析条件を満たすかを判定し、
前記歩行動画判定工程は、
前記骨格点判定工程によって前記歩行解析条件を満たさないと判定された場合は、当該歩行動画判定工程を終了することを特徴とする請求項1から5何れか一項に記載の動画像判定方法。 - 前記歩行動画判定工程は、骨格点抽出工程と、該骨格点抽出工程後に実行される骨格点判定工程と、全身判定工程とを含み、
前記骨格点抽出工程は、機械学習により得られた骨格点学習モデルを用いて前記動画像から前記被験者の骨格点を抽出し、
前記全身判定工程は、前記骨格点抽出工程で抽出された前記被験者の骨格点同士が予め決められた位置関係にあるかを判定し、
前記歩行動画判定工程は、前記全身判定工程の判定結果に基づき前記歩行解析条件を満たすかを判定する請求項1から5何れか一項に記載の動画像判定方法。 - 歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能な動画像であることを判定するための歩行解析条件を満たすかを判定する動画像判定プログラムであって、
前記動画像を取得する動画取得処理と、
取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定処理と、
前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定処理と、
前記被験者の歩数を判定する歩数判定処理と、を含み、
前記動画像は複数フレームで構成され、
前記歩行動画判定処理は、前記動画取得処理によって全フレームを取得した後、または、取得したフレーム毎に判定を行い、
前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含み、
前記所定の歩行条件は、前記判定した歩数が所定歩数以上であることを含むことを特徴とする動画像判定プログラム。 - 歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能な動画像であることを判定するための歩行解析条件を満たすかを判定する動画像判定装置であって、
前記動画像を取得する動画取得手段と、
取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定手段と、
前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定手段と、
前記被験者の歩数を判定する歩数判定手段と、を含み、
前記動画像は複数フレームで構成され、
前記歩行動画判定手段は、前記動画取得手段によって全フレームを取得した後、または、取得したフレーム毎に判定を行い、
前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含み、
前記所定の歩行条件は、前記判定した歩数が所定歩数以上であることを含むことを特徴とする動画像判定装置。 - 前記動画像判定装置は、表示手段をさらに備え、
前記歩行動画判定手段は、前記動画取得手段によって取得したフレーム毎に判定を行う場合、各判定結果に応じて撮影者に撮影に関するアドバイスを前記表示手段に表示制御することを特徴とする請求項10に記載の動画像判定装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202280055915.5A CN117813047A (zh) | 2021-08-16 | 2022-08-09 | 动态图像判定方法 |
PCT/JP2022/030425 WO2023022072A1 (ja) | 2021-08-16 | 2022-08-09 | 動画像判定方法 |
TW111130558A TW202318336A (zh) | 2021-08-16 | 2022-08-15 | 動態影像判定方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021132296 | 2021-08-16 | ||
JP2021132296 | 2021-08-16 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2023027012A JP2023027012A (ja) | 2023-03-01 |
JP2023027012A5 JP2023027012A5 (ja) | 2023-05-24 |
JP7353438B2 true JP7353438B2 (ja) | 2023-09-29 |
Family
ID=85327113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022124096A Active JP7353438B2 (ja) | 2021-08-16 | 2022-08-03 | 動画像判定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7353438B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012068965A (ja) | 2010-09-24 | 2012-04-05 | Denso Corp | 画像認識装置 |
JP2013218476A (ja) | 2012-04-06 | 2013-10-24 | Denso Corp | 画像認識装置 |
WO2020170299A1 (ja) | 2019-02-18 | 2020-08-27 | 三菱電機株式会社 | 疲労判定装置、疲労判定方法、および疲労判定プログラム |
-
2022
- 2022-08-03 JP JP2022124096A patent/JP7353438B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012068965A (ja) | 2010-09-24 | 2012-04-05 | Denso Corp | 画像認識装置 |
JP2013218476A (ja) | 2012-04-06 | 2013-10-24 | Denso Corp | 画像認識装置 |
WO2020170299A1 (ja) | 2019-02-18 | 2020-08-27 | 三菱電機株式会社 | 疲労判定装置、疲労判定方法、および疲労判定プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023027012A (ja) | 2023-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12013979B2 (en) | Lightweight and low power cross reality device with high temporal resolution | |
JP6074494B2 (ja) | 形状認識装置、形状認識プログラム、および形状認識方法 | |
US8718748B2 (en) | System and methods for monitoring and assessing mobility | |
US8690326B2 (en) | Method and systems for measuring interpupillary distance | |
US20220051441A1 (en) | Multi-camera cross reality device | |
JP7057959B2 (ja) | 動作解析装置 | |
US11889209B2 (en) | Lightweight cross reality device with passive depth extraction | |
EP2898819A1 (en) | System for measuring the interpupillary distance using a device equipped with a screen and a camera | |
JP6369811B2 (ja) | 歩行解析システムおよび歩行解析プログラム | |
WO2021052208A1 (zh) | 用于运动障碍病症分析的辅助拍摄设备、控制方法和装置 | |
US10620454B2 (en) | System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images | |
JP7168953B2 (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
EP3973697A1 (en) | Modification of projected structured light based on identified points within captured image | |
JP7353438B2 (ja) | 動画像判定方法 | |
CN115862124B (zh) | 视线估计方法、装置、可读存储介质及电子设备 | |
WO2023022072A1 (ja) | 動画像判定方法 | |
CN117813047A (zh) | 动态图像判定方法 | |
US20240242441A1 (en) | Fit prediction based on detection of metric features in image data | |
DARABANT et al. | OPTIMEASURE: A MOBILE IMPROVEMENT ALTERNATIVE TO CLASSIC OPTICAL MEASUREMENTS. | |
TWM624462U (zh) | 人工智慧健身裝置 | |
CN115153517A (zh) | 计时起立行走测试的测试方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230516 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230516 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230919 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7353438 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |