JP7353438B2 - 動画像判定方法 - Google Patents

動画像判定方法 Download PDF

Info

Publication number
JP7353438B2
JP7353438B2 JP2022124096A JP2022124096A JP7353438B2 JP 7353438 B2 JP7353438 B2 JP 7353438B2 JP 2022124096 A JP2022124096 A JP 2022124096A JP 2022124096 A JP2022124096 A JP 2022124096A JP 7353438 B2 JP7353438 B2 JP 7353438B2
Authority
JP
Japan
Prior art keywords
walking
video
determination
determining
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022124096A
Other languages
English (en)
Other versions
JP2023027012A5 (ja
JP2023027012A (ja
Inventor
真行 湊崎
春菜 平賀
加奈子 瀬尾
元喜 須藤
優子 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kao Corp
Original Assignee
Kao Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kao Corp filed Critical Kao Corp
Priority to CN202280055915.5A priority Critical patent/CN117813047A/zh
Priority to PCT/JP2022/030425 priority patent/WO2023022072A1/ja
Priority to TW111130558A priority patent/TW202318336A/zh
Publication of JP2023027012A publication Critical patent/JP2023027012A/ja
Publication of JP2023027012A5 publication Critical patent/JP2023027012A5/ja
Application granted granted Critical
Publication of JP7353438B2 publication Critical patent/JP7353438B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Description

本発明は、歩行する被験者が撮影された動画像が歩行解析条件を満たすかを判定する動画像判定方法に関する。
事前に撮影された動画像内の動作者の動画像と、撮影した利用者の動画像とを比較し、動作内容にどの程度の差があるかを評価する技術がある(例えば、特許文献1)。
特開2010-258613号公報
特許文献1の場合、撮影した利用者の動画像が撮影された条件については判定していないため、例えば、利用者の動画像自体の撮影条件が悪く、比較評価に値しないデータについても動作者の動画像との比較を行うこととなっていた。
本発明は上記の課題に鑑みてなされたものであり、動画像を取得し、取得した動画像が歩行解析条件を満たすかを判定する技術に関する。
本発明は、歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能であることを判定するための歩行解析条件を満たすかを判定する動画像判定方法であって、前記動画像を取得する動画取得工程と、取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定工程と、を含み、前記動画像は複数フレームで構成され、前記歩行動画判定工程は、前記動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行うことを特徴とする動画像判定方法に関する。
本発明により提供される方法によれば、取得した歩行する被験者が撮影された動画像が歩行解析条件を満たすかを判定することで、歩行解析条件を満たした動画像のみを歩行解析の対象とすることもできるため、処理を軽減できる。
動画像判定方法を示すフローチャートである。 判定工程の詳細を示すフローチャートである。 判定工程の詳細を示すフローチャートである。 抽出する骨格点および重心を示す図である。 被験者の顔の位置を推定する説明図である。 (a)は、歩行解析結果を示すグラフに動画像の判定結果に基づく総合得点を含めた画面イメージ図、(b)は動画像の判定条件毎の判定結果を示す画面イメージ図である。 携帯端末100の概念図である。 (a)は携帯端末100の表示装置の画面イメージ図、(b)は携帯端末100の表示装置の画面イメージ図(他の例)である。 動画取得工程に歩行路ガイド工程および被験者マスク工程を付加したフローチャートである。 (a)は歩行路ガイド表示の画面イメージ図(撮影範囲に被験者がいない場合)、(b)は歩行路ガイド表示の画面イメージ図(撮影範囲に被験者がいる場合)、(c)は歩行路ガイド表示の画面イメージ図(撮影中の場合)、(d)は歩行路ガイド表示の画面イメージ図(被験者と撮影装置との位置が適切でない場合)である。 (a)は被験者マスク表示の画面イメージ図(被験者が所定範囲内にいない場合)、(b)は被験者マスク表示の画面イメージ図(被験者が所定範囲内にいる場合)である。
以下、本発明の実施形態について説明する。
はじめに、本実施形態の概要について説明する。
本実施形態の動画像判定方法(以下、本方法と表示する場合がある)は、歩行する被験者が撮影された動画像が歩行解析条件を満たすか判定する方法である。本方法は、歩行する被験者が撮影された動画像を解析し、当該被験者の歩行態様などを解析する際に、動画像が歩行解析条件を満たすか否かを判定することで、歩行解析条件を満たす動画像のみ被験者の歩行態様などを解析対象とすることにもできるため、歩行解析条件を満たさない動画像に対する解析を行う必要がなくなり、処理負荷を軽減することが可能となる。
本方法は、動画取得工程および歩行動画判定工程を含む。動画取得工程は、歩行する被験者が撮影された動画像データを取得する工程である。歩行動画判定工程は、取得した動画像データは、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能であることを判定するための歩行解析条件を満たすか判定する工程である。本方法で判定する動画像は、複数フレームで構成され、歩行動画判定工程は、動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行う。
以下、本方法について詳細に説明する。
歩行する被験者とは、乳幼児、幼児、児童などいわゆる子供から成人に至るまで年齢は問わない。ただし、歩行していることを解析条件としているため、自立して歩行が行えない乳幼児や高齢者は該当しない。
撮影された動画像とは、どのような場所で撮影されたものでもよく、歩行測定を行う実験室に限らず、日常生活において撮影された動画像も該当する。どのような撮影装置で撮影されたものでもよく、デジタルカメラ、ビデオカメラの他、一般的に移動端末と称される携帯電話、タブレット端末、PDA、モバイルパーソナルコンピュータが備える撮影装置やパーソナルコンピュータが備える撮影装置で撮影された動画像が対象となる。どのような撮影者が撮影したものでもよい。動画像データは複数フレームで構成されたデータである。
歩行解析条件とは、取得した動画像データに撮影されている歩行する被験者の歩行態様を解析する際に必要な所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能であることを判定するための条件である。所定の歩行条件には、被験者が所定歩数以上歩行しているか、被験者の歩行速度、所定の範囲内を歩行しているか(左右の揺れが所定範囲を超えていないか)、被験者の顔は正面を向いているか、被験者の両手の位置は所定範囲内かなどが含まれる。所定の撮影条件には、骨格データを取得可能に撮影されているか、全身が撮影されているか、撮影装置と被験者との距離は所定範囲内、所定歩数以上撮影されているかなどが含まれる。
歩行解析が可能であることを判定するための歩行解析条件を満たすかを判定するとは、歩行解析条件を満たさなければ所定の歩行解析が可能でないこと(行えないこと)に限らず、所定の歩行解析は行えるが(所定の歩行解析の処理は実行できるが)、所定の歩行解析結果(所定精度の歩行解析結果)が得られないかを判定することも含む。詳細は後述するが、具体的には本方法によって判定する所定の歩行条件または所定の撮影条件には、条件を満たさなかった動画像データでは所定の歩行解析を行えない条件もあれば、条件を満たさなかった動画像データでも、例えば精度を犠牲にすることで、所定の歩行解析を行える条件もある。言い方を変えると、歩行解析が可能であると判定されなかった動画像データには、所定の歩行解析結果(所定精度の歩行解析結果)は得られない可能性が高いが、所定の歩行解析は行えるものが含まれている。所定の歩行解析を行うのに必要な条件を満たさなかった動画像データは所定の歩行解析には用いることはできないが、所定の歩行条件または所定の撮影条件を満たさなくても所定の歩行解析を行える動画像データについては所定の歩行解析を行い、歩行解析結果にどのような所定の歩行条件または所定の撮影条件を満たしたもしくは満たさなかった動画像データであるかの情報を含めるようにしてもよい。また、歩行解析条件を判定する際には、所定の歩行条件または所定の撮影条件が複数ある場合は、条件の判定順に優先順位をつけて行っても良い。優先順位をつけることで、処理負荷を抑えることが可能となる。
動画像を取得するとは、撮影装置で撮影されたデータを逐次入手するものや過去に撮影されたデータをネットワーク経由または所定の媒体を経由して入手するものや所定のサーバに記憶されている動画像データにアクセスすることで取得するものなどが含まれる。
歩行動画判定工程は、動画取得工程によって撮影装置で撮影されたデータを逐次入手し、取得したフレーム毎に判定を行ってもよいし、過去に撮影されたデータについて全フレーム取得した後に判定してもよい。
本方法の処理の流れを図1に用いて説明する。図1に示すフローチャートは、本方法によって処理される動画像判定アプリケーションソフトのフローチャートでもある。
工程(ステップS100)は、歩行する被験者が撮影された動画像を取得する動画取得工程である。
工程(ステップS110)は、取得した動画像が所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能であることを判定するための歩行解析条件を満たすか判定する歩行動画判定工程である。歩行動画判定工程の詳細を図2-1、図2-2に示す。歩行動画判定工程は1フレーム単位で判定を行う。1フレーム単位で判定を行うとは、本実施形態では、動画像を構成するフレーム数がn個の場合、1個のフレームに対し図2-1、図2-2に示すステップS111~ステップS130まで行い、その処理をn個分繰り返すこととするが、図2-1、図2-2に示す1ステップをn個分行った後、次のステップへ進むようにしてもよい。
本実施形態では、機械学習により得られた骨格点学習モデルを用いて、取得した動画像から被験者の骨格点を抽出することで被験者を特定し、当該被験者の歩行解析を行うことする。本実施形態では、公知の骨格点抽出技術、例えば、OpenPose(URL=https://github.com/CMU-Perceptual-Computing-Lab/openpose)やVisionPose(URL=https://www.next-system.com/visionpose)などを用いて抽出する。
工程(ステップS111)は、取得した動画像から3次元骨格点の抽出を行う。動画像に複数の被験者が含まれる場合は、被験者単位に3次元骨格点の抽出を行う。動画像から抽出する3次元骨格点について図3に示す。
本実施形態では、図3に示した16箇所の骨格点および重心を抽出する。重心は歩行解析で用いるため、骨格点の抽出と合わせて行うが同時に行わなくてもよい。重心は抽出された骨格点から算出してもよい。本実施形態では16箇所の骨格点を抽出したが、抽出する骨格点の数はこれに限らない。
なお、工程(ステップS111)は、骨格点抽出工程に相当する。
工程(ステップS112)は、ステップS111で抽出した骨格点および重心が1被験者に対し歩行解析条件を満たすか判定する。ステップS112での歩行解析条件は所定の撮影条件の1つであり、本実施形態では1被験者に対し所定個数(本実施形態では16箇所)の骨格点および重心を抽出できたフレームがあることである。歩行解析条件を満たすと判定された場合はステップS113へ進み、歩行解析条件を満たさないと判定された場合は本処理を終了する。1被験者に対し所定数の骨格点および重心が抽出されない場合は、歩行解析に適した動画像の明瞭度や画素数を持っていないと考えられ、歩行解析を行えない、または、行ったとしても正確な解析が行えないため、この後に続く処理は行わない。
なお、工程(ステップS112)は、骨格点判定工程に相当する。
工程(ステップS113)は、被験者の全身が撮影されているかを判定する。本実施形態では、骨格点同士が予め決められた位置関係にある場合に被験者の全身が撮影されていると判定する。ステップS112で抽出された骨格点同士が予め決められた位置関係にあるかを判定し、予め決められた位置関係にあると判定された場合はステップS114へ進み、予め決められた位置関係にあると判定されなかった場合は本処理を終了する。骨格点同士が予め決められた位置関係にあるとは、例えば、頭頂を示す骨格点は抽出された骨格点の中で、図3に示すX座標の最も大きい値にある、左右肩峰(肩)を示す骨格点は足首を示す骨格点よりX座標の大きい値にあるなど予め決められた骨格点同士の位置関係に各骨格点が位置することである。抽出された骨格点が予め決められた位置関係にない場合、動画像は歩行解析を行えない、または、行ったとしても正確な解析が行えないため、この後に続く処理は行わない。抽出された骨格点が予め決められた位置関係にあるフレームのみこの後に続く処理を行う。
なお、工程(ステップS113)は、全身判定工程に相当する。
工程(ステップS114)は、撮影装置に対して被験者が所定範囲内で撮影されたフレームがあるかを判定する工程である。撮影装置と被験者との距離が近いほど、骨格点抽出の精度がよくなるため、撮影装置と被験者とが所定範囲以上の位置で撮影された動画像の場合、歩行解析に適した動画像ではない可能性が高いため本判定を行う。本判定は必須の判定条件である。
本工程では、被験者の人体寸法を取得し、取得した人体寸法に対応する部位の動画像における長さ(例えば、動画像におけるピクセル数)と動画像の撮影位置と被験者の位置との奥行き方向の距離(図3のY軸方向の距離)との比率を計算し、この比率と被験者から取得した人体寸法の実際の長さとを用いて奥行寸法の実際の長さを推定し、推定結果が歩行解析条件を満たすか判定する。人体寸法とは、人体各部位の寸法のことをいい、具体的には、身長、眼高、肩峰高、前方腕長、肩幅、重心高、膝関節高などがある。人体寸法は、上記に例示されるもののうち一つまたは複数を選択してもよい。複数の人体寸法を選択した場合、上記の比率を人体寸法ごとにそれぞれ計算したうえで、上記の奥行き寸法の実際の長さの推定値の平均値を算出して推定結果としてもよい。また、人体寸法は動画像に写り込んでいる被験者の身体に応じて選択してもよい。例えば、被験者の足元が動画像に十分に写り込んでいない場合は、足元位置を用いずに人体寸法(動画像におけるピクセル数)を求めることが可能な前方腕長や肩幅を選択するとよい。人体寸法を用いることに代えて、後述するように光の反射を活用し、光学的に動画像の撮影位置と被験者の位置との奥行き方向の距離(図3のY軸方向の距離)を推定し、推定結果が歩行解析条件を満たすか判定してもよい。ステップS114での歩行解析条件は所定の撮影条件の1つであり、動画像の撮影位置と被験者の位置との距離が1~7mで撮影された動画像のフレームであることである。歩行解析条件を満たすと判定された場合はステップS116へ進み、歩行解析条件を満たさないと判定された場合はステップS115へ進む。
なお、工程(ステップS114)は、骨格点判定工程、人体寸法工程および距離推定工程に相当する。
工程(ステップS115)は、ステップS114で、歩行解析条件を満たさないと判定された場合に行う工程である。本工程では、ステップS114での判定結果として、動画像の撮影位置と被験者の位置との距離が1~7mで撮影された動画像のフレームではない旨の結果を登録し、ステップS116へ進む。
工程(ステップS116)は、被験者が4歩以上歩行する動画像があるか判定する工程である。歩行解析には、左右1歩行周期で計測を行うために、4歩以上連続で歩行した動画像を用いることが望ましく、例えば、左足踵が接地→右足踵が接地→左足踵が接地→右足踵が接地の歩行を含む動画像が必要であるため本判定を行う。本判定は必須の判定条件である。
本工程では、ステップS114で歩行解析条件を満たすと判定された動画像フレームに対し行う。したがって、ステップS114で歩行解析条件を満たすと判定されず、ステップS115でその旨の判定結果の登録がされた動画像フレームに対しては行わない。本工程では、ステップS111で抽出した左右足首の骨格点および重心から、左右踵が接地する位置を推定する。具体的には、重心位置が最も低いとき(図3のX方向の値が最も小さいとき)踵が接地しているときと推定でき、また、左足首の骨格点に対し重心位置が最も前方向に位置したとき(図3のY方向の値が最も大きいとき)左踵が接地したと推定でき、右足首の骨格点に対し重心位置が最も前方向に位置したときに右踵が接地したと推定できる。このようにして、踵が交互に各2回接地した動画像があるかを判定する。ステップS116での歩行解析条件は所定の歩行条件の1つであり、踵が交互に各2回接地した動画像があるか(4歩以上歩行した動画があるか)である。歩行解析条件を満たすと判定された場合はステップS118へ進み、歩行解析条件を満たさないと判定された場合はステップS117へ進む。
なお、工程(ステップS116)は、骨格点判定工程および歩数判定工程に相当する。
工程(ステップS117)は、ステップS116で、歩行解析条件を満たさないと判定された場合に行う工程である。本工程では、ステップS116での判定結果として、4歩以上歩行した動画がなかった旨の結果を登録し、ステップS118へ進む。
工程(ステップS118)は、ステップS114およびステップS116で各々歩行解析条件を満たすと判定された場合に行う工程である。本工程では、ステップS114およびステップS116で各々歩行解析条件を満たすと判定されたことにより、すなわち、動画像の撮影位置と被験者の位置との距離が1~7mで撮影された動画像のフレームで4歩以上歩行している場合に総合得点に1点を加点し、ステップS119へ進む。
ここで、総合得点について説明する。総合得点とは、歩行動画判定工程で行う各判定結果に基づき、判定した動画像が歩行解析条件をどの程度満たしているか、どの程度歩行解析に適した動画像であるかを数値化するために用いるものである。
工程(ステップS119)は、被験者が直線歩行する動画像があるか判定する工程である。一般的な歩行解析では、目的地に向かって直線的に自然歩行した際の動画像を解析するため、被験者が左右に蛇行して歩行するような動画像は歩行解析には適していない。そこで、被験者が一定の左右方向の範囲で歩行しているか判定を行う。本判定は必須の判定条件である。
本工程では、被験者の重心を判定し、当該重心が撮影装置に対し左右方向(図3のZ軸方向)の移動範囲が所定範囲であるかを判定する。本実施形態では、ステップS111で抽出した重心を被験者の重心として用いる。ステップS119での歩行解析条件は所定の歩行条件の1つであり、被験者の重心が撮影装置に対し左右方向の移動範囲が1メートル以内であることである。歩行解析条件を満たすと判定された場合はステップS121へ進み、歩行解析条件を満たさないと判定された場合はステップS120へ進む。
なお、工程(ステップS119)は、骨格点判定工程および重心判定工程に相当する。
工程(ステップS120)は、ステップS119で、歩行解析条件を満たさないと判定された場合に行う工程である。本工程では、ステップS119での判定結果として、被験者の重心が撮影装置に対し左右方向の移動範囲が1メートル以内の動画像ではない(直線歩行していない)旨の結果を登録し、ステップS122へ進む。
工程(ステップS121)は、ステップS119で歩行解析条件を満たすと判定された場合に行う工程である。本工程では、ステップS119で歩行解析条件を満たすと判定されたことにより、総合得点に1点を加点し、ステップS122へ進む。
工程(ステップS122)は、被験者が走っていない動画像があるか判定する工程である。歩行解析では、走行データを解析しないようにするため、被験者が走っている動画像は歩行解析には適していない。そこで、被験者が走っていない動画像があるか判定する。本判定は必須の判定条件である。
本工程での判定は、被験者が走っていることを示唆する歩行指標を判定することで行う。
被験者が走っていることを示唆する歩行指標について説明する。
被験者が走っていることを示唆する歩行指標としては、歩行速度、右足左足の接地時間、足位置の変化などがある。
歩行速度の場合、被験者の重心位置に基づき所定距離(例えば5m)移動した際に要した時間を計測し、速度を算出する。このときに用いる被験者の重心位置は、ステップS111で抽出した重心位置を用いればよい。
右足左足の接地時間の場合、右足踵と左足踵とのどちらも接地していない時間の有無によって判定する。右足踵と左足踵とのどちらも接地していない時間が有れば走っていると判定するようにする。右足踵および左足踵が接地しているか否かは、ステップS116の歩数判定工程と同様の方法で推定する。
足位置の変化の場合、ステップS111で抽出した左右足首の骨格点の上下(図3のX軸方向)の移動範囲が所定範囲以上の場合は、走っていると判定するようにする。
ステップS122での歩行解析条件は所定の歩行条件の1つであり、上記何れかの歩行指標に基づき、走っていないと判定されたフレームがあることである。歩行解析条件を満たすと判定された場合はステップS124へ進み、歩行解析条件を満たさないと判定された場合はステップS123へ進む。
なお、工程(ステップS122)は、骨格点判定工程および歩行判定工程に相当する。
工程(ステップS123)は、ステップS122で、歩行解析条件を満たさないと判定された場合に行う工程である。本工程では、ステップS122での判定結果として、動画像には被験者が走ってないと判定された動画像はない旨の結果を登録し、ステップS125へ進む。
工程(ステップS124)は、ステップS122で歩行解析条件を満たすと判定された場合に行う工程である。本工程では、ステップS122で歩行解析条件を満たすと判定されたことにより、総合得点に1点を加点し、ステップS125へ進む。
工程(ステップS125)は、動画像の被験者の顔の向きが上下左右方向に所定範囲内であるかを判定する工程である。被験者の顔の向きが上下左右方向に所定範囲を超えているような場合は、よそ見をして歩行している可能性が高く歩行解析に適した動画ではない。そこで、被験者が一定の上下左右方向の範囲内に顔を向けて歩行しているか判定を行う。本判定はあった方が好ましい判定条件である。
本工程では、ステップS111で抽出した頭頂(頭)、眉間、首、左右肩峰、および重心位置を用いて判定する。図4を用いて、本工程での判定方法について説明する。
頭頂、眉間、首、左右肩峰、および重心位置から、頭部座標系および身体座標系を作成する。頭部座標系は、頭頂と首を通るX軸(上下方向軸)・眉間を通りX軸と直交するY軸(前後方向軸)・X軸とY軸に直交するZ軸(左右方向軸)から成り立つ。身体座標系は、重心と左右肩峰の中点を通るX軸(上下方向軸)・左右肩峰を通る直線と平行なZ軸(左右方向軸)・X軸とZ軸に直交するY軸(前後方向軸)から成り立つ。身体座標系のZ軸およびY軸の高さ(X軸切片)は任意であるが、左右肩峰および重心を3頂点とする三角形の重心高さとすることができる。身体座標系に対して頭部座標系が上下左右に所定角度(例えば±30度)以内である場合に、被験者の顔の向きが上下左右方向に所定範囲内と判定する。より具体的には、頭部座標系のX軸と身体座標系のX軸との為す角が30度以下である場合に頭の倒れが小さいと判定する。また、頭部座標系のY軸と身体座標系のY軸との為す角が30度以下である場合に顔の左右の向き(よそ見)が小さいと判定する。Y軸に代えてZ軸を用い、頭部座標系のZ軸と身体座標系のZ軸との為す角が30度以下である場合に顔の左右の向き(よそ見)が小さいと判定してもよい。ステップS125での歩行解析条件は所定の歩行条件の1つであり、被験者の顔の上下および左右方向の移動範囲がそれぞれ±30度以内であることである。上記の例では頭の上下方向の許容角度と頭の左右方向の許容角度をどちらも±30度で共通としたが、本発明はこれに限られない。上下方向に頭を傾けて、すなわち足下を見ながら俯いて歩行することは、左右方向によそ見をしながら歩行することに比べて正常な歩容をとりやすいことから、頭の上下方向の許容角度を、頭の左右方向の許容角度よりも大きく設定してもよい。
動画像のうち被験者の顔の向きが僅かな時間(フレーム数)のみで±30度を超えた場合、歩行全体としては歩行解析に適した動画と判断することが好ましい。そこでステップS125の条件判定には顔の向きが上下または左右にぶれることを許容する「閾値割合」を予め設定しておくとよい。そして被験者の顔の上下方向または左右方向の少なくとも一方の向きが±30度を超えている時間またはフレーム数が、歩行全体の時間またはフレーム数に対してこの閾値割合以上となった場合に、当該歩行を不適すなわち歩行解析条件を満たさないと判定するとよい。この閾値割合は10%以上30%以下とすることが好ましい。そして所定条件を満たすと判定された場合はステップS127へ進み、歩行解析条件を満たさないと判定された場合はステップS126へ進む。
なお、工程(ステップS125)は、骨格点判定工程および顔判定工程に相当する。
工程(ステップS126)は、ステップS125で、歩行解析条件を満たさないと判定された場合に行う工程である。本工程では、ステップS125での判定結果として、被験者の顔の向きが上下左右方向に所定範囲内の動画像ではない旨の結果を登録し、ステップS128へ進む。
工程(ステップS127)は、ステップS125で歩行解析条件を満たすと判定された場合に行う工程である。本工程では、ステップS125で歩行解析条件を満たすと判定されたことにより、総合得点に1点を加点し、ステップS128へ進む。
工程(ステップS128)は、動画像の被験者の両手の位置が所定位置以下であるかを判定する工程である。自然な歩行状態では、両手首が所定位置(肘)より低い位置となるので、被験者の両手の位置が所定位置より高い場合、手に物を持っている可能性が高く歩行解析に適した動画ではない。そこで、被験者の両手が所定位置以下であるか判定を行う。本判定はあった方が好ましい判定条件である。
本工程では、被験者の両手を判定し、両手の位置が所定位置以下であるかを判定する。本実施形態では所定位置を両肘の位置とする。本実施形態では、ステップS111で抽出した被験者の両手首の骨格点の位置と両肘の骨格点の位置を比較し、両肘の骨格点の位置より両手首の骨格点の位置が低いか(図3のX軸の値が小さいか)を判定する。ステップS128での歩行解析条件は所定の歩行条件の1つであり、被験者の両手の位置が両肘の位置より低いことである。歩行解析条件を満たすと判定された場合はステップS130へ進み、歩行解析条件を満たさないと判定された場合はステップS129へ進む。
なお、工程(ステップS128)は、骨格点判定工程および両手判定工程に相当する。
工程(ステップS129)は、ステップS128で、歩行解析条件を満たさないと判定された場合に行う工程である。本工程では、ステップS128での判定結果として、被験者の両手位置が所定位置以下ではない動画像である旨の結果を登録し、本処理を終了する。
工程(ステップS130)は、ステップS128で歩行解析条件を満たすと判定された場合に行う工程である。本工程では、ステップS128で歩行解析条件を満たすと判定されたことにより、総合得点に1点を加点し、本処理を終了する。
次に、総合得点を用いた評価内容について説明する。
上述したように、ステップS114、ステップS116、ステップS119、ステップS122、ステップS125、およびステップS128の判定結果に応じて、総合得点に所定点の加点を行う。この総合得点によって、動画像が歩行解析に適した動画像であるか評価することができる。また、総合得点によって、当該動画像を用いた歩行解析結果の精度を評価することも可能である。本実施形態では、歩行解析条件に関わらず、歩行解析条件を満たしていれば所定点として1点加点するようにしたが、歩行解析条件によって加点する得点を異ならせても良い。例えば、必須の判定条件と、あった方が好ましい判定条件とで、加点する得点を異ならせてもよい。総合得点は紙媒体、電子媒体に関わらず、結果を出力することを可能とする。また、判定された動画像を用いた歩行解析処理を行った結果に総合得点を含めてもよい。このようにすることで、どのような動画像を用いた歩行解析処理結果であるかがわかるため、歩行解析処理の結果精度の参考にすることができる。
図5(a)、(b)に、判定結果および総合得点の出力例を示す。本実施形態では、乳幼児の歩行発達を解析するために用いる動画像が、歩行解析に適した動画像であるか判定した結果を移動端末が備える表示装置に出力した場合を示す。
図5(a)の横軸は、動画像を撮影した日付を示し、縦軸は、発達日数を示す。ここでの発達日数とは、歩行解析に適した動画像であるか否かの判定を行った動画像を用いて、所定の歩行解析を行うことにより算出した被験者(乳幼児)の歩行発達日数である。算出した歩行発達日数の精度は、歩行解析に用いた動画像の判定結果および総合得点が影響する。図5(a)では、総合得点に応じてプロットの色を変えることにより、歩行解析に用いた動画像がどのような判定結果の動画像であるかを把握することが可能である。例えば、総合得点が高い順に、緑色(図5(a)では白塗り)→黄色(図5(a)では小ドットの網掛け)→橙色(図5(a)では大ドットの網掛け)でプロットする。プロットの色は、総合得点が満点の場合に緑色とし、満点に対し例えば-1~-3点の場合は黄色、それ以下の場合は橙色とする。プロットの色および対応する得点は、評価内容を考慮し設定することが好ましい。
図5(b)は、所定の撮影日の動画像の判定条件毎の判定結果を示している。図5(b)は、例えば、撮影日を指定(クリックやタッチ)することにより、該当の判定結果が表示されてもよいし、撮影日に対応したプロットを指定(クリックやタッチ)することにより、該当の判定結果が表示されてもよい。判定条件毎の判定結果によって、判定条件(例えば、図5(b)の歩数)の並びに表示されるボックスの色を変える。図5(b)では、ステップS116で判定された歩数については歩行解析条件である4歩を満たしていたため、よい判定結果を示す緑色(図5(b)では白塗り)が表示され、ステップS119で判定された直線歩行については、斜め歩行であったため、悪い判定結果を示す橙色(図5(b)では大ドットによる網掛け)が表示されている。このように、どのような条件の判定により、総合得点が高得点であった/低得点であったかを把握することができ、その後の撮影時に反映することが可能となる。
このように、様々な所定条件で動画像を判定することで、歩行解析に適した動画像か否か評価することができる。また、歩行解析を行えない動画像については、歩行解析を行う前に解析対象外とすることができるため、処理効率の向上が可能となる。また、判定結果を視覚的に把握することが可能となる。さらに、動画像を用いた歩行解析結果に、当該動画像の判定結果を反映するため、どのような判定結果の動画像を用いた歩行解析結果であるか把握しやすくなる。
<情報処理端末>
次に、上述した動画像判定方法を実行する撮影装置を備えた情報処理端末(携帯端末)100について説明する。情報処理端末(携帯端末)100の概念図を図6に示す。
情報処理端末(携帯端末)100は、撮影装置(カメラ)110を備えていれば、一般的に携帯端末と称される携帯電話、タブレット端末、PDA、モバイルパーソナルコンピュータやウェアラブルデバイス、パーソナルコンピュータなどの何れでもよい。携帯端末100には、撮影手段である撮影装置110、判定手段である判定部120、記憶部130、および姿勢センサ140を備える。また、図示はしていないが、キーボード(タッチキーボードを含む)、ポインティングデバイスなどの入力装置、演算処理装置、表示装置などを備えている。
撮影装置110は、動画像を撮影する手段であり、携帯端末100が備えるカメラが相当する。
判定部120は、上述した動画像判定方法を実行する手段あり、演算処理装置に含まれる。
記憶部130は、撮影した動画像を記憶する手段である。また、判定部120による判定結果や評価結果(総合得点)なども記憶する手段であり、さらに、上述した動画像判定方法を実行するコンピュータプログラムも記憶する手段である。
姿勢センサ140は、携帯端末100の姿勢を計測するセンサで、携帯端末100が備える加速度センサ・角速度センサなどである。
携帯端末100には撮影装置110を備えているため、当該撮影装置110は、上述した動画像判定方法の動画取得工程に相当する。
携帯端末100には姿勢センサ140が設けられているため、撮影装置110の姿勢を判定することができる。図1のステップS110に、撮影装置の姿勢を判定する処理を含め、当該処理では、姿勢センサ140から姿勢データを取得し、演算処理装置は、取得した姿勢データに基づき、撮影時の撮影装置110の姿勢を判定し、所定範囲以内の姿勢であれば携帯端末100に備えられている表示装置にアドバイスを表示しない、または、「正常」を表示し、それ以外の姿勢となると「撮影装置110が傾いています」などのアドバイスを表示するようにしてもよい。本実施形態では、所定範囲としては、左右前後方向に±25度とする。このように構成することで、歩行解析に適した動画像を撮影できるようにでき、撮影(取得)した動画像を用いた歩行解析の精度を高めることができる。
携帯端末100では、撮影装置110で撮影した動画像を判定部120によって、上述した動画像判定方法により逐次、撮影(取得)した動画像の判定を行う。このとき、演算処理装置は、図2-1および図2-2に示したステップ114、ステップS116、ステップS119、ステップS122、ステップS125、およびステップS128の判定結果に基づき表示装置にアドバイスを表示してもよい。図7(a)、(b)に携帯端末100の表示装置の画面イメージを示す。例えば、ステップS128の判定で、被験者の両手位置が両肘位置より低いと判定されなかった場合、演算処理装置が表示手段に対し図7(a)に示すように「両手を下げていません」とアドバイスを表示するようにする。同様に、ステップS114の判定で撮影装置110と被験者の位置との距離が1~7mで撮影されていないと判定された場合は、演算処理装置が表示手段に対し図7(b)に示すように「カメラ距離1~7mではありません」とアドバイスを表示するようにする。このように構成することで、歩行解析に適した動画像を撮影できるようにでき、撮影(取得)した動画像を用いた歩行解析の精度を高めることができる。
<コンピュータプログラム>
携帯端末100には、取得処理および判定処理を携帯端末100に実行させるためのコンピュータプログラム(以下、本プログラム)がインストールされている。本実施形態ではコンピュータプログラムは、上述した動画像判定アプリケーションソフトである。
取得処理は、歩行する被験者の動画像を取得する処理である。所定の媒体から取得する、ネットワーク経由で取得する、撮影装置から取得するなど動画像の取得元は問わない。判定処理は、歩行条件または撮影条件が所定条件を満たすか否かを判定する処理である。本プログラムにより、図1、図2-1、図2-1のフローチャートに示された処理が実行される。
<変形例>
本実施形態では、機械学習により得られた骨格点学習モデルを用いて、取得した動画像から被験者の骨格点を抽出することで被験者を特定し、当該被験者の歩行解析を行うようにしたがこれに限らない。例えば、他の画像解析により被験者を特定し、被験者の動きを抽出し歩行解析を行ってもよい。この場合、判定する歩行解析条件に当該画像解析に適した条件を設定することで、同様の効果を得ることが可能となる。
本実施形態では、ステップS114の判定処理を行う際に、被験者の人体寸法データを取得し、当該データと被験者の重心位置に基づき撮影装置と被験者の位置との距離を推定し、判定したがこれに限らない。撮影位置にスケールや基準点を設け、スケールや基準点と共に撮影されるように歩行した動画像を取得するようにし、スケールや基準点も抽出することで、撮影装置と被験者の位置との距離を推定することが可能となる。例えば、所定の施設(保育園、高齢者施設)の利用者が撮影された動画像の動画像を判定するなど、撮影場所を固定できる場合には有効である。また、近赤外光や可視光、紫外線を使って被験者に光を照射し、その反射光を撮影装置に設けた光センサでとらえることで、被験者から撮影装置までの距離を測定するリモートセンシング技術を活用してもよい。光センサは撮影装置自体に設けるほか、撮影装置の近傍に設置してもよい。このように、光学的に動画像の撮影位置と被験者の位置との奥行き方向の距離(図3のY軸方向の距離)を推定し、推定結果が歩行解析条件を満たすか判定してもよい。
本実施形態では、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される歩行解析条件を満たすか否かを判定するようにした。これに加え、撮影装置の姿勢が所定の範囲内であるかを歩行解析条件に含めても良い。
例えば、携帯端末100に備えられた撮影装置を用いて動画像を撮影する場合、動画像に撮影時の携帯端末100の姿勢情報を付加して記憶し、判定工程で姿勢情報を取得し、当該姿勢情報が所定範囲内であれば歩行解析条件を満たし、当該姿勢情報が所定範囲内でなければ歩行解析条件を満たさないと判定するようにしてもよい。例えば、図2-2に示したステップS130の処理の後に、撮影装置の姿勢情報を取得する姿勢取得工程と判定工程として、取得した姿勢情報が左右前後方向に±25度以内であるか判定する処理を設ければよい。この処理での歩行解析条件は所定の撮影条件の1つであり、具体的には、撮影装置の姿勢情報が左右前後方向に±25度以内であるかである。そして、歩行解析条件を満たすと判定された場合は、総合得点に1点加点するようにすることが好ましい。このように構成することで、動画像が歩行解析に適しているかさらに評価を行うことが可能となる。
本実施形態では、携帯端末100は、撮影装置110の姿勢を判定し、判定結果に基づき、表示装置に「正常」、「撮影装置110が傾いています」などのアドバイスを表示するようにした。これに加えて、判定部120で動画像の撮影時の姿勢情報を取得し、当該姿勢情報が所定範囲内であれば歩行解析条件を満たし、当該姿勢情報が所定範囲内でなければ歩行解析条件を満たさない動画像であると判定するようにしてもよい。このように、携帯端末100の姿勢センサ140の姿勢情報に基づき、撮影時の撮影装置110の撮影姿勢に関するアドバイスを表示することに加え、撮影された動画像の評価も行うことが可能となる。
動画像取得工程で取得する動画像は、被験者が歩行すべき範囲や撮影装置の姿勢を撮影者にガイドする歩行路ガイド工程および撮影した動画像の被験者が特定できないように処理を行う被験者マスク工程を行った動画像データとしてもよい。図8に基づき、歩行路ガイド工程および被験者マスク工程について説明する。
工程(ステップS101)は、撮影準備状態か否かを判定する工程である。「撮影準備状態」とは、撮影装置110が撮影可能な状態であり、撮影画面に被写体が表示される状態のことである。撮影準備状態でなければステップS103へ移行し、撮影準備状態であればステップS102へ移行する。
工程(ステップS102)は、歩行路ガイド及び水平ガイド表示を行う工程である。
「歩行路ガイド」とは、歩行動画を撮影する撮影者が精度のよい歩行解析を行える動画像を撮影できているかを撮影時に確認するための表示の1つである。撮影画面に被験者が歩行開始位置として最適な位置を表示し、また、歩行方向として最適な位置を表示する。図9に歩行路ガイドの表示例を示す。図9(a)は撮影範囲に被験者がいないため、撮影画面には被験者が表示されていない。図9(a)の撮影画面に表示された歩行路ガイド500は、被験者が歩行開始位置として最適な位置を示している。歩行路ガイド500の表示位置は、撮影装置110との距離および歩行解析に必要な歩数(4歩以上)分の距離を考慮して設定されている。具体的には、撮影装置110から6から8メートル程度、好ましくは7メートル程度の位置に歩行路ガイド500を表示する。図9(a)の歩行路ガイド500は人の形を模した図としているが、表示態様はこれに限らず、例えば、歩行開始位置として最適な位置に足跡マークを表示するようにしてもよい。図9(a)の歩行路ガイド510は、被験者の歩行方向および歩行範囲として最適な位置を示している。歩行路ガイド510の表示位置は、撮影装置110の位置(向き)に基づき、撮影装置110に対して垂直となるように設定されている。また、被験者が撮影装置110へ向かって歩行する際に左右方向に蛇行しながら歩行すると精度のよい歩行解析を行える動画像を撮影することができない。そこで、歩行路ガイド510は被験者と撮影装置110との方向、被験者と撮影装置110との距離、および、左右方向の歩行範囲(歩行幅)を考慮して設定されている。具体的には、撮影装置110から6から8メートル程度、好ましくは7メートル程度の距離で、被験者が撮影装置110に向かって垂直方向で、歩行範囲は2メートル程度、好ましくは1メートル程度となるように歩行路ガイド510を表示する。図9(a)の歩行路ガイド510は点線としているが、表示態様はこれに限らず、例えば、ブロックを模した図やロープを模した図を表示するようにしてもよい。
「水平ガイド」とは、歩行路ガイドと同様に、歩行動画を撮影する撮影者が精度のよい歩行解析を行える動画像を撮影できているかを撮影時に確認するための表示の1つである。水平ガイドは、撮影装置110の姿勢に関する情報である。撮影装置110の姿勢は携帯端末100に設けられている姿勢センサ(例えば、ジャイロセンサ)を用いて重力方向に対する携帯端末100の姿勢を検出し、検出結果に基づき現在の撮影方向を示す記号である姿勢表示マーカ「●」を水平ガイド520に表示する。図9に水平ガイド520の表示例を示す。水平ガイド520は十文字の中心に姿勢表示マーカ「●」が重なっていると、撮影装置110の姿勢が撮影者の接地面に対し水平であることを示し、十文字の中心から姿勢表示マーカ「●」がずれていると、撮影装置110の姿勢が撮影者の接地面に対し水平でないことを示している。図9(a)は撮影範囲に被験者がいないため、撮影画面には被験者が表示されていない。図9(b)は撮影範囲に被験者がおり、歩行路ガイド500の表示位置と被験者が重なって撮影画面に表示されるように撮影装置110を移動させる、または、被験者に移動を促す。このとき、被験者の顔の高さ、好ましくは目の高さと撮影装置110のレンズの高さが同程度であると精度のよい歩行解析を行える動画像を撮影することができる。図9(c)は、撮影装置110のレンズの高さと被験者の顔の高さが同程度であり、撮影装置110の姿勢が撮影者の接地面に対し水平であるため、水平ガイド520は撮影装置110の姿勢が水平であることを示している。図9(d)は、歩行路ガイド500の表示位置に被験者はいるが、撮影装置110のレンズの高さが被験者の顔より高い位置にあるため、被験者を見下ろすような角度に撮影装置110が設けられている。そこで、図9(d)の水平ガイド520は十文字の中心から姿勢表示マーカ「●」がずれて表示されている。水平ガイド520を確認することで、撮影者は撮影装置110の姿勢が傾いているか把握でき、また、水平ガイド520を確認しながら撮影装置110を正しい姿勢に調整することが可能となる。なお、水平ガイド520は図9に示した表示態様に限らず、数値によるもの、撮影画面上にグリッド線を表示するものなど、どのような表示態様でもよい。なお、図9では、歩行路ガイド500、歩行路ガイド510および水平ガイド520を撮影画面上に表示したが、音声によるガイドでもよく、表示と音声を併用してもよい。
工程(ステップS103)は、撮影装置110が撮影中か否かを判定する工程である。ここでの「撮影中」とは、例えば、撮影ボタンが押下されていることを示す。撮影中でないと判定した場合は本処理を終了する。撮影中であると判定した場合は、ステップS104へ移行する。
工程(ステップS104)は、被写体である被験者が所定の撮影範囲に存在するか否かを判定する工程である。上述したように、本実施形態では上述したように機械学習モデルで被験者の骨格点を抽出して処理を行う。そこで、所定の撮影範囲は、機械学習モデルにより被験者の顔、好ましくは目を抽出するのに適した被験者と撮影装置110との距離(例えば8メートル以内か否か)を判定してもよいし、機械学習モデルにより被験者の顔、好ましくは目を抽出できた場合、所定範囲内であると判定してもよい。所定範囲内であると判定した場合はステップS105へ移行し、所定範囲内でないと判定した場合はステップS106へ移行する。
工程(ステップS105)は、ステップS104で被験者が所定の撮影範囲内に存在すると判定されたため、被験者が特定できないように被験者の目付近にモザイク処理を施す。モザイク処理を施す目付近は、機械学習モデルで被験者の骨格点を抽出し、抽出した骨格点から目の位置を推定し決定する。図10(b)に被験者の目付近にモザイク処理(図10(b)の550が相当)をすることで、歩行解析に用いた動画像によって被験者個人を特定することが困難となるため、安心して歩行解析を行うこと(歩行解析のために動画像を送付すること)が可能となる。なお、図10(b)では被験者の目付近にサングラスを模した画像を重ねて表示することにより、被験者個人の特定を困難としたが、他の画像やいわゆるモザイク(ぼかし)を入れる処理でもよい。被験者個人の特定を困難とするには、顔全体にモザイク処理を施すことが好ましいが、歩行解析を行う際に顔の骨格点を用いるため、歩行解析に必要な骨格点の抽出を行えてかつ被験者個人の特定を困難とする範囲にモザイク処理をすることとする。
工程(ステップS106)は、ステップS104で被験者が所定の撮影範囲内に存在しないと判定されたため、撮影範囲全体にモザイク処理を施すことにより被験者が特定できないように処理を行う。図10(a)に撮影範囲全体にモザイク処理(図10(a)の560が相当)を施した例を示す。ステップS106は、被験者が所定の範囲内に存在しないと判定されたときに移行される処理であり、被験者の顔、好ましくは目の位置を正確に特定できない可能性が高いため、撮影範囲全体にモザイク処理を施すことで被験者個人を特定することが困難となるようにする。なお、撮影範囲全体に所定画像、例えば、雨粒画像を重ね合わせるようにしてもよいし、いわゆるモザイク(ぼかし)を入れる処理を行うようにしてもよい。
工程(ステップS107)は、撮影装置110による撮影が終了したか否かを判定する工程である。「撮影終了」とは、例えば、撮影ボタンの押下が解除されたか否かによって判定する。撮影終了と判定した場合は、本処理を終了する。撮影終了と判定されない場合は、ステップS104へ移行する。
図9および図10を用いて、歩行路ガイド工程および被験者マスク工程が行われる場合の画面イメージを説明する。
図9(a)は、撮影装置110が撮影準備状態であるときの撮影画面のイメージ図である。撮影位置に被験者が存在するか否かに関わらず、歩行路ガイド500、歩行路ガイド510および水平ガイド520が表示される。撮影準備状態であるときに歩行路ガイド500、歩行路ガイド510および水平ガイド520が表示されると、撮影者は被験者の位置や撮影装置110を調整しやすくなる。
図9(b)は、撮影装置110が撮影準備状態であるときに被験者が撮影位置に存在する状態の撮影画面のイメージ図である。図9(b)に示すように、撮影者は被験者の位置や撮影装置110の姿勢を表示されている歩行路ガイド500、歩行路ガイド510および水平ガイド520に基づき調整を行うことが可能となる。
図9(c)は、被験者の位置および撮影装置110の姿勢を調整し、撮影中の撮影画面イメージ図である。撮影中であることを530は撮影中であるときに表示される。このとき、歩行路ガイド500を表示してもよいが、図9(c)に示すように、歩行路ガイド500は表示せず、歩行路ガイド510および水平ガイド520を表示するようにしてもよい。このように撮影中も歩行路ガイド510および水平ガイド520が表示されていることにより、撮影者は被験者の歩行の位置や撮影装置110の姿勢を調整しながら撮影可能となる。
図9(d)は、図9(b)の状態で、被験者の目の高さより高い位置に撮影装置110があることにより、水平ガイド520は撮影装置110の姿勢が水平でないことを示している。また、「カメラが傾いています」とアドバイス表示をしてもよい。このような表示がされた場合、撮影者は撮影装置110の姿勢が水平になるように調整するようにすればよい。
図9は歩行路ガイド工程が行われる際の画面イメージである。図10に歩行路ガイド工程に加えて被験者マスク工程が行われる場合の画面イメージを示す。
図10(a)は、撮影中であり、かつ、被験者が所定範囲内に存在しない場合の撮影画面のイメージ図である。図10(a)に示すように、被験者が所定範囲内に存在しないため、撮影画面全体にマスク処理を施している。
図10(b)は、撮影中であり、かつ、被験者が所定範囲内に存在する場合の撮影画面イメージである。図10(b)に示すように、被験者が所定範囲内に存在するため、被験者の目にマスク処理を施している。
図9および図10に示したように、本実施形態では撮影状態のときにマスク処理を施すようにしている。これは撮影準備状態ではマスク処理を行っていない方が撮影者が被験者の位置および撮影装置110の姿勢を調整しやすいためである。撮影画像にどのようなマスク処理が施されるのか撮影前に確認したい場合もあるため、撮影準備状態でもマスク処理を施してもよい。また、図9(c)に示すように、撮影状態では歩行路ガイド500は表示しないようにしたが、表示してもよい。撮影者が被験者の位置および撮影装置110の姿勢を調整しやすい表示態様となるように適宜決定すればよい。
図8のフローチャートは、撮影装置110で撮影が行われるときに、撮影した動画像に逐次マスク処理を行う場合について説明したが、既存の動画像に対しマスク処理を行ってもよい。この場合、既存の動画像を用いて歩行解析を行う際に、ステップS104~ステップS107の処理を実行し、マスク処理を行った動画像を記憶するようにすればよい。このようにすることで、歩行解析用に撮影した動画像以外のデータを用いて歩行解析する場合でも記憶・保存するデータでは被験者を特定することが困難であるため、安心して歩行解析を行うこと(歩行解析のために動画像を送付すること)が可能となる。
本実施形態では、被験者の情報は撮影された動画像のみ(動画像から取得・推定可能な情報のみ)であるが、撮影された動画像に加え、被験者情報、特に、歩行に関連する項目を入力できるようにしてもよい。歩行に関連する項目は、歩行解析結果を用いて解析する事項によって決定してもよい。例えば、乳幼児の歩行発達レベルを解析する場合は、日齢(月齢、年齢、または、生年月日)、性別、身長および足の大きさなどの人体寸法、体重、つかまり立ちした日(日齢)、靴の有無および種類、おむつの有無および種類などを入力するようにすればよい。また、高齢者の健康レベルを解析する場合には、年齢(生年月日)、性別、身長などの人体寸法、体重、足の既往歴、生活スタイル、血圧などを入力するようにすればよい。
上述した歩行動画判定工程に、所定の撮影条件として、撮影時の光量を判定する光量判定工程を含めてもよい。これは、撮影時の光量によって撮影された動画像を歩行解析する際の精度に影響があるためである。判定条件は、所定範囲の照度であれば総合得点に1点加点し、所定範囲の照度でなければその旨を判定結果として登録し、その後の工程に進むようにすればよい。光量は多すぎても(明るすぎても)少なすぎても(暗すぎても)歩行解析の際の精度に影響があるため、上限値および下限値を設けることが好ましい。また、撮影場所が外と室内では光の種類が異なるため、所定範囲を複数設定し、撮影場所に応じて判定に用いる所定範囲を決定するようにしてもよい。所定範囲は光の量を表す「ルーメン」または照らされている面の明るさを表す「ルクス」で設定すればよい。また、光量は撮影装置110が備えている露出計や露出計アプリケーションを用いて計測してもよいし、撮影装置110とは別に設けた露出計を用いて計測した値を用いて判定すればよい。
上述した歩行動画判定工程に、所定の撮影条件として、撮影時の撮影者の揺れ、手振れを判定する撮影装置揺れ判定工程を含めてもよい。これは、撮影時に撮影者が揺れた状態で撮影装置110を用いて撮影すると、撮影された動画像にぶれが生じ、ぶれの生じた動画像を歩行解析する際の精度に影響があるためである。判定条件は、撮影装置110に設けられているジャイロセンサ(角速度センサ)によって計測された値が所定範囲のもの(所定値以下のもの)であれば総合得点に1点加点し、所定範囲でなければその旨を判定結果として登録し、その後の工程に進むようにすればよい。
上記実施形態は、以下の技術思想を包含する。
<1>
歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能であることを判定するための歩行解析条件を満たすかを判定する動画像判定方法であって、
前記動画像を取得する動画取得工程と、
取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定工程と、を含むことを特徴とする動画像判定方法。
さらに、前記動画像は複数フレームで構成され、前記歩行動画判定工程は、前記動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行うことを特徴とする上記の動画像判定方法。
<2>
前記歩行動画判定工程は、骨格点抽出工程と、該骨格点抽出工程後に実行される骨格点判定工程を含み、
前記骨格点抽出工程は、機械学習により得られた骨格点学習モデルを用いて前記動画像から前記被験者の骨格点を抽出し、
前記骨格点判定工程は、
前記骨格点抽出工程によって抽出された前記骨格点を用いて前記歩行解析条件を満たすかを判定することを特徴とする<1>に記載の動画像判定方法。
<3>
前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定工程と、をさらに含み、
前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含むことを特徴とする<1>または<2>に記載の動画像判定方法。
<4>
前記被験者の歩数を判定する歩数判定工程をさらに含み、
前記所定の歩行条件は、前記判定した歩数が所定歩数以上であることを含むことを特徴とする<1>から<3>何れか1に記載の動画像判定方法。
<5>
前記被験者の重心を判定する重心判定工程をさらに含み、
前記所定の歩行条件は、前記判定した重心が左右方向に所定範囲内であることを含むことを特徴とする<1>から<4>何れか1に記載の動画像判定方法。
<6>
前記被験者が走っていることを示唆する歩行指標を判定する歩行判定工程をさらに含み、
前記所定の歩行条件は、走っていないと判定されたフレームがあることを含むことを特徴とする<1>から<5>何れか1に記載の動画像判定方法。
<7>
前記被験者の顔を判定する顔判定工程をさらに含み、
前記所定の歩行条件は、前記判定した前記顔の向きが左右方向に所定範囲内であることを含むことを特徴とする<1>から<6>何れか1に記載の動画像判定方法。
<8>
前記被験者の両手を判定する両手判定工程をさらに含み、
前記所定の歩行条件は、前記判定した前記両手が所定位置以下の高さであることを含むことを特徴とする<1>から<7>何れか1に記載の動画像判定方法。
<9>
前記動画像に複数の被験者が含まれる場合は、被験者単位に前記骨格点抽出を行うことを特徴とする<1>から<8>何れか1に記載の動画像判定方法。
<10>
前記骨格点抽出工程は、前記骨格点学習モデルを用いて前記動画像から前記被験者の骨格点を16箇所以上抽出することを特徴とする<2>から<9>何れか1に記載の動画像判定方法。
<11>
前記歩行動画判定工程は、前記被験者の骨格点を抽出できなかったフレームに対しては当該工程を終了することを特徴とする<2>から<10>何れか1に記載の動画像判定方法。
<12>
前記歩行動画判定工程は、前記骨格点抽出工程によって1被験者に対し所定数の骨格点を抽出できなかった場合および/または前記抽出した骨格点に基づき前記被験者の重心が算出されない場合は、当該工程を終了することを特徴とする<2>から<11>何れか1に記載の動画像判定方法。
<13>
前記所定の歩行条件は、前記骨格点抽出工程によって1被験者に対し所定数の骨格点の抽出および前記被験者の重心が算出されることを含む<2>から<12>何れか1に記載の動画像判定方法。
<14>
前記被験者の全身が撮影されているかを判定する全身判定工程をさらに含み、
前記全身判定工程は、前記骨格点抽出工程で抽出された前記被験者の骨格点同士が予め決められた位置関係にあるか判定し、
前記所定の撮影条件には、前記被験者の骨格点同士が予め決められた位置関係にあることを含む<2>から<13>何れか1に記載の動画像判定方法。
<15>
前記所定の撮影条件には、前記骨格点抽出工程で抽出された前記被験者の骨格点同士が予め決められた位置関係にあることであり、
前記歩行動画判定工程は、前記骨格点抽出工程で抽出された前記被験者の骨格点同士が予め決められた位置関係にない場合は、当該工程を終了することを含む<14>に記載の動画判定方法。
<16>
前記所定の撮影条件には、前記距離推定工程によって前記動画像の撮影位置と前記被験者の位置との距離が1~7mと推定された動画像があることを含むことを特徴とする<3>から<15>何れか1に記載の動画像判定方法。
<17>
前記歩行動画判定工程は、前記距離推定工程によって、前記動画像の撮影位置と前記被験者の位置との距離が所定範囲内ではないと推定された動画像に対応付けて当該推定結果を記憶することを特徴とする<3>から<16>何れか1に記載の動画像判定方法。
<18>
前記歩数判定工程は、前記骨格点抽出工程で抽出した左右足首の骨格点および重心から推定する左右踵が交互に各2回接地した動画像がある場合、前記所定歩数以上であると判定することを含む<4>から<17>何れか1に記載の動画像判定方法。
<19>
前記歩行動画判定工程は、前記歩数判定工程によって、前記判定した歩数が前記所定歩数以上でないと判定された動画像に対応付けて当該判定結果を記憶することを特徴とする<4>から<18>何れか1に記載の動画像判定方法。
<20>
前記歩行動画判定工程は、前記距離推定工程によって、前記動画像の撮影位置と前記被験者の位置との距離が所定範囲内であると推定されかつ前記歩数判定工程によって、前記判定した歩数が前記所定歩数以上であると判定されると推定および判定された動画像に対応付けて記憶される得点に加点することを特徴とする<4>から<19>何れか1に記載の動画像判定方法。
<21>
前記所定の歩行条件には、前記重心判定工程によって、前記骨格点抽出工程で抽出した被験者の重心が撮影装置に対し左右方向の移動範囲が1メートル以内であると判定されることを含む<5>から<20>何れか1に記載の動画像判定方法。
<22>
前記歩行動画判定工程は、前記重心判定工程によって、前記被験者の重心が撮影装置に対し左右方向の移動範囲が1メートル以内であると判定されない場合は動画像に対応付けて当該判定結果を記憶することを特徴とする<5>から<21>何れか1に記載の動画像判定方法。
<23>
前記歩行動画判定工程は、前記重心判定工程によって、前記被験者の重心が撮影装置に対し左右方向の移動範囲が1メートル以内であると判定された動画像に対応付けて記憶される得点に加点することを特徴とする<5>から<22>何れか1に記載の動画像判定方法。
<24>
前記歩行判定工程が判定する前記歩行指標は、歩行速度、右足左足の接地時間または足位置の変化の少なくとも何れかであり、
前記歩行速度の場合、前記骨格点抽出工程で抽出した骨格点を用いて算出した前記被験者の重心に基づき所定距離移動した際に要した時間を計測し、算出した速度が所定範囲以上の場合は、走っていると判定し、
前記右足左足の接地時間の場合、前記歩数判定工程で抽出した左右踵が接地する位置に基づき右足踵と左足踵とのどちらも接地していない時間が有れば走っていると判定し、
前記足位置の変化の場合、前記骨格点抽出工程で抽出した左右足首の骨格点の上下の移動範囲が所定範囲以上の場合は、走っていると判定することを特徴とする<6>から<23>何れか1に記載の動画像判定方法。
<25>
前記歩行動画判定工程は、前記歩行判定工程によって、走っている旨の判定がされた動画像データに対応付けて当該判定結果を記憶することを特徴とする<6>から<24>何れか1に記載の動画像判定方法。
<26>
前記歩行動画判定工程は、前記歩行判定工程によって、走っている旨の判定がされなかった動画像データに対応付けて記憶される得点に加点することを特徴とする<6>から<25>何れか1に記載の動画像判定方法。
<27>
前記所定の歩行条件には、前記顔判定工程によって、前記顔の向きの上下および左右方向の移動範囲が±30度以内であると判定されることを含む<7>から<26>何れか1に記載の動画像判定方法。
<28>
前記歩行動画判定工程は、前記顔判定工程によって、前記顔の向きの上下または左右方向の少なくとも一方の向きの移動範囲が±30度を超えている時間またはフレーム数、歩行全体の時間またはフレーム数に対して前記閾値割合以上となった場合に、前記所定の歩行条件を満たさないと判定し、前記閾値割合は10%以上30%以下であることを特徴とする<27>に記載の動画像判定方法。
<29>
前記歩行動画判定工程は、前記顔判定工程によって、前記顔の向きの上下および左右方向の移動範囲が±30度以内であると判定されなかった動画像に対応付けて当該判定結果を記憶することを特徴とする<7>から<28>何れか1に記載の動画像判定方法。
<30>
前記歩行動画判定工程は、前記顔判定工程によって、前記顔の向きの上下および左右方向の移動範囲が±30度以内であると判定された動画像に対応付けて記憶される得点に加点することを特徴とする<7>から<29>何れか1に記載の動画像判定方法。
<31>
前記所定の歩行条件には、前記両手判定工程によって、前記骨格点抽出工程で抽出した被験者の両手首の骨格点の位置と両肘の骨格点の位置を比較し、被験者の両手の位置が両肘の位置より低いと判定されることを含む<8>から<30>何れか1に記載の動画像判定方法。
<32>
前記歩行動画判定工程は、前記両手判定工程によって、前記被験者の両手の位置が両肘の位置より低いと判定されなかった動画像に対応付けて当該判定結果を記憶することを特徴とする<8>から<31>何れか1に記載の動画像判定方法。
<33>
前記歩行動画判定工程は、前記両手判定工程によって、前記被験者の両手の位置が両肘の位置より低いと判定された動画像に対応付けて記憶される得点に加点することを特徴とする<8>から<32>何れか1に記載の動画像判定方法。
<34>
前記撮影時の光量を判定する光量判定工程をさらに含み、
前記所定の撮影条件は、前記光量が所定範囲内であることを含むことを特徴とする<1>から<33>何れか1に記載の動画像判定方法。
<35>
前記歩行動画判定工程は、前記光量判定工程によって、前記光量が前記所定範囲内であると判定されなかった動画像に対応付けて当該判定結果を記憶することを特徴とする<34>に記載の動画像判定方法。
<36>
前記歩行動画判定工程は、前記光量判定工程によって、前記光量が前記所定範囲内であると判定された動画像に対応付けて記憶される得点に加点することを特徴とする<34>または<35>に記載の動画像判定方法。
<37>
前記撮影時の光量を判定する撮影装置揺れ判定工程をさらに含み、
前記所定の撮影条件は、前記撮影装置の揺れが所定範囲内であることを含むことを特徴とする<1>から<36>何れか1に記載の動画像判定方法。
<38>
前記歩行動画判定工程は、前記撮影装置揺れ判定工程によって、前記撮影装置の揺れが前記所定範囲内であると判定されなかった動画像に対応付けて当該判定結果を記憶することを特徴とする<37>に記載の動画像判定方法。
<39>
前記歩行動画判定工程は、前記撮影装置揺れ判定工程によって、前記撮影装置の揺れが前記所定範囲内であると判定された動画像に対応付けて記憶される得点に加点することを特徴とする<37>または<38>に記載の動画像判定方法。
<40>
前記歩行動画判定工程は、前記重心判定工程、前記歩行判定工程、前記顔判定工程、前記両手判定工程、前記光量判定工程および前記撮影装置揺れ判定工程の判定結果によって加点された得点によって、前記動画像が歩行解析に適した動画像であるかを評価する、または、前記動画像を用いた前記歩行解析結果の精度を評価することを特徴とする<23>、<26>、<30>、<33>、<36>および<39>いずれか1に記載の動画像判定方法。
<41>
前記被験者の人体の一部または全部の部位に関する寸法データを取得する人体寸法取得工程と、
前記動画像の前記被験者の画像における、前記部位の長さおよび前記被験者までの奥行き距離と、前記人体寸法データと、に基づき、前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定工程と、をさらに含むこと特徴とする<3>から<40>何れか1に記載の動画像判定方法。
<42>
歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能であることを判定するための歩行解析条件を満たすかを判定する動画像判定プログラムであって、
前記動画像を取得する動画取得処理と、
取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定処理と、を含み、
前記動画像は複数フレームで構成され、
前記歩行動画判定処理は、前記動画取得処理によって全フレームを取得した後、または、取得したフレーム毎に判定を行うことを特徴とする動画像判定プログラム。
<43>
歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能であることを判定するための歩行解析条件を満たすかを判定する動画像判定装置であって、
前記動画像を取得する動画取得手段と、
取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定手段と、を含み、
前記動画像は複数フレームで構成され、
前記歩行動画判定手段は、前記動画取得手段によって全フレームを取得した後、または、取得したフレーム毎に判定を行うことを特徴とする動画像判定装置。
<44>
前記動画像判定装置は、携帯端末であって、撮影手段、姿勢センサおよび表示手段をさらに備え、
前記歩行動画判定手段は、前記撮影手段の撮影時の姿勢を前記姿勢センサの検出結果に基づき左右前後方向に±25度以内であるか判定し、前記判定結果が前記左右前後方向に±25度以内であれば前記表示手段に正常である旨の情報を前記表示手段に表示制御し、または、前記判定結果に伴う情報を前記表示手段に表示制御しない一方、前記判定結果が前記左右前後方向に±25度以内でなければその旨の情報を前記表示手段に表示制御することを特徴とする<43>に記載の動画像判定装置。
<45>
前記動画像判定装置は、表示手段をさらに備え、
前記歩行動画判定手段は、前記動画取得手段によって取得したフレーム毎に判定を行う場合、各判定結果に応じて撮影者に撮影に関するアドバイスを前記表示手段に表示制御することを特徴とする<43>または<44>に記載の動画像判定装置。
<46>
前記動画像判定装置は、<42>に記載の動画像判定プログラムを記憶していることを特徴とする<43>から<45>何れか1に記載の動画像判定装置。
<47>
前記被験者が歩行すべき範囲および前記動画像を撮影する撮影装置の姿勢を撮影者にガイドする歩行路ガイド工程をさらに含むことを特徴とする<1>から<41>何れか1に記載の動画像判定方法。
<48>
前記被験者が特定できないように前記動画像にマスク処理を行う被験者マスク工程をさらに含むことを特徴とする<1>から<41>、<47>何れか1に記載の動画像判定方法。
100 情報処理端末(携帯端末)
110 撮影装置
120 判定部
130 記憶部
140 姿勢センサ
500 歩行路ガイド
510 歩行路ガイド
520 水平ガイド
530 撮影中の表示
550 目付近のモザイク態様
560 全体のモザイク態様

Claims (11)

  1. 歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能な動画像であることを判定するための歩行解析条件を満たすかを判定する動画像判定方法であって、
    前記動画像を取得する動画取得工程と、
    取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定工程と、
    前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定工程と、
    前記被験者の歩数を判定する歩数判定工程と、を含み、
    前記動画像は複数フレームで構成され、
    前記歩行動画判定工程は、前記動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行い、
    前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含み、
    前記所定の歩行条件は、前記判定した歩数が所定歩数以上であることを含むことを特徴とする動画像判定方法。
  2. 歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能な動画像であることを判定するための歩行解析条件を満たすかを判定する動画像判定方法であって、
    前記動画像を取得する動画取得工程と、
    取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定工程と、
    前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定工程と、
    前記被験者の重心を判定する重心判定工程と、を含み、
    前記動画像は複数フレームで構成され、
    前記歩行動画判定工程は、前記動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行い、
    前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含み、
    前記所定の歩行条件は、前記判定した重心が左右方向に所定範囲内であることを含むことを特徴とする動画像判定方法。
  3. 歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能な動画像であることを判定するための歩行解析条件を満たすかを判定する動画像判定方法であって、
    前記動画像を取得する動画取得工程と、
    取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定工程と、
    前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定工程と、
    前記被験者が走っていることを示唆する歩行指標を判定する歩行判定工程と、を含み、
    前記動画像は複数フレームで構成され、
    前記歩行動画判定工程は、前記動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行い、
    前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含み、
    前記所定の歩行条件は、走っていないと判定されたフレームがあることを含むことを特徴とする動画像判定方法。
  4. 歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能な動画像であることを判定するための歩行解析条件を満たすかを判定する動画像判定方法であって、
    前記動画像を取得する動画取得工程と、
    取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定工程と、
    前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定工程と、
    前記被験者の顔を判定する顔判定工程と、を含み、
    前記動画像は複数フレームで構成され、
    前記歩行動画判定工程は、前記動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行い、
    前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含み、
    前記所定の歩行条件は、前記判定した前記顔の向きが左右方向に所定範囲内であることを含むことを特徴とする動画像判定方法。
  5. 歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能な動画像であることを判定するための歩行解析条件を満たすかを判定する動画像判定方法であって、
    前記動画像を取得する動画取得工程と、
    取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定工程と、
    前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定工程と、
    前記被験者の両手を判定する両手判定工程と、を含み、
    前記動画像は複数フレームで構成され、
    前記歩行動画判定工程は、前記動画取得工程によって全フレームを取得した後、または、取得したフレーム毎に判定を行い、
    前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含み、
    前記所定の歩行条件は、前記判定した前記両手が所定位置以下の高さであること含むことを特徴とする動画像判定方法。
  6. 前記歩行動画判定工程は、
    前記動画像に対応付けて判定結果に基づく得点を記憶させ、
    前記歩行解析条件を満たさないと判定されたフレームに対しては、当該歩行動画判定工程を終了する、または当該フレームに対しては前記得点に判定結果に基づく得点を加算しない、のいずれかを行うことを特徴とする請求項1から5何れか一項に記載の動画像判定方法。
  7. 前記歩行動画判定工程は、骨格点抽出工程と、該骨格点抽出工程後に実行される骨格点判定工程を含み、
    前記骨格点抽出工程は、機械学習により得られた骨格点学習モデルを用いて前記動画像から前記被験者の骨格点を抽出し、
    前記骨格点判定工程は、
    前記骨格点抽出工程によって抽出された前記骨格点を用いて前記歩行解析条件を満たすかを判定し、
    前記歩行動画判定工程は、
    前記骨格点判定工程によって前記歩行解析条件を満たさないと判定された場合は、当該歩行動画判定工程を終了することを特徴とする請求項1から5何れか一項に記載の動画像判定方法。
  8. 前記歩行動画判定工程は、骨格点抽出工程と、該骨格点抽出工程後に実行される骨格点判定工程と、全身判定工程とを含み、
    前記骨格点抽出工程は、機械学習により得られた骨格点学習モデルを用いて前記動画像から前記被験者の骨格点を抽出し、
    前記全身判定工程は、前記骨格点抽出工程で抽出された前記被験者の骨格点同士が予め決められた位置関係にあるかを判定し、
    前記歩行動画判定工程は、前記全身判定工程の判定結果に基づき前記歩行解析条件を満たすかを判定する請求項1から5何れか一項に記載の動画像判定方法。
  9. 歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能な動画像であることを判定するための歩行解析条件を満たすかを判定する動画像判定プログラムであって、
    前記動画像を取得する動画取得処理と、
    取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定処理と、
    前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定処理と、
    前記被験者の歩数を判定する歩数判定処理と、を含み、
    前記動画像は複数フレームで構成され、
    前記歩行動画判定処理は、前記動画取得処理によって全フレームを取得した後、または、取得したフレーム毎に判定を行い、
    前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含み、
    前記所定の歩行条件は、前記判定した歩数が所定歩数以上であることを含むことを特徴とする動画像判定プログラム。
  10. 歩行する被験者が撮影された動画像が、所定の歩行条件または所定の撮影条件の少なくとも一つから構成される、歩行解析が可能な動画像であることを判定するための歩行解析条件を満たすかを判定する動画像判定装置であって、
    前記動画像を取得する動画取得手段と、
    取得した前記動画像が前記歩行解析条件を満たすかを判定する歩行動画判定手段と、
    前記動画像の撮影位置と前記被験者の位置との距離を推定する距離推定手段と、
    前記被験者の歩数を判定する歩数判定手段と、を含み、
    前記動画像は複数フレームで構成され、
    前記歩行動画判定手段は、前記動画取得手段によって全フレームを取得した後、または、取得したフレーム毎に判定を行い、
    前記所定の撮影条件には、前記推定した前記距離が所定範囲内であるフレームがあることを含み、
    前記所定の歩行条件は、前記判定した歩数が所定歩数以上であることを含むことを特徴とする動画像判定装置。
  11. 前記動画像判定装置は、表示手段をさらに備え、
    前記歩行動画判定手段は、前記動画取得手段によって取得したフレーム毎に判定を行う場合、各判定結果に応じて撮影者に撮影に関するアドバイスを前記表示手段に表示制御することを特徴とする請求項10に記載の動画像判定装置。
JP2022124096A 2021-08-16 2022-08-03 動画像判定方法 Active JP7353438B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280055915.5A CN117813047A (zh) 2021-08-16 2022-08-09 动态图像判定方法
PCT/JP2022/030425 WO2023022072A1 (ja) 2021-08-16 2022-08-09 動画像判定方法
TW111130558A TW202318336A (zh) 2021-08-16 2022-08-15 動態影像判定方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021132296 2021-08-16
JP2021132296 2021-08-16

Publications (3)

Publication Number Publication Date
JP2023027012A JP2023027012A (ja) 2023-03-01
JP2023027012A5 JP2023027012A5 (ja) 2023-05-24
JP7353438B2 true JP7353438B2 (ja) 2023-09-29

Family

ID=85327113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022124096A Active JP7353438B2 (ja) 2021-08-16 2022-08-03 動画像判定方法

Country Status (1)

Country Link
JP (1) JP7353438B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068965A (ja) 2010-09-24 2012-04-05 Denso Corp 画像認識装置
JP2013218476A (ja) 2012-04-06 2013-10-24 Denso Corp 画像認識装置
WO2020170299A1 (ja) 2019-02-18 2020-08-27 三菱電機株式会社 疲労判定装置、疲労判定方法、および疲労判定プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068965A (ja) 2010-09-24 2012-04-05 Denso Corp 画像認識装置
JP2013218476A (ja) 2012-04-06 2013-10-24 Denso Corp 画像認識装置
WO2020170299A1 (ja) 2019-02-18 2020-08-27 三菱電機株式会社 疲労判定装置、疲労判定方法、および疲労判定プログラム

Also Published As

Publication number Publication date
JP2023027012A (ja) 2023-03-01

Similar Documents

Publication Publication Date Title
US12013979B2 (en) Lightweight and low power cross reality device with high temporal resolution
JP6074494B2 (ja) 形状認識装置、形状認識プログラム、および形状認識方法
US8718748B2 (en) System and methods for monitoring and assessing mobility
US8690326B2 (en) Method and systems for measuring interpupillary distance
US20220051441A1 (en) Multi-camera cross reality device
JP7057959B2 (ja) 動作解析装置
US11889209B2 (en) Lightweight cross reality device with passive depth extraction
EP2898819A1 (en) System for measuring the interpupillary distance using a device equipped with a screen and a camera
JP6369811B2 (ja) 歩行解析システムおよび歩行解析プログラム
WO2021052208A1 (zh) 用于运动障碍病症分析的辅助拍摄设备、控制方法和装置
US10620454B2 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images
JP7168953B2 (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
EP3973697A1 (en) Modification of projected structured light based on identified points within captured image
JP7353438B2 (ja) 動画像判定方法
CN115862124B (zh) 视线估计方法、装置、可读存储介质及电子设备
WO2023022072A1 (ja) 動画像判定方法
CN117813047A (zh) 动态图像判定方法
US20240242441A1 (en) Fit prediction based on detection of metric features in image data
DARABANT et al. OPTIMEASURE: A MOBILE IMPROVEMENT ALTERNATIVE TO CLASSIC OPTICAL MEASUREMENTS.
TWM624462U (zh) 人工智慧健身裝置
CN115153517A (zh) 计时起立行走测试的测试方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230516

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230516

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230919

R151 Written notification of patent or utility model registration

Ref document number: 7353438

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151