JP7494692B2

JP7494692B2 - 深度推定方法

Info

Publication number: JP7494692B2
Application number: JP2020169785A
Authority: JP
Inventors: 卓磨中村; 一誠中島; 大河松本
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-10-07
Filing date: 2020-10-07
Publication date: 2024-06-04
Anticipated expiration: 2040-10-07
Also published as: JP2022061691A

Description

本開示は、深度推定方法に関し、例えば、対象者の上肢又は下肢の第１の関節に隣接する第２の関節の深度を推定する方法に関する。

特許文献１には、対象者の足の座標を取得できない場合、対象者の体幹の傾きと、対象者の脚における膝から下の部分の傾きと、に基づいて、対象者の足の座標を推定する技術が開示されている。

特開２０１９－２１５６２５号公報

本出願人は、以下の課題を見出した。対象者の体幹の傾きにおいて当該対象者の状態によって複数の足の座標を推定することができ、特許文献１の技術は、対象者の足の座標を精度良く推定することが難しく、例えば、対象者の関節の深度を精度良く推定することが難しい場合があった。

本開示は、このような問題点に鑑みてなされたものであり、対象者の関節の深度を精度良く推定可能な深度推定方法を実現する。

本開示の一態様に係る深度推定方法は、対象者の上肢又は下肢の第１の関節に隣接する第２の関節の深度を推定する方法であって、
前記対象者の２次元画像を取得する工程と、
前記対象者の深度画像を取得する工程と、
前記２次元画像に基づいて、前記２次元画像内での前記第１の関節及び前記第２の関節の２次元座標を取得する工程と、
前記第１の関節の２次元座標と前記第２の関節の２次元座標とに基づいて、前記２次元画像内での前記第１の関節と前記第２の関節との間の予め設定された箇所の２次元座標を取得する工程と、
前記深度画像と前記第１の関節の２次元座標とに基づいて、前記第１の関節の深度を取得する工程と、
前記深度画像と前記予め設定された箇所の２次元座標とに基づいて、前記予め設定された箇所の深度を取得する工程と、
前記第１の関節と前記第２の関節と前記予め設定された箇所との前記２次元座標での位置関係と、前記第１の関節の深度と、前記予め設定された箇所の深度と、に基づいて、前記第２の関節の深度を推定する工程と、
を備える。

本開示によれば、対象者の関節の深度を精度良く推定可能な深度推定方法を実現できる。

実施の形態１の深度推定方法によって対象者の足首関節の深度を推定する様子を示す図である。対象者の膝関節、足首関節及び予め設定された箇所の位置を説明するための側面図である。対象者の膝関節、足首関節及び予め設定された箇所の位置を説明するための正面図である。予め設定された箇所の深度を算出するための深度画像の画素を示す図である。実施の形態３の深度推定方法を説明するための図である。

以下、本開示を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。但し、本開示が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。

＜実施の形態１＞
図１は、本実施の形態の深度推定方法によって対象者の足首関節の深度を推定する様子を示す図である。本実施の形態の深度推定方法は、例えば、図１に示すように、歩行補助装置１を脚に装着した対象者Ｕが歩行訓練装置２のトレッドミル２１上を歩行訓練する際に、対象者Ｕの足首関節の深度を推定する。つまり、対象者Ｕは、歩行補助装置１及び歩行訓練装置２を備える歩行訓練システムを用いて歩行訓練を行うユーザである。

先ず、本実施の形態の深度推定方法が実現される深度推定システムの構成を説明する。深度推定システムは、例えば、第１のカメラ３、第２のカメラ４及び処理装置５を備えている。第１のカメラ３は、図１に示すように、歩行訓練装置２のトレッドミル２１上で歩行訓練する対象者Ｕの２次元画像を撮像可能に当該歩行訓練装置２に固定されており、対象者Ｕの２次元画像を示す情報を処理装置５に出力する。

第１のカメラ３は、例えば、歩行訓練装置２の後側に向かって当該歩行訓練装置２の前側に配置されており、対象者Ｕを当該対象者Ｕの前方から撮像するとよい。そして、第１のカメラ３は、例えば、一般的なＲＧＢカメラで構成することができる。但し、第１のカメラ３は、対象者Ｕの２次元画像を撮像できればよく、第１のカメラ３の構成及び配置は限定されない。

第２のカメラ４は、図１に示すように、歩行訓練装置２のトレッドミル２１上で歩行訓練する対象者Ｕの深度画像を撮像可能に当該歩行訓練装置２に固定されており、対象者Ｕの深度画像を示す情報を処理装置５に出力する。

第２のカメラ４は、例えば、歩行訓練装置２の後側に向かって当該歩行訓練装置２の前側に配置されており、対象者Ｕを当該対象者Ｕの前方から撮像するとよい。そして、第２のカメラ４は、例えば、一般的な赤外線カメラで構成することができる。但し、第２のカメラ４は、対象者Ｕの深度画像を撮像できればよく、第２のカメラ４の構成及び配置は限定されない。

処理装置５は、例えば、コンピュータである。処理装置５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）など備えており、２次元画像内での２次元座標と深度画像内での２次元座標とを対応させて、以下の深度推定方法を実現するプログラムを実行する。処理装置５は、歩行補助装置１や歩行訓練装置２を制御するための処理装置で構成することができる。

次に、本実施の形態の深度推定方法の流れを説明する。ここで、図２は、対象者の膝関節、足首関節及び予め設定された箇所の位置を説明するための側面図である。図３は、対象者の膝関節、足首関節及び予め設定された箇所の位置を説明するための正面図である。

先ず、処理装置５は、例えば、図示を省略した入力装置を介して介護者が入力した、深度を推定する関節を示す情報を取得する。以下の説明では、処理装置５は、深度を推定する関節が左脚の足首関節であることを示す情報を取得したものとする。

次に、処理装置５は、第１のカメラ３を介して対象者Ｕの２次元画像を示す情報を取得し、当該情報が示す２次元画像に基づいて、２次元画像内での左脚の膝関節Ｋ及び足首関節Ａの２次元座標を算出する。

このとき、例えば、処理装置５は、２次元画像内の予め設定された位置（例えば、左上）を原点Ｏとする、左脚の膝関節Ｋの２次元座標Ｋ_{（Ｘ，Ｙ）}、及び左脚の足首関節Ａの２次元座標Ａ_{（Ｘ，Ｙ）}を算出する。

次に、処理装置５は、２次元画像内での左脚の膝関節Ｋと足首関節Ａとの間の予め設定された箇所Ｍの２次元座標Ｍ_{（Ｘ，Ｙ）}を算出する。例えば、予め設定された箇所Ｍとして、左脚の膝関節Ｋの２次元座標Ｋ_{（Ｘ，Ｙ）}と、足首関節Ａの２次元座標Ａ_{（Ｘ，Ｙ）}と、の中間座標を算出する。

つまり、中間座標Ｍ_{（Ｘ，Ｙ）}は、以下の＜数１＞で算出することができる。
＜数１＞Ｍ_{（Ｘ，Ｙ）}＝（Ｋ_{（Ｘ，Ｙ）}＋Ａ_{（Ｘ，Ｙ）}）／２

次に、処理装置５は、第２のカメラ４を介して対象者Ｕが映し出された深度画像を示す情報を取得し、当該情報が示す深度画像及び膝関節Ｋの２次元座標Ｋ_{（Ｘ，Ｙ）}に基づいて、深度画像内での膝関節Ｋの深度Ｋ_（Ｄ）を算出する。また、処理装置５は、深度画像及び中間座標Ｍ_{（Ｘ，Ｙ）}に基づいて、深度画像内での予め設定された箇所Ｍの深度Ｍ_（Ｄ）を算出する。

ここで、例えば、第２のカメラ４を赤外線カメラで構成した場合、対象者Ｕが履いている靴などの色や材質によって赤外線光が乱反射し、対象者Ｕの足首関節Ａの深度を精度良く検出できない場合がある。

そこで、処理装置５は、予め設定された箇所Ｍの深度Ｍ_（Ｄ）から膝関節Ｋの深度Ｋ_（Ｄ）を差し引いた値を当該予め設定された箇所Ｍの深度Ｍ_（Ｄ）に加えて、左脚の足首関節Ａの深度Ａ_（Ｄ）を推定する。言い換えると、予め設定された箇所Ｍの深度Ｍ_（Ｄ）から膝関節Ｋの深度Ｋ_（Ｄ）を差し引いた値を２倍して当該膝関節Ｋの深度Ｋ_（Ｄ）に加えて、左脚の足首関節Ａの深度Ａ_（Ｄ）を推定する。

このように本実施の形態の座標推定方法は、第１のカメラ３で撮像した対象者Ｕの２次元画像及び第２のカメラ４で撮像した対象者Ｕの深度画像を用いて精度良く取得可能な、対象者Ｕの膝関節Ｋの２次元座標Ｋ_{（Ｘ，Ｙ）}、対象者Ｕの足首関節Ａの２次元座標Ａ_{（Ｘ，Ｙ）}、対象者Ｕの膝関節Ｋと足首関節Ａとの間の予め設定された箇所Ｍの２次元座標Ｍ_{（Ｘ，Ｙ）}、及び対象者Ｕの膝関節Ｋの深度Ｋ_（Ｄ）、予め設定された箇所Ｍの深度Ｍ_（Ｄ）を用いて、対象者Ｕの足首関節Ａの深度Ａ_（Ｄ）を推定する。

そのため、対象者Ｕの足首関節Ａの深度Ａ_（Ｄ）を精度良く推定することができる。しかも、簡単な計算によって、対象者Ｕの足首関節Ａの深度Ａ_（Ｄ）を推定することができる。なお、本実施の形態では、予め設定された箇所Ｍの２次元座標として、左脚の膝関節Ｋの２次元座標Ｋ_{（Ｘ，Ｙ）}と、足首関節の２次元座標Ａ_{（Ｘ，Ｙ）}と、の中間座標を算出しているが、左脚の膝関節Ｋと足首関節Ａとの間の２次元座標であればよい。

＜実施の形態２＞
図４は、予め設定された箇所の深度を算出するための深度画像の画素を示す図である。予め設定された箇所Ｍの深度Ｍ_（Ｄ）を算出する場合、深度画像内での予め設定された箇所Ｍでの１個の画素Ｐｘで示される深度（Depth値）だけではなく、図４に示すように周辺の画素Ｐｘで示される深度の平均値を算出することで、深度の測定誤差を抑制することができる。このとき、深度が測定できなかった画素（例えば、深度が０の画素Ｐｘ）を排除して平均値を算出するとよい。

＜実施の形態３＞
図５は、本実施の形態の深度推定方法を説明するための図である。図５に示すように、対象者Ｕの膝関節Ｋと足首関節Ａとの間の複数の箇所Ｐの２次元座標及び深度を用いて最小二乗法により直線Ｌ１を引き、直線Ｌ１上での足首関節Ａの深度を算出することで、対象者Ｕの足首関節Ａの深度Ａ_（Ｄ）を精度良く推定することができる。

本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、上記実施の形態では、歩行訓練装置２のトレッドミル２１上を歩行訓練する対象者Ｕの関節の深度を推定しているが、対象者Ｕの状況は限定されない。
例えば、上記実施の形態では、脚（下肢）の関節の深度を推定しているが、腕（上肢）の関節の深度を推定する場合も同様に実施することができる。つまり、上肢や下肢の第１の関節に隣接する第２の関節の深度を推定する場合、上記実施の形態と略同様に実施することができる。このとき、予め設定された箇所は、必ずしも第１の関節と第２の関節とを結んだ直線上の位置に設定する必要はなく、第１の関節及び第２の関節との位置関係が導き出せる位置に設定すればよい。

１歩行補助装置
２歩行訓練装置
３第１のカメラ
４第２のカメラ
５処理装置
２１トレッドミル
Ａ対象者の足首関節
Ｋ対象者の膝関節
Ｍ予め設定された箇所
Ｐ予め設定された箇所
Ｐｘ画素
Ｕ対象者

Claims

歩行訓練装置のトレッドミル上を歩行訓練する対象者の足首関節の深度を推定する方法であって、
前記歩行訓練装置の後側に向かって当該歩行訓練装置の前側に配置された第１のカメラを用いて、前記対象者の２次元画像を取得する工程と、
前記歩行訓練装置の後側に向かって当該歩行訓練装置の前側に配置された第２のカメラを用いて、前記対象者の深度画像を取得する工程と、
前記２次元画像に基づいて、前記２次元画像内での前記対象者の膝関節及び足首関節の２次元座標を取得する工程と、
前記膝関節の２次元座標と前記足首関節の２次元座標とに基づいて、前記２次元画像内での前記膝関節と前記足首関節との中間箇所の２次元座標を取得する工程と、
前記深度画像と前記膝関節の２次元座標とに基づいて、前記膝関節の深度を取得する工程と、
前記深度画像と前記中間箇所の２次元座標とに基づいて、前記中間箇所の深度を取得する工程と、
前記膝関節と前記足首関節と前記中間箇所との前記２次元座標での位置関係と、前記膝関節の深度と、前記中間箇所の深度と、の関係に基づいて、前記中間箇所の深度から前記膝関節の深度を差し引いた値を２倍にして当該膝関節の深度に加えて、前記足首関節の深度を推定する工程と、
を備える、深度推定方法。