JP7375456B2 - 爪先位置推定装置および指先位置推定装置 - Google Patents

Description

本発明は、車両の座席に着座した人物の爪先位置を推定する爪先位置推定装置および車両の座席に着座した人物の手の指先位置を推定する指先位置推定装置に関する。

爪先位置推定装置および指先位置推定装置に関連する技術として特許文献１には、３次元距離センサとして構成される撮像装置で撮影された距離画像から、手領域を近似する線分を抽出し、この線分を用いて候補領域内の手の位置を特定する点が記載されている。

また、特許文献２には、カメラで撮影された三次元画像データを用い、視点位置や撮影者の体格の違いに対して、撮影者の骨格姿勢を推定する点が記載されている。

この特許文献２では、ヘッドマウントディスプレイによるカメラを用いて生活行動支援や現場作業支援を行う際等において、ユーザの状況や行動をデバイスで認識するために用いられる。

また、特許文献３には、複数のカメラを搭載した撮像装置により検知空間の人体を撮影し、ステレオ画像処理により撮影画像から人体の距離分布を計測し、人体全体の三次元座標を算出し、人体の端点を出力する点が記載されている。

この特許文献３では、人体にマーカ等の接触型のセンサを取り付けることなく、人体部位を検出できるものである。

特開２０１８－１１６３９７号公報 特開２０１６－１６２４２５号公報 特開２００２－３５２２３１号公報

例えば、乗用車では運転座席以外の座席に着座した人物は、車体の前方に向かう姿勢を維持する必要はなく、任意の姿勢を取ることも可能である。

特に、ワンボックス型の車両のように、運転座席以外の座席にスイベル型の座席を備えたものでは、スイベル型の座席に着座した乗員が座席と一体的に体を回転させることにより、後部の座席に着座する乗員との会話が可能となる。

しかしながら、車両のルーム内で例えば、スイベル型の座席に着座した乗員が座席と一体的に体を回転させた場合には、足の爪先や手の指先が車内の機器や、内壁、隣の座席等に接触することも想定され、車内の人物の足の爪先や手の指先位置を推定する技術が求められる。

このような課題に対し、特許文献１の技術では手の位置を特定するため、距離画像から手が写っている候補領域を検出し、隣接する２本の線分の角度に基づいて手の位置を特定する処理を必要とする。

このような処理で手の位置を特定するには、撮像画像に含まれる手が鮮明であることが必要となり、多数の画素の情報を処理するために高速な処理が可能な装置を必要とし、コストの上昇を招くものであった。

また、特許文献２の技術では、撮影者の骨格モデルを予め取得する必要があるため汎用性が低く、撮影時刻が異なる複数の撮影画像の画像処理によって撮影者の姿勢等を取得する際に、車内の座席に着座する人の車内の人物の足の爪先や手の指先位置を推定課題に不向きなものと考えられる。

更に、特許文献３の技術では、人体の端点を出力する処理を可能にするものであるが、複数のカメラを必要とし、しかも、車内の人物の足の爪先や手の指先位置を推定するための処理を行うものではなく、改善の余地があった。

このような理由から、車内の人物の足の爪先や手の指先の位置を推定可能な装置が求められる。

本発明に係る爪先位置推定装置の特徴構成は、車両の室内を撮影するカメラと、前記カメラにより前記室内の座席に着座した人物を撮影した撮像画像から、前記人物の身体の複数箇所の骨格点の位置情報を取得する人体情報取得ユニットとを備えており、前記人体情報取得ユニットは、前記人物の大腿部の骨格点の位置情報である大腿部情報と、前記人物の下腿部の骨格点の位置情報である下腿部情報とを取得し、前記人体情報取得ユニットは、取得された前記大腿部情報と前記下腿部情報とに基づいて前記人物の足部の爪先位置を推定する爪先位置推定部を有し、前記人体情報取得ユニットは、前記大腿部情報として前記撮像画像における股関節位置の骨格点と膝関節位置の骨格点の夫々の座標、及び、前記股関節位置の骨格点と前記膝関節位置の骨格点との間の距離である大腿部長さを取得すると共に、前記下腿部情報として足首関節位置の骨格点の座標を取得し、前記爪先位置推定部は、前記大腿部長さに比例する関係で前記足部の足部長さを設定し、前記足首関節位置の骨格点の座標を基準に前記足部長さだけ離間する位置を爪先位置として推定する点にある。

この特徴構成によると、カメラによる撮像画像から車両の室内の座席に着座する人物の大腿部の骨格点の位置情報である大腿部情報と、下腿部の骨格点の位置情報である下腿部情報とを人体情報取得ユニットが取得する。また、大腿部情報と下腿部情報とに基づき爪先位置推定部が、座席に着座する人物の足部の爪先位置を推定する。つまり、人体情報取得ユニットでは、カメラが単一であっても撮像画像から大腿部と下腿部とを識別して大腿部情報と下腿部情報とを取得し、更に、これらの情報に基づき足部の爪先位置を推定するため、骨格点を取得することができない爪先であっても、推定によりその位置を把握することができる。
従って、車内の人物の足の爪先位置を推定する装置が構成された。

この構成では、人体情報取得ユニットで取得された股関節位置の骨格点と膝関節位置の骨格点の夫々の座標から大腿部長さを取得し、大腿部長さに比例する関係で足部の足部長さを設定することが可能であり、人体情報取得ユニットで取得された足首関節位置の骨格点の座標を基準に足部長さだけ離間する位置を爪先位置として推定できる。

上記構成に加えた構成として、前記人体情報取得ユニットは、前記撮像画像における前記人物の左右の肩及び／又は腰の左右の骨格点の夫々の座標を取得すると共に、左右の前記肩及び／又は前記腰の左右の夫々の骨格点の間の距離である肩部長さ及び／又は腰部長さを取得し、前記爪先位置推定部は、取得した前記肩部長さ及び／又は前記腰部長さと、前記大腿部長さと、に基づいて比例定数を算出し、前記比例定数に基づいて前記大腿部長さから前記足部長さを設定しても良い。

これによると、例えば、人物の左右の肩の骨格点の間の距離を肩部長さとして取得し、人物の腰の左右の骨格点の間の距離を腰部長さとして取得し、取得した肩部長さ、あるいは腰部長さの少なくとも一方に基づいて比例定数を算出し、この比例定数に基づき大腿部長さから足部長さを設定できる。つまり、人体の骨格の寸法関係は比例すると考えて良く、例えば、撮像画像から取得した肩部長さから算出した比例定数を、大腿部長さに乗ずる程度の演算により足部の長さを設定するので、爪先位置の精度の向上が可能となる。

上記構成に加えた構成として、前記爪先位置推定部は、前記大腿部の前記股関節位置の骨格点と前記膝関節位置の骨格点の夫々の座標から前記大腿部に沿う方向を取得し、前記大腿部に沿う方向と前記足部の前記足首関節位置の骨格点の座標から前記爪先位置に向かう方向とが平行になる相対姿勢を前記足部の基準姿勢に設定し、前記基準姿勢から所定の角度範囲内に前記爪先位置を推定しても良い。

これによると、足首関節位置の骨格点の座標から爪先位置に向かう方向（足部の延出方向）を所定の角度範囲内で推定することが可能となるため、足部が基準姿勢から外れた姿勢であっても爪先が存在する領域を推定できる。

本発明に係る指先位置推定装置の特徴構成は、車両の室内を撮影するカメラと、前記カメラにより前記室内の座席に着座した人物を撮影した撮像画像から、前記人物の身体の複数箇所の骨格点の位置情報を取得する人体情報取得ユニットとを備えており、前記人体情報取得ユニットが、前記人物の前腕部の骨格点情報である前腕部情報とを取得し、前記人体情報取得ユニットは、取得された前記前腕部情報に基づいて前記人物の手部の指先位置を推定する指先位置推定部を有し、前記人体情報取得ユニットは、前記前腕部情報として前記撮像画像における肘関節位置の骨格点と手首関節位置の骨格点の夫々の座標、及び、前記肘関節位置の骨格点と前記手首関節位置の骨格点との間の距離である前腕部長さを取得し、前記指先位置推定部は、前記前腕部長さに比例する関係で手部の手部長さを設定すると共に、前記手首関節位置の骨格点の座標を基準に前記手部長さだけ離間する位置を指先位置として推定する点にある。

この特徴構成によると、カメラによる撮像画像から車両の室内の座席に着座する人物の前腕部の骨格点の位置情報である前腕部情報を人体情報取得ユニットが取得する。また、前腕部情報に基づき指先位置推定部が、座席に着座する人物の手部の指先位置を推定する。つまり、人体情報取得ユニットでは、カメラが単一であっても撮像画像から前腕部を識別して前腕部情報とを取得し、更に、これらの情報に基づき手部の指先位置を推定するため、骨格点を取得することができない指先であっても、推定によりその位置を把握することができる。
従って、車内の人物の手の指先位置を推定する装置が構成された。

この構成では、人体情報取得ユニットで取得された肘関節位置の骨格点と手首関節位置の骨格点の夫々の座標から前腕部長さを取得し、前腕部長さに比例する関係で手部の手部長さを設定することが可能であり、人体情報取得ユニットで取得された手首関節位置の骨格点の座標を基準に手部長さだけ離間する位置を指先位置として推定できる。

上記構成に加えた構成として、前記人体情報取得ユニットは、前記撮像画像における前記人物の左右の肩及び／又は腰の左右の骨格点の夫々の座標を取得すると共に、左右の前記肩及び／又は前記腰の左右の夫々の骨格点の間の距離である肩部長さ及び／又は腰部長さを取得し、前記指先位置推定部は、取得した前記肩部長さ及び／又は前記腰部長さと、前記前腕部長さと、に基づいて比例定数を算出し、前記比例定数に基づいて前記前腕部長さから前記手部長さを設定しても良い。

これによると、例えば、人物の左右の肩の骨格点の間の距離を肩部長さとして取得し、人物の腰の左右の骨格点の間の距離を腰部長さとして取得し、取得した肩部長さ、あるいは腰部長さの少なくとも一方に基づいて比例定数を算出し、この比例定数に基づき前腕部長さから手部長さを設定できる。つまり、人体の骨格の寸法関係は比例すると考えて良く、例えば、撮像画像から取得した肩部長さから算出した比例定数を、前腕部長さに乗ずる程度の演算により手部の長さを設定するので、指先位置の精度の向上が可能となる。

上記構成に加えた構成として、前記指先位置推定部は、前記前腕部の前記肘関節位置の骨格点と前記手首関節位置の骨格点の夫々の座標から前記前腕部に沿う方向を取得し、前記前腕部に沿う方向と前記手部の前記手首関節位置の骨格点の座標から前記指先位置に向かう方向とが平行になる相対姿勢を前記手部の基準姿勢に設定し、前記基準姿勢から所定の角度範囲内に前記指先位置を推定しても良い。

これによると、前記手首関節位置の骨格点の座標から指先位置に向かう方向（手部の延出方向）を所定の角度範囲内で推定することが可能となるため、手部が基準姿勢から外れた姿勢であっても指先が存在する領域を推定できる。

乗用車の平面図である。 乗用車の座席の配置を示す平面図である。 人体情報処理装置のブロック回路図である。 人物の撮像画像と人物の複数の骨格点の位置を模式的に示す図である。 人物の下肢の骨格点と足部の位置情報を模式的に示す図である。 人物の上肢の骨格点と手部の位置情報を模式的に示す図である。 制御の概要を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。
〔全体構成〕
図１、図２に示すように、左右一対の前車輪１と、左右一対の後車輪２とを有する車体Ａの前部にエンジンボンネット３を配置し、車体Ａの中央から後端に亘る領域のルーフ４の下側の室内に複数の座席Ｓ（後述する運転席Ｓ１、助手席Ｓ２、乗員席Ｓ３、ベンチシート席Ｓ４の上位概念）を配置して乗用車（車両の一例）が構成されている。

図２に示すように、室内に配置された複数の座席Ｓは、前部の左右方向に一方に配置された運転席Ｓ１と、この横に配置された助手席Ｓ２と、この後部位置の左右に配置された乗員席Ｓ３と、最後部に配置されたベンチシート席Ｓ４とで構成されている。

運転席Ｓ１の前側にはステアリングホイール５が配置されている。左右の乗員席Ｓ３は中央のウォークスルーを挟んだ位置に配置され、これら左右の乗員席Ｓ３は電動型の旋回モータＳｍによって独立して駆動回転するスイベルシート型に構成されている。

図３に示すように、左右の旋回モータＳｍの回転を制御するモータ制御装置Ｄ（図３を参照）が車体Ａに備えられ、このモータ制御装置Ｄは、シート回転スイッチ８を人為的に操作することで旋回モータＳｍに制御信号を出力して乗員席Ｓ３の回転と停止とを実現する。尚、車体Ａには左右の旋回モータＳｍと、これに対応する一対のシート回転スイッチ８とを備えている。図３には１つの旋回モータＳｍと１つのシート回転スイッチ８とを示している（旋回モータＳｍの制御形態は後述する）。

図１、図２に示すように、この乗用車では、運転席Ｓ１と助手席Ｓ２に着座した人物を同時に撮影可能な前部カメラ６と、この前部カメラ６の撮影領域に赤外線による照明を行う前部ランプ６ａと、左右の乗員席Ｓ３に着座した人物を同時に撮影可能な後部カメラ７と、この後部カメラ７の撮影領域に赤外線による照明を行う後部ランプ７ａとをルーフ４の下面に備えている。

更に、車体Ａの後部には、人体情報処理装置Ｃが備えられている。この人体情報処理装置Ｃは、前部カメラ６の撮像画像と、後部カメラ７の撮像画像とに基づいて複数の座席Ｓに対する人物の着座の有無を判定すると共に、座席Ｓに人物が着座する状態にある場合には、図４に示すように撮像画像の下肢の骨格点から足部Ｆの爪先位置Ｆｔを推定すると共に、撮像画像の上肢の骨格点から手部Ｈの指先位置Ｈｔを推定する。尚、人体情報処理装置Ｃは、爪先位置推定装置と指先位置推定装置との具体構成の一例である。

〔人体情報処理装置〕
図３に示すように、人体情報処理装置Ｃは、前部カメラ６の撮像画像と、後部カメラ７との撮像画像を取得して人体情報を取得するためソフトウエアで構成される人体情報取得ユニット１０と、ソフトウエアで構成される接触判定ユニット２０とを備えている。

人体情報取得ユニット１０は、前部カメラ６、後部カメラ７の各撮像画像から、座席Ｓに着座した人物の身体の複数箇所の骨格点の位置情報を取得する機能を有している。この人体情報取得ユニット１０は、骨格点情報取得部１１と、骨格モデル記憶部１２と、爪先位置推定部１３と、指先位置推定部１４とを備えている。

接触判定ユニット２０は、座席Ｓに着座した人物が、座席Ｓとともに移動した場合に、人体の一部が車体Ａの内壁等に対する接触のおそれの有無を判定する機能を有している。この接触判定ユニット２０は、接触判定部２１と、報知処理部２２と、作動制限部２３とを備えている。

図３に示すように、接触判定ユニット２０は、前述した旋回モータＳｍを制御するモータ制御装置Ｄからの信号を取得すると共に、このモータ制御装置Ｄに制御信号を出力できるように構成されている。

〔人体情報処理装置：人体情報取得ユニット〕
骨格点情報取得部１１は、前部カメラ６の撮像画像と、後部カメラ７の撮像画像との何れに人物が含まれる場合には、各々の人物の身体の複数箇所の骨格点の位置情報を撮像画像上の二次元座標（Ｘ－Ｙ平面上の座標）として取得する。

骨格点情報取得部１１で取得される身体の複数箇所の骨格点の一例を図４に示している。同図には、助手席Ｓ２に着座した人物を前部カメラ６で撮影し、この撮像画像に含まれる人物の画像と重ね合わせる状態で複数箇所の骨格点（図４には一部にＪ１～Ｊ６の符号を付している）が取得される。骨格点は、一般に身体において関節と称される部位であり、同図には複数の骨格点を直線で結ぶ骨格ラインを示している。

骨格点情報取得部１１は、既知の骨格点認識処理により撮像画像からヒートマップとベクトルマップとを生成し、端点グルーピング処理により人体の複数の関節位置を骨格点として、各々の座標を取得する。骨格点情報取得部１１で取得される具体的な骨格点は、図４に示すように、股関節位置Ｊ１と、膝関節位置Ｊ２と、足首関節位置Ｊ３とから左右の下肢の骨格点の座標が取得され、肩関節位置Ｊ４と、肘関節位置Ｊ５と、手首関節位置Ｊ６とから左右の上肢の骨格点の座標が取得される。尚、図４では、上肢の一部（人体の右側）の関節位置を示していない。

股関節位置Ｊ１と、膝関節位置Ｊ２と、足首関節位置Ｊ３と、肩関節位置Ｊ４と、肘関節位置Ｊ５と、手首関節位置Ｊ６とは骨格点の一例であり、骨格点情報取得部１１における骨格認識処理では骨格モデル記憶部１２に記憶されている骨格モデルを参照することにより複数の骨格点（関節位置）の座標が決定される。このように複数の骨格点の座標が決定した後に、複数の骨格点を結ぶ骨格ラインが設定される。

図４～図６に示すように、骨格ラインは、股関節位置Ｊ１と膝関節位置Ｊ２とを直線で結ぶ大腿部ラインＬａと、膝関節位置Ｊ２と足首関節位置Ｊ３とを直線で結ぶ下腿部ラインＬｂとを含んでいる。更に、骨格ラインは、肩関節位置Ｊ４と肘関節位置Ｊ５とを直線で結ぶ上腕部ラインＬｃと、肘関節位置Ｊ５と手首関節位置Ｊ６とを直線で結ぶ直線を前腕部ラインＬｄとを含んでいる。

この処理では、股関節位置Ｊ１と膝関節位置Ｊ２との座標の情報を大腿部情報と称し、足首関節位置Ｊ３の座標との情報を下腿部情報と称する。

また、肘関節位置Ｊ５と手首関節位置Ｊ６の情報とを前腕部情報と称する。

尚、骨格点情報取得部１１は、前部カメラ６または後部カメラ７により連続して撮影された撮像画像からなる動画のフレームレートと同じレートで複数の骨格点の座標を取得して更新すると共に、大腿部ラインＬａや上腕部ラインＬｃ等も設定されたインターバルで取得して更新する。

骨格点情報取得部１１は、前述したように足首関節位置Ｊ３の座標と、手首関節位置Ｊ６の座標とを取得するものであるが、爪先と指先の骨格点は既知の骨格点認識処理ではそれらの位置の座標を取得することができないため、人体情報処理装置Ｃでは、爪先位置Ｆｔの座標を推定する爪先位置推定部１３と、指先位置Ｈｔの座標を推定する指先位置推定部１４を備えている。

〔人体情報取得ユニット：爪先位置推定部〕
爪先位置推定部１３は、図５に示すように大腿部情報としての股関節位置Ｊ１の位置情報（座標）と、膝関節位置Ｊ２の位置情報（座標）とから夫々の間の距離（骨格点の間の距離）を大腿部長さＶ（大腿部ラインＬａの長さ）の情報として取得する。また、爪先位置推定部１３は、下腿部情報としての足首関節位置Ｊ３の座標を取得し、大腿部長さＶに比例する足部長さＸを設定し、足首関節位置Ｊ３の座標を基準に足部長さＸだけ離間した位置（座標）を爪先位置Ｆｔとして推定する。図面には足部長さＸに沿う方向を足部Ｆに破線で示している。

爪先位置Ｆｔの座標を推定する具体的な処理では、人物の体格と大腿部長さＶとの関係から比例定数を算出し、大腿部長さＶに比例定数（例えば、０．５）を乗ずることで足部長さＸを求め、足首関節位置Ｊ３から大腿部に沿う方向（大腿部ラインＬａに平行な方向）に足部長さＸだけ離間した位置を爪先位置Ｆｔとして推定する。なお、人物の体格は、例えば、骨格点情報取得部１１が取得した人物の左右の肩関節位置Ｊ４（骨格点）の座標の間の距離を、人体の横幅方向の肩部長さＷとして取得する。そして、肩部長さＷと大腿部長さＶとに基づいて比例定数を算出する。

前述したように爪先位置推定部１３は、足首関節位置Ｊ３から大腿部に沿う方向（大腿部ラインＬａに平行な方向）に足部長さＸだけ離間した位置を爪先位置Ｆｔとして推定している。これは、着座した人物の足部Ｆの延出方向は大腿部ラインＬａと平行になる場合が多いからである。このように設定される爪先位置Ｆｔは、足首関節位置Ｊ３を基準に大腿部に沿う方向に向かう爪先位置Ｆｔを示すものであるが、足部Ｆの延出方向を大腿部ラインＬａと平行な方向から左右に方向を変更することも可能である。

このような理由から爪先位置推定部１３は、図５に示すように、足首関節位置Ｊ３を基準に大腿部ラインＬａと平行に設定された足部Ｆの延出方向を、平行から角度θだけ横方向に拡大した領域を角度範囲として設定しており、この角度範囲に含まれる座標を爪先位置Ｆｔの位置として推定している。

〔人体情報取得ユニット：指先位置推定部〕
指先位置推定部１４は、図６に示すように前腕部情報としての肘関節位置Ｊ５の位置情報（座標）と、手首関節位置Ｊ６の位置情報（座標）を前腕部長さＭ（前腕部ラインＬｄの長さ）の情報として取得する。また、指先位置推定部１４は、前腕部長さＭに比例する手部長さＹを設定し、手首関節位置Ｊ６の座標を基準に手部長さＹだけ離間した位置（座標）を指先位置Ｈｔとして推定する。図面には手部長さＹに沿う方向を手部Ｈに破線で示している。

指先位置Ｈｔの座標を推定する処理では、人物の体格と前腕部長さＭとの関係から比例定数を算出し、前腕部長さＭに比例定数（例えば、０．３）を乗ずることで手部長さＹを求め、手首関節位置Ｊ６から前腕部に沿う方向（前腕部ラインＬｄに平行な（延長する）方向）に手部長さＹだけ離間した位置を指先位置Ｈｔとして推定する。

なお、人物の体格は、例えば、骨格点情報取得部１１が取得した人物の左右の肩関節位置Ｊ４（骨格点）の座標の間の距離を、人体の横幅方向の肩部長さＷとして取得する。そして、肩部長さＷと前腕部長さＭとに基づいて比例定数を算出する。

前述したように指先位置推定部１４は、手首関節位置Ｊ６から前腕部に沿う方向（前腕部ラインＬｄに平行な（延長する）方向）に手部長さＹだけ離間した位置を指先位置Ｈｔとして推定している。これは、人物の手部Ｈの延出方向は前腕部ラインＬｄと平行になる場合が多いからである。このように設定される指先位置Ｈｔは、手首関節位置Ｊ６を基準に前腕部に沿う方向に向かう指先位置Ｈｔを示すものであるが、手部Ｈの延出方向を前腕部ラインＬｄと平行な方向から左右に方向を変更することも可能である。

このような理由から指先位置推定部１４は、図６に示すように、手首関節位置Ｊ６を基準に前腕部ラインＬｄと平行に設定された手部Ｈの延出方向を、平行から角度θだけ横方向に拡大した領域を角度範囲として設定しており、この角度範囲に含まれる座標を爪先位置Ｆｔの位置として推定している。

〔人体情報処理装置：接触判定ユニット〕
接触判定部２１は、爪先位置推定部１３で推定された爪先位置Ｆｔの座標と、指先位置推定部１４で推定された指先位置Ｈｔの座標とを取得し、例えば、乗員席Ｓ３が回転した際に爪先位置Ｆｔと指先位置Ｈｔとの少なくとも一方が、車内の壁部や隣接する乗員席Ｓ３の一部に対する接触のおそれの有無を判定する。

報知処理部２２は、接触判定部２１によって接触することが判定（予測）された場合に、接触以前に報知端末２５を介してアラーム情報を出力する。報知端末２５は音声を発するスピーカやブザー等の他に情報を表示するディスプレイや、ランプ類が用いられる。

作動制限部２３は、接触判定部２１によって接触することが判定された場合に、旋回モータＳｍの回転速度を低下させ、接触状態に達する直前に旋回モータＳｍの旋回を停止する制御信号を出力する。

〔制御形態〕
人体情報処理装置Ｃによる制御形態を図７のフローチャートに示している。この制御では、前部カメラ６と、後部カメラ７とからの撮像画像を取得することにより人体情報取得ユニット１０の骨格点情報取得部１１が座席Ｓに着座する人物の骨格点情報を取得する（＃０１、＃０２ステップ）。

骨格点情報取得部１１は、図４～図６に示すように複数の関節位置を二次元座標となる形態で骨格点情報を取得すると共に、取得した複数の関節位置の座標から、大腿部長さＶと、前腕部長さＭと、肩部長さＷとを求める。

次に、爪先位置推定部１３が爪先位置Ｆｔを推定し、指先位置推定部１４が指先位置Ｈｔを推定する（＃０３、＃０４ステップ）。

爪先位置推定部１３による＃０３ステップでは、前述したように肩部長さＷに基づいて設定される比例定数を大腿部長さＶ（大腿部ラインＬａの長さ）に乗じて足部長さＸを算出し、足首関節位置Ｊ３の座標を基準に足部長さＸだけ離間する爪先位置Ｆｔの座標を推定する。

更に、爪先位置推定部１３では、図５に示すように爪先位置Ｆｔとして、足首関節位置Ｊ３を基準に設定された角度θだけ横方向に拡大した角度範囲の座標が設定される。

指先位置推定部１４による＃０４ステップでは、前述したように肩部長さＷに基づいて設定される比例定数を、前腕部長さＭ（前腕部ラインＬｄの長さ）に乗じて手部長さＹを算出し、手首関節位置Ｊ６の座標を基準に手部長さＹだけ離間する指先位置Ｈｔの座標を推定する。

更に、指先位置推定部１４では、図６に示すように指先位置Ｈｔとして、手首関節位置Ｊ６を基準に設定された角度θだけ横方向に拡大した角度範囲の座標が設定される。

次に、シート回転スイッチ８の操作により旋回モータＳｍが作動し、乗員席Ｓ３が回転を開始した場合に、その乗員席Ｓ３に人物が着座している場合には、推定されている爪先位置Ｆｔと、推定されている指先位置Ｈｔとの回転軌跡を求め、例えば、爪先位置Ｆｔが隣接する乗員席Ｓ３のシートや基端のフレーム類に対する接触のおそれの有無が判定される（＃０６ステップ）。

このような接触のおそれの有無の判定は、爪先位置Ｆｔに限らず指先位置Ｈｔについても行われるものであり、前述したように角度θの範囲内での接触のおそれの有無が判定される。

爪先位置Ｆｔと指先位置Ｈｔとは撮像画像に基づく二次元の座標として推定されるものであるが、前部カメラ６と後部カメラ７との何れで撮影された撮像画像であっても、撮影範囲が決まっており、撮像画像における乗員席Ｓ３の位置と人物の骨格の位置とは決まった関係にあるため、乗員席Ｓ３が回転した際に爪先位置Ｆｔと指先位置Ｈｔとが移動する領域の特定が可能となり特定された領域から接触のおそれの有無の判定を実現している。

そして、接触することが予測されない場合には、＃０１～＃０６ステップの処理を反復して行い、接触することが予測された場合には、接触状態に達する以前に報知端末２５にアラーム情報を出力し、旋回モータＳｍの旋回速度を減速し、更に、シート回転スイッチ８が操作されていても接触直前に旋回モータＳｍを停止する処理が行われる（＃０７～＃０９ステップ）。

〔実施形態の作用効果〕
このように前部カメラ６と後部カメラ７との何れで撮影された人物であっても、また、撮像画像の人物の足や手の画像が鮮明なくとも、人物が座席Ｓに着座する状態では、人体情報処理装置Ｃが、骨格点情報取得部１１が複数の骨格点の座標を取得し、爪先位置推定部１３が爪先位置Ｆｔの座標を適正に推定し、指先位置推定部１４が指先位置Ｈｔの座標を適正に推定する。

爪先位置Ｆｔが向かう方向と指先位置Ｈｔが向かう方向とが所定の角度範囲内で推定されるため、足部Ｆの姿勢、手部Ｈの姿勢が基準姿勢から外れていても爪先位置Ｆｔと指先位置Ｈｔとが存在する領域を適正に推定できる。

また、爪先位置Ｆｔの座標と指先位置Ｈｔの座標とは、前部カメラ６または後部カメラ７により連続して撮影された撮像画像からなる動画のフレームレート同じインターバルで取得されるため、人物が姿勢を変更した場合でも推定された座標は更新され、例えば、乗員席Ｓ３が回転する場合のように、座席Ｓと一体的に人物が回転する場合には、接触判定ユニット２０が人物の爪先位置Ｆｔと指先位置Ｈｔとの何れであっても、接触することが予測される場合には報知端末２５にアラーム情報を出力することで乗員の注意を喚起し、乗員席Ｓ３の回転を停止することにより接触の回避を実現している。

特に、乗員席Ｓ３が回転する際にも複数の骨格点が取得され、爪先位置Ｆｔの座標と指先位置Ｈｔの座標とが推定されるため、アラーム情報の出力を確認した後に爪先位置Ｆｔや指先位置Ｈｔを、接触が回避される位置に移動させることでアラーム情報の出力が停止し、乗員席Ｓ３の回転が継続する。

人体情報処理装置Ｃは、撮像画像と重ね合わせ可能な二次元平面上に骨格点情報として、複数の関節位置の座標を設定すると共に、大腿部ラインＬａや上腕部ラインＬｃ等の骨格ラインを生成し、更に、骨格点情報から爪先位置Ｆｔの座標と指先位置Ｈｔの座標とを、二次元平面上に生成するため、三次元空間に座標を設定するものと比較して高速な処理を可能にしている。

〔別実施形態〕
本発明は、上記した実施形態以外に以下のように構成しても良い（実施形態と同じ機能を有するものには、実施形態と共通の番号、符号を付している）。

（ａ）実施形態では、左右の肩関節位置Ｊ４の座標の間の距離を人体の横幅方向の肩部長さＷに基づいて比例定数を設定していたが、これに代えて、腰の左右の骨格点としての股関節位置Ｊ１の間の距離を腰部長さとして取得し、この腰部長さと大腿部長さＶとに基づいて比例定数を算出し、この比例定数に基づき足長さＸを設定するように処理形態を設定することも可能である。これにより、人物の体格に対応した足長さＸを設定し、爪先位置Ｆｔの推定位置の精度向上が図られる。

（ｂ）実施形態に記載された肩部長さＷと、別実施形態（ａ）に記載された腰部長さとを加算した値や、平均した値に基づいて比例定数を設定する等、肩部長さＷと腰部長さとに基づいて比例定数を設定することも可能である。このように比例定数を設定することにより、座席Ｓに着座した人物の身長に対応した爪先位置Ｆｔの推定位置の精度向上を可能にする。

（ｃ）例えば、外部カメラからの画像情報や、センサで検知される車外の情報基づいて車線や周囲の車両の位置関係を認識し、ステアリング操作やアクセル操作等を自動で行うことで目的地に向けて走行可能な自動運転可能に構成された車両に、実施形態で説明した構成の人体情報処理装置Ｃを備えることができる。

別実施形態（ｃ）のように構成される自動運転可能な車両では、運転席Ｓ１に着座した人物（運転者）が常にステアリングホイール５を操作する必要はなく、自動運転による走行時に運転席Ｓ１を後方に大きく移動させることや、助手席Ｓ２をスイベル型の座席として構成し、助手席Ｓ２に着座した人物が助手席Ｓ２と共に回転するように構成できる。

このように自動運転が可能な車両に人体情報処理装置Ｃを備えることにより、人物が座席Ｓとともに移動する場合や回転する場合にも、爪先位置Ｆｔや、指先位置Ｈｔが車内の壁部や隣接する座席Ｓの一部に接触することが推定される場合に、アラーム情報を出力し、座席Ｓの駆動を停止することで接触を回避することが可能となる。

（ｄ）人体情報処理装置Ｃで推定した爪先位置Ｆｔに基づき、ブレーキペダルとアクセルペダルとのうち、操作されているものをディスプレイに表示することや、音声メッセージとして出力するように構成する。このように構成することにより、ペダルの踏み間違いを運転者に報知することも可能となる。

（ｅ）人体情報処理装置Ｃで推定した爪先位置Ｆｔの座標と、指先位置Ｈｔの座標との変化を時間経過に伴って記憶しておき、例えば、記憶した座標をディスプレイに表示することで、人物が車内で行った操作の確認も可能となる。

本発明は、車両の座席に着座した人物の爪先、あるいは、指先位置を撮像画像から推定する装置に利用することができる。

６ 前部カメラ（カメラ）
７ 後部カメラ（カメラ）
１０ 人体情報取得ユニット
１３ 爪先位置推定部
１４ 指先位置推定部
Ｆ 足部
Ｆｔ 爪先位置（爪先位置情報）
Ｈ 手部
Ｈｔ 指先位置（指先位置情報）
Ｊ１ 股関節位置（骨格点）
Ｊ２ 膝関節位置（骨格点）
Ｊ３ 足首関節位置（骨格点）
Ｊ４ 肩関節位置（骨格点）
Ｊ５ 膝関節位置（骨格点）
Ｊ６ 足首関節位置（骨格点）
Ｓ 座席
Ｓ１ 運転席（座席）
Ｓ２ 助手席（座席）
Ｓ３ 乗員席（座席）
Ｓ４ ベンチシート席（座席）
Ｍ 上腕部長さ
Ｖ 大腿部長さ
Ｗ 肩部長さ
Ｘ 足部長さ
Ｙ 手部長さ

Claims (6)

1. 車両の室内を撮影するカメラと、
   前記カメラにより前記室内の座席に着座した人物を撮影した撮像画像から、前記人物の身体の複数箇所の骨格点の位置情報を取得する人体情報取得ユニットとを備えており、
   前記人体情報取得ユニットは、前記人物の大腿部の骨格点の位置情報である大腿部情報と、前記人物の下腿部の骨格点の位置情報である下腿部情報とを取得し、
   前記人体情報取得ユニットは、取得された前記大腿部情報と前記下腿部情報とに基づいて前記人物の足部の爪先位置を推定する爪先位置推定部を有し、
   前記人体情報取得ユニットは、前記大腿部情報として前記撮像画像における股関節位置の骨格点と膝関節位置の骨格点の夫々の座標、及び、前記股関節位置の骨格点と前記膝関節位置の骨格点との間の距離である大腿部長さを取得すると共に、前記下腿部情報として足首関節位置の骨格点の座標を取得し、
   前記爪先位置推定部は、前記大腿部長さに比例する関係で前記足部の足部長さを設定し、前記足首関節位置の骨格点の座標を基準に前記足部長さだけ離間する位置を爪先位置として推定する爪先位置推定装置。
2. 前記人体情報取得ユニットは、前記撮像画像における前記人物の左右の肩及び／又は腰の左右の骨格点の夫々の座標を取得すると共に、左右の前記肩及び／又は前記腰の左右の夫々の骨格点の間の距離である肩部長さ及び／又は腰部長さを取得し、
   前記爪先位置推定部は、取得した前記肩部長さ及び／又は前記腰部長さと、前記大腿部長さと、に基づいて比例定数を算出し、前記比例定数に基づいて前記大腿部長さから前記足部長さを設定する請求項１に記載の爪先位置推定装置。
3. 前記爪先位置推定部は、前記大腿部の前記股関節位置の骨格点と前記膝関節位置の骨格点の夫々の座標から前記大腿部に沿う方向を取得し、前記大腿部に沿う方向と前記足部の前記足首関節位置の骨格点の座標から前記爪先位置に向かう方向とが平行になる相対姿勢を前記足部の基準姿勢に設定し、前記基準姿勢から所定の角度範囲内に前記爪先位置を推定する請求項１又は２に記載の爪先位置推定装置。
4. 車両の室内を撮影するカメラと、
   前記カメラにより前記室内の座席に着座した人物を撮影した撮像画像から、前記人物の身体の複数箇所の骨格点の位置情報を取得する人体情報取得ユニットとを備えており、
   前記人体情報取得ユニットが、前記人物の前腕部の骨格点情報である前腕部情報を取得し、
   前記人体情報取得ユニットは、取得された前記前腕部情報に基づいて前記人物の手部の指先位置を推定する指先位置推定部を有し、
   前記人体情報取得ユニットは、前記前腕部情報として前記撮像画像における肘関節位置の骨格点と手首関節位置の骨格点の夫々の座標、及び、前記肘関節位置の骨格点と前記手首関節位置の骨格点との間の距離である前腕部長さを取得し、
   前記指先位置推定部は、前記前腕部長さに比例する関係で手部の手部長さを設定すると共に、前記手首関節位置の骨格点の座標を基準に前記手部長さだけ離間する位置を指先位置として推定する指先位置推定装置。
5. 前記人体情報取得ユニットは、前記撮像画像における前記人物の左右の肩及び／又は腰の左右の骨格点の夫々の座標を取得すると共に、左右の前記肩及び／又は前記腰の左右の夫々の骨格点の間の距離である肩部長さ及び／又は腰部長さを取得し、
   前記指先位置推定部は、取得した前記肩部長さ及び／又は前記腰部長さと、前記前腕部長さと、に基づいて比例定数を算出し、前記比例定数に基づいて前記前腕部長さから前記手部長さを設定する請求項４に記載の指先位置推定装置。
6. 前記指先位置推定部は、前記前腕部の前記肘関節位置の骨格点と前記手首関節位置の骨格点の夫々の座標から前記前腕部に沿う方向を取得し、前記前腕部に沿う方向と前記手部の前記手首関節位置の骨格点の座標から前記指先位置に向かう方向とが平行になる相対姿勢を前記手部の基準姿勢に設定し、前記基準姿勢から所定の角度範囲内に前記指先位置を推定する請求項４又は５に記載の指先位置推定装置。

Images