JP2017068424A - 姿勢計測装置及び姿勢計測方法 - Google Patents

Abstract

【課題】人物の部位ごとの実空間での位置を計測できる姿勢計測装置を提供する。【解決手段】姿勢計測装置は、人の複数の部位について、その部位に隣接する部位、及びその部位から隣接する部位までの長さを表す人体構造モデルと、各部位について、実空間での位置の計測精度の確からしさを表す信頼度が第１の信頼度となるか、第１の信頼度よりも低い第２の信頼度となるかを表す信頼度情報とを記憶する記憶部４と、測定対象人物についての第１の信頼度を持つ第１の部位の実空間での位置を、３次元センサ２により生成された３次元計測データと過去のその部位の実空間での位置の計測結果に基づく追跡処理によって求める追跡部２２と、測定対象人物についての第２の信頼度を持つ第２の部位の実空間での位置を、複数の第１の部位の実空間での位置と人体構造モデルに基づいて定められる第１の部位と第２の部位間の長さに基づいて求める位置推定部２３とを有する。【選択図】図３

Description

本発明は、例えば、人体の複数の部位の実空間での位置を計測する姿勢計測装置及び姿勢計測方法に関する。

近年、車両の自動運転に関する研究がなされている。車両の自動運転では、ドライバから車両の自動運転を行う自動運転装置へ、あるいは、自動運転装置からドライバへの運転権限の委譲が生じることがある。自動運転装置からドライバへ運転権限が委譲される場合、事故を防止するために、ドライバが車両を運転可能な姿勢を取っていることが求められる。そこで、ドライバが運転可能な姿勢を取っているか否かを判定するために、被写体の実空間の位置情報を得ることが可能な３次元センサにより得られたドライバの各部の実空間での位置に基づいて、ドライバの姿勢を計測できることが好ましい。

また、測定対象物体の姿勢を追跡する技術の一つとして、Iterative Closest Point(ICP)アルゴリズムが知られている。ICPアルゴリズムは、ある時刻に得られた測定対象物体の３次元計測データと、他の時刻に得られた３次元計測データとの間での対応関係が分かっていない状況下で、その３次元計測データ間のマッチングを行う。その際、ICPアルゴリズムは、一方の３次元計測データに含まれる測定点群をアフィン変換して得られた点群と、他方の３次元計測データの測定点群間の誤差が最小となるように繰り返し演算することで、アフィン変換パラメータを算出する。

ICPアルゴリズムを利用することで、測定対象物体の姿勢などの変化により、その測定対象物体の一部が見えなくなる場合でも、測定対象物体の姿勢の変化を追跡することが可能となる。しかし、ICPアルゴリズムでは、測定対象物体が剛体であることが前提となっている。一方、ドライバは、剛体ではないので、ドライバの姿勢計測にICPアルゴリズムをそのまま適用しても、ドライバの姿勢を正確に計測できない可能性がある。ここで、３次元計測データ内に非剛体が存在する場合においてもICPアルゴリズムで正しく追跡する技術として、第１表面情報及び第２表面情報に位置する動的障害物を検出し、その動的障害物を除去した第３表面情報を生成し、第３表面情報と第１表面情報及び第２表面情報の何れか一つをマッチングする技術が提案されている（例えば、特許文献１を参照）。

特開２００９−２７１５１３号公報

しかしながら、ドライバは動物体であるため、特許文献１に記載の技術では、３次元計測データから、計測対象となるべきドライバに相当する測定点群が除去されてしまい、ドライバの姿勢を計測できなくなることがある。

一つの側面では、本発明は、人物の部位ごとの実空間での位置を計測できる姿勢計測装置を提供することを目的とする。

一つの実施形態によれば、姿勢計測装置が提供される。この姿勢計測装置は、測定範囲内の各点の実空間での位置を表す３次元計測データを生成する３次元センサと、人の複数の部位のそれぞれについて、その部位に隣接する部位、及びその部位から隣接する部位までの長さを表す人体構造モデルと、複数の部位のそれぞれについて、実空間での位置の計測精度の確からしさを表す信頼度が第１の信頼度となるか、第１の信頼度よりも低い第２の信頼度となるかを表す信頼度情報とを記憶する記憶部と、測定範囲内にいる測定対象人物の複数の部位のうち、第１の信頼度を持つ第１の部位の実空間での位置を、３次元計測データと過去のその部位の実空間での位置の計測結果に基づく追跡処理によって求める追跡部と、測定対象人物の複数の部位のうち、第２の信頼度を持つ第２の部位の実空間での位置を、複数の第１の部位の実空間での位置と人体構造モデルに基づいて定められる第１の部位と第２の部位間の長さに基づいて求める位置推定部とを有する。

人物の部位ごとの実空間での位置を計測できる。

姿勢計測装置が実装された一つの実施形態による自動運転装置の概略構成図である。 車両内における自動運転装置の配置の一例を示す図である。 制御部の機能ブロック図である。 人体構造モデルの概要を表す説明図である。 骨格モデルの一例を示す図である。 （ａ）は、前フレームの３次元計測データ取得時のドライバの姿勢の一例を示す図であり、（ｂ）は、現フレームの３次元計測データ取得時におけるドライバの姿勢の一例を示す図である。 （ａ）〜（ｅ）は、それぞれ、自動運転装置からドライバへ運転権限を委譲するための判定条件の一例を示す図である。 姿勢計測処理の動作フローチャートである。

以下、図を参照しつつ、姿勢計測装置について説明する。
この姿勢計測装置は、例えば、被写体の実空間での位置を計測可能な３次元センサを用いて、一定周期ごとに、計測対象となる人物を含む、所定範囲の３次元計測データを得る。そしてこの姿勢計測装置は、人物の各部位のうち、位置、形状などの変動が比較的少なく、過去での位置と最新の３次元計測データに基づく追跡により得られる推定位置の信頼性が相対的に高い高信頼度部位については、追跡処理により実空間での推定位置を求める。一方、この姿勢計測装置は、位置、形状などの変動が比較的大きく、過去での位置と最新の３次元計測データに基づく追跡により得られる推定位置の信頼性が相対的に低い低信頼度部位には追跡処理を適用しない。その代りに、この姿勢計測装置は、低信頼度部位については、周囲の高信頼度部位の位置と、人体構造モデルで定義される、その高信頼度部位と低信頼度部位間の長さにより推定位置を求める。

本実施形態では、姿勢計測装置は、自動運転装置に実装され、姿勢計測装置による測定対象人物は、ドライバであるとする。しかし姿勢計測装置は、ドライバ以外の人物の姿勢計測に利用されてもよい。

図１は、姿勢計測装置が実装された一つの実施形態による自動運転装置の概略構成図である。図２は、車両内における自動運転装置の配置の一例を示す図である。自動運転装置１は、３次元センサ２と、車外センサ３と、記憶部４と、制御部５とを有する。自動運転装置１は、さらに、各種の情報を表示するためのディスプレイ（図示せず）を有してもよい。記憶部４及び制御部５は、例えば、基板６上に設けられる。また、３次元センサ２及び車外センサ３は、コントロールエリアネットワークといった規格に準拠した車内ネットワーク７を介して制御部５と接続される。さらに、制御部５は、車内ネットワーク７を介して、車両１０の電子制御装置（ECU）（図示せず）と接続される。

３次元センサ２は、例えば、車室内前方の天井付近、例えば、ルームミラー付近に、ドライバ１１の方へ向けて取り付けられる。そして３次元センサ２は、一定の周期（例えば、50msec〜100msec）ごとに、ドライバ１１を含む、測定範囲内の３次元計測データを生成し、生成した３次元計測データを車内ネットワーク７を介して制御部５へ出力する。そのために、３次元センサ２は、例えば、Time of Flight方式を採用したデプスカメラ、あるいはステレオカメラとすることができる。３次元計測データは、例えば、所定点（例えば、３次元センサ２のセンサ面の中心）を原点とする３次元の直交座標系における、３次元センサ２の測定範囲内の各点の実空間の座標を含む。

車外センサ３は、車両１０の前方を撮影可能なように、例えば、車室内の天井付近に、車両１０の前方へ向けて取り付けられたカメラを有する。そして車外センサ３は、所定の撮影周期（例えば、30msec〜100msec）で車両１０の前方が写った画像を生成し、その生成した画像を車内ネットワーク７を介して制御部５へ出力する。なお、車外センサ３が有するカメラは、ステレオカメラであってもよい。さらに、車外センサ３は、車両１０から車両１０の周囲に位置する物体までの距離を測定するためのレーダセンサを有していてもよい。そして車外センサ３は、そのレーダセンサによる測距データも、車内ネットワーク７を介して制御部５へ出力してもよい。

記憶部４は、例えば、読み書き可能な不揮発性または揮発性の半導体メモリ及び読み出し専用の不揮発性の半導体メモリを有する。そして記憶部４は、制御部５上で実行される、姿勢計測処理を含む、自動運転処理のプログラムを記憶する。また記憶部４は、姿勢計測処理で利用あるいは生成される、人体構造モデル及び直近の一定期間内に生成された骨格モデルといった各種のデータを記憶する。なお、人体構造モデル及び骨格モデルの詳細については後述する。

制御部５は、一つまたは複数のプロセッサ及びその周辺回路を有し、自動運転装置１の各部及びＥＣＵと信号線あるいは車内ネットワーク７を通じて接続されている。制御部５は、例えば、ステアリングなどに設けられた自動運転開始スイッチ（図示せず）をドライバが操作することにより、自動運転処理を開始する。制御部５は、自動運転処理の実行中、一定周期ごとに、例えば、車外センサ３から得られた車両１０の前方の画像に基づいて車両１０の走行車線を認識する。そして制御部５は、その認識結果、及び、ナビゲーションシステム（図示せず）から取得した、走行予定ルート及び車両１０の現在位置などの情報に基づいて操舵角を決定する。また制御部５は、車両１０の前方の画像または測距データ、及び、ＥＣＵから取得した、車両１０の速度などの車両１０の挙動を表す情報に基づいて、アクセル開度及びブレーキ操作量を決定する。そして制御部５は、操舵角、アクセル開度及びブレーキ操作量を表す操作信号をＥＣＵへ出力する。なお、制御部５は、走行車線の認識、操舵角、アクセル開度及びブレーキ操作量の決定に関する様々な手法の何れかに従って、これらの処理を実行すればよい。

さらに、制御部５は、自動運転処理の実行中、一定周期ごとに、ドライバの姿勢を計測する。そして制御部５は、例えば、車両１０が目的地から所定距離の範囲内に近づいたとき、あるいは、ドライバが自動運転を解除する操作を、ステアリングなどに設けられたスイッチを介して行った場合に、権限移譲準備モードに設定する。そして制御部５は、権限移譲準備モードが設定されている場合、ドライバの姿勢の計測結果に基づいて、ドライバに運転権限を委譲するか否かを判定する。

図３は、姿勢計測処理に関する、制御部５の機能ブロック図である。制御部５は、骨格モデル生成部２１と、高信頼度部位追跡部２２と、低信頼度部位推定部２３と、運転権限移譲判定部２４とを有する。
制御部５が有するこれらの各部は、制御部５が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールである。
また制御部５が有するこれらの各部は、その各部に対応する回路が集積された一つまたは複数の集積回路として、制御部５が有するプロセッサとは別個に、自動運転装置１に実装されてもよい。

骨格モデル生成部２１は、検出部の一例であり、姿勢計測処理が開始された後に、３次元計測データが得られる度に、その３次元計測データに基づいて、人体構造モデルで表されるドライバの所定の各部位の実空間での位置を検出する。そして骨格モデル生成部２１は、各部位の実空間での位置に基づいて、ドライバの骨格を表す骨格モデルを生成する。なお、以下の説明において、実空間での位置を、単に位置と呼ぶことがある。

最初に、人体構造モデルについて説明する。
図４は、人体構造モデルの概要を表す説明図である。人体構造モデル４００は、人体において各部位間の不変の配置関係を表すモデルである。例えば、頭部と首（中肩）が隣接していること、右肩と右肘が隣接していることなどは、どの人体でも不変である。そこで人体構造モデル４００は、そのモデル４００において実線で連結された二つの部位が隣接していること、及び、その二つの部位間の長さなどを定義する。なお、実際には、人体構造モデルとして、例えば、部位ごとに、その部位の名称または識別番号と、その部位に隣接する部位の名称または識別番号と、隣接する部位までの長さとがリスト形式で記録される。そして人体構造モデルは、予め、記憶部４に保存される。

骨格モデル生成部２１は、ドライバの姿勢の推定に利用される各部位、例えば、頭部、両肩、両肘、両手首の実空間での位置を、３次元センサ２から得た３次元計測データに基づいて検出する。そのために、骨格モデル生成部２１は、１フレームの３次元計測データに基づいて人体の各部位の位置を検出する様々な技術の何れかを利用して、部位ごとに、３次元計測データ中でその部位に相当する測定点を検出する。例えば、骨格モデル生成部２１は、Random Forestといった機械学習に基づいて予め学習された識別器を用いて、部位ごとに、その部位に相当する測定点を検出する（例えば、J.Shotton他、"Real-Time Human Pose Recognition in Parts from Single Depth Images"、CVPR、2011年を参照）。あるいは、骨格モデル生成部２１は、円柱及び球などの幾何形状を組み合わせた人体モデルを３次元計測データとフィッティングすることにより、部位ごとに、その部位に相当する測定点を検出してもよい（例えば、村上他、「３次元ボクセルデータに基づく人体の姿勢推定」、情報処理学会研究報告、2003年を参照）。あるいはまた、骨格モデル生成部２１は、Reeb Graphを利用して、部位ごとに、その部位に相当する測定点を検出してもよい（例えば、唯野他、「測地線距離による高速かつロバストな三次元ビデオからのスケルトン抽出」、電子情報通信学会論文誌、D Vol.J90-D No.7 pp.1729-1732、2007年を参照）。

なお、部位によっては、他の部位に隠れて３次元センサ２から見えなかったり、あるいは、他の部位と密接しているために、他の部位と識別できないことがある。骨格モデル生成部２１は、このような部位については、対応する測定点を検出しなくてもよい。

骨格モデル生成部２１は、対応する測定点が検出された部位に基づいて骨格モデルを生成する。

図５は、骨格モデルの一例を示す図である。この例では、骨格モデル５００は、部位ごとに、その部位に対応する測定点の実空間での位置を表す３次元座標が表されたテーブルとして生成される。なお、骨格モデル５００において、検出されなかった部位については、３次元座標を表す欄が空欄、あるいは、３次元座標の値がデフォルト値となっている。

骨格モデル生成部２１は、生成した骨格モデルを、その骨格モデルの生成に利用した３次元計測データの取得時刻とともに記憶部４に保存する。

高信頼度部位追跡部２２は、追跡部の一例であり、３次元計測データが新たに得られる度に、記憶部４に保存された、直前のフレームの３次元計測データに基づいて生成された骨格モデルと、最新のフレームの３次元計測データに基づいて高信頼度部位を追跡する。これにより、高信頼度部位追跡部２２は、高信頼度部位の実空間での位置を更新する。

高信頼度部位は、位置、形状などの変動が比較的少なく、過去に求められた位置と最新の３次元計測データに基づく追跡により得られる推定位置の信頼性が相対的に高い部位である。例えば、ドライバについては、シートに座って前方を向き、かつ、両手でステアリングを把持していることが想定される。そのため、各部位のうち、顔、首、両肩、胴体、及び両手首については比較的変動が少なく、追跡により得られる推定位置の信頼性が高い。そこで本実施形態では、顔、首、両肩、胴体、及び両手首が高信頼度部位に設定される。一方、両肘は、ステアリングの操作などに応じて大きく移動したり、変形することがある。その結果として、３次元センサ２から両肘は見えなくなる可能性も比較的高い。そこで本実施形態では、両肘が低信頼度部位に設定される。このように、部位ごとの高信頼度部位または低信頼度部位の設定は、人体の構造、測定対象人物について想定される姿勢または３次元センサ２に対する相対的な位置などに基づいて、予め行われる。

人体構造モデルに定義された各部位について、高信頼度部位か、低信頼度部位かを表すフラグが、予め、その部位の識別番号とともに記憶部４に保存される。なお、このフラグは、部位が高信頼度部位か低信頼度部位かを表す信頼度情報の一例である。本実施形態では、高信頼度部位追跡部２２は、骨格モデル生成部２１において位置が求められていない部位の中から、フラグを参照することで、高信頼度部位を選択する。そして高信頼度部位追跡部２２は、選択した高信頼度部位のそれぞれについて、前フレームでの骨格モデルに表された高信頼度部位の位置と現フレームの３次元計測データに基づく追跡処理を実行することで、現フレームでの実空間の推定位置を求める。その際、高信頼度部位追跡部２２は、例えば、追跡処理として、ICPアルゴリズムを適用し、前フレームでの骨格モデルに表された着目する高信頼度部位の位置から現フレームへの移動を表す位置変換パラメータ（例えば、アフィン変換パラメータ）を算出する。そして高信頼度部位追跡部２２は、現フレームの３次元計測データに含まれる測定点のうち、前フレームでの着目する高信頼度部位の位置に対してその位置変換パラメータを適用して得られる推定位置との誤差が最小となる測定点を特定する。高信頼度部位追跡部２２は、特定した測定点と推定位置の差が所定の許容範囲（例えば、5〜10cm）内である場合、特定した測定点の位置を、現フレームでの着目する高信頼度部位の位置とする。また、高信頼度部位追跡部２２は、特定した測定点と推定位置の差が所定の許容範囲から外れている場合には、推定位置そのものを、現フレームでの着目する高信頼度部位の位置としてもよい。これは、着目する高信頼度部位が他の部位に隠れている可能性が有るためである。

高信頼度部位追跡部２２は、現フレームでの位置を求めた高信頼度部位のそれぞれについて、骨格モデルにその高信頼度部位の位置を書き込んで、骨格モデルを更新する。

骨格モデル生成部２１において位置が求められていない低信頼度部位については、追跡処理により求められるその部位の位置推定の精度は低く、誤差が大きい可能性がある。これは、低信頼度部位は、相対的に変動が大きかったり、あるいは、３次元センサ２から見えなくなる可能性が高いためである。

そこで低信頼度部位推定部２３は、骨格モデル生成部２１において位置が求められていない低信頼度部位のそれぞれについて、人体構造モデル及び周囲の複数の高信頼度部位の位置に基づいて現フレームでの推定位置を求める。なお、低信頼度部位推定部２３は、位置推定部の一例である。

低信頼度部位推定部２３は、例えば、着目する低信頼度部位に隣接する複数（例えば、二つ）の高信頼度部位を選択する。なお、着目する低信頼度部位に隣接する高信頼度部位が一つしかない場合には、低信頼度部位推定部２３は、着目する低信頼度部位に近い方から順に複数の高信頼度部位を選択してもよい。そして低信頼度部位推定部２３は、選択した複数の高信頼度部位のそれぞれについて、人体構造モデルを参照して、その高信頼度部位から着目する低信頼度部位までの長さを特定する。低信頼度部位推定部２３は、選択した二つの高信頼度部位のそれぞれについて、その高信頼度部位の位置を中心として、その高信頼度部位から着目する低信頼度部位までの長さを半径とする球を求め、各球の交点を、着目する低信頼度部位の実空間での位置とする。なお、低信頼度部位推定部２３は、交点が複数存在する場合、前フレームでの着目する低信頼度部位の位置に最も近い交点の位置を、その低信頼度部位の位置としてもよい。さらに、低信頼度部位推定部２３は、現フレームの３次元計測データに含まれる測定点のうち、交点に最も近い測定点までの距離が所定の許容範囲（例えば、5〜10cm）以内にある場合、その測定点の位置を、その低信頼度部位の位置としてもよい。

低信頼度部位推定部２３は、現フレームでの位置を求めた低信頼度部位のそれぞれについて、骨格モデルにその低信頼度部位の位置を書き込んで、骨格モデルを更新する。

図６（ａ）は、前フレームの３次元計測データ取得時のドライバの姿勢の一例を示す図であり、図６（ｂ）は、現フレームの３次元計測データ取得時におけるドライバの姿勢の一例を示す図である。図６（ａ）に示される例では、前フレームの時点で、ドライバ６００の各部位の位置は３次元センサ２から見えるので、骨格モデル生成部２１により、右手首６０１及び右肘６０２を含む、各部位の位置は求められている。一方、図６（ｂ）に示される例では、現フレームの時点で、ドライバ６００の右手首６０１及び右肘６０２が左手に隠されている。このうち、右手首６０１は高信頼度部位であるため、高信頼度部位追跡部２２により、現フレームにおけるその推定位置が求められる。一方、右肘６０２は低信頼度部位である。そのため、低信頼度部位推定部２３により、現フレームにおける右手首６０１の推定位置及び右肩６０３の位置と、右手首６０１から右肘６０２までの距離及び右肩６０３から右肘６０２までの距離とに基づいて、右肘６０２の位置は推定される。

運転権限移譲判定部２４は、姿勢判定部の一例であり、権限移譲準備モードが設定されている場合、骨格モデルに表された各部位のうちの少なくとも一つの位置に応じて、ドライバが運転権限を委譲可能な姿勢を取っているか否かを判定する。そして運転権限移譲判定部２４は、その判定結果に基づいて、自動運転装置１からドライバへ運転権限を委譲するか否かを判定する。

図７（ａ）〜図７（ｅ）は、それぞれ、自動運転装置１からドライバへ運転権限を委譲するための判定条件の一例を示す図である。図７（ａ）〜図７（ｅ）に示されるように、以下の条件が全て満たされる場合に、運転権限移譲判定部２４は、ドライバの姿勢は、自動運転装置１からドライバへ運転権限を委譲可能な姿勢であると判定する。一方、何れかの条件が満たされない場合、運転権限移譲判定部２４は、ドライバの姿勢は、ドライバへ運転権限を委譲可能な姿勢でないと判定する。
(a)ドライバ７００は両手でステアリング７０１を把持している（図７（ａ））
(b)ドライバ７００の両肘の角度θが所定の角度範囲（例えば、90〜150°）に含まれる（図７（ｂ））
(c)ドライバの頭部７０２がヘッドレスト７０３で守られる位置にある（図７（ｃ））
(d)頭部７０２がダッシュボード７０４の上端よりも所定距離（例えば、20〜40cm）より上にある。すなわち、ドライバの前方視界が確保されている（図７（ｄ））
(e)ドライバ７００が前方を向いている（図７（ｅ））

上記の条件(a)〜(e)のうち、条件(a)について、ステアリングの位置からそれぞれの手までの距離が所定の許容距離（例えば、3〜5cm）以下である場合に、運転権限移譲判定部２４は、ドライバが両手でステアリングを把持していると判定する。同様に、条件(c)について、ヘッドレストの位置から頭部までの距離が所定の許容距離以下である場合に、運転権限移譲判定部２４は、ドライバの頭部がヘッドレストで守られる位置にあると判定すればよい。また、条件(d)について、ドライバの頭部の鉛直方向座標からダッシュボードの上端の鉛直方向座標を減じた差が所定距離よりも大きい場合に、運転権限移譲判定部２４は、ドライバの前方視界が確保されていると判定すればよい。なお、ステアリング、ヘッドレスト及びダッシュボードの上端のそれぞれの位置は、予め記憶部４に保存される。さらに、条件(b)について、運転権限移譲判定部２４は、右手と左手のそれぞれについて、手首と肘を結ぶ直線と、肩と肘を結ぶ直線の交差角を、肘の角度として算出し、その角度が所定の角度範囲に含まれるか否かを判定すればよい。さらに、条件(e)について、運転権限移譲判定部２４は、左肩から頭部までの距離と、右肩から頭部までの距離の差が所定範囲内にある場合に、ドライバが前方を向いていると判定すればよい。

なお、運転権限移譲判定部２４は、上記の条件(a)〜(e)のうち、条件(a)、(d)及び(e)が満たされる場合に、ドライバの姿勢が運転権限を委譲可能な姿勢であると判定してもよい。

運転権限移譲判定部２４は、ドライバの姿勢が運転権限を委譲可能な姿勢である場合、自動運転装置１からドライバへ運転権限を委譲すると判定する。一方、ドライバの姿勢が運転権限を委譲可能な姿勢でない場合、運転権限移譲判定部２４は、ドライバへ運転権限を委譲しないと判定する。なお、運転権限移譲判定部２４は、所定の期間（例えば、1〜3秒間）にわたって継続してドライバの姿勢が運転権限を委譲可能な姿勢である場合に、自動運転装置１からドライバへ運転権限を委譲すると判定してもよい。

運転権限移譲判定部２４は、自動運転装置１からドライバへ運転権限を委譲すると判定した場合、その旨を表すメッセージを、車室内に設けられたディスプレイ（図示せず）に表示したり、その旨を表す音声をスピーカ（図示せず）から出力させる。そして制御部５は、その判定後、一定期間を経過した後に、自動運転処理を終了し、ドライバによる運転に切り替える。

図８は、制御部５により実行される、姿勢計測処理の動作フローチャートである。制御部５は、３次元センサ２から３次元計測データを受け取る度に、この動作フローチャートに従って姿勢計測処理を実行する。

骨格モデル生成部２１は、ドライバの姿勢の推定に利用される各部位、例えば、頭部、両肩、両肘、両手首の実空間での位置を、３次元センサ２から得た現フレームの３次元計測データに基づいて検出して、骨格モデルを生成する（ステップＳ１０１）。

高信頼度部位追跡部２２は、骨格モデル生成部２１で検出されなかった各部位のうち、高信頼度部位を選択する（ステップＳ１０２）。そして高信頼度部位追跡部２２は、記憶部４に保存された前フレームの骨格モデルと現フレームの３次元計測データに基づいて、選択した高信頼度部位を追跡することで、高信頼度部位の実空間での位置を更新する（ステップＳ１０３）。

低信頼度部位推定部２３は、骨格モデル生成部２１で検出されなかった各部位のうち、低信頼度部位を選択する（ステップＳ１０４）。低信頼度部位推定部２３は、各低信頼度部位について、人体構造モデルに基づいて、その低信頼度部位に隣接する複数の高信頼度部位を特定する。そして低信頼度部位推定部２３は、各低信頼度部位について、隣接する複数の高信頼度部位の実空間での位置とその隣接する各高信頼度部位と低信頼度部位間の長さに基づいて、低信頼度部位の推定位置を更新する（ステップＳ１０５）。

運転権限移譲判定部２４は、権限移譲準備モードが設定されているか否か判定する（ステップＳ１０６）。権限移譲準備モードが設定されていなければ（ステップＳ１０６−Ｎｏ）、制御部５は、姿勢計測処理を終了する。一方、権限移譲準備モードが設定されている場合（ステップＳ１０６−Ｙｅｓ）、運転権限移譲判定部２４は、各部位の位置に基づいて、ドライバの姿勢が自動運転装置１からドライバへの運転権限を委譲可能な姿勢か否か判定する（ステップＳ１０７）。ドライバの姿勢が権限委譲可能な姿勢である場合（ステップＳ１０７−Ｙｅｓ）、運転権限移譲判定部２４は、自動運転装置１からドライバへ運転権限を委譲すると判定する。そして制御部５は、運転権限をドライバへ移譲する（ステップＳ１０８）。そして制御部５は、姿勢計測処理を終了する。一方、ドライバの姿勢が権限委譲可能な姿勢でない場合（ステップＳ１０７−Ｎｏ）、運転権限移譲判定部２４は、自動運転装置１からドライバへ運転権限を委譲しないと判定する。そして制御部５は、姿勢計測処理を終了する。

以上に説明してきたように、この姿勢計測装置は、現フレームの３次元計測データに基づいて実空間での位置を特定できなかった部位のうち、高信頼度部位については追跡処理によって実空間での推定位置をもとめる。このように、この姿勢計測装置は、追跡処理を用いて精度良く実空間での位置を推定できると想定される高信頼度部位を対象として追跡処理を実行するので、精度良く部位の位置の推定できる。一方、この姿勢計測装置は、実空間での位置を特定できなかった部位のうち、低信頼度部位については、人体構造モデル及び隣接する複数の高信頼度部位の位置に基づいて実空間での推定位置をもとめる。そのため、この姿勢計測装置は、低信頼度部位についても、その部位の位置の推定できる。

なお、変形例によれば、骨格モデル生成部２１は、姿勢計測処理が開始されてから最初のフレームの３次元計測データについてのみ、各部位を検出してもよい。すなわち、図８の動作フローチャートにおいて、最初のフレームについてのみ、ステップＳ１０１の処理が行われてもよい。そして以降のフレームについては、高信頼度部位追跡部２２が、全ての高信頼度部位について、最新のフレームの３次元計測データとその直前のフレームについて算出された骨格モデルとに基づいて追跡処理を行って、その高信頼度部位の推定位置を更新すればよい。また、低信頼度部位推定部２３が、全ての低信頼度部位について、隣接する複数の高信頼度部位の推定位置と人体構造モデルとに基づいて、その低信頼度部位の推定位置を更新すればよい。

なお、何れかの部位が、最初のフレームの３次元計測データから、上記の実施形態による骨格モデル生成部２１の処理により検出されないことがある。このような場合には、骨格モデル生成部２１は、検出できなかった部位のそれぞれについて、低信頼度部位推定部２３の処理と同様の処理を行って、その部位の推定位置を求めてもよい。その際、骨格モデル生成部２１は、検出できなかった高信頼度部位については、隣接する低信頼度部位の位置が検出されていても、その低信頼度部位の位置を利用せず、その高信頼度部位に近い方から順に検出済みの複数の高信頼度部位の位置を利用してもよい。また、骨格モデル生成部２１が一つのフレームの３次元計測データから全ての部位を検出できるまでは、制御部５は、各フレームについて、図８に示される動作フローチャートに従って姿勢計測処理を実行してもよい。そして骨格モデル生成部２１が一つのフレームの３次元計測データから全ての部位を検出できると、制御部５は、それ以降のフレームについては、この変形例に従って姿勢計測処理を実行してもよい。

この変形例によれば、姿勢計測装置は、全てのフレームについて骨格モデル生成部２１の処理を実行しなくてもよいので、演算量を削減できる。

また、上記の実施形態または変形例による姿勢計測装置は、他の用途に利用されてもよい。例えば、上記の実施形態または変形例による姿勢計測装置は、ドライバが運転している間に継続してドライバの各部位の位置を計測し、その計測結果に基づいてドライバの姿勢の変化などを調べることで、ドライバの状態を判定するために利用されてもよい。

また、上記の実施形態または変形例による制御部の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。なお、記録媒体には、搬送波は含まれない。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
測定範囲内の各点の実空間での位置を表す３次元計測データを生成する３次元センサと、
人の複数の部位のそれぞれについて、当該部位に隣接する部位、及び当該部位から前記隣接する部位までの長さを表す人体構造モデルと、前記複数の部位のそれぞれについて、実空間での位置の計測精度の確からしさを表す信頼度が第１の信頼度となるか、前記第１の信頼度よりも低い第２の信頼度となるかを表す信頼度情報とを記憶する記憶部と、
前記測定範囲内にいる測定対象人物の前記複数の部位のうち、前記第１の信頼度を持つ第１の部位の実空間での位置を、前記３次元計測データと過去の当該部位の実空間での位置の計測結果に基づく追跡処理によって求める追跡部と、
前記測定対象人物の前記複数の部位のうち、前記第２の信頼度を持つ第２の部位の実空間での位置を、複数の前記第１の部位の実空間での位置と前記人体構造モデルに基づいて定められる当該第１の部位と当該第２の部位間の長さに基づいて求める位置推定部と、
を有する姿勢計測装置。
（付記２）
前記位置推定部は、前記人体構造モデルに基づいて、前記複数の第１の部位として、前記第２の部位に隣接する前記第１の部位を複数選択し、選択した前記複数の第１の部位のそれぞれについて、前記人体構造モデルに基づいて当該第１の部位と前記第２の部位間の長さを求め、選択した前記複数の第１の部位のそれぞれから当該長さとなる点に基づいて前記第２の部位の実空間での位置を求める、付記１に記載の姿勢計測装置。
（付記３）
前記３次元計測データに含まれる、複数の測定点の実空間での位置に基づいて前記測定対象人物の前記複数の部位の実空間での位置を検出する検出部をさらに有し、
前記追跡部は、前記第１の部位のうち、前記検出部により実空間での位置が検出されなかった第１の部位の実空間での位置を求める、付記１または２に記載の姿勢計測装置。
（付記４）
前記位置推定部は、前記第２の部位のうち、前記検出部により実空間での位置が検出されなかった第２の部位の実空間での位置を求める、付記３に記載の姿勢計測装置。
（付記５）
前記３次元センサは、車両の車室内を前記測定範囲とし、かつ、前記測定対象人物は前記車両のドライバであり、
前記第１の部位は、前記車両のドライバの肩と手首を含み、前記第２の部位は、前記車両のドライバの肘を含む、付記１〜４の何れかに記載の姿勢計測装置。
（付記６）
前記ドライバの前記第１の部位及び前記第２の部位のうちの少なくとも一つの部位に基づいて、前記ドライバが所定の姿勢を取っているか否かを判定する姿勢判定部をさらに有する、付記５に記載の姿勢計測装置。
（付記７）
３次元センサの測定範囲内にいる測定対象人物の複数の部位のうち、実空間での位置の計測精度の確からしさを表す信頼度として第１の信頼度を持つ第１の部位の実空間での位置を、前記３次元センサにより生成された前記測定範囲内の各測定点の実空間での位置を表す３次元計測データと過去の当該部位の実空間での位置の計測結果に基づく追跡処理によって求め、
前記測定対象人物の前記複数の部位のうち、前記第１の信頼度よりも低い第２の信頼度を持つ第２の部位の実空間での位置を、複数の前記第１の部位の実空間での位置と、人の複数の部位のそれぞれについて、当該部位に隣接する部位、及び当該部位から前記隣接する部位までの長さを表す人体構造モデルに基づいて定められる当該第１の部位と当該第２の部位間の長さに基づいて求める、
ことを含む姿勢計測方法。
（付記８）
３次元センサの測定範囲内にいる測定対象人物の複数の部位のうち、実空間での位置の計測精度の確からしさを表す信頼度として第１の信頼度を持つ第１の部位の実空間での位置を、前記３次元センサにより生成された前記測定範囲内の各測定点の実空間での位置を表す３次元計測データと過去の当該部位の実空間での位置の計測結果に基づく追跡処理によって求め、
前記測定対象人物の前記複数の部位のうち、前記第１の信頼度よりも低い第２の信頼度を持つ第２の部位の実空間での位置を、複数の前記第１の部位の実空間での位置と、人の複数の部位のそれぞれについて、当該部位に隣接する部位、及び当該部位から前記隣接する部位までの長さを表す人体構造モデルに基づいて定められる当該第１の部位と当該第２の部位間の長さに基づいて求める、
ことをコンピュータに実行させるための姿勢計測用コンピュータプログラム。

１ 自動運転装置（姿勢計測装置）
２ ３次元センサ
３ 車外センサ
４ 記憶部
５ 制御部
６ 基板
７ 車内ネットワーク
１０ 車両
１１ ドライバ
２１ 骨格モデル生成部
２２ 高信頼度部位追跡部
２３ 低信頼度部位推定部
２４ 運転権限移譲判定部

Claims (5)

1. 測定範囲内の各点の実空間での位置を表す３次元計測データを生成する３次元センサと、
   人の複数の部位のそれぞれについて、当該部位に隣接する部位、及び当該部位から前記隣接する部位までの長さを表す人体構造モデルと、前記複数の部位のそれぞれについて、実空間での位置の計測精度の確からしさを表す信頼度が第１の信頼度となるか、前記第１の信頼度よりも低い第２の信頼度となるかを表す信頼度情報とを記憶する記憶部と、
   前記測定範囲内にいる測定対象人物の前記複数の部位のうち、前記第１の信頼度を持つ第１の部位の実空間での位置を、前記３次元計測データと過去の当該部位の実空間での位置の計測結果に基づく追跡処理によって求める追跡部と、
   前記測定対象人物の前記複数の部位のうち、前記第２の信頼度を持つ第２の部位の実空間での位置を、複数の前記第１の部位の実空間での位置と前記人体構造モデルに基づいて定められる当該第１の部位と当該第２の部位間の長さに基づいて求める位置推定部と、
   を有する姿勢計測装置。
2. 前記位置推定部は、前記人体構造モデルに基づいて、前記複数の第１の部位として、前記第２の部位に隣接する前記第１の部位を複数選択し、選択した前記複数の第１の部位のそれぞれについて、前記人体構造モデルに基づいて当該第１の部位と前記第２の部位間の長さを求め、選択した前記複数の第１の部位のそれぞれから当該長さとなる点に基づいて前記第２の部位の実空間での位置を求める、請求項１に記載の姿勢計測装置。
3. 前記３次元計測データに含まれる、複数の測定点の実空間での位置に基づいて前記測定対象人物の前記複数の部位の実空間での位置を検出する検出部をさらに有し、
   前記追跡部は、前記第１の部位のうち、前記検出部により実空間での位置が検出されなかった第１の部位の実空間での位置を求める、請求項１または２に記載の姿勢計測装置。
4. 前記位置推定部は、前記第２の部位のうち、前記検出部により実空間での位置が検出されなかった第２の部位の実空間での位置を求める、請求項３に記載の姿勢計測装置。
5. ３次元センサの測定範囲内にいる測定対象人物の複数の部位のうち、実空間での位置の計測精度の確からしさを表す信頼度として第１の信頼度を持つ第１の部位の実空間での位置を、前記３次元センサにより生成された前記測定範囲内の各測定点の実空間での位置を表す３次元計測データと過去の当該部位の実空間での位置の計測結果に基づく追跡処理によって求め、
   前記測定対象人物の前記複数の部位のうち、前記第１の信頼度よりも低い第２の信頼度を持つ第２の部位の実空間での位置を、複数の前記第１の部位の実空間での位置と、人の複数の部位のそれぞれについて、当該部位に隣接する部位、及び当該部位から前記隣接する部位までの長さを表す人体構造モデルに基づいて定められる当該第１の部位と当該第２の部位間の長さに基づいて求める、
   ことを含む姿勢計測方法。

Images