JP2011123733A - 乗員姿勢推定装置 - Google Patents

Abstract

【課題】自己遮蔽が発生した場合の姿勢推定精度を簡易な構成で向上させる
【解決手段】運転席及びその周辺を繰り返し撮影し、撮影された画像データを取得する（Ｓ１０）。そして、取得された画像データに含まれる運転者の人体特徴点を検出し（Ｓ５０）、人体特徴点の位置の変化に基づいて、人体特徴点の位置（人体特徴点予測位置）を予測する（Ｓ６０，Ｓ７０）。さらに、人体特徴点予測位置に基づいて、運転者の行動を予測する（Ｓ８０）。また、予測した運転者行動に基づいて自己遮蔽が発生するか否かを判断する（Ｓ１００，Ｓ１２０）。そして、自己遮蔽が発生すると判断された場合には（Ｓ２０：ＹＥＳ）、自己遮蔽用人体特徴点検出アルゴリズムに設定する（Ｓ４０）。一方、自己遮蔽が発生しないと判断された場合に（Ｓ２０：ＮＯ）、自己遮蔽の発生を考慮しない通常用人体特徴点検出アルゴリズムに設定する（Ｓ３０）。
【選択図】図２

Description

本発明は、車両の乗員の姿勢を推定する乗員姿勢推定装置に関する。

従来、人体を撮影した画像から肩、肘、手といった人体特徴点を検出することで、人体の姿勢を推定する方法（例えば、特許文献１を参照）が知られている。また、車両の車室内の乗員（以下、車両乗員という）の人体特徴点を検出することにより車両乗員の行動を推定する方法（例えば、特許文献２を参照）が知られている。

ここで、車両乗員の動作空間は三次元であるために、二次元で撮影した単眼画像から車両乗員の人体特徴点の検出を行うと、車両乗員の腕が車両乗員自身の上半身前面にある場合や頭の背後にある場合には、腕の部分が頭や胴の部分に隠れてしまう、いわゆる自己遮蔽が発生する。この自己遮蔽が発生した場合には、車両乗員の姿勢の推定精度が低下する。

このような問題に対して、車室内に複数のカメラを設置し、車両乗員の三次元の映像を取得し、取得した三次元画像から腕部分の検出を行う方法（例えば、特許文献３を参照）、および、車室内に３Ｄカメラを設置し、車両乗員の三次元画像から腕部分の検出を行う方法（例えば、特許文献４を参照）が知られている。

また従来、マーカーレスモーションキャプチャの技術では、遮蔽情報付きの姿勢辞書を用いて、自己遮蔽の対策を行う方法（例えば、特許文献５を参照）が知られている。

特開２００７−６６０９４号公報 特開２００８−１４０２６８号公報 特開２００８−８４１４１号公報 特開２００８−２８３８号公報 特開２００７−３１０７０７号公報

しかし、上記特許文献３，４に記載の検出方法では、車両乗員の姿勢を推定する際に自己遮蔽が生じた場合でも姿勢推定を可能とするために、車室内に複数のカメラを配置したり、通常は車両に装着されていない特殊な３Ｄカメラが必要となったりする。さらに、特殊なカメラを使用する場合には、撮影画像サイズや撮影フレームレート等の仕様が姿勢推定で要求される仕様と適合しない可能性がある。つまり、上記検出方法では、姿勢推定装置のコストが増加するという問題があった。

また、上記特許文献５に記載の方法では、様々な姿勢画像からなる姿勢辞書を作成する必要があり、そのためのコストが増加するとともに、姿勢推定対象の人物が限定されるという問題があった。

本発明は、こうした問題に鑑みてなされたものであり、自己遮蔽が発生した場合の姿勢推定精度を簡易な構成で向上させることができる乗員姿勢推定装置を提供することを目的とする。

上記目的を達成するためになされた請求項１に記載の乗員姿勢推定装置では、撮影手段が、車両内の所定撮影領域を繰り返し撮影し、撮影した画像である車両内画像を取得する。そして人体特徴点検出手段が、撮影手段により取得された車両内画像を用いて、車両内画像に含まれる車両乗員の姿勢を特定するために車両乗員の複数の所定の関節位置を人体特徴点として検出し、さらに人体特徴点位置予測手段が、人体特徴点検出手段により検出された人体特徴点の位置の変化に基づいて、所定時間が経過した後の、複数の人体特徴点のそれぞれの位置を予測する。さらに行動予測手段が、人体特徴点位置予測手段により予測された人体特徴点の位置である人体特徴点予測位置に基づいて、車両乗員の行動である乗員行動を予測する。また自己遮蔽判断手段が、行動予測手段による予測結果に基づいて、人体特徴点が車両乗員により隠れる現象である自己遮蔽が発生するか否かを判断する。そして自己遮蔽対策手段が、自己遮蔽が発生すると自己遮蔽判断手段により判断された場合に、行動予測手段による予測結果に基づいて、自己遮蔽により隠される人体特徴点を自己遮蔽特徴点として自己遮蔽特徴点以外の人体特徴点の人体特徴点検出手段による検出が、自己遮蔽特徴点により影響を受けることを最低限に抑制するための対策である自己遮蔽対策を実施し、自己遮蔽が発生しないと自己遮蔽判断手段により判断された場合には、自己遮蔽の発生を考慮しない手法で人体特徴点検出手段に人体特徴点を検出させる。

このように構成された乗員姿勢推定装置によれば、車両乗員の人体特徴点の変化を予測し、これにより車両乗員の行動を予測する。そして、自己遮蔽が発生しない場合には、自己遮蔽の発生を考慮しない手法で人体特徴点を検出するとともに、自己遮蔽が発生する場合には、車両乗員の行動の予測結果に基づいて自己遮蔽対策を実施する。すなわち、自己遮蔽が発生する場合には、自己遮蔽が発生するときの乗員行動を考慮して人体特徴点を検出することができる。

このため、自己遮蔽が発生しない場合には、自己遮蔽の発生を考慮しない汎用的な検出手法を用いて人体特徴点を検出することができる。つまり、３Ｄカメラのように特殊な撮影手段を利用する必要がない。さらに、自己遮蔽が発生した場合であっても、乗員行動を考慮することができるため、上記の汎用的な検出手法を乗員行動に基づいて改良した手法を用いて人体特徴点を検出することができる。つまり、３Ｄカメラのように特殊な撮影手段を利用する必要がない。そして、自己遮蔽が発生した場合には、自己遮蔽特徴点により影響を受けることを最低限に抑制するための対策が実施されるため、汎用的な検出手法を用いたときと比較して、自己遮蔽が発生した場合の人体特徴点の検出精度を向上させることができる。

以上より、請求項１に記載の乗員姿勢推定装置によれば、３Ｄカメラのように特殊な撮影手段を利用することなく、２Ｄカメラのように汎用的な撮影手段を利用して、すなわち、簡易な構成で、車両乗員の姿勢を推定する推定精度を向上させることができる。

また、請求項１に記載の乗員姿勢推定装置では、請求項２に記載のように、自己遮蔽対策手段が、自己遮蔽対策として、行動予測手段により予測された行動に特化して人体特徴点を検出する手法で、人体特徴点検出手段に人体特徴点を検出させるようにするとよい。すなわち、自己遮蔽の発生を考慮しない汎用的な検出に対して、予測した乗員行動を考慮した改良を加えることにより、自己遮蔽対策を実施することができるので、自己遮蔽対策のために特殊な人体特徴点検出手法を利用する必要がない。

また、請求項１に記載の乗員姿勢推定装置では、請求項３に記載のように、自己遮蔽対策手段が、自己遮蔽対策として、人体特徴点検出手段の動作を禁止するようにしてもよい。これは、行動予測手段により予測された行動に特化した人体特徴点検出手法が当該乗員姿勢推定装置に設定されていない場合に採用することができる。これにより、自己遮蔽が発生した場合において、自己遮蔽の発生を考慮しない汎用的な検出手法を用いることにより人体特徴点の検出精度が悪化してしまうという状況の発生を抑制することができる。

また、請求項１に記載の乗員姿勢推定装置では、請求項４に記載のように、自己遮蔽対策手段は、自己遮蔽対策として、複数の人体特徴点のうち、行動予測手段による予測結果に基づいて決定された人体特徴点の位置を固定して、人体特徴点検出手段に人体特徴点を検出させるようにしてもよい。これにより、少なくとも、固定した人体特徴点については、自己遮蔽が発生した場合において、自己遮蔽の発生を考慮しない汎用的な検出手法を用いることにより検出精度が悪化してしまうという状況の発生を抑制することができる。

また、請求項１〜請求項４の何れか１項に記載の乗員姿勢推定装置では、請求項５に記載のように、行動予測手段は、人体特徴点検出手段により検出された人体特徴点の位置に基づいて特定される身体部位の位置と人体特徴点予測位置との位置関係、及び、車両内に設置された操作対象の位置と人体特徴点予測位置との位置関係の少なくとも１つに基づいて、乗員行動を予測するようにしてもよい。

すなわち、或る身体部位に人体特徴点予測位置が近付いている場合に車両乗員がこの身体部位に接触しようとしていると予測するとともに、或る操作対象の位置に人体特徴点予測位置が近付いている場合に車両乗員がこの操作対象に接触しようとしていると予測することができる。つまり、乗員行動を簡便に予測することができる。

また、請求項５に記載の乗員姿勢推定装置では、請求項６に記載のように、行動予測手段は、車両乗員の両肩の人体特徴点に基づいて特定される車両乗員の頭部の位置と、車両乗員の手の人体特徴点予測位置との位置関係に基づいて、車両乗員が、頭部への接触行動である頭部接触行動を乗員行動として行うか否かを予測し、自己遮蔽判断手段は、車両乗員が頭部接触行動を行うと行動予測手段が予測した場合に、自己遮蔽が発生すると判断するようにしてもよい。

すなわち、車両乗員の頭部の位置に車両乗員の手の人体特徴点予測位置が近付いている場合に車両乗員が頭部に接触しようとしていると予測することができる。つまり、頭部接触行動を簡便に予測することができる。また、頭部接触行動を行うと予測した場合に自己遮蔽が発生すると判断するため、自己遮蔽の発生の有無の判断を簡便に行うことができる。

また、請求項５に記載の乗員姿勢推定装置では、請求項７に記載のように、行動予測手段は、車両乗員の右腕の手の人体特徴点予測位置と、車両乗員の右腕の肘の人体特徴点予測位置とを結ぶ線分を右腕予測線分とし、車両乗員の左腕の手の人体特徴点予測位置と、車両乗員の左腕の肘の人体特徴点予測位置とを結ぶ線分を左腕予測線分として、右腕予測線分と左腕予測線分とが交差する場合に、車両乗員が右腕と左腕とを交差させる行動である腕交差行動を乗員行動として行うと予測し、自己遮蔽判断手段は、車両乗員が腕交差行動を行うと行動予測手段が予測した場合に、自己遮蔽が発生すると判断する。

このように構成された乗員姿勢推定装置によれば、車両乗員が右腕と左腕とを交差させる行動を簡便に予測することができるとともに、自己遮蔽の発生の有無の判断を簡便に行うことができる。

また、車両乗員は車両内では通常着席しているので、乗員姿勢推定装置は、上半身の姿勢を推定すればよい。このため、請求項１〜請求項７の何れか１項に記載の乗員姿勢推定装置では、請求項８に記載のように、人体特徴点検出手段は、車両乗員の肩、肘、及び手の人体特徴点のみを検出するようにするとよい。これにより、車両乗員の姿勢推定において必要性が乏しい下半身の人体特徴点を用いることがなくなり、車両乗員の姿勢を推定するときの処理負荷を低減することができる。

また、請求項１〜請求項８の何れか１項に記載の乗員姿勢推定装置では、請求項９に記載のように、人体特徴点位置予測手段が人体特徴点予測位置を予測する場合の所定時間が、予め設定された定数であるようにしてもよい。これにより、現在から何秒後の人体特徴点予測位置を予測するのかを、人体特徴点予測位置を予測する毎に設定する必要がないので、人体特徴点予測位置を予測するときの処理負荷を低減することができる。

また、請求項１〜請求項９の何れか１項に記載の乗員姿勢推定装置では、請求項１０に記載のように、人体特徴点位置予測手段は、撮影手段により取得された複数の車両内画像のうち、連続した前後２つの車両内画像のみを用いて、人体特徴点予測位置を予測するようにしてもよい。前後２つの車両内画像は、人体特徴点予測位置を予測するために必要最低限の車両内画像であり、前後２つの車両内画像のみを用いることにより、人体特徴点を予測するときの処理負荷を低減することができる。

乗員姿勢推定装置１の概略構成を示すブロック図である。 運転者操作補助処理を示すフローチャートである。 カメラ１１により撮影された画像例と、検出された人体特徴点の例を示す図である。 人体特徴点を検出する第１〜３の方法を示す図である。 人体特徴点を検出する第４〜６の方法を示す図である。 自己遮蔽発生時の人体特徴点を検出する方法を説明する図である。 人体特徴点予測位置の算出方法を示す図である。 運転者の行動を予測する第１〜２の方法を示す図である。 運転者の行動を予測する第３〜４の方法を示す図である。

以下に本発明の実施形態を図面とともに説明する。
図１は、乗員姿勢推定装置１の概略構成を示すブロック図である。
本実施形態の乗員姿勢推定装置１は、車両に搭載され、図１に示すように、運転席およびその周辺を連続して撮影するカメラ１１と、カメラ１１により撮影された画像のデータを一時的に記憶する画像キャプチャーボード１２と、各種データを記憶するデータ記憶装置１３と、車内ＬＡＮ（不図示）を介して他の装置と各種車両情報等をやりとりする車内ＬＡＮ通信部１４と、各種のガイド音声等を出力するための音声出力部１５と、カメラ１１による撮影のために可視光または赤外光により車室内を照らす照明装置１６と、上述した画像キャプチャーボード１２、データ記憶装置１３及び車内ＬＡＮ通信部１４からの入力に応じて各種処理を実行し、車内ＬＡＮ通信部１４、及び音声出力部１５を制御する制御部１７とを備えている。

制御部１７は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ及びこれらの構成を接続するバスラインなどからなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭ及びＲＡＭに記憶されたプログラムに基づいて各種処理を実行する。

このように構成された乗員姿勢推定装置１において、制御部１７は、運転者が行う操作を補助する運転者操作補助処理を実行する。図２は、運転者操作補助処理を示すフローチャートである。この運転者操作補助処理は、乗員姿勢推定装置１が起動しているときに繰り返し実行される処理である。

この運転者操作補助処理が実行されると、制御部１７のＣＰＵは、まずＳ１０にて、カメラ１１により撮影された画像データを取得する。取得された画像の例を図３（ａ）に示す。

その後Ｓ２０にて、後述のＳ１１０，１３０の処理でセットまたはクリアされ、自己遮蔽が発生するか否かを示す自己遮蔽フラグＦがセットされているか否かを判断する。
ここで、自己遮蔽フラグＦがセットされていない場合には（Ｓ２０：ＮＯ）、Ｓ３０にて、自己遮蔽の発生を考慮しない通常用人体特徴点検出アルゴリズムに設定して、Ｓ５０に移行する。

なお、人体特徴点検出アルゴリズムとしては、図４（ａ）に示すように、人体の上半身部分と手、肘および肩の人体特徴点により形成される関節モデルを利用し、関節モデルと入力画像との照合を行う方法や、関節モデルを検出の制約条件として利用することが一般的である。

そして、関節モデルを利用し、その上で入力画像の画素値情報の解析を行い人体特徴点を検出する方法として、図４（ｂ）に示すように、画像からエッジを抽出しその曲率を解析し人体特徴点位置を検出する方法 、図４（ｃ）に示すように、人物のシルエットを領域分割し人体特徴点位置を検出する方法 、図５（ａ）に示すように、ＨＯＧやｓｈａｐｅ ｃｏｎｔｅｘｔ といった局所特徴量を算出し人体特徴点位置を検出する方法などがある。

また、関節モデルを利用し、その上で現フレームと前フレーム間の人体特徴点位置の移動量の逐次推定・追跡を行い、人体特徴点位置を検出する方法として、図５（ｂ）に示すように、関節モデルの身体部位領域のオプティカルフローを算出し人体特徴点位置を検出する方法や、図５（ｃ）に示すように、パーティクルフィルタにより人体特徴点位置を検出する方法などがある。なお、これらの方法を利用する場合には、人体特徴点位置の初期値を予め算出した上で実行する必要がある。

一方、自己遮蔽フラグＦがセットされている場合には（Ｓ２０：ＹＥＳ）、Ｓ４０にて、自己遮蔽の発生を考慮した自己遮蔽用人体特徴点検出アルゴリズムに設定して、Ｓ５０に移行する。なお、自己遮蔽用人体特徴点検出アルゴリズムは、後述のＳ８０の処理で予測した行動を行う際の各特徴点の動作特性を考慮したものであり、例えば、図６（ａ）に示すように、運転者が携帯電話を操作する時には肩と肘の長さＬＡが変わらないという特性を利用し、肩と肘の長さが変わらないという条件を付与したアルゴリズムで人体特徴点を検出する。なお、携帯電話を操作する時に肩と肘の長さＬＡが変わらないという条件を付加することなく、通常用人体特徴点検出アルゴリズムとしてオプティカルフローを用いると、図６（ｂ）に示すように、携帯電話を頭部に当てている側の腕の人体特徴点を適切に検出できなくなる。

そしてＳ５０に移行すると、Ｓ３０またはＳ４０で設定された人体特徴点検出アルゴリズムを用いて、肩、肘および手の人体特徴点を検出する。検出された人体特徴点の例を図３（ｂ）に示す。図３（ｂ）の点Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６はそれぞれ、右肩、右肘、右手、左肩、左肘、及び左手の人体特徴点を示す。またＳ５０では、検出した人体特徴点を示す情報を、制御部１７のＲＡＭに記憶する。

次にＳ６０にて、Ｓ５０にて検出された人体特徴点の移動速度Ｖを算出する。具体的には、前回検出した人体特徴点の位置をＰａ、今回検出した人体特徴点の位置をＰｂ，人体特徴点を前回検出した時刻をＴａ、人体特徴点を今回検出した時刻をＴｂとして、移動速度Ｖを式（１）により算出する。

Ｖ ＝ （Ｐｂ−Ｐａ）／（Ｔｂ−Ｔａ） ・・・（１）
なお、人体特徴点の移動速度Ｖの算出は、右肩、左肩、右肘、左肘、右手、及び左手の人体特徴点のそれぞれについて実行される。

さらにＳ７０にて、人体特徴点の予測位置を算出する。具体的には、前回検出した人体特徴点の位置Ｐａを始点として今回検出した人体特徴点の位置Ｐｂに向かう方向をＤｐとして、位置Ｐｂを起点として方向Ｄｐに向かって移動速度Ｖで予測時間Ｔｐ（本実施形態では例えば０．５秒）移動した地点を、人体特徴点予測位置Ｑとする。

なお、人体特徴点予測位置Ｑの算出は、右肩、左肩、右肘、左肘、右手、及び左手の人体特徴点のそれぞれについて実行される。
人体特徴点予測位置Ｑの算出例を図７に示す。図７では、左肩の人体特徴点が方向Ｄｐ４に向かって移動速度Ｖ４で今回位置Ｐ４ｂから移動した場合の人体特徴点予測位置Ｑ４、左肘の人体特徴点が方向Ｄｐ５に向かって移動速度Ｖ５で今回位置Ｐ５ｂから移動した場合の人体特徴点予測位置Ｑ５、及び左手の人体特徴点が方向Ｄｐ６に向かって移動速度Ｖ６で今回位置Ｐ６ｂから移動した場合の人体特徴点予測位置Ｑ６を示す。

その後Ｓ８０にて、Ｓ７０で算出された右肩、右肘、右手、左肘、左肩、及び左手の人体特徴点予測位置Ｑ１〜Ｑ６に基づいて、運転者の行動を予測する。具体的には、例えば図８（ａ）に示すように、左手の人体特徴点予測位置Ｑ６が、撮影された画像内におけるグローブボックスの位置を示す領域Ｒ１（以下、グローブボックス領域Ｒ１という）内に含まれる場合には、運転者がグローブボックスを開放しようとしていると予測する。つまり、人体特徴点予測位置が、撮影された画像内における車載機器の位置を示す領域内に含まれる場合には、運転者がこの車載機器を操作しようとしていると予測する。

また例えば図８（ｂ）に示すように、左手の人体特徴点予測位置Ｑ６が、運転者の右肩の身体部位領域Ｒ２内に含まれる場合には、運転者が左手を右肩へ接触させようとしていると予測する。つまり、人体特徴点予測位置が運転者の身体部位領域内に含まれる場合には、運転者が身体部位に関わる操作（頭をかく、肩を揉む、携帯電話を耳に当てる、ジュースの缶を口に当てる等）をしようとしていると予測する。

また例えば図９（ａ）に示すように、左手の人体特徴点予測位置Ｑ６が、両肩の人体特徴点位置Ｐ１ｂ，Ｐ４ｂと身体部位の統計データとを利用して設定した頭部領域Ｒ３内に含まれる場合には、運転者が頭部への接触操作（頭をかく、携帯電話を耳に当てる、ジュースの缶を口に当てる等）をしようとしていると予測する。なお、上記の身体部位の統計データとして、例えば、ＡＩＳＴ／ＨＱＬ人体寸法・形状データベース２００３を用いるとよい。すなわち、まず、このデータベースのデータに基づき頭長と肩幅の比率（以下、頭長・肩幅比率という）を予め設定しておく。そして、両肩の人体特徴点位置を用いて矩形状の頭部領域Ｒ３の横方向の辺Ｈ３の長さを決定し、さらに、頭部領域Ｒ３の横方向の辺の長さと頭長・肩幅比率とから、矩形状の頭部領域Ｒ３の縦方向の辺Ｖ３の長さを決定する。

また例えば図９（ｂ）に示すように、右肩、右肘、右手の人体特徴点予測位置Ｑ１，Ｑ２，Ｑ３を結ぶ線分と、左肩、左肘、左手の人体特徴点予測位置Ｑ４，Ｑ５，Ｑ６を結ぶ線分とが交差する場合に、運転者が両腕を交差しようとしていると予測する。

そしてＳ８０の処理が終了すると、Ｓ９０にて、自己遮蔽フラグＦがセットされているか否かを判断する。ここで、自己遮蔽フラグＦがセットされていない場合には（Ｓ９０：ＮＯ）、Ｓ１００にて、Ｓ８０で予測した運転者の行動に基づいて自己遮蔽が発生するか否かを判断する。例えば、運転者が頭部への接触操作をしようとしているとＳ８０で予測した場合には、自己遮蔽が発生すると判断し、運転者が車載機器を操作しようとしているとＳ８０で予測した場合には、自己遮蔽が発生しないと判断する。なお、自己遮蔽が発生するか否かの判断は、本実施形態では、Ｓ８０で予測することができる行動のそれぞれに対応して、自己遮蔽が発生するか否かを示すテーブル（以下、自己遮蔽判断テーブルという）が予め設けられており、この自己遮蔽判断テーブルを参照して、自己遮蔽が発生するか否かを判断する。

ここで、自己遮蔽が発生すると判断した場合には（Ｓ１００：ＹＥＳ）、Ｓ１１０にて、自己遮蔽フラグＦをセットし、Ｓ１４０に移行する。一方、自己遮蔽が発生しないと判断した場合には（Ｓ１００：ＮＯ）、Ｓ１４０に移行する。

またＳ９０にて、自己遮蔽フラグＦがセットされていると判断した場合には（Ｓ９０：ＹＥＳ）、Ｓ１２０で、Ｓ８０で予測した運転者の行動に基づいて自己遮蔽が解消されるか否かを判断する。なお、この判断方法は、Ｓ１００で用いた方法と同一である。ここで、自己遮蔽が解消されると判断した場合には（Ｓ１２０：ＹＥＳ），Ｓ１３０にて、自己遮蔽フラグＦをクリアし、Ｓ１４０に移行する。一方、自己遮蔽が解消されないと判断した場合には（Ｓ１３０：ＮＯ）、Ｓ１４０に移行する。

そしてＳ１４０に移行すると、Ｓ８０で予測した運転者の行動に基づいて、運転者が行う操作を補助するために、車内ＬＡＮ通信部１４と音声出力部１５を制御する。例えば、運転者がグローブボックスを開放しようとしているとＳ８０で予測した場合には、車内ＬＡＮ通信部１４を制御することにより車内ＬＡＮを介して、グローブボックスの開閉装置（不図示）を制御するＥＣＵ（不図示）へ開放指令を送信し、これにより、グローブボックスを自動的に開放させたり、運転者が運転中に携帯電話を操作しようとしているとＳ８０で予測した場合には、音声出力部１５を制御することにより音声出力部１５から警告音を発生させるとともに、車内ＬＡＮ通信部１４を制御することにより車内ＬＡＮを介してメータＥＣＵ（不図示）へ表示指令を送信し、これにより、メータ表示器（不図示）に警告表示をさせたりする。そしてＳ１４０の処理が終了すると、運転者操作補助処理を一旦終了する。

このように構成された乗員姿勢推定装置１では、カメラ１１が、運転席及びその周辺を繰り返し撮影し、撮影された画像データを取得する（Ｓ１０）。そして、取得された画像データを用いて、画像データに含まれる運転者の右肩、左肩、右肘、左肘、右手、及び左手の人体特徴点を検出し（Ｓ５０）、さらに、検出された人体特徴点の位置の変化に基づいて、予測時間Ｔｐが経過した後の、右肩、左肩、右肘、左肘、右手、及び左手の人体特徴点の位置（人体特徴点予測位置Ｑ）を予測する（Ｓ６０，Ｓ７０）。さらに、右肩、左肩、右肘、左肘、右手、及び左手の人体特徴点予測位置Ｑに基づいて、運転者の行動を予測する（Ｓ８０）。また、予測した運転者行動に基づいて自己遮蔽が発生するか否かを判断する（Ｓ１００，Ｓ１２０）。

そして、自己遮蔽が発生すると判断された場合には（Ｓ１００：ＹＥＳ、Ｓ２０：ＹＥＳ）、自己遮蔽用人体特徴点検出アルゴリズムに設定する（Ｓ４０）。この自己遮蔽用人体特徴点検出アルゴリズムは、予測した運転者行動を行う際の各特徴点の動作特性を考慮したものである。これにより、自己遮蔽用人体特徴点検出アルゴリズムを用いて人体特徴点が検出される（Ｓ５０）。一方、自己遮蔽が発生しないと判断された場合には（Ｓ１２０：ＹＥＳ、Ｓ２０：ＮＯ）、自己遮蔽の発生を考慮しない通常用人体特徴点検出アルゴリズムに設定する（Ｓ３０）。これにより、通常用人体特徴点検出アルゴリズムを用いて人体特徴点が検出される（Ｓ５０）。

このように構成された乗員姿勢推定装置１によれば、運転者の人体特徴点の変化を予測し、これにより運転者の行動を予測する。そして、自己遮蔽が発生しない場合には、自己遮蔽の発生を考慮しない手法で人体特徴点を検出するとともに、自己遮蔽が発生する場合には、運転者の行動の予測結果に基づいて自己遮蔽対策を実施する。すなわち、自己遮蔽が発生する場合には、自己遮蔽が発生するときの運転者行動を考慮して人体特徴点を検出することができる。

このため、自己遮蔽が発生しない場合には、自己遮蔽の発生を考慮しない汎用的な検出手法を用いて人体特徴点を検出することができる。つまり、３Ｄカメラのように特殊な撮影手段を利用する必要がない。さらに、自己遮蔽が発生した場合であっても、運転者行動を考慮することができるため、上記の汎用的な検出手法を運転者行動に基づいて改良した手法を用いて人体特徴点を検出することができる。つまり、３Ｄカメラのように特殊な撮影手段を利用する必要がない。そして、自己遮蔽が発生した場合には、自己遮蔽により隠される人体特徴点（以下、自己遮蔽特徴点という）により人体特徴点の検出が影響を受けることを最低限に抑制するための対策が実施されるため、汎用的な検出手法を用いたときと比較して、自己遮蔽が発生した場合の人体特徴点の検出精度を向上させることができる。

以上より、乗員姿勢推定装置１によれば、３Ｄカメラのように特殊な撮影手段を利用することなく、２Ｄカメラのように汎用的な撮影手段を利用して、すなわち、簡易な構成で、運転者の姿勢を推定する推定精度を向上させることができる。

また、自己遮蔽用人体特徴点検出アルゴリズムは、予測した運転者行動を行う際の各特徴点の動作特性を考慮したものである。すなわち、自己遮蔽の発生を考慮しない汎用的な検出に対して、予測した運転者行動を考慮した改良を加えることにより、自己遮蔽対策を実施することができるので、自己遮蔽対策のために特殊な人体特徴点検出手法を利用する必要がない。

また、検出された人体特徴点の位置に基づいて特定される身体部位（本実施形態では、右肩の身体部位領域Ｒ２と頭部領域Ｒ３）の位置と人体特徴点予測位置Ｑとの位置関係、及び、車両内に設置された車載機器の位置（本実施形態では、グローブボックス領域Ｒ１）と人体特徴点予測位置Ｑとの位置関係に基づいて、運転者の行動を予測する（Ｓ８０）。

すなわち、或る身体部位に人体特徴点予測位置Ｑが近付いている場合に運転者がこの身体部位に接触しようとしていると予測するとともに、或る車載機器の位置に人体特徴点予測位置Ｑが近付いている場合に運転者がこの車載機器に接触しようとしていると予測することができる。つまり、運転者の行動を簡便に予測することができる。

また、運転者の両肩の人体特徴点Ｐ１，Ｐ４に基づいて特定される運転者の頭部領域Ｒ３と、運転者の手の人体特徴点予測位置Ｑ３，Ｑ６との位置関係に基づいて、運転者が頭部への接触行動を行うか否かを予測し（Ｓ８０）、頭部への接触行動を行うと予測した場合に、自己遮蔽が発生すると判断する（Ｓ１００）。

すなわち、運転者の頭部の位置に運転者の手の人体特徴点予測位置が近付いている場合に運転者が頭部に接触しようとしていると予測することができる。つまり、頭部接触行動を簡便に予測することができる。また、頭部接触行動を行うと予測した場合に自己遮蔽が発生すると判断するため、自己遮蔽の発生の有無の判断を簡便に行うことができる。

また、運転者の右腕の手の人体特徴点予測位置Ｑ３と運転者の右腕の肘の人体特徴点予測位置Ｑ２とを結ぶ線分と、運転者の左腕の手の人体特徴点予測位置Ｑ６と運転者の左腕の肘の人体特徴点予測位置Ｑ５とを結ぶ線分とが交差する場合に、運転者が右腕と左腕とを交差させる行動（以下、腕交差行動という）を行うと予測し（Ｓ８０）、この場合に、自己遮蔽が発生すると判断する（Ｓ１００）。

すなわち、運転者が右腕と左腕とを交差させる行動を簡便に予測することができるとともに、自己遮蔽の発生の有無の判断を簡便に行うことができる。
また、運転者の右肩、左肩、右肘、左肘、右手、及び左手の人体特徴点のみを検出するため、運転者の姿勢推定において必要性が乏しい下半身の人体特徴点を用いることがなくなり、運転者の姿勢を推定するときの処理負荷を低減することができる。

また、人体特徴点予測位置Ｑを算出する場合の予測時間Ｔｐが、予め設定された定数である。このため、現在から何秒後の人体特徴点予測位置Ｑを予測するのかを、人体特徴点予測位置Ｑを算出する毎に設定する必要がないので、人体特徴点予測位置Ｑを算出するときの処理負荷を低減することができる。

また、カメラ１１により撮影された複数の画像データのうち、連続した前後２つの画像データのみを用いて、人体特徴点予測位置Ｑを算出する。前後２つの画像データは、人体特徴点予測位置Ｑを算出するために必要最低限の画像データであり、前後２つの画像データのみを用いることにより、人体特徴点予測位置Ｑを算出するときの処理負荷を低減することができる。

以上説明した実施形態において、カメラ１１は本発明における撮影手段、Ｓ５０の処理は本発明における人体特徴点検出手段、Ｓ６０，Ｓ７０の処理は本発明における人体特徴点位置予測手段、Ｓ８０の処理は本発明における行動予測手段、Ｓ１００，Ｓ１２０の処理は本発明における自己遮蔽判断手段、Ｓ２０〜Ｓ４０の処理は本発明における自己遮蔽対策手段、予測時間Ｔｐは本発明における所定時間である。

以上、本発明の一実施例について説明したが、本発明は上記実施例に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
例えば上記実施形態では、自己遮蔽が発生すると判断した場合には、通常用人体特徴点検出アルゴリズムから自己遮蔽用人体特徴点検出アルゴリズムに変更するものを示したが、自己遮蔽が発生すると判断した場合には、人体特徴点検出を中断するようにしてもよい。これにより、自己遮蔽が発生している場合に、通常用人体特徴点検出アルゴリズムを用いることにより人体特徴点の検出精度が悪化してしまうという状況の発生を抑制することができる。

また、自己遮蔽が発生すると判断した場合には、Ｓ８０で予測した運転者の行動に基づいて人体特徴点を固定して、人体特徴点を検出するようにしてもよい。例えば、携帯電話を耳に当てる行動をしようとしていると予測する場合には、携帯電話を掴んでいる側の肘の位置を固定して人体特徴点を検出する。これにより、少なくとも、固定した人体特徴点については、自己遮蔽が発生した場合において、自己遮蔽の発生を考慮しない汎用的な検出手法を用いることにより検出精度が悪化してしまうという状況の発生を抑制することができる。

また、自己遮蔽が発生すると判断した場合には、自己遮蔽により隠れている人体特徴点を無視して人体特徴点を検出するようにしてもよい。また、自己遮蔽により隠れる前の人体特徴点の動作履歴から時系列フィルタ（カルマンフィルタ等）で、隠れている人体特徴点の位置を推測するようにしてもよい。

また上記実施形態では、運転者がグローブボックスを開放しようとしていると予測した場合には、グローブボックスを自動的に開放することにより、運転者が行う操作を補助するものを示した。この他に例えば、運転者の手がナビゲーション装置に近付いていることを予測すると、ナビゲーション装置の電源を自動的にオンにするようにしてもよい。

また上記実施形態では、右肩、左肩、右肘、左肘、右手、及び左手の人体特徴点を検出するものを示したが、検出する人体特徴点の数を減らしてもよいし、これ以外の人体特徴点（例えば、首、腰）を検出するようにしてもよい。

また上記実施形態では、前後の２つの画像データを用いて人体特徴点の予測位置を算出するものを示したが、３つ以上の画像データを用いるようにしてもよい。
また上記実施形態では、前後２つの人体特徴点の移動距離に基づいて人体特徴点の移動速度Ｖを算出するという簡便な方法で人体特徴点予測位置を算出するものを示したが、より詳細な方法で移動速度Ｖを算出して人体特徴点予測位置を算出するようにしてもよい。

また上記実施形態では、乗員姿勢推定のみのためにカメラ１１を用いるものを示したが、セキュリティ機能と乗員姿勢推定の両方のためにカメラ１１を用いるようにしてもよい。

また上記実施形態では、カメラ１１により撮影された画像データを画像キャプチャーボード１２を介して取得するものを示したが、画像キャプチャーボード１２を介さず直接カメラ１１から画像データを取得するようにしてもよい。

また上記実施形態では、Ｓ１４０において、車内ＬＡＮを介して他の装置に各種指令を送信することにより、運転者が行う操作を補助するものを示した。しかし、Ｓ８０において運転者行動を予測した後に、その予測結果を車内ＬＡＮを介して他の装置へ送信するようにしてもよい。これにより、運転者行動の予測結果を受信した装置は独自に、この予測結果を用いて、運転者が行う操作を補助する制御を行うことができる。

１…乗員姿勢推定装置、１１…カメラ、１２…画像キャプチャーボード、１３…データ記憶装置、１４…車内ＬＡＮ通信部、１５…音声出力部、１６…照明装置、１７…制御部

Claims (10)

1. 車両内の乗員の姿勢を推定する乗員姿勢推定装置であって、
   車両内の所定撮影領域を繰り返し撮影し、該撮影した画像である車両内画像を取得する撮影手段と、
   前記撮影手段により取得された前記車両内画像を用いて、前記車両内画像に含まれる車両乗員の姿勢を特定するために前記車両乗員の複数の所定の関節位置を人体特徴点として検出する人体特徴点検出手段と、
   前記人体特徴点検出手段により検出された前記人体特徴点の位置の変化に基づいて、所定時間が経過した後の、複数の前記人体特徴点のそれぞれの位置を予測する人体特徴点位置予測手段と、
   前記人体特徴点位置予測手段により予測された前記人体特徴点の位置である人体特徴点予測位置に基づいて、前記車両乗員の行動である乗員行動を予測する行動予測手段と、
   前記行動予測手段による予測結果に基づいて、前記人体特徴点が前記車両乗員により隠れる現象である自己遮蔽が発生するか否かを判断する自己遮蔽判断手段と、
   前記自己遮蔽が発生すると前記自己遮蔽判断手段により判断された場合に、前記行動予測手段による予測結果に基づいて、前記自己遮蔽により隠される前記人体特徴点を自己遮蔽特徴点として前記自己遮蔽特徴点以外の前記人体特徴点の前記人体特徴点検出手段による検出が、前記自己遮蔽特徴点により影響を受けることを最低限に抑制するための対策である自己遮蔽対策を実施し、前記自己遮蔽が発生しないと前記自己遮蔽判断手段により判断された場合には、前記自己遮蔽の発生を考慮しない手法で前記人体特徴点検出手段に前記人体特徴点を検出させる自己遮蔽対策手段と
   を備えることを特徴とする乗員姿勢推定装置。
2. 前記自己遮蔽対策手段は、前記自己遮蔽対策として、
   前記行動予測手段により予測された行動に特化して前記人体特徴点を検出する手法で、前記人体特徴点検出手段に前記人体特徴点を検出させる
   ことを特徴とする請求項１に記載の乗員姿勢推定装置。
3. 前記自己遮蔽対策手段は、前記自己遮蔽対策として、
   前記人体特徴点検出手段の動作を禁止する
   ことを特徴とする請求項１に記載の乗員姿勢推定装置。
4. 前記自己遮蔽対策手段は、前記自己遮蔽対策として、
   複数の前記人体特徴点のうち、前記行動予測手段による予測結果に基づいて決定された前記人体特徴点の位置を固定して、前記人体特徴点検出手段に前記人体特徴点を検出させる
   ことを特徴とする請求項１に記載の乗員姿勢推定装置。
5. 前記行動予測手段は、
   前記人体特徴点検出手段により検出された前記人体特徴点の位置に基づいて特定される身体部位の位置と前記人体特徴点予測位置との位置関係、及び、前記車両内に設置された操作対象の位置と前記人体特徴点予測位置との位置関係の少なくとも１つに基づいて、前記乗員行動を予測する
   ことを特徴とする請求項１〜請求項４の何れか１項に記載の乗員姿勢推定装置。
6. 前記行動予測手段は、
   前記車両乗員の両肩の前記人体特徴点に基づいて特定される前記車両乗員の頭部の位置と、前記車両乗員の手の前記人体特徴点予測位置との位置関係に基づいて、前記車両乗員が、頭部への接触行動である頭部接触行動を前記乗員行動として行うか否かを予測し、
   前記自己遮蔽判断手段は、
   前記車両乗員が前記頭部接触行動を行うと前記行動予測手段が予測した場合に、前記自己遮蔽が発生すると判断する
   ことを特徴とする請求項５に記載の乗員姿勢推定装置。
7. 前記行動予測手段は、
   前記車両乗員の右腕の手の前記人体特徴点予測位置と、前記車両乗員の右腕の肘の前記人体特徴点予測位置とを結ぶ線分を右腕予測線分とし、前記車両乗員の左腕の手の前記人体特徴点予測位置と、前記車両乗員の左腕の肘の前記人体特徴点予測位置とを結ぶ線分を左腕予測線分として、前記右腕予測線分と前記左腕予測線分とが交差する場合に、前記車両乗員が右腕と左腕とを交差させる行動である腕交差行動を前記乗員行動として行うと予測し、
   前記自己遮蔽判断手段は、
   前記車両乗員が前記腕交差行動を行うと前記行動予測手段が予測した場合に、前記自己遮蔽が発生すると判断する
   ことを特徴とする請求項５に記載の乗員姿勢推定装置。
8. 前記人体特徴点検出手段は、
   前記車両乗員の肩、肘、及び手の前記人体特徴点のみを検出する
   ことを特徴とする請求項１〜請求項７の何れか１項に記載の乗員姿勢推定装置。
9. 前記所定時間は、予め設定された定数である
   ことを特徴とする請求項１〜請求項８の何れか１項に記載の乗員姿勢推定装置。
10. 前記人体特徴点位置予測手段は、
    前記撮影手段により取得された複数の前記車両内画像のうち、連続した前後２つの前記車両内画像のみを用いて、前記人体特徴点予測位置を予測する
    ことを特徴とする請求項１〜請求項９の何れか１項に記載の乗員姿勢推定装置。