JP2008148237A - 姿勢検知装置 - Google Patents
姿勢検知装置 Download PDFInfo
- Publication number
- JP2008148237A JP2008148237A JP2006336064A JP2006336064A JP2008148237A JP 2008148237 A JP2008148237 A JP 2008148237A JP 2006336064 A JP2006336064 A JP 2006336064A JP 2006336064 A JP2006336064 A JP 2006336064A JP 2008148237 A JP2008148237 A JP 2008148237A
- Authority
- JP
- Japan
- Prior art keywords
- person
- axis
- dimensional
- coordinate system
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】この発明は、カメラの設置位置および設置角度にかかわらず、被観察者の姿勢を高精度で検知することができる姿勢検知装置を提供することを目的とする。
【解決手段】被観察者の動き量が所定の閾値より大きい場合には、人物領域情報抽出手段によって抽出された3次元人物領域情報に基づいて、カメラ座標系を被観察者の背筋の方向をY軸とする擬似世界座標系に変換するために用いられる、x軸周りの回転角およびz軸周りの回転角を算出する回転角算出手段、ならびに回転角算出手段によって算出された2種類の回転角に基づいてx軸周りの回転行列およびz軸周りの回転行列を算出し、得られた両回転行列に基づいて人物領域情報抽出手段によって抽出された3次元人物領域情報を擬似世界座標系の3次元人物領域情報に変換する座標変換手段を備えている。
【選択図】図1
【解決手段】被観察者の動き量が所定の閾値より大きい場合には、人物領域情報抽出手段によって抽出された3次元人物領域情報に基づいて、カメラ座標系を被観察者の背筋の方向をY軸とする擬似世界座標系に変換するために用いられる、x軸周りの回転角およびz軸周りの回転角を算出する回転角算出手段、ならびに回転角算出手段によって算出された2種類の回転角に基づいてx軸周りの回転行列およびz軸周りの回転行列を算出し、得られた両回転行列に基づいて人物領域情報抽出手段によって抽出された3次元人物領域情報を擬似世界座標系の3次元人物領域情報に変換する座標変換手段を備えている。
【選択図】図1
Description
この発明は、被観察者の姿勢を検知する姿勢検知装置に関する。
被観察者の転倒を検知する装置として、被観察者をカメラで撮影し、撮影画像から被観察者の動作ベクトルを検出し、検出した動作ベクトルと予め記憶している被観察者の転倒ベクトルとを比較することにより、被観察者が転倒したか否かを判別するものが既に開発されている(特開2002−232870号公報参照)。
また、被観察者の転倒を検知する装置として、被観察者をカメラで撮影し、撮影画像と被観察者が存在しないときに撮影された参照画像との差分領域を抽出し、差分領域の面積に基づいて被観察者が転倒したか否かを判別するものが既に開発されている(特開2000−207664号公報参照)。
また、観察者が移動状態であるか静止状態を判定する装置として、被観察者をカメラで撮影し、撮影画像から人物領域を抽出し、抽出した人物領域から頭頂部の画像座標を抽出し、被観察者の身長データを用いて頭頂部の画像座標を実世界座標に変換し、得られた頭頂部の実世界座標と所定時間過去の頭頂部の実世界座標との距離を算出し、得られた距離と所定の閾値とを比較することにより、観察者が移動状態であるか静止状態であるかを判定するものが既に開発されている(特開2002−197463号公報参照)。
特開2002−232870号公報
特開2000−207664号公報
特開2002−197463号公報
この発明は、カメラの設置位置および設置角度にかかわらず、被観察者の姿勢を高精度で検知することができる姿勢検知装置を提供することを目的とする。
請求項1に記載の発明は、カメラによって撮影された被観察者の撮影画像に基づいて、カメラ座標系での3次元人物領域情報を抽出する人物領域情報抽出手段、人物領域情報抽出手段によって抽出された3次元人物領域情報を擬似世界座標系での3次元人物領域情報に補正する人物領域情報補正手段、補正手段によって得られた擬似世界座標系での3次元人物領域情報に基づいて、被観察者の姿勢を判定する姿勢判定手段を備えており、人物領域情報補正手段は、人物領域情報抽出手段によって抽出された3次元人物領域情報に基づいて、被観察者の動き量を算出する動き量算出手段、被観察者の動き量が所定の閾値より大きい場合には、人物領域情報抽出手段によって抽出された3次元人物領域情報に基づいて、カメラ座標系を被観察者の背筋の方向をY軸とする擬似世界座標系に変換するために用いられる、x軸周りの回転角およびz軸周りの回転角を算出する回転角算出手段、ならびに回転角算出手段によって算出された2種類の回転角に基づいてx軸周りの回転行列およびz軸周りの回転行列を算出し、得られた両回転行列に基づいて人物領域情報抽出手段によって抽出された3次元人物領域情報を擬似世界座標系の3次元人物領域情報に変換する座標変換手段を備えていることを特徴とする。
請求項2に記載の発明は、請求項1に記載の姿勢検知装置において、座標変換手段は、回転角算出手段によって現在までに算出された2種類の回転角のうちの新しいものから複数個の2種類の回転角それぞれの平均値に基づいて、x軸周りの回転行列およびz軸周りの回転行列を算出し、得られた両回転行列に基づいて人物領域情報抽出手段によって抽出された3次元人物領域情報を擬似世界座標系の3次元人物領域情報に変換するものであることを特徴とする。
請求項3に記載の発明は、請求項1乃至2に記載の姿勢検知装置において、被観察者の動き量が所定の閾値以下である場合には、最新に算出されたx軸周りの回転行列およびz軸周りの回転行列に基づいて、人物領域情報抽出手段によって抽出された3次元人物領域情報を擬似世界座標系の3次元人物領域情報に変換する手段を備えていることを特徴とする。
請求項4に記載の発明は、請求項1乃至3に記載の姿勢検知装置において、回転角算出手段は、人物領域情報抽出手段によって抽出されたカメラ座標系での3次元人物領域の高さ方向をy軸とし、幅方向をx軸とし、奥行き方向をz軸として、3次元人物領域情報を、x−y平面に射影することにより第1の射影画像を生成するとともに、3次元の人物領域情報を、y−z平面に投影することにより第2の射影画像を生成する手段、各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、座標値修正後の第1の射影画像から主成分分析を用いて第1主成分の傾きを表す第1のベクトルを算出するとともに、座標値修正後の第2の射影画像から主成分分析を用いて第1主成分の傾きを表す第2のベクトルを算出する手段、ならびに第1のベクトルの向きからz軸周りの回転角を算出するとともに第2のベクトルの向きからx軸周りの回転角を算出する手段を備えていることを特徴とする。
請求項5に記載の発明は、請求項1乃至3に記載の姿勢検知装置において、回転角算出手段は、人物領域情報抽出手段によって抽出されたカメラ座標系での3次元人物領域の高さ方向をy軸とし、幅方向をx軸とし、奥行き方向をz軸として、3次元人物領域情報を、x−y平面に射影することにより第1の射影画像を生成するとともに、3次元の人物領域情報を、y−z平面に投影することにより第2の射影画像を生成する手段、各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、座標値修正後の第1の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第1の線分の傾きを求めるとともに、座標値修正後の第2の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第2の線分の傾きを求める手段、ならびに第1の線分の向きからz軸周りの回転角を算出するとともに第2の線分の向きからx軸周りの回転角を算出する手段を備えていることを特徴とする。
請求項6に記載の発明は、請求項1乃至5に記載の姿勢検知装置において、姿勢判定手段は、人物領域情報補正手段によって得られた擬似世界座標系での3次元人物領域情報から3次元人物領域の高さ、幅および奥行き情報を算出する算出手段、ならびに算出手段によって得られた3次元人物領域の高さに対する幅の比および3次元人物領域の高さに対する奥行きの比に基づいて、被観察者の姿勢を判定する判定手段を備えていることを特徴とする。
請求項7に記載の発明は、請求項1乃至5に記載の姿勢検知装置において、姿勢判定手段は、人物領域情報補正手段によって得られた擬似世界座標系での3次元人物領域情報から被観察者の背筋の向きを算出する算出手段、ならびに被観察者の背筋の向きに基づいて、被観察者の姿勢を判定する判定手段を備えていることを特徴とする。
この発明によれば、カメラの設置位置および設置角度にかかわらず、被観察者の姿勢を高精度で検知することができるようになる。
以下、図面を参照して、この発明を転倒を検知するための転倒検知装置に適用した場合の実施例について説明する。
〔1〕転倒検知システムの全体的な構成
図1は、転倒検知システムの全体的な構成を示している。
転倒検知システムは、被観察者の居室内を撮影するステレオカメラ11、12を備えた転倒検知装置10、転倒検知装置10にネットワーク40を介して接続された監視装置20および転倒検知装置10にネットワーク40を介して接続された移動通信端末30を備えている。
転倒検知システムは、被観察者の居室内を撮影するステレオカメラ11、12を備えた転倒検知装置10、転倒検知装置10にネットワーク40を介して接続された監視装置20および転倒検知装置10にネットワーク40を介して接続された移動通信端末30を備えている。
転倒検知システムは、被観察者の居室50内を撮像するステレオカメラ11、12を備えた転倒検知装置10、転倒検知装置10にネットワーク40を介して接続された監視装置20および転倒検知装置10にネットワーク40を介して接続された移動通信端末30を備えている。
転倒検知装置10は、被観察者の転倒の発生を検知する。ネットワーク40には、複数の被観察者の居室50に対応して設けられた複数の転倒検知装置10が接続されている。監視装置20は監視者が詰めている監視センタに設置されている。監視装置20および移動通信端末30では、各被観察者の居室50を識別可能に表す居室画面が表示されており、転倒検知装置10によって転倒が検知された場合には、そのことが監視装置20および移動通信端末30に通知され、監視装置20および移動通信端末30はアラームなどを発生させるとともに、居室画面上においてどの居室で転倒が検知されたかを表示する。監視者は、この表示を見て、転倒が検知された居室表示を選択すると、監視装置20および移動通信端末30は、転倒を検知した上記転倒検知装置10から当該居室の現在の画像を受信して監視装置20および移動通信端末30に表示する。
〔2〕転倒検知処理手順
図2は、転倒検知装置10によって実行される転倒検知処理の手順を示している。
初期設定において、転倒判定用データ蓄積期間であることを記憶するフラグFはリセット(F=0)されているものとする。
初期設定において、転倒判定用データ蓄積期間であることを記憶するフラグFはリセット(F=0)されているものとする。
まず、ステレオカメラ11、12から画像(左右画像)を取り込む(ステップS11)。画像を取り込む時間間隔は、ステップS11に戻るタイミングによって異なるが、約200msec程度となる。取得した左右画像に基づいて、3次元の人物領域抽出処理を行なう(ステップS12)。これにより、カメラ座標系での3次元人物領域情報(3次元空間での人物領域プロット群)が得られる。次に、得られた3次元人物領域情報の補正処理を行なうことにより、カメラ座標系での3次元人物領域情報を擬似世界座標系の3次元人物領域情報に変換する(ステップS13)。補正後の世界座標系での3次元人物領域情報に基づいて、姿勢推定処理を行なう(ステップS14)。つまり、被観察者の現在の姿勢(立位、座位、臥位)を推定する。
この後、今回読み込んだフレームに関するデータ群を第1バッファに保存する(ステップS15)。データ群は、時刻情報、入力画像データ、補正後の3次元人物領域情報、姿勢推定処理で得られる被観察者の幅、高さ、奥行き情報および姿勢推定結果からなる。第1バッファは、数フレーム分のデータ群を記憶するためのバッファであり、所定フレーム分のデータ群が蓄積されている場合には、1フレーム分の最も古いデータ群が消去されて、新たな1フレーム分のデータ群が蓄積される。
次に、フラグFがセットされているか否かを判別する(ステップS16)。フラグFがセットされていないときには、姿勢推定結果の履歴データ等に基づいて転倒判定用データ蓄積期間の開始点であるか否かを判別する(ステップS17)。この判別処理の詳細については、後述する。転倒判定用データ蓄積期間の開始点ではないと判別した場合には、ステップS11に戻る。
上記ステップS17において、転倒判定用データ蓄積期間の開始点であると判別した場合には、フラグFをセットした後(ステップS18)、今回取得したフレームに関するデータ群を第2バッファに蓄積する(ステップS19)。この場合には、データ群として、開始点からの経過時間情報(開始点からのフレーム数で表される)が追加される。そして、転倒判定用データ蓄積期間の終了点であるか否かを判別する(ステップS20)。この判別処理の詳細については、後述する。転倒判定用データ蓄積期間の終了点ではないと判別した場合には、ステップS11に戻る。
ステップS20からS11に戻った場合には、次のステップS16では、F=1となっているので、ステップS16からステップS19に移行し、第1バッファだけでなく、第2バッファにもデータ群が蓄積される。
上記ステップS20において、転倒判定用データ蓄積期間の終了点であると判別した場合には、フラグFをリセットした後(ステップS21)、第2バッファに蓄積されたデータ群に基づいて、転倒判定処理を行なう(ステップS22)。転倒判定処理の結果、転倒ではないと判定された場合には(ステップS23)、ステップS11に戻る。転倒判定処理の結果、転倒であると判定された場合には(ステップS23)、転倒が発生したことを監視装置20等に通知する(ステップS24)。そして、ステップS11に戻る
〔3〕図2のステップS12の3次元人物領域抽出処理
図3は、図2のステップS12の3次元人物領域抽出処理の詳細な手順を示している。
事前処理として、居室50に被観察者が存在していない状態で、ステレオカメラ11、12のうちの一方のカメラ11によって居室内を撮影した画像を取得し、取得した画像をグレースケール化する。そして、得られた画像を背景画像として、転倒検知装置10の記憶装置に記憶しておく。
3次元の人物領域抽出処理では、ステレオカメラ11、12から取得した左右画像のうち、背景画像を撮影したカメラ11から今回取得した画像と、背景画像とを用いて、背景差分法により、2次元人物領域を抽出する。また、ステレオカメラ11、12から取得した2枚の画像から、3次元測量手法により、ピクセル毎に奥行き情報を算出し、3次元空間にプロットできる座標情報(3次元位置情報)を取得する。そして、2次元人物領域情報と3次元位置情報とを重ね合わせることで、3次元空間内での人物領域に相当するデータ(3次元の人物領域情報)を抽出する。
具体的には、背景画像を撮影したカメラ11から今回取得した画像を、グレイスケール化する(ステップS31)。
ステップS31で得られた画像と予め記憶されている背景画像の対応する画素毎に、画素値の差の絶対値を算出することにより、両画像の差分画像を作成する(ステップS32)。得られた差分画像を2値化することにより、2次元人物領域情報を抽出する(ステップS33)。
一方、ステレオカメラ11、12から今回取得した左右画像から、周知のステレオ法を用いて、3次元位置情報を算出する(ステップS34)。上記ステップS33で抽出した2次元人物領域情報と、上記ステップS34で算出した3次元位置情報とに基づいて、3次元人物領域情報を抽出する(ステップS35)。
図4は、3次元人物領域情報によって表される3次元の人物領域画像の一例を示している。図4において、直方体101は、カメラ座標系でのx−y平面、y−z平面およびz−x平面それぞれに平行な面を有しかつ3次元の人物領域に外接する直方体である。直方体101の上側の図(符号102)は、直方体101の上から3次元の人物領域を見た平面図であり、直方体101の右側の図(符号103)は、直方体101の右から3次元の人物領域を見た側面図である。
〔4〕図2のステップS13の3次元人物領域情報の補正処理
〔4−1〕3次元人物領域情報の補正処理の考え方
〔4−1〕3次元人物領域情報の補正処理の考え方
図5を参照して、3次元人物領域情報の補正処理の考え方について説明する。3次元の人物領域情報(人物領域の3次元空間でのプロット群)が図5(a)に符号111で示すように分布しているものとする。図5において、xyzはカメラ座標系である。
図5(b)に示すように、3次元の人物領域情報を、x−y平面に射影することにより、第1の射影画像112を得るとともに、3次元の人物領域情報を、y−z平面に投影することにより、第2の射影画像113を得る。そして、第1の射影画像112内の人物領域の長軸114と、第2の射影画像113内の人物領域の長軸115とを求める。
次に、図5(c)に示すように、長軸114の方向αと、長軸115の方向βを算出する。両長軸114、115に相当するベクトルを合成すると、図5(c)に示すようなベクトル116が得られる。このベクトル116が被観察者の背筋の向き(人物主軸)の向きとなる。
被観察者が「立位」である場合には、このベクトル(人物主軸)116が擬似世界座標系でのY軸とほぼ等しくなる。そこで、カメラ座標系のy軸をベクトル(擬似世界座標系のY軸)114に重なる様に、3次元の人物領域情報の座標を、x軸回りに角度β、z軸回りに角度αだけ回転させれば、カメラ座標系の座標を擬似世界座標系の座標に変換することができる。
つまり、カメラ座標系での3次元人物領域情報内の1点の座標を(xold ,yold ,zold )とすると、擬似世界座標系での座標(xnew ,ynew ,znew )は、次式(1)に基づいて算出することができる。
上記式(1)の右辺の1項目の行列がx軸回りの回転行列を示す、2項目の行列がz軸回りの回転行列を示している。
〔4−2〕3次元人物領域情報の補正処理の手順
図6は、3次元人物領域情報の補正処理の手順を示している。
まず、被観察者の動き量を算出する(ステップS41)。具体的には、3次元の人物領域抽出処理によって得られたカメラ座標系での3次元人物領域情報に基づいて、図4に示すように、x−y平面、y−z平面およびz−x平面それぞれに平行な面を有しかつ3次元の人物領域に外接する直方体101の幅lx 、高さlyおよび奥行きlz(被観察者の幅、高さおよび奥行き)を算出する。lx は3次元人物領域のx座標の最大値と最小値との差の絶対値を算出することにより、lyは3次元人物領域のy座標の最大値と最小値との差の絶対値を算出することにより、lzは3次元人物領域のz座標の最大値と最小値との差の絶対値を算出することにより、それぞれ求められる。
前フレームでのlx 、ly、lzと、今回のフレームでのlx 、ly、lzとの差分を取り、差分の最大値を被観察者の動き量として算出する。
次に、被観察者の動き量に基づいて、被観察者に動きがあるか否かを判別する(ステップS42)。つまり、被観察者の動き量が所定の閾値より大きいか否かによって、被観察者に動きがあるか否かを判別する。
上述したように、被観察者が「立位」である場合には、人物主軸が擬似世界座標系でのY軸とほぼ等しくなるので、被観察者が歩行しているか否かを動きが有るか否かによって判別し、被観察者が歩行していると判別した場合(動きが有る場合)に、被観察者が「立位」であると判別している。
被観察者に動きがあると判別した場合には、α,β(図5参照)を算出するために人物主軸算出処理を行なう(ステップS43)。そして、データ(α,β)の保存および回転行列の算出処理を行なう(ステップS44)。この後、得られた回転行列を用いて、カメラ座標系での3次元人物領域情報の座標値を、擬似世界座標系の座標値に変換する(ステップS45)。
上記ステップS42において、被観察者に動きがないと判別された場合には、最新に算出された回転行列を用いて、カメラ座標系での3次元人物領域情報の座標値を、擬似世界座標系の座標値に変換する(ステップS46)。
〔4−3〕図6のステップS43の人物主軸算出処理(α,βの算出処理)についての説明
以下、α,βの算出処理には第1方法と第2方法とがある。
まず、第1方法について説明する。第1方法は、主成分分析を用いて、α,βを求める方法である。
図7は、α,βの算出方法(第1方法)の手順を示している。
3次元人物領域抽出処理によって得られたカメラ座標系での3次元人物領域情報(人物領域の3次元空間でのプロット群)をx−y平面に射影することにより、x軸をu軸、y軸をv軸とするuv座標系の第1の射影画像を得るとともに、3次元人物領域情報をy−z平面に射影することにより、z軸をu軸、y軸をv軸とするuv座標系の第2の射影画像を得る(ステップS51)。次に、各射影画像毎に、重心を算出する(ステップS52)。そして、各射影画像の全座標値を、重心を原点とする座標値に修正する(ステップS53)。
次に、座標値修正後の第1の射影画像から主成分分析を用いて固有ベクトル(第1主成分の傾きを表すベクトル)を算出するとともに、座標値修正後の第2の射影画像から主成分分析を用いて固有ベクトル(第1主成分の傾きを表すベクトル)を算出する(ステップS54)。各固有ベクトルの傾きα、βを算出する(ステップS55)。
固有ベクトルの算出方法について説明する。各固有ベクトルの算出方法は同様であるので、第1の固有ベクトルの算出方法について説明する。まず、座標値修正後の第1の射影画像に基づいて、変量uの分散su 、変量vの分散sv および変量u,vの共分散suvを算出する。そして、分散su 、sv および共分散suvを用いて、固有値λを算出する。分散su 、sv および共分散suvを用いて固有値λを算出する方法は、主成分分析において良く知られているのでその詳細を省略する。次に、固有値λを用いて固有ベクトルを算出する。固有値λを用いて固有ベクトルを算出する方法は、主成分分析において良く知られているのでその詳細を省略する。
図8は、α,βの算出方法(第1方法)の手順を示している。
3次元人物領域抽出処理によって得られたカメラ座標系での3次元人物領域情報(人物領域の3次元空間でのプロット群)をx−y平面に射影することにより、第1の射影画像を得るとともに、3次元人物領域情報をy−z平面に射影することにより、第2の射影画像を得る(ステップS61)。次に、各射影画像毎に、重心を算出する(ステップS62)。そして、各射影画像の全座標値を、重心を原点とする座標値に修正する(ステップS63)。
次に、座標値修正後の第1の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第1の線分の傾きαを求めるとともに、座標値修正後の第2の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第2の線分の傾きβを求める(ステップS64)。
第1の線分および第2の線分の求め方について説明する。各線分の求め方は同様であるので、第1の線分の求め方について説明する。
図9は、第1の線分の求め方を示している。
まず、ステップS63で得られた第1の射影画像を、図10に示すように、一定間隔を有するy軸に平行な複数の分割線により、射影画像をx軸方向に複数の領域に分割する(ステップS71)。各分割領域毎に人物領域のy座標の最大値と最小値に対応する点を輪郭点Piとして特定する(ステップS72)。
輪郭点のうちx座標が最も大きくかつy座標が0に最も近い輪郭点を点Aとし、点Aを含む分割領域を注目領域とする(ステップS73)。図10の例では、点P1が点Aとして特定される。点A以外の輪郭点のうち、点Aと原点を結ぶ直線に最も近い輪郭点を求め、点Bとする(ステップS74)。図10の例では、点Aが点P1である場合には、点P7が点Bとされる。点Aと点Bを結ぶ線分の距離(A−B間距離)を算出して保持する(ステップS75)。
次に、注目領域が、輪郭点のうちx座標が最も小さい輪郭点を含む分割領域(最終処理領域)であるか否かを判別する(ステップS76)。現在の注目領域が最終処理領域でなければ、注目領域を、現在の注目領域に対してx座標が小さくなる方向に隣接する分割領域に更新する(ステップS77)。そして、更新された注目領域内において、y座標が最も大きい輪郭点を点Aとする(ステップS78)。そして、ステップS74に戻り、ステップS74以降の処理を再度行なう。
上記ステップS76において、現在の注目領域が最終処理領域であると判別された場合には、A−B間の距離が最大である線分を第1の線分として特定する(ステップS79)。図10の例では、点P3と点P9とを結ぶ線分が第1の線分として特定される。
〔4−4〕図6のステップS44のデータ(α,β)保存および回転行列算出処理
図11は、データ(α,β)保存および回転行列算出処理の手順を示している。
まず、α,β保存用バッファに空きがあるか否かを判別する(ステップS81)。この例では、α,β保存用バッファは、α,βの組が5組保存できる容量を有しているものとする。
α,β保存用バッファに空きがあると判別した場合、つまり、5組分のα,βが保存されていない場合には、α,β保存用バッファに今回算出されたα,βを保存する(ステップS82)。そして、α,β保存用バッファに保存されているα,βの組数をカウントする(ステップS83)。次に、α,β保存用バッファに保存されているαの平均値およびβの平均値を算出する(ステップS84)。そして、αの平均値およびβの平均値と、上記式(1)を用いて、回転行列(X軸周りの回転行列およびZ軸周りの回転行列)を算出する(ステップS87)。
上記ステップS81において、α,β保存用バッファに空きがないと判別した場合、つまり、5組分のα,βが保存されている場合には、α,β保存用バッファから最も古いデータ(α,β)を削除した後、α,β保存用バッファの空きスペースに今回算出されたα,βを保存する(ステップS85)。次に、α,β保存用バッファに保存されているαの平均値およびβの平均値を算出する(ステップS86)。そして、αの平均値およびβの平均値と、上記式(1)を用いて、回転行列(X軸周りの回転行列およびZ軸周りの回転行列)を算出する(ステップS87)。
〔5〕図2のステップS14の姿勢推定処理
図12は、図2のステップS14の姿勢推定処理の詳細な手順を示している。
人物領域情報補正処理によって得られた擬似世界座標系での3次元人物領域情報に基づいて、擬似世界座標系のX−Y平面、Y−Z平面およびZ−X平面それぞれに平行な面を有しかつ3次元の人物領域に外接する直方体の幅lx 、高さlyおよび奥行きlz(被観察者の幅、高さおよび奥行き)を算出する(ステップS91)。lx は擬似世界座標系での3次元人物領域のx座標の最大値と最小値との差の絶対値を算出することにより、lyは擬似世界座標系での3次元人物領域のy座標の最大値と最小値との差の絶対値を算出することにより、lzは擬似世界座標系での3次元人物領域のz座標の最大値と最小値との差の絶対値を算出することにより、それぞれ求められる。
次に、アトペクト比lx /lyおよびlz/lyを算出する(ステップS92)。そして、算出したアトペクト比lx /lyおよびlz/lyと、予め定められた規則とに基づいて、被観察者の姿勢を推定する(ステップS93)。
具体的には、次のような規則に基づいて、被観察者の姿勢を推定する。
(a) lx /ly<0.4またはlz/ly<0.4であれば、観察者の姿勢を「立位」と推定する。
(b) lx /ly>1.5またはlz/ly>1.5であれば、観察者の姿勢を「臥位」と推定する。
(c)それ以外であれば、観察者の姿勢を「座位」と推定する。
(a) lx /ly<0.4またはlz/ly<0.4であれば、観察者の姿勢を「立位」と推定する。
(b) lx /ly>1.5またはlz/ly>1.5であれば、観察者の姿勢を「臥位」と推定する。
(c)それ以外であれば、観察者の姿勢を「座位」と推定する。
〔6〕図2のステップS17およびステップS20の開始点または終了点判別処理
図2のステップS17の開始点判別処理においては、『アスペクト比lx /lyおよびlz/lyのうちの少なくとも一方が0.7以上である状態が1秒(約5フレームに相当)以上継続していること』という開始点条件を満たしているか否かを判別し、開始点条件を満たしている場合には今回取り込まれたフレームが転倒判定用データ蓄積期間の開始点であると判別する。
図2のステップS20の終了点判別処理においては、『「アスペクト比lx /lyおよびlz/lyのうちの少なくとも一方が0.7以下である状態が1.4秒(約7フレームに相当)以上継続していること」または「第2バッファに蓄積されているデータ群が所定フレーム数分以上となっていること」または「開始点からの経過時間が、所定時間以上に達していること」』という終了点条件を満たしているか否かを判別し、終了点条件を満たしている場合には今回取り込まれたフレームが転倒判定用データ蓄積期間の終了点であると判別する。
〔7〕図2のステップS22の転倒判定処理
各種の挙動毎に、事前にモデルを用意しておく。挙動の種類には、この例では、「前向きの転倒」、「しりもち」、「寝転び」および「座る」がある。ここでは、モデルとしては、隠れマルコフモデル(HMM)が用いられている。各挙動毎のモデルは、その挙動に対応した学習データに基づいて作成される。例えば、「前向きの転倒」は、「前向きの転倒」動作の学習データに基づいて作成される。なお、学習データとしては、経過時間情報(開始点からのフレーム数で表される)および被観察者の幅、高さ、奥行き情報(lx,ly,lz)からなる時系列データが用いられる。「前向きの転倒」、「しりもち」、「寝転び」および「座る」の挙動のうち、「前向きの転倒」および「しりもち」が転倒動作に該当する。
第2バッファに蓄積されているデータ群のうち、経過時間情報(開始点からのフレーム数で表される)および姿勢推定処理において算出された被観察者の幅、高さ、奥行き情報(lx,ly,lz)を時系列データとし、上記時系列データが再現できる確率(尤度)を、各モデル毎に計算する。そして、最も尤度が高いモデルを求める。最も尤度が高いモデルに対応する挙動が、観察者の挙動となる。この実施例では、転倒を検知したいので、最も尤度が高いモデルが「前向きの転倒」または「しりもち」のモデルである場合には、被観察者が転倒したと判定する。
〔8〕姿勢推定処理の変形例
上記実施例では、被観察者の幅、高さおよび奥行きから求められたアスペクト比lx /lyおよびlz/lyに基づいて、被観察者の姿勢を推定しているが、擬似世界座標系での3次元人物領域情報から求められる、被観察者の背筋の向きに相当するベクトル(人物主軸)の向きに基づいて、被観察者の姿勢を推定するようにしてもよい。
つまり、図13に示すように、人物主軸Qの擬似世界座標系でのX−Z平面となす角γ(人物主軸の向き)を求め、次のような規則に基づいて、被観察者の姿勢を推定する。
(a)γ>π/2×0.6であれば、観察者の姿勢を「立位」と推定する。
(b)γ<π/2×0.3であれば、観察者の姿勢を「臥位」と推定する。
(c)それ以外であれば、観察者の姿勢を「座位」と推定する。
(b)γ<π/2×0.3であれば、観察者の姿勢を「臥位」と推定する。
(c)それ以外であれば、観察者の姿勢を「座位」と推定する。
図14は、人物主軸Qの向きと姿勢推定結果の例を示し、図7(a)は「立位」と推定される例を、図7(b)は「座位」と推定される例を、図7(c)は「臥位」と推定される例を、それぞれ示している。
以下、人物主軸の向きの求め方について説明する。人物主軸の向きの求め方には第1方法と第2方法とがある。
まず、第1方法について説明する。第1方法は、主成分分析を用いて、人物主軸の向きを求める方法である。
図15は、人物主軸の向きの算出方法(第1方法)の手順を示している。
人物領域情報補正処理によって得られた擬似世界座標系での3次元人物領域情報(人物領域の3次元空間でのプロット群)を擬似世界座標系のX−Y平面に射影することにより、X軸をU軸、Y軸をV軸とするUV座標系の第1の射影画像を得るとともに、擬似世界座標系での3次元人物領域情報をY−Z平面に射影することにより、Z軸をU軸、Y軸をV軸とするUV座標系の第2の射影画像を得る(ステップS101)。次に、各射影画像毎に、重心を算出する(ステップS102)。そして、各射影画像の全座標値を、重心を擬似世界座標系の原点とする座標値に修正する(ステップS103)。
次に、座標値修正後の第1の射影画像から主成分分析を用いて固有ベクトル(第1主成分の傾きを表すベクトル)を算出するとともに、座標値修正後の第2の射影画像から主成分分析を用いて固有ベクトル(第1主成分の傾きを表すベクトル)を算出する(ステップS104)。そして、ステップS104で算出された2つの固有ベクトルを合成することにより、人物主軸の向きを示すベクトルを求める(ステップS105)。そして、人物主軸の向きを示すベクトルから人物主軸の向きγを求める(ステップS106)。
図16は、人物主軸の向きの算出方法(第2方法)の手順を示している。
人物領域情報補正処理によって得られた擬似世界座標系での3次元人物領域情報(人物領域の3次元空間でのプロット群)を、擬似世界座標系のX−Y平面に射影することにより、第1の射影画像を得るとともに、擬似世界座標系での3次元人物領域情報を、擬似世界座標系のY−Z平面に射影することにより、第2の射影画像を得る(ステップS111)。次に、各射影画像毎に、重心を算出する(ステップS111)。そして、各射影画像の全座標値を、重心を原点とする座標値に修正する(ステップS111)。
次に、座標値修正後の第1の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第1の線分の傾きαを求めるとともに、座標値修正後の第2の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第2の線分の傾きβを求める(ステップS114)。そして、ステップS114で求められた2つの線分の傾きに基づいて、人物主軸の向きγを求める(ステップS115)。
図17に示すように、第1の射影画像から得られた第1の線分の傾きをα、第2の射影画像から得られた第2の線分の傾きをβとすると、各線分の向きを示す単位ベクトルv1、v2は、次式(2)で表される。
v1=(cosα,sinα)
v2=(cosβ,sinβ) …(2)
v2=(cosβ,sinβ) …(2)
次式(3)に基づいて、v1、v2を合成すると、人物主軸の向きを示すベクトルVが得られる。
V=(cosα,sinα+sinβ,cosβ) …(3)
人物主軸の向きγは、次式(4)に基づいて、求められる。
tanα=(sinα+sinβ)/(cosα2 +cosβ2 )1/2
…(4)
…(4)
第1の線分および第2の線分は、図9で説明した手順と同様な手順で求めることができるので、その説明を省略する。
〔9〕図2のステップS22の転倒判定処理の変形例
各種の挙動毎に、事前に学習モデルを用意しておく。挙動の種類には、この例では、「前向きの転倒」、「しりもち」、「寝転び」および「座る」がある。各挙動毎の学習モデルは、その挙動に対応した学習データに基づいて作成される。例えば、「前向きの転倒」は、「前向きの転倒」動作の学習データに基づいて作成される。なお、学習データとしては、時刻情報および被観察者の幅、高さ、奥行き情報(lx,ly,lz)からなる時系列データが用いられる。学習データに基づいて、複数時点での被観察者の動き量の程度(多、中、少)からなる学習モデルが作成される。「前向きの転倒」、「しりもち」、「寝転び」および「座る」の挙動のうち、「前向きの転倒」および「しりもち」が転倒動作に該当する。
図18は、転倒判定処理の手順を示している。図19は、転倒判定処理の手順を模式図で表している。
まず、第2バッファに保存されている複数フレーム分の被観察者の幅、高さ、奥行き情報(lx,ly,lz)および時刻情報(図19に時系列データ201で示す)に基づいて、複数時点での単位時間当たりの動き量データ(dlx/dt,dly/dt,dlz/dt)を求める(ステップS121)。
時系列データ201における各隣合うフレーム間のlx,ly,lzの差分dlx、dly、dlzを、それらのフレーム間の時間差で除算することにより、複数時点での単位時間当たりの動き量データが得られる。
次に、各時点での3種類の動き量データのうちの最大値と、予め設定した2つの閾値に基づいて、各時点での動き量を3種類(多、中、少)にシンボル化する(ステップS122)。これにより、図19に示すような複数時点でのシンボル化データからなるパターン202が得られる。
得られたパターン202と各挙動毎の学習モデル(図19に211〜214で示す)との距離(類似度)をDPマッチングにより算出する(ステップS123)。そして、両パターン間の距離が最も短い学習モデルに対応する挙動を、被観察者の挙動として判定する(ステップS124)。この実施例では、転倒を検知したいので、両パターン間の距離が最も短い学習モデルが「前向きの転倒」または「しりもち」の学習モデルである場合には、被観察者が転倒したと判定する。
上記実施例では、転倒検知装置10は3次元人物領域情報を抽出するためにステレオカメラ等の撮像装置を備えているが、これに限定されることなく、転倒検知装置10は、3次元人物領域情報を抽出するために、例えば単眼の撮像装置とレーザレンジファインダーとの組合せ、単眼の撮像装置と複数の超音波センサの組合せ等のように、撮像装置を含んだセンサの組合せを備えていてもよい。
10 転倒検知装置
11、12 ステレオカメラ
20 監視装置
30 移動通信端末
40 ネットワーク
11、12 ステレオカメラ
20 監視装置
30 移動通信端末
40 ネットワーク
Claims (7)
- カメラによって撮影された被観察者の撮影画像に基づいて、カメラ座標系での3次元人物領域情報を抽出する人物領域情報抽出手段、人物領域情報抽出手段によって抽出された3次元人物領域情報を擬似世界座標系での3次元人物領域情報に補正する人物領域情報補正手段、補正手段によって得られた擬似世界座標系での3次元人物領域情報に基づいて、被観察者の姿勢を判定する姿勢判定手段を備えており、
人物領域情報補正手段は、
人物領域情報抽出手段によって抽出された3次元人物領域情報に基づいて、被観察者の動き量を算出する動き量算出手段、
被観察者の動き量が所定の閾値より大きい場合には、人物領域情報抽出手段によって抽出された3次元人物領域情報に基づいて、カメラ座標系を被観察者の背筋の方向をY軸とする擬似世界座標系に変換するために用いられる、x軸周りの回転角およびz軸周りの回転角を算出する回転角算出手段、ならびに
回転角算出手段によって算出された2種類の回転角に基づいてx軸周りの回転行列およびz軸周りの回転行列を算出し、得られた両回転行列に基づいて人物領域情報抽出手段によって抽出された3次元人物領域情報を擬似世界座標系の3次元人物領域情報に変換する座標変換手段、
を備えていることを特徴とする姿勢検知装置。 - 座標変換手段は、回転角算出手段によって現在までに算出された2種類の回転角のうちの新しいものから複数個の2種類の回転角それぞれの平均値に基づいて、x軸周りの回転行列およびz軸周りの回転行列を算出し、得られた両回転行列に基づいて人物領域情報抽出手段によって抽出された3次元人物領域情報を擬似世界座標系の3次元人物領域情報に変換するものであることを特徴とする請求項1に記載の姿勢検知装置。
- 被観察者の動き量が所定の閾値以下である場合には、最新に算出されたx軸周りの回転行列およびz軸周りの回転行列に基づいて、人物領域情報抽出手段によって抽出された3次元人物領域情報を擬似世界座標系の3次元人物領域情報に変換する手段を備えていることを特徴とする請求項1乃至2に記載の姿勢検知装置。
- 回転角算出手段は、
人物領域情報抽出手段によって抽出されたカメラ座標系での3次元人物領域の高さ方向をy軸とし、幅方向をx軸とし、奥行き方向をz軸として、3次元人物領域情報を、x−y平面に射影することにより第1の射影画像を生成するとともに、3次元の人物領域情報を、y−z平面に投影することにより第2の射影画像を生成する手段、
各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、
座標値修正後の第1の射影画像から主成分分析を用いて第1主成分の傾きを表す第1のベクトルを算出するとともに、座標値修正後の第2の射影画像から主成分分析を用いて第1主成分の傾きを表す第2のベクトルを算出する手段、ならびに
第1のベクトルの向きからz軸周りの回転角を算出するとともに第2のベクトルの向きからx軸周りの回転角を算出する手段、
を備えていることを特徴とする請求項1乃至3に記載の姿勢検知装置。 - 回転角算出手段は、
人物領域情報抽出手段によって抽出されたカメラ座標系での3次元人物領域の高さ方向をy軸とし、幅方向をx軸とし、奥行き方向をz軸として、3次元人物領域情報を、x−y平面に射影することにより第1の射影画像を生成するとともに、3次元の人物領域情報を、y−z平面に投影することにより第2の射影画像を生成する手段、
各射影画像毎に、重心を算出し、各射影画像の全座標値を、重心を原点とする座標値に修正する手段、
座標値修正後の第1の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第1の線分の傾きを求めるとともに、座標値修正後の第2の射影画像から、原点を通りかつ両端が人物領域の輪郭までのびた線分のうち、その長さが最大となる第2の線分の傾きを求める手段、ならびに
第1の線分の向きからz軸周りの回転角を算出するとともに第2の線分の向きからx軸周りの回転角を算出する手段、
を備えていることを特徴とする請求項1乃至3に記載の姿勢検知装置。 - 姿勢判定手段は、
人物領域情報補正手段によって得られた擬似世界座標系での3次元人物領域情報から3次元人物領域の高さ、幅および奥行き情報を算出する算出手段、ならびに
算出手段によって得られた3次元人物領域の高さに対する幅の比および3次元人物領域の高さに対する奥行きの比に基づいて、被観察者の姿勢を判定する判定手段、
を備えていることを特徴とする請求項1乃至5に記載の姿勢検知装置。 - 姿勢判定手段は、
人物領域情報補正手段によって得られた擬似世界座標系での3次元人物領域情報から被観察者の背筋の向きを算出する算出手段、ならびに
被観察者の背筋の向きに基づいて、被観察者の姿勢を判定する判定手段、
を備えていることを特徴とする請求項1乃至5に記載の姿勢検知装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006336064A JP2008148237A (ja) | 2006-12-13 | 2006-12-13 | 姿勢検知装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006336064A JP2008148237A (ja) | 2006-12-13 | 2006-12-13 | 姿勢検知装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008148237A true JP2008148237A (ja) | 2008-06-26 |
Family
ID=39607877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006336064A Pending JP2008148237A (ja) | 2006-12-13 | 2006-12-13 | 姿勢検知装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008148237A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010147001A (ja) * | 2008-12-22 | 2010-07-01 | Panasonic Electric Works Co Ltd | 人の姿勢検出装置及びその姿勢検出装置を備えた照明システム |
JP2015111332A (ja) * | 2013-12-06 | 2015-06-18 | 富士通株式会社 | 姿勢検出装置、姿勢検出方法および姿勢検出プログラム |
CN108798761A (zh) * | 2018-06-14 | 2018-11-13 | 王冬 | 一种矿井内应急供氧***及方法 |
CN108921000A (zh) * | 2018-04-16 | 2018-11-30 | 深圳市深网视界科技有限公司 | 头部角度标注、预测模型训练、预测方法、设备和介质 |
WO2019004594A1 (ko) * | 2017-06-30 | 2019-01-03 | (주)피엑스디 | 곡면 디스플레이 장치 및 그 동작 방법 |
CN113311422A (zh) * | 2020-02-27 | 2021-08-27 | 富士通株式会社 | 坐标转换方法、装置和数据处理设备 |
CN117315018A (zh) * | 2023-08-31 | 2023-12-29 | 上海理工大学 | 基于改进PnP的用户面部位姿检测方法、设备、介质 |
CN117428788A (zh) * | 2023-12-13 | 2024-01-23 | 杭州海康机器人股份有限公司 | 一种设备控制方法、装置、电子设备及存储介质 |
-
2006
- 2006-12-13 JP JP2006336064A patent/JP2008148237A/ja active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010147001A (ja) * | 2008-12-22 | 2010-07-01 | Panasonic Electric Works Co Ltd | 人の姿勢検出装置及びその姿勢検出装置を備えた照明システム |
JP2015111332A (ja) * | 2013-12-06 | 2015-06-18 | 富士通株式会社 | 姿勢検出装置、姿勢検出方法および姿勢検出プログラム |
KR20190002908A (ko) * | 2017-06-30 | 2019-01-09 | (주)피엑스디 | 곡면 디스플레이 장치 및 그 동작 방법 |
KR102021363B1 (ko) * | 2017-06-30 | 2019-11-04 | (주)피엑스디 | 곡면 디스플레이 장치 및 그 동작 방법 |
WO2019004594A1 (ko) * | 2017-06-30 | 2019-01-03 | (주)피엑스디 | 곡면 디스플레이 장치 및 그 동작 방법 |
CN108921000A (zh) * | 2018-04-16 | 2018-11-30 | 深圳市深网视界科技有限公司 | 头部角度标注、预测模型训练、预测方法、设备和介质 |
CN108921000B (zh) * | 2018-04-16 | 2024-02-06 | 深圳市深网视界科技有限公司 | 头部角度标注、预测模型训练、预测方法、设备和介质 |
CN108798761A (zh) * | 2018-06-14 | 2018-11-13 | 王冬 | 一种矿井内应急供氧***及方法 |
CN113311422A (zh) * | 2020-02-27 | 2021-08-27 | 富士通株式会社 | 坐标转换方法、装置和数据处理设备 |
CN117315018A (zh) * | 2023-08-31 | 2023-12-29 | 上海理工大学 | 基于改进PnP的用户面部位姿检测方法、设备、介质 |
CN117315018B (zh) * | 2023-08-31 | 2024-04-26 | 上海理工大学 | 基于改进PnP的用户面部位姿检测方法、设备、介质 |
CN117428788A (zh) * | 2023-12-13 | 2024-01-23 | 杭州海康机器人股份有限公司 | 一种设备控制方法、装置、电子设备及存储介质 |
CN117428788B (zh) * | 2023-12-13 | 2024-04-05 | 杭州海康机器人股份有限公司 | 一种设备控制方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4349367B2 (ja) | 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム | |
CN105283129B (zh) | 信息处理装置、信息处理方法 | |
CN107836012B (zh) | 投影图像生成方法及其装置、图像像素与深度值之间的映射方法 | |
JP2008146583A (ja) | 姿勢検知装置および挙動検知装置 | |
JP2008148237A (ja) | 姿勢検知装置 | |
KR102365721B1 (ko) | 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법 | |
US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
JP6793151B2 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
JP2009009413A (ja) | 動作検知装置及び動作検知プログラム、並びに動作基本モデル生成装置及び動作基本モデル生成プログラム | |
JP6189170B2 (ja) | 姿勢推定装置 | |
WO2020031950A1 (ja) | 計測校正装置、計測校正方法、及びプログラム | |
US8599278B2 (en) | Method for estimating a plane in a range image and range image camera | |
JP2007304801A (ja) | 立体性認証方法、立体性認証装置および立体性認証プログラム | |
JP2006343859A (ja) | 画像処理装置及び画像処理方法 | |
EP2476999A1 (en) | Method for measuring displacement, device for measuring displacement, and program for measuring displacement | |
JP6541070B2 (ja) | 3次元情報復元装置及び3次元情報復元方法 | |
KR101636171B1 (ko) | 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템 | |
WO2020261404A1 (ja) | 人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
JP4914870B2 (ja) | 混雑度計測装置、混雑度計測方法、混雑度計測プログラムおよびそのプログラムを記録した記録媒体 | |
JP2008152717A (ja) | 転倒状況検知装置 | |
JP2006215743A (ja) | 画像処理装置及び画像処理方法 | |
JP5230354B2 (ja) | 位置特定装置及び異動建物検出装置 | |
JP4675368B2 (ja) | 物***置推定装置、物***置推定方法、物***置推定プログラムおよびそのプログラムを記録した記録媒体 | |
KR20230113371A (ko) | 이미지 또는 비디오 내의 객체 3차원 위치 식별 |