JP2006236184A - 画像処理による人体検知方法 - Google Patents

Abstract

【課題】 人体検知および移動する人体の追跡を可能とし、より高度な方式により人体検知および人体追跡の誤検知を無くす。
【解決手段】 距離カメラ１で撮影された対象物から輪郭を抽出して微分演算を行い、人体モデルと比較することによって人体として検知する。そして、距離カメラ１で撮影された対象物から二段状の図形を肩部や頭部とし人体の候補とする。更に、顔の長さや肩幅などに閾値を設定し、値が閾値に近似する場合、候補を人体として検知する。
【選択図】 図１

Description

本発明は、被写体の形状と奥行きの距離情報を出力する距離カメラ用いて人体検知方法および人体移動追跡方法に関する。

従来の画像処理による人体検知方法の一例として特許文献１に記載された発明が挙げられる。特許文献１は、距離画像カメラを天井に設置し、床面に対して平行な閾値を設定する。そして閾値よりも距離画像カメラに近くかつ、画素データの集合が床に立つ人体の領域に相当した場合、人体として検知する方法が記載されている。

特開2003−057007公報

第１の問題点は、ある一定の高さに閾値を設定する為、閾値に身長が満たない子供や屈んだことにより閾値を下回った場合、人体を検知することができないことである。

第２の問題点は、形状のみによる人体検知の為、マネキン等形状が人体と類似している場合、誤検知してしまうことである。

本発明は上記問題に鑑みてなされたものであって、本発明は、高精度で人体を検出できる画像処理による人体検知方法を提供することを目的とする。

本発明は画像処理による人体検知方法であって、撮影手段から被写体までの距離情報を示す距離画像を用いて撮影範囲にある人体を検知する方法であって、前記撮影手段で撮影した被写体の距離画像から隣接するピクセル間の距離Ｚの差が大きい部分の距離画像を抽出し、前記距離画像の距離情報を微分して抽出した人体候補データと、事前に設定した人体モデルデータとをマッチングさせて一致したものを人体として検知することを特徴とする。

前記撮影手段は、距離画像を時系列に随時人体を検知し、時間的に連続していてかつ抽出した特徴が同様な人体を同一人物として認識して人体移動を追跡することを特徴とする。

また本発明は画像処理による人体検知方法であって、撮影手段から被写体までの距離情報を示す距離画像を用いて撮影範囲にある人体を検知する方法であって、前記撮影手段で撮影した被写体の距離画像から二段状図形の人体候補データを抽出して、予め設定された人体モデルの顔面部位及び身体部位の幅並びに厚みと前記二段状図形の人体候補データとをマッチングさせて一致したものを人体として検知することを特徴とする。

前記撮影手段は、距離画像を時系列に随時人体を検知し、時間的に連続していて前記顔面部位および前記身体部位の幅および厚みが同様な人体を同一人物として認識して人体移動を追跡することを特徴とする。

また本発明は、撮影手段から被写体までの距離情報を示す距離画像を用いて、撮影範囲にある人体を検知する方法であって、人体候補の側部に腕部特有の動作を検出して人体を検知することを特徴とする。

前記撮影手段は、被写体の距離情報の誤差を三平方の定理により補正することを特徴とする。

本発明によれば、被写体の輪郭の傾き、頭部や体部のサイズなどの人体らしさのパラメータを増やすことによって、被写体からより人体に近い形状のものを選別できる。

また本発明によれば、腕の動きを人体らしさのパラメータに加えることにより、マネキンなど外見上人体と区別することが困難な物体に対しても選別が可能となる。

次に、本発明の実施の形態について図面を参照して詳細に説明する。
図１は、画像処理による人体検知方法を実現するための構成の一例を示すブロック図で、大別して、距離画像カメラ１と、画像処理装置２とで構成される。

距離画像カメラ１は、対象物を撮影し、対象物のデータを本提案のシステム（以下、本システムと呼ぶ）に入力する手段である。ＣＣＤカメラ等の画像カメラはピクセル毎に被写体の色彩情報を出力するが、距離画像カメラ１はピクセル毎に距離画像カメラ１と被写体との距離情報を出力する。本システムにおいて距離画像カメラ１は撮影空間の上面、側面、前面、背面に配置することができる。図１の実施形態では距離画像カメラ１を撮影空間の上面に配置した例を示している。

画像処理装置２は、距離画像カメラ１から出力された距離情報を時系列に一時保存する画像メモリ３と、一時保存した距離情報から人体を検知する人体検知部４と、一時保存した距離情報と人体検知部４が検知した情報をもとに人体移動を追跡する人体移動追跡部５とを有する。

次に本実施形態の動作について説明する。図２は、距離画像カメラ１を撮影空間の上面に配置した時に、距離画像カメラ１に撮影された被写体を示している。距離画像カメラ１は、撮影した被写体を図３に示すように距離画像として出力する。距離画像は画像メモリ３に一旦蓄積される。画像メモリ３に蓄積された距離画像は、人体検知部４において処理される。

図４は、人体検知部４の動作を示すフローチャート図である。人体検知部４は、距離画像を入力すると、特徴抽出により距離画像から人体らしさを人体候補として抽出する。抽出した特徴データを人体候補として人体候補バッファに保存する。人体候補バッファに保存した人体候補データとあらかじめ登録した人体モデルとをマッチング部で比較し相似形である場合、人体候補を人体として検知する。人体モデルは、人体として認知するための最大値と最小値が示されており、人体候補がこの値内にある場合、相似形であると判断し、人体として検知する。

次に、本実施形態の特徴抽出の動作について説明する。図５は、本実施形態において、被写体の輪郭を抽出する動作を示すフローチャート図である。図５に基づいて被写体の輪郭を抽出動作を説明すると、入手した距離画像（図３）は、ピクセル毎に距離情報Ｚを任意のＹ軸、例えばｙピクセルに直目すると、人体は図６のような二次元図形として表示される。輪郭抽出方式は、被写体の輪郭にあたるピクセルの距離情報Zの差は、図６で表示される図形の傾きの大きさとして現れる。

つまり、輪郭抽出方式は図６において傾きの大きい部分を被写体の輪郭として特徴として抽出する方式である。動作フロー図５は、Ｙ軸のピクセル毎にＸ、Ｚ軸の二次元図形Ｚ＝ｆ（X）を抽出して、二次元図形Ｚ＝ｆ（Ｘ）を微分することによりｆ（Ｘ）の傾きを求める。ｆ（Ｘ）の微分したｆ'（Ｘ）は図７のように輪郭部が強調された図形となる。図形７は人体候補として人体モデル図８と比較し人体候補図７が人体モデルの閾値内に納まったとき人体として検知する。

次に本発明の第２の実施形態について説明する。
図２は、距離画像カメラ１を撮影空間の上面に配置した時に、距離画像カメラ１に撮影された被写体を示す。距離画像カメラ１は、撮影した被写体を図３の距離画像として出力する。距離画像は画像メモリ３に一旦蓄積される。画像メモリ３に蓄積された距離画像は、人体検知部４において処理される。人体検知部４の動作フローを図４に示す。人体検知部４は、距離画像を入力すると、特徴抽出により距離画像から人体らしさを人体候補として抽出する。抽出した特徴データを人体候補として人体候補バッファに保存する。

人体候補バッファに保存した人体候補データとあらかじめ登録した人体モデルとをマッチング部で比較し相似形である場合、人体候補を人体として検知する。人体モデルは、人体として認知するための最大値と最小値が示されており、人体候補がこの値内にある場合、相似形であると判断し、人体として検知する。閾値比較による人体検知方式による特徴抽出の動作を説明する。人体を撮影空間の上面の距離カメラ１から撮影した場合、図６のように体部にあたる図形と頭部にあたる図形で構成された二段状の図形が得られる。

第２の実施形態では、この二段状の図形に注目し、人体として検知する方法である。本システムは、図９のように顔らしき部位の幅をａ、高さをｂとし、肩らしき部位の幅をｄとしてピクセル数を測定する。また、図１０のように体らしき部位の厚みをｅとしてピクセル数を測定する。それぞれ測定した部位にあらかじめ人体モデルとして閾値を準備することにより被写体をじんたいと判断する。尚、閾値は最大値および最小値を設定する。顔らしき部位の幅を例にすると、顔らしき部位の幅の最小閾値をａ_minとし、最大閾値をａ_maxとした人体モデルを設定した場合、ａ_min≦ａ≦ａ_maxとなるとき、被写体を人体として判断する。

次に本発明の第３の実施形態について説明する。
図２は、距離画像カメラ１を撮影空間の上面に配置した時に、距離画像カメラ１に撮影された被写体を示す。距離画像カメラ１は、撮影した被写体を図３の距離画像として出力する。距離画像は画像メモリ３に一旦蓄積される。画像メモリ３に蓄積された距離画像は、人体検知部４において処理される。人体検知部４の動作フローを図４に示す。人体検知部４は、距離画像を入力すると、特徴抽出により距離画像から人体らしさを人体候補として抽出する。抽出した特徴データを人体候補として人体候補バッファに保存する。

人体候補バッファに保存した人体候補データとあらかじめ登録した人体モデルとをマッチング部で比較し相似形である場合、人体候補を人体として検知する。人体モデルは、人体として認知するための最大値と最小値が示されており、人体候補がこの値内にある場合、相似形であると判断し、人体として検知する。腕の振りによる人体検知方式による特徴抽出の動作を説明する。図２のように、距離画像カメラ１を撮影空間の上面に配置し人体を撮影した場合、腕は体の側面にでるため距離画像カメラ１により撮影される。

よって距離画像カメラ１は、人体が移動する場合の腕の振りを撮影することができる。前述の輪郭抽出方式あるいは閾値比較による人体検知方式のいずれの方式により検知された人体を人体候補とする。更に人体候補の腕の部位に相当する位置の距離情報に着目する。画像メモリ３内に保存された連続した時系列の距離情報ｎと距離情報ｎ＋１を比較する。

比較する方法は、前述の輪郭抽出方式あるいは閾値比較による人体検知方式のいずれかの方式により被写体から人体候補を選別する。連続する時系列の距離情報ｎおよび距離情報ｎ＋１で人体と選別された被写体に対して、被写体の移動距離を補正して被写体の差分とることにより、腕など動作している部位が差分抽出される。差分抽出された腕らしい部位が、体と見られる被写体の側面にある場合に被写体を人体として判断する。

次に本発明の第４の実施形態について説明する。
図２の構成において、距離画像カメラ１は、距離画像カメラ１と被写体との距離を算出する。その際、距離画像カメラ１は視点が１箇所の為、距離画像カメラに対する被写体の水平方向の位置が距離情報に影響を与える。図１１を例に示す。人物の移動距離Δｘを移動すると距離データｈはｈに変わる。距離情報ｈとｈ'の差分は距離情報を基に人体検出を行う本システムにおいて、誤検知の要因となる。本方法は距離画像カメラ１の視野をすべて被写体の真上から見た距離情報に変換する。

つまり、距離画像カメラ１からの出力情報からｈとΔｘが入手できる為、三平方の定理から距離ｈを算出することができる。本方法は、移動した物体のみならず、距離画像カメラ１の視野の任意のピクセルに適用できる。例えば、頭と肩など同一の物体上にある水平方向に距離Δｘが存在するピクセルの値を補正することができる。

次に本発明の第５の実施形態について説明する。
図２の構成において、画像３内に保存された時系列の距離情報を毎回、前述の輪郭抽出方式あるいは閾値比較による人体検知方式のいずれの方式により人体を検知する。時間的に連続した距離情報において人体と検知されてかつ、人体検知に用いた特徴が相似している場合、同一人物として判断し追跡する。

次に本発明の第６の実施形態について説明する。
図２の構成において、距離画像カメラ１を撮影空間の上面に配置し人体を撮影した場合、つま先または膝は体より前に出るため距離画像カメラ１により撮影される。また、人体が移動する際は、つま先や膝の方向に進むことに着目した方式である。画像メモリ３内に保存された時系列のデータを毎回、前述の輪郭抽出方式あるいは閾値比較による人体検知方式のいずれの方式により人体を検知する。時間的に連続した距離情報において人体として検知されかつ、時系列的に前回の人体候補のつま先や膝の方向に検知された場合、同一人物として判断し追跡する。

本発明の一実施形態の構成を示すブロック図である。 本発明の一実施形態の距離画像カメラの入力イメージを示す説明図である。 本発明の一実施形態における距離画像カメラから出力される距離画像を示す説明図である。 本発明の一実施形態の人体検知部の動作を示すフローチャート図である。 本発明の一実施形態における特徴抽出処理の詳細を示すフローチャート図である。 本発明の一実施形態において被写体を二次元図形として表示したイメージ図である。 本発明の一実施形態において人体候補の二次元図形を微分した結果を示すグラフである。 本発明の一実施形態において人体モデルの閾値を示すグラフである。 本発明の一実施形態において人体候補をピクセル値表示した状態を示す説明図である。 本発明の一実施形態において人体候補をピクセル値表示した状態の他例を示す説明図である。 本発明の一実施形態において被写体が横方向に移動した状態を示す説明図である。

符号の説明

１ 距離画像カメラ
２ 画像処理装置
３ 画像メモリ
４ 人体検知部
５ 人体移動追跡部

Claims (6)

1. 撮影手段から被写体までの距離情報を示す距離画像を用いて撮影範囲にある人体を検知する方法であって、前記撮影手段で撮影した被写体の距離画像から隣接するピクセル間の距離Ｚの差が大きい部分の距離画像を抽出し、前記距離画像の距離情報を微分して抽出した人体候補データと、事前に設定した人体モデルデータとをマッチングさせて一致したものを人体として検知することを特徴とする画像処理による人体検知方法。
2. 前記撮影手段は、距離画像を時系列に随時人体を検知し、時間的に連続していてかつ抽出した特徴が同様な人体を同一人物として認識して人体移動を追跡することを特徴とする、請求項１記載の画像処理による人体検知方法。
3. 撮影手段から被写体までの距離情報を示す距離画像を用いて撮影範囲にある人体を検知する方法であって、前記撮影手段で撮影した被写体の距離画像から二段状図形の人体候補データを抽出して、予め設定された人体モデルの顔面部位及び身体部位の幅並びに厚みと前記二段状図形の人体候補データとをマッチングさせて一致したものを人体として検知することを特徴とする画像処理による人体検知方法。
4. 前記撮影手段は、距離画像を時系列に随時人体を検知し、時間的に連続していて前記顔面部位および前記身体部位の幅および厚みが同様な人体を同一人物として認識して人体移動を追跡することを特徴とする請求項３記載の画像処理による人体検知方法。
5. 撮影手段から被写体までの距離情報を示す距離画像を用いて、撮影範囲にある人体を検知する方法であって、人体候補の側部に腕部特有の動作を検出して人体を検知することを特徴とする画像処理による人体検知方法。
6. 前記撮影手段は、被写体の距離情報の誤差を三平方の定理により補正することを特徴とする請求項１乃至５記載の画像処理による人体検知方法。
   

Images