JP4048779B2 - 距離画像処理装置 - Google Patents
距離画像処理装置 Download PDFInfo
- Publication number
- JP4048779B2 JP4048779B2 JP2001401531A JP2001401531A JP4048779B2 JP 4048779 B2 JP4048779 B2 JP 4048779B2 JP 2001401531 A JP2001401531 A JP 2001401531A JP 2001401531 A JP2001401531 A JP 2001401531A JP 4048779 B2 JP4048779 B2 JP 4048779B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- distance image
- difference
- reference pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、距離画像を用いて監視空間における検知対象物の存否の判断あるいは検知対象物の特徴量の抽出に用いる距離画像処理装置に関するものである。
【０００２】
【従来の技術】
従来より、監視空間の画像に基づいて監視空間内における検知対象物の存否を判断したり検知対象物の特徴量を抽出したりするために各種の画像処理技術が提案されている。この種の画像処理技術では、濃淡画像またはカラー画像に基づいて検知対象物を背景から分離する方法が広く採用されている。
【０００３】
しかしながら、濃淡画像やカラー画像では、監視空間の画像を撮影する撮影手段と検知対象物との位置関係や外乱光の存在などによって、同じ検知対象物であって画像内の濃度変化や色変化に差異が生じ、とくに検知対象物の周辺での影の領域が変化するから、撮影手段に対する検知対象物の位置関係や外乱光が変動しやすい用途では誤検出を生じやすいという問題がある。この問題を解決するために種々の提案がなされているものの、濃淡画像やカラー画像では原理上、外乱光の影響を十分に除去することはできない。
【０００４】
これに対して、規定の基準点から監視空間内における当該画素に対応する物体までの距離に画像内の各画素の画素値を対応付けた距離画像を用いることが提案されている。基準点は検知対象物までの距離を求める３次元位置測定装置の設置位置に基づいて設定される。監視空間内で上記基準点から物体までの距離を求める技術は、検知光を監視空間に投光する能動型と検知光を投光しない受動型とがあり、能動型としては線状あるいは扇状の光ビームを監視空間内で走査する形式が広く知られており、受動形としては複数台のＴＶカメラを用いるステレオ画像法が広く知られている。いずれの方法も三角測量の原理を用いることによって監視空間内の物体までの距離を求めることができる。この種の距離画像は外乱光の影響を受けにくいから、距離画像を用いると検知対象物に関する情報が正確に得られ、外乱光の影響による誤検出が生じにくくなる。
【０００５】
ところで、ステレオ画像法によって距離画像を生成する技術では、複数の画像の対応点を発見することが必要であって、対応点を発見するために画像内において濃度変化の大きいエッジ部分を抽出して対応付けを行っているのが現状である。つまり、エッジ部分については距離を比較的正確に求めることができるから、エッジ部分から得られる３次元情報を、あらかじめ登録されている検知対象物の３次元モデルのエッジと比較し、両者の一致度によって検知対象物のエッジか否かを判断している。
【０００６】
【発明が解決しようとする課題】
上述したように、画像内のエッジ部分の情報を用いて検知対象物に関する情報を得る技術を採用しているのは、ステレオ画像法では検知対象物の平面部分のように画像内での濃度変化が小さい領域については距離を直接求めるのが難しいからであって、画像内にはエッジ部分以外の情報も含まれているにもかかわらず、この種の情報を有効に利用することができない。
【０００７】
一方、上述した能動型の技術を用いれば、検知対象物の平面部分のようなエッジ部分以外であっても距離を直接求めることができるから、この種の技術を採用すれば距離画像に基づいて検知対象物に関する情報をより正確に求めることができる。
【０００８】
しかしながら、あらかじめ登録されている３次元モデルと距離画像から得られる検知対象物に関する情報との一致度については、濃淡画像やカラー画像において採用されている画像処理技術と同様のパターンマッチングの手法をそのまま採用することができない。つまり、距離画像では各画素の画素値が上記基準点からの距離であるから、濃淡画像やカラー画像のように２次元平面内での位置合わせ（平行移動と回転移動）だけではパターンマッチングを行うことができず、登録されている３次元モデルを距離画像から得られる検知対象物に対して３次元空間で位置合わせをしなければならない。つまり、３次元モデルの距離および向きを３次元空間内で調節しなければ検知対象物とのパターンマッチングを行うことができず、３次元空間内で距離および向きを調節するには膨大な演算が必要になり、実時間で処理することが困難である。
【０００９】
本発明は上記事由に鑑みて為されたものであり、その目的は、距離画像を用いながらも比較的少ない演算で検知対象物の存否の判断や検知対象物の特徴量の抽出を正確に検出可能な距離画像処理装置を提供することにある。
【００１０】
【課題を解決するための手段】
請求項１の発明は、監視空間内の全領域について物体までの距離を測定する３次元位置測定装置と、監視空間を撮影した画面上の各画素の画素値が３次元位置測定装置により測定した距離である距離画像を記憶する画像取込手段と、検知対象物について３次元位置測定装置からの距離の分布パターンを基準パターンとして記憶するパターン記憶手段と、前記距離画像内で基準パターンを走査するとともに距離画像内での基準パターンの各位置において距離画像と基準パターンとの差分の画素値からなる差画像を抽出する差画像抽出手段と、差画像抽出手段により抽出した差画像の各画素値と一定値との差分を残差として求め、残差の絶対値の総和の大きさを距離画像と基準パターンとの一致度として求める一致度演算手段と、一致度演算手段により求めた一致度を閾値と大小比較し一致度が規定の閾値より小さいときに監視空間内で基準パターンの検知対象物が存在すると判定する判定手段とを備えることを特徴とする。
【００１１】
請求項２の発明は、請求項１の発明において、前記パターン記憶手段には前記検知対象物について大きさの異なる相似形状の複数種類の基準パターンが登録されていることを特徴とする。
【００１２】
請求項３の発明は、請求項１の発明において、前記距離画像内から前記検知対象物に対応する領域を抽出する領域選択手段が付加され、前記距離画像から領域選択手段により抽出された領域が基準パターンとしてパターン記憶手段に格納されることを特徴とする。
【００１３】
請求項４の発明は、請求項３の発明において、前記監視空間内を移動する前記検知対象物に適用する距離画像処理装置であって、前記領域選択手段が、監視空間内に検知対象物が存在している時間内の異なる時刻の２つの距離画像から差分である差分距離画像を求める差分計算手段と、差分距離画像において画素値が０ではない規定の閾値範囲内に属する画素からなる領域を前記距離画像から抽出し基準パターンとしてパターン記憶手段に格納する変化領域抽出手段とを備えることを特徴とする。
【００１９】
【発明の実施の形態】
（第１の実施の形態）
本実施形態は、図１に示すように、室内Ｒを監視空間とするために３次元位置測定装置１を天井Ｃに取り付けている例を示す。３次元位置測定装置１は、従来の技術として説明した能動型を用いることを想定しており、線状あるいは扇状の光ビームを投光手段から監視空間に投光するとともに監視空間内で光ビームを走査し、ＰＳＤのような半導***置検知素子やＴＶカメラを受光手段に用いて光ビームにより形成される輝点または輝線の位置を監視することにより、輝点または輝線が形成されている部位までの距離を求めるように構成される。監視空間内において輝点または輝線が形成されている部位までの距離を求める技術については周知であるから詳しく説明しないが、投光手段と受光手段との位置関係が既知であって、かつ光ビームの投光方向と、投光手段の位置と、受光手段に形成される輝点または輝線の像の位置との関係を用いて三角測量の原理により距離を幾何学的に算出することができる。したがって、上述したように光ビームを監視空間で走査することにより、監視空間の全体について輝点または輝線が形成されている物体までの距離を求めることができる。
【００２０】
３次元位置測定装置１によって求められた距離は画像取込手段２に入力され、画像取込手段２に一時的に記憶される。画像取込手段２では、距離を格納する領域が光ビームの投光方向に対応付けられており、画像取込手段２に記憶されたデータが距離画像になる。つまり、画像内の各画素に相当するアドレスにそれぞれ３次元位置測定装置１で求めた距離が格納され、結果的に各画素の画素値を距離とする距離画像が得られる。
【００２１】
本実施形態では、画像取込手段２に格納された距離画像に検知対象物が含まれるか否かを判定するためにパターンマッチング技術を用いている。そこで、画像取込手段２に格納された距離画像と比較すべき基準パターンを格納するパターン記憶手段３と、距離画像と基準パターンとの差画像を抽出する差画像抽出手段４とを設けている。
【００２２】
パターン記憶手段３に格納された基準パターンは、検知対象物に関する３次元データであって本実施形態ではＣＡＤデータを用いて作成されている。つまり、ＣＡＤデータを適宜の向きの投影面に投影すれば、投影面を画面とし３次元位置測定装置１からの距離を画素値とする距離画像と等価な基準パターンが得られる。このようにして得られる基準パターンは２次元平面内の各位置に距離を対応付けた３次元データであって、検知対象物について３次元位置測定装置１からの距離の分布パターンになる。基準パターン記憶部３には、監視空間内で検知対象物が投影されると予想されるあらゆる向きの投影面についてＣＡＤデータを投影することによって生成した基準パターンが登録される。差画像抽出手段４では、画像取込手段２に格納された距離画像と基準パターン記憶部３に格納された複数個の基準パターンとの差分を画素値とした差画像を求める。差画像を求めるにあたっては、各基準パターンを画像取込手段２に格納された距離画像内で走査し、濃淡画像やカラー画像に対するパターンマッチングの場合と同様に、２次元平面内での基準パターンの走査になるから、１つの基準パターンに対する処理は比較的短時間で終了する。
【００２３】
いま、画像取込手段２に格納された距離画像において検知対象物が含まれる部位に基準パターンが一致したとすれば、差画像における各画素の画素値はすべて等しくなると考えられる。つまり、基準パターン記憶部４における基準データを生成するＣＡＤデータにより表された検知対象物の向きが、監視空間における検知対象物の向きに一致したことになり、距離画像内で両者を相対的に回転させることなく平行移動させるだけで重ね合わせることができる状態とみなすことができる。
【００２４】
そこで、上述のようにして差画像抽出手段４において抽出した差画像内の各画素の画素値のばらつきの程度を評価すれば、監視空間内での検知対象物のデータと基準パターンとの一致度を評価することができ、監視空間内での検知対象物の存否を判定することができる上に、監視空間内での検知対象物の向きを特徴量として知ることが可能になる。差画像内の各画素の画素値のばらつきの程度を評価する方法としては、ばらつきの程度を評価する一般的な手法を用いることができる。本実施形態では、各画素値と一定値との差分を残差として求め、残差の絶対値の総和（「残差絶対和」と呼ぶ）の大きさをばらつきの程度として評価する。この一定値は適宜に設定することが可能であるが、差画像の画素値の平均値を用いるのが望ましい。残差絶対和は、一致度演算手段５により求められ、求めた残差絶対和を判定手段６に入力して規定の閾値と大小判定することにより監視空間内での検知対象物の存否を判定することができる。また、残差絶対和が最小になるときの基準パターンによって監視空間内での検知対象物の向きを知ることができる。ここに、本実施形態では画像取込手段２に格納された距離画像に対して基準パターンの拡大・縮小は不要な場合を想定しているが、監視空間が比較的広く距離画像と基準パターンとの比率が異なる場合には、距離画像と基準パターンとの一方に対して拡大・縮小を行ってもよい。
【００２５】
以下では、上述した構成の動作をまとめて簡単に説明する。なお、説明を簡単にするために距離画像を２次元データではなく１次元データとして説明する。つまり、直線上の位置について距離が得られているものとする。画像取込手段２に格納された距離画像（イで示す）とパターン記憶手段３に格納された基準パターン（ロ，ロ′で示す）とは図２（ａ）のような関係になる。基準パターン（ロ）（ロ′）は距離画像（イ）に対して走査され、たとえば基準パターン（ロ）の位置から基準パターン（ロ′）の位置まで移動するものとする。差画像抽出手段４は、基準パターン（ロ）（ロ′）の位置を一定画素数ずつずらして距離画像との差画像を求める。図２（ｂ）に示すように、差画像における各画素値（つまり、距離画像（イ）と基準パターン（ロ）（ロ′）との差分）は、基準パターン（ロ）に対してばらつきが少なく、基準パターン（ロ′）に対してばらつきが大きくなっている。
【００２６】
差画像における画素値のばらつきの程度を評価するために、一致度演算手段５では、差画像における画素値の平均値を求め、図２（ｃ）のように、差画像における各画素値と求めた平均値との差分を残差として求める。さらに、一致度演算手段５では、残差の絶対値の和である残差絶対和を求める。差画像における画素値の平均値は、３次元位置測定装置１と検知対象物との間の距離と基準パターンを生成する際にＣＡＤデータを投影した投影面までの距離との差に相当するオフセットとみなすことができ、一致度演算手段５では、差画像の画素値からオフセットを除去するとみなすことができる。判定手段６では、上述のようにして求めた残差絶対和があらかじめ設定した規定の閾値よりも小さいときには、基準パターンにより表された検知対象物が監視空間に存在すると判定する。
【００２７】
図２から明らかなように、基準パターンとの一致度が低い場合のほうが一致度の高い場合よりも差画像の画素値の総和が小さくなることがあるが、差画像の画素値の総和ではなく差画像の画素値からオフセットに相当する一定値を減算した残差の絶対値の総和を用いることによって、画素値のばらつきが大きいほど大きくなり、基準パターンとの一致度を正確に評価することができる。
【００２８】
（第２の実施の形態）
第１の実施の形態においても説明したように、３次元位置測定装置１から検知対象物までの距離が変化すれば距離画像内において検知対象物の大きさが変化するから、検知対象物までの距離が比較的大きく変化する場合には基準パターンとの一致度を正確に求めることができなくなる。そこで、本実施形態では、同じ検知対象物に対して大きさの異なる複数個の基準パターンをパターン記憶部３に格納している。
【００２９】
すなわち、図３に示すように、ＣＡＤデータを投影する投影面ＰＬ１，ＰＬ２，ＰＬ３までの距離が異なると、同じＣＡＤデータから得られる基準パターンの大きさＳ１，Ｓ２，Ｓ３が異なる。そこで、図４（ａ）（ｂ）（ｃ）に示すように、あらかじめ大きさの異なる複数個（図示例では３個）の基準パターンＢ１，Ｂ２，Ｂ３をパターン記憶手段３に登録しておき、画像読込手段２に格納された距離画像に対する各基準パターンＢ１，Ｂ２，Ｂ３の一致度を求めるのである。
【００３０】
したがって、図５（ａ）に示すような距離画像が画像取込手段２に格納されているものとし、図５（ｂ）（ｃ）（ｄ）にそれぞれ線ａとして示す基準パターンＢ３，Ｂ２，Ｂ１がパターン記憶手段３に登録されているものとすれば、残差は図５（ｂ）（ｃ）（ｄ）にそれぞれ線ｂとして示すようになる。つまり、残差絶対和は基準パターンＢ２に対してもっとも小さくなり、基準パターンＢ２との一致度がもっとも高いと言える。このようにして距離画像内で検知対象物が占める領域の大きさが変化しても基準パターンとの一致度を正確に求めることが可能になる。
【００３１】
本実施形態の構成では、相似形状の複数個の基準パターンをパターン記憶手段３に格納しているから、検知対象物までの距離の変化が比較的大きい場合や相似であるが大きさの異なる複数個の検知対象物が存在する場合であっても、距離画像と基準パターンとの一致度を求めて検知対象物の存否の判定の抽出が可能になる。他の構成および動作は第１の実施の形態と同様である。
【００３２】
（第３の実施の形態）
本実施形態は、図６に示すように、第１の実施の形態の構成に領域選択手段７を付加したものである。領域選択手段７は、画像取込手段２に格納された距離画像を２値化することにより、距離画像内から検知対象物が存在する領域を抽出し、距離画像から抽出した領域のデータを基準パターンとしてパターン記憶手段３に登録する機能を有する。領域選択手段７は基準パターンをパターン記憶手段３に登録する際に用いられ、距離画像と基準パターンとのパターンマッチングにより検知対象物の存否を判定したり特徴量を抽出したりする際には用いない。
【００３３】
基準パターンをパターン記憶手段３に登録する際の領域選択手段７の動作をさらに詳しく説明する。領域選択手段７には距離に関して２つの閾値Ｌｔ１，Ｌｔ２（Ｌｔ１＜Ｌｔ２）が設定されており、画像取込手段２に格納されている距離画像から両閾値Ｌｔ１，Ｌｔ２の間の距離範囲に属する画素を抽出する。つまり、距離画像の各画素の座標を（ｘ，ｙ）で表し、各画素の画素値をＤ（ｘ，ｙ）で表すものとすれば、Ｌｔ１＜Ｄ（ｘ，ｙ）＜Ｌｔ２を満たす画素（ｘ，ｙ）の集合を抽出し、集合に属する画素（ｘ，ｙ）が白画素（画素値が１）、残りが黒画素（画素値が０）となるように２値化する。このように距離画像の２値化によりマスクを形成することができるから、このマスクを距離画像に重ねることによって、距離画像から白画素に対応する領域のみを抽出する。このようにして領域選択手段７において距離画像から一部領域の画素の集合を抜き出すことができるのであって、この画素の集合を基準パターンとしてパターン記憶手段３に格納するのである。
【００３４】
すなわち、図７（ａ）に示すような距離画像が画像取込手段２に格納されているとすれば、領域選択手段７では、まず距離画像を２値化して図７（ｂ）に示すような２値画像を生成する。この２値画像のうちの白画素の領域を距離画像から抽出すると、図７（ｃ）に示すような基準パターンを生成することができるのである。
【００３５】
パターン記憶手段３に登録された基準パターンは第１の実施の形態と同様であって、差画像抽出手段４において画像取込手段２に格納された距離画像と基準パターンとの差画像を抽出し、一致度演算手段５において差画像の画素値のばらつきの程度を評価し、判定手段６では差画像の画素値のばらつきの程度が規定の閾値よりも小さいときに、距離画像内に基準パターンと一致度の高い領域が存在すると判定する。他の構成および動作は第１の実施の形態と同様である。
【００３６】
本実施形態の構成では、抽出しようとする検知対象物についてＣＡＤデータによって基準パターンを設定する必要がなく、実際に３次元位置測定装置１で検出される検知対象物に関する距離画像から基準パターンを抽出することになり、検知対象物の形状が複雑であっても基準パターンを容易に生成することができるとともに、基準パターンの変更が容易になる。しかも、３次元位置測定装置１により得られる距離画像から基準パターンを生成するから、検知対象物に合致した形状の基準パターンを設定することができ、特定の検知対象物が監視空間内で移動するような場合でも他の物体と明確に区別して追跡することが可能になる。
【００３７】
（第４の実施の形態）
本実施形態は、第３の実施の形態と同様に、領域選択手段７を備えるものであるが、領域選択手段７として図８に示すように、逐次入力される２つの距離画像の差分を求める差分計算手段７ａと、差分計算手段７ａにより求めた距離画像の差分によって距離画像内で変化の生じた領域を抽出する変化領域抽出手段７ｂとを備えたものを用いる。変化領域抽出手段７ｂは、距離画像の差分を２値化するとともに、２値化により得られた白画素の領域に対して膨張処理および収縮処理を施すことによって白画素の領域の穴埋めを行い、白画素の連続した領域を有するマスクを形成する。さらに、変化領域抽出手段７ｂでは、領域選択手段７に入力された２つの距離画像のうち後から入力された距離画像にマスクを重ねることによって距離画像から白画素に対応する領域を基準パターンとして抽出する。
【００３８】
基準パターンをパターン記憶手段３に登録する際の領域選択手段７の動作をさらに詳しく説明する。領域選択手段７に設けた差分計算手段７ａには、検知対象物が監視空間内に存在している時間内の異なる時刻において得られた２つの距離画像が画像取込手段２から入力される。両距離画像の時間差は短いほどマスクを小さく設定できる点で望ましいが、両距離画像の時間差が大きいほど演算量は低減されるから、両距離画像の時間差は所望の演算量に応じて適宜に設定する。
【００３９】
差分計算手段７ａでは、両距離画像間の差分である差分距離画像を求める。監視空間内で移動する物体が存在しなければ差分距離画像の全画素の画素値が０になるが、移動する物体が存在すれば画素値が０ではない画素が生じることになる。つまり、監視空間内で検知対象物が移動すれば、差分距離画像では入力された２つの距離画像において検知対象物が存在する領域に対応する画素の画素値が０ではない値になる。
【００４０】
変化領域抽出手段７ｂでは、第３の実施の形態における領域選択手段７と同様に距離に関して２つの閾値Ｌｔ３，Ｌｔ４（Ｌｔ３＜Ｌｔ４）が設定されており、差分距離画像から両閾値Ｌｔ３，Ｌｔ４の間の範囲に属する画素を抽出する。つまり、差分距離画像において各画素の座標を（ｘ，ｙ）で表し、各画素の画素値をＳ（ｘ，ｙ）で表すものとすれば、Ｌｔ３＜Ｓ（ｘ，ｙ）＜Ｌｔ４を満たす画素（ｘ，ｙ）の集合を抽出し、集合に属する画素（ｘ，ｙ）が白画素（画素値が１）、残りが黒画素（画素値が０）となるように２値化する。このようにして２値化すれば、差分距離画像のうち画素値が０ではない画素の集合を白画素として抽出することができるから、白画素の領域は監視空間内で移動する物体が存在していた領域を表すことになる。ここで、白画素の領域は必ずしも連続した１つの領域にはならないから、白画素の連続する１つの領域が形成されるように穴埋めを行ってマスクを生成する。
【００４１】
上述したように２つの距離画像のうち後から入力された距離画像に対してマスクを重ね合わせ、白画素に対応する領域の画素を抽出すれば、抽出された画素を基準パターンとして用いることが可能になる。つまり、抽出された画素をパターン記憶手段３に基準パターンとして格納するのである。
【００４２】
すなわち、図９（ａ）（ｂ）に示すような２つの距離画像が画像取込手段２に逐次格納されるとすれば、領域選択手段７の差分計算手段７ａでは、両距離画像の各画素値の差を求めて図９（ｃ）のような差分距離画像を求める。次に、変化領域抽出手段７ｂでは、差分距離画像を２値化して図９（ｄ）に示すような２値画像を生成する。このようにして求めた２値画像では白画素が分布している領域に検知対象物が含まれると考えられるが、白画素内に黒画素が入り交じっているから、検知対象物が存在すると考えられる領域内の全画素が白画素になるように白画素による穴埋めを行い、結果的に図９（ｅ）のようなマスクを生成する。こうして求めたマスクを、後から入力された図９（ｂ）の距離画像に重ね合わせると、図９（ｆ）に示す基準パターンを生成することができる。
【００４３】
パターン記憶手段３に登録された基準パターンは第１の実施の形態と同様であって、差画像抽出手段４において画像取込手段２に格納された距離画像と基準パターンとの差画像を抽出し、一致度演算手段５において差画像の画素値のばらつきの程度を評価し、判定手段６では差画像の画素値のばらつきの程度が規定の閾値よりも小さいときに、距離画像内に基準パターンと一致度の高い領域が存在すると判定する。他の構成および動作は第１の実施の形態と同様である。
【００４４】
しかして、本実施形態の構成では、監視空間内で検知対象物が移動する場合に、検知対象物の移動によって生じた２つの距離画像間の差を利用して基準パターンを設定するから、監視空間内で移動した検知対象物について基準パターンを自動的に生成することができ、基準パターンの設定後には検知対象物の検出や追跡を容易に行うことができる。
【００４５】
（参考例１）
上述した各実施形態では、主として監視空間内における検知対象物の存否の判定を行う例を示したが、本例は、主として検知対象物の特徴量を抽出することを目的にしている。以下では、室内Ｒにおいて床面Ｆ（図１０参照）からの検知対象物の代表点の高さ寸法を求める例について説明する。
【００４６】
本例では、検知対象物について基準パターンとの一致度を判定する必要がないから距離画像内において検知対象物の存在する領域を抽出すれば十分であって、図１０に示すように、第３の実施の形態と同様の領域選択手段７を設けている。また、第３の実施の形態において基準パターンとの一致度を求めるために必要であった構成、すなわち、パターン記憶手段３、差画像抽出手段４、一致度演算手段５、判定手段６は設けず、後述する代表距離計算手段８と領域特徴抽出手段９とを設けている。
【００４７】
領域選択手段７は画像取込手段２に格納されている距離画像から検知対象物の存在する領域を抽出するためのマスクを生成する。つまり、距離画像について２つの閾値の間の画素値を持つ領域を抽出する２値化を行い、２値化により得られた２値画像の白画素の領域を検知対象物の存在する領域とする。
【００４８】
代表距離計算手段８は、領域選択手段７により得られた２値画像における白領域の重心の座標（ｘｓｉ，ｙｓｉ）を求めるとともに、距離画像における座標（ｘｓｉ，ｙｓｉ）の画素値Ｄ（ｘｓｉ，ｙｓｉ）を３次元位置測定装置１の位置に応じて設定した基準点から検知対象物の代表点までの代表距離Ｌとして求める。ここで、基準点は３次元位置測定装置１の設置位置に基づいて設定されているから基準点の位置は既知であり、また基準点と代表点とを結ぶ方向も３次元位置測定装置１からの光ビームの投光方向によって既知であるから、代表距離Ｌが求められたことによって、床面Ｆからの代表点の高さを領域特徴抽出手段９において求めることができる。
【００４９】
すなわち、図１１（ａ）に示すような距離画像が画像取込手段２に格納されているとすれば、領域選択手段７では、まず距離画像を２値化して図１１（ｂ）に示すような２値画像を生成する。次に、図１１（ｃ）のように、２値画像のうちの白画素の領域の重心の座標（ｘｓｉ，ｙｓｉ）を求め、図１１（ｄ）のように、距離画像における座標（ｘｓｉ，ｙｓｉ）の画素値Ｄ（ｘｓｉ，ｙｓｉ）を代表距離Ｌとして求めるのである。
【００５０】
以下では、領域特徴抽出手段９において代表距離Ｌに基づいて代表点の高さを算出する方法について図１２および図１３に基づいて説明する。ここで、距離画像の画面内での２次元の座標系を画面座標系Ｃｉと呼び、実空間において設定した座標系を世界座標系Ｃｗと呼ぶことにする。画面座標系Ｃｉでは画面の中心を原点Ｏｉとする。世界座標系Ｃｗは監視空間である室内Ｒの床面に対して鉛直上向きをＺｗ軸方向とし、床面上で３次元位置測定装置１の直下を原点Ｏｗに設定する。つまり、３次元位置測定装置１の床面からの高さをＺｓｗとすると、装置座標系Ｃｃの原点Ｏｃは世界座標系ＣｗのＺｗ軸上であってＺｗ軸方向に高さＺｃｗだけずれて位置することになる。また、装置座標系ＣｃのＺｃ軸は世界座標系ＣｗのＺｗ軸に対して角度θをなすものとする。世界座標系ＣｗにおいてＸｗ軸方向およびＹｗ軸方向は監視空間の形状に応じて適宜に設定する。さらに、３次元位置測定装置１の視野において距離画像の画面のＸ軸方向とＹ軸方向とに一致する方向をＸｃ軸方向およびＹｃ軸方向とし、かつ３次元位置測定装置１の前方をＺｃ軸方向とする座標系を装置座標系Ｃｃと呼ぶことにする。装置座標系Ｃｃの原点は３次元位置測定装置１の視野の中心線上であって距離の測定の基準点となる位置に設定する。たとえば、３次元位置測定装置１の受光手段としてＴＶカメラを用いるとすれば、撮影用のレンズの焦点位置を装置座標系Ｃｃの原点Ｏｃに設定する。つまり、レンズの焦点距離をｆｃとすれば、画面座標系Ｃｉの原点Ｏｉは装置座標系Ｃｃの原点Ｏｃからｆｃの距離に位置することになる。
【００５１】
ところで、距離画像について検知対象物の代表点（白画素の領域の重心）の座標（ｘｓｉ，ｙｓｉ）を求めると座標値は画素数を単位として求められるのであるが、画面座標系Ｃｉでの代表点の座標（ｘｓｉ，ｙｓｉ）に基づいて世界座標系Ｃｗでの代表点の床面Ｆからの高さを求めるには、単位を長さの単位に変換する必要がある。たとえば、３次元位置測定手段１の受光手段にＴＶカメラを用いるものとして、受光面の物理サイズがＳｘｒ×Ｓｙｒ〔ｍｍ〕であって、画素数がＳｘｉ×Ｓｙｉ〔画素〕であるとすれば、受光面上ではＸ軸方向の画素間のピッチはＳｘｒ／Ｓｘｉ〔ｍｍ〕になり、Ｙ軸方向の画素間のピッチはＳｙｒ／Ｓｙｉ〔ｍｍ〕になる。したがって、検知対象物の代表点の受光面上で単位をミリメートルとするときの座標（ｘｓｃ，ｙｓｃ）は、以下のように求めることができる。
ｘｓｃ＝ｘｓｉ×（Ｓｘｒ／Ｓｘｉ）
ｙｓｃ＝ｙｓｉ×（Ｓｙｒ／Ｓｙｉ）
ここで、画面座標系Ｃｉの座標をミリメートル単位で表せば、装置座標系Ｃｃとは原点の位置をＺ軸方向にｆｃだけ変位させているから、画面座標系Ｃｉにおける座標（ｘｓｃ，ｙｓｃ）に対応する装置座標系Ｃｃでの座標（Ｘｓｃ、Ｙｓｃ，Ｚｓｃ）は、（Ｘｓｃ、Ｙｓｃ，Ｚｓｃ）＝（ｘｓｃ，ｙｓｃ，ｆｃ）になる。
【００５２】
上述したように、装置座標系ＣｃのＺｃ軸は世界座標系ＣｗのＺｗ軸に対して角度θをなすから、装置座標系Ｃｃでの座標（Ｘｓｃ、Ｙｓｃ，Ｚｓｃ）と、世界座標系Ｃｗでの座標（Ｘｓｗ，Ｙｓｗ，Ｚｓｗ）との関係は、数１のようになる。つまり、数１によって装置座標系Ｃｃから世界座標系Ｃｗへの座標変換を行うことになる。
【００５３】
【数１】
【００５４】
求めた点Ｒの座標（Ｘｓｗ，Ｙｓｗ，Ｚｓｗ）に対応する世界座標系Ｃｗにおける検知対象物Ｏｂの代表点Ｐの座標（Ｘｐｗ，Ｙｐｗ，Ｚｐｗ）は、図１３に示す直角三角形ＯｃＰＱと、直角三角形ＯｃＲＴとの相似を利用して求めることができる。点Ｏｃと点Ｐとの距離は上述した代表距離Ｌであり、点Ｏｃと点Ｒの距離Ｌｃは直角三角形ＯｃＯｉＲの斜辺の長さであることに着目すれば、次式によって求めることができる。
Ｌｃ＝（Ｘｓｃ2 ＋Ｙｓｃ2 ＋ｆｃ2 ）1/2
したがって、点Ｐの高さＺｐｗは次式のように求められる。
Ｚｐｗ＝Ｌ（Ｚｃｗ−Ｚｓｗ）／Ｌｃ
つまり、あらかじめ３次元位置測定装置１の高さを定数として与えておけば、検知対象物Ｏｂの代表点Ｐについて床面Ｆからの高さ求めることができる。要するに、３次元位置測定装置１の物理仕様（受光面の物理サイズ、画素数、床面Ｆからの高さ、光軸の向きなど）と代表距離Ｌとを用いて画面座標系Ｃｉから世界座標系Ｃｗへの座標変換が可能になるのである。なお、３次元位置測定装置１および画像取込手段２の機能は第１の実施の形態と同様である。
【００５５】
（参考例２）
本例は図１０に示した参考例１と同様の構成を用いるが、参考例１では検知対象物の代表点として距離画像を２値化して抽出した白画素の領域の重心位置を用いたのに対して、本例では検知対象物について２個の代表点を求め、両代表点間の距離を求めることによって検知対象物の大きさを特徴量として抽出するものである。
【００５６】
すなわち、本例における代表距離計算手段８は、図１４（ａ）のような距離画像を領域選択手段７で２値化して得た図１４（ｂ）のような２値画像における白画素の領域において、図１４（ｃ）のように２個の代表点の座標（ｘｓ１，ｙｓ１）（ｘｓ２，ｙｓ２）を求める。両代表点間の距離が検知対象物の大きさに対応するように、両代表点は白画素の周縁の離れた２点として設定する。本例では白画素の領域の重心を通り距離画像の画面の水平方向（ｙ軸方向）に延長した直線と黒画素の領域との交点で白画素内の画素を代表点として抽出している。要するに、重心を求めた後に２値画像内を水平方向に走査し、画素値が黒画素（画素値＝０）になれば、１つ前の白画素を代表点の画素とする。このようにして求めた代表点の座標は距離画像に照合され、図１４（ｄ）のように各代表点に対応する画素の画素値が検知対象物までの代表距離Ｌ１，Ｌ２として求められる。
【００５７】
２個の代表点と各代表点に対応する代表距離Ｌ１，Ｌ２が求まると、領域特徴抽出手段９において参考例１と同様にして、各代表点の座標（ｘｓ１，ｙｓ１）（ｘｓ２，ｙｓ２）を装置座標系Ｃｃに変換して（Ｘｓｃ１，Ｙｓｃ１，Ｚｓｃ１）（Ｘｓｃ２，Ｙｓｃ２，Ｚｓｃ２）とし、さらに、世界座標系Ｃｗにおける検知対象物Ｏｂの代表点Ｐ１（Ｘｐ１ｗ，Ｙｐ１ｗ，Ｚｐ１ｗ）および代表点Ｐ２（Ｘｐ２ｗ，Ｙｐ２ｗ，Ｚｐ２ｗ）を、以下の形で求めることができる。
Ｘｐ１ｗ＝Ｌ１（Ｚｃｗ−Ｚｓ１ｗ）／ｘｓｃ１
Ｙｐ１ｗ＝Ｌ１（Ｚｃｗ−Ｚｓ１ｗ）／ｙｓｃ１
Ｚｐ１ｗ＝Ｌ１（Ｚｃｗ−Ｚｓ１ｗ）／Ｌｃ
Ｘｐ２ｗ＝Ｌ２（Ｚｃｗ−Ｚｓ２ｗ）／ｘｓｃ２
Ｙｐ２ｗ＝Ｌ２（Ｚｃｗ−Ｚｓ２ｗ）／ｙｓｃ２
Ｚｐ２ｗ＝Ｌ２（Ｚｃｗ−Ｚｓ２ｗ）／Ｌｃ
ただし、Ｚｓ１ｗは、参考例１において説明した数１を用い、（Ｘｓｃ，Ｙｓｃ，Ｚｓｃ）を（Ｘｓｃ１，Ｙｓｃ１，Ｚｓｃ１）に置き換えたときのＺｓｗの値であり、Ｚｓ２ｗは、（Ｘｓｃ，Ｙｓｃ，Ｚｓｃ）を（Ｘｓｃ２，Ｙｓｃ２，Ｚｓｃ２）に置き換えたときのＺｓｗの値である。他の値は参考例１において説明した通りである。
【００５８】
上述のようにして検知対象物Ｏｂの２つの代表点Ｐ１，Ｐ２の座標を求めることができるから、両代表点Ｐ１，Ｐ２の間の距離は以下の形で求めることができる。
（（Ｘｐ１ｗ−Ｘｐ２ｗ）２ ＋（Ｙｐ１ｗ−Ｙｐ２ｗ）２ ＋（Ｚｐ１ｗ−Ｚｐ２ｗ）２ ）１／２
上述のようにして検知対象物Ｏｂの２つの代表点Ｐ１，Ｐ２の間の距離によって検知対象物Ｏｂの大きさを推定することができる。また、距離画像内での代表点の求め方は規則的であるから、上述のようにして求めた距離は検知対象物Ｏｂの大きさを評価する値として用いることができる。なお、本例では２値画像における白画素の領域の重心から水平方向に直線を延長して代表点を求めたが、重心から垂直方向に直線を延長して代表点を求めてもよい。他の構成および動作は参考例１と同様である。なお、本例では２個の代表点を用いているが、３個以上の代表点を用いる場合も同様であって、たとえば重心から水平方向と垂直方向とに延長した直線上での白画素の領域の端点を用いれば４点の代表点を用いて同様に処理することができる。
【００５９】
（参考例３）
本例は、図１５に示すように、図１０に示した参考例１の構成に加えて領域特徴抽出手段９の出力を受けて検知対象物の存否を判断する検知判断手段１０を設けたものである。３次元位置測定装置１、画像取込手段２、領域選択手段７は参考例１と同様の構成であって同様に機能する。
【００６０】
ところで、本例の代表距離計算手段８は、距離画像から得た２値画像における白画素の領域の代表点の座標として、参考例１と同様に重心の座標（ｘｓｉ，ｙｓｉ）を求めるとともに、参考例２と同様に白画素の領域の周縁の２点（端点）の座標（ｘｓ１，ｙｓ１）（ｘｓ２，ｙｓ２）を求める。つまり、本例では３個の代表点に対応する代表距離Ｌ，Ｌ１，Ｌ２を距離画像から求める。代表距離Ｌ，Ｌ１，Ｌ２の求め方は参考例１および参考例２の手順を用いる。すなわち、本例における代表距離計算手段８は、図１６（ａ）のような距離画像を領域選択手段７で２値化して得た図１６（ｂ）のような２値画像における白画素の領域から、図１６（ｃ）のように重心となる代表点の座標（ｘｓｉ，ｙｓｉ）と端点である２個の代表点の座標（ｘｓ１，ｙｓ１）（ｘｓ２，ｙｓ２）とを求め、各代表点の座標（ｘｓｉ，ｙｓｉ）（ｘｓ１，ｙｓ１）（ｘｓ２，ｙｓ２）を距離画像に照合することによって、図１６（ｄ）のように各代表点に対応する代表距離Ｌ，Ｌ１，Ｌ２を求める。
【００６１】
代表距離計算手段８において代表距離Ｌ，Ｌ１，Ｌ２が求まると、領域特徴抽出手段９において参考例１および参考例２と同様にして座標変換を行い、検知対象物Ｏｂの代表点Ｐについて床面Ｆからの高さＺｐｗを求める。この演算は参考例１と同様の演算になり、代表点Ｐの高さＺｐｗは次式で表される。
Ｚｐｗ＝Ｌ（Ｚｃｗ−Ｚｓｗ）／Ｌｃ
ただし、Ｌｃ＝（Ｘｓｃ２ ＋Ｙｓｃ２ ＋ｆｃ２ ）１／２
また、領域特徴抽出手段９では、検知対象物Ｏｂの代表点Ｐ１，Ｐ２について距離ｄ１２を求める。この演算は参考例２と同様の演算になり、距離ｄ１２（つまり、検知対象物の幅）は次式で表される。
ｄ１２＝（（Ｘｐ１ｗ−Ｘｐ２ｗ）２ ＋（Ｙｐ１ｗ−Ｙｐ２ｗ）２ ＋（Ｚｐ１ｗ−Ｚｐ２ｗ）２ ）１／２
上述のようにして、領域特徴抽出手段９によって検知対象物の高さＺｐｗおよび幅ｄ１２を求めることができるから、検知判断手段１０では、高さＺｐｗおよび幅ｄ１２がともに規定した判別範囲内であるときに想定した検知対象物が監視空間に存在すると判定する。
【００６２】
いま、検知対象物を人体と想定すると、代表点Ｐは検知対象物の中心付近に位置するから頭部または肩部と考えられ、代表点Ｐ１，Ｐ２の距離は肩幅に相当すると考えられる。そこで、高さＺｐｗに対する判別範囲を８０〜２００ｃｍ程度に設定するとともに、幅ｄ１２に対する判別範囲を２０〜５０ｃｍ程度に設定すれば、監視空間内における人体の存否を検知することが可能になる。なお、本例において代表点として３点を用いているが、４点以上であってもよく、また検知対象物の大きさを評価するための２点を代表点とし、高さについては一方の代表点の高さを用いることも可能である。
【００６３】
（参考例４）
本例は基本的には図１５に示した参考例３と同様の構成であるが、代表距離計算手段８において重心を代表点として求める代わりに、領域選択手段７により得られた２値画像の白画素の領域内で距離画像の画素値が最小になる画素の座標を求める。この画素は白画素の領域内であるから、検知対象物の範囲内の画素である可能性が高く、かつ白画素の領域内で距離画像における画素値が最小になる画素であるから、検知対象物において３次元位置測定装置１からの距離が最小になる部位と考えられる。すなわち、検知対象物においてもっとも高い部位に対応している可能性が高いといえる。
【００６４】
そこで、３次元位置測定装置１を視野の中心線が鉛直下向きになるようにして天井Ｃに設置し、３次元位置測定装置１の下を通過する人体の頭部を検出する目的に使用するとすれば、本例では検知判断手段１０において高さに関して設定する判別範囲を参考例３よりも狭い範囲に設定することが可能になる。これは、参考例３では距離画像から求めた２値画像における白画素の領域の代表点として重心を用いていることにより、代表点が検知対象物におけるもっとも高い部位になる可能性が十分に高いとは言えないのに対して、本例の構成では代表点として３次元位置測定装置１からの距離が最小になる部位を選択したことにより、検知対象物におけるもっとも高い部位に対応している可能性が高くなるからである。しかして、検知判断手段１０において高さに関して設定する判別範囲を、参考例３では８０〜２００ｃｍに設定しているとすれば、本例では、たとえば１２０〜２００ｃｍに設定することが可能になる。他の構成および動作は参考例３と同様であって、本例の構成を採用すれば、参考例３に比較して判別範囲を狭くしたことによって、誤検出の可能性を低減することができる。
【００６５】
（参考例５）
本例は、図１７に示すように、基本的には図１５に示した参考例３と同様の構成を有する。ただし、本例の検知判断手段１０には、人体である検知対象物の代表点の高さについて時間変化を追跡することによって人体である検知対象物の転倒を検知する転倒検知手段１０ａを備える点が相違する。追跡する代表点としては参考例３のように距離画像を２値化した２値画像における白領域の重心または参考例４のように白画素の領域内で３次元位置測定装置１からの距離が最小になる点を用いる。
【００６６】
本例の特徴である転倒検知手段１０ａでは、領域特徴抽出手段９において求めた代表点の床面からの高さを逐次記憶する。すなわち、３次元位置測定装置１において一定時間毎に距離画像を生成し、生成された距離画像に基づいて代表点の高さの変化を追跡する。ところで、人の頭部の高さの時間変化は、人が座るときには図１８にイで示す変化になり、人が転倒したときには図１８にロで示す変化になる。つまり、図１８によれば、人が転倒するときには短時間で頭部の高さが大きく減少することがわかる。ちなみに、図示例では人が座るときの１秒間の高さ変化は最大で７０ｃｍ程度であるのに対して、人が転倒するときの１秒間の高さ変化は１２０ｃｍ以上になっている。そこで、たとえば３次元位置測定装置１において距離画像を１秒毎に生成し、距離画像から得られる代表点の高さの変化が１００ｃｍを越えたときに検知対象物である人体が転倒したと判定するように転倒検知手段９を構成すれば、座る行為と転倒とを区別しながらも転倒を検知することが可能になる。
【００６７】
なお、上述した各例において示した数値は一例であって、目的に応じて適宜に設定すればよく、とくに参考例５においては、転倒の判断に１秒毎の高さの変化率を用いるとしても、距離画像を生成する時間間隔をより短い時間（たとえば、０．１秒）に設定することによって転倒の瞬間をより確実に捉えることが可能になる。要するに、転倒検知手段１０ａでは代表点の単位時間あたりの高さの変化幅が規定値を越えたときには検知対象物が転倒したと判断するのである。
【００６８】
【発明の効果】
請求項１の発明は、監視空間内の全領域について物体までの距離を測定する３次元位置測定装置と、監視空間を撮影した画面上の各画素の画素値が３次元位置測定装置により測定した距離である距離画像を記憶する画像取込手段と、検知対象物について３次元位置測定装置からの距離の分布パターンを基準パターンとして記憶するパターン記憶手段と、前記距離画像内で基準パターンを走査するとともに距離画像内での基準パターンの各位置において距離画像と基準パターンとの差分の画素値からなる差画像を抽出する差画像抽出手段と、差画像抽出手段により抽出した差画像の各画素値と一定値との差分を残差として求め、残差の絶対値の総和の大きさを距離画像と基準パターンとの一致度として求める一致度演算手段と、一致度演算手段により求めた一致度を閾値と大小比較し一致度が規定の閾値より小さいときに監視空間内で基準パターンの検知対象物が存在すると判定する判定手段とを備えるものであり、距離画像に対する基準パターンのパターンマッチングを行うことに相当するから、距離画像を用いながらも比較的少ない演算処理で検知対象物の存否を正確に判断することが可能になる。とくに、一致度には差画像の画素値のばらつきの程度を用いているから、四則演算程度の簡単な演算によって少ない演算量で一致度を求めることが可能になる。
【００６９】
請求項２の発明は、請求項１の発明において、前記パターン記憶手段には前記検知対象物について大きさの異なる相似形状の複数種類の基準パターンが登録されているものであり、監視空間内で検知対象物までの距離が比較的大きく変化したり相似であるが大きさの異なる検知対象物が監視空間に存在する場合であっても、監視空間内での検知対象物の存否を容易に抽出することができる。
【００７０】
請求項３の発明は、請求項１の発明において、前記距離画像内から前記検知対象物に対応する領域を抽出する領域選択手段が付加され、前記距離画像から領域選択手段により抽出された領域が基準パターンとしてパターン記憶手段に格納されるものであり、現実の検知対象物を用いて基準パターンを設定することになるから、検知対象物に合致した形状の基準パターンを設定することができ、特定の検知対象物が監視空間内を移動するような場合でも他の物体と区別して追跡することが可能になる。
【００７１】
請求項４の発明は、請求項３の発明において、前記監視空間内を移動する前記検知対象物に適用する距離画像処理装置であって、前記領域選択手段が、監視空間内に検知対象物が存在している時間内の異なる時刻の２つの距離画像から差分である差分距離画像を求める差分計算手段と、差分距離画像において画素値が０ではない規定の閾値範囲内に属する画素からなる領域を前記距離画像から抽出し基準パターンとしてパターン記憶手段に格納する変化領域抽出手段とを備えるものであり、監視空間内で検知対象物が移動する場合に、検知対象物の移動によって生じた２つの距離画像間の差を利用して基準パターンを設定しているから、監視空間内で移動した検知対象物について基準パターンを自動的に生成することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態を示すブロック図である。
【図２】 同上の動作説明図である。
【図３】 本発明の第２の実施の形態の原理説明図である。
【図４】 同上の動作説明図である。
【図５】 同上の動作説明図である。
【図６】 本発明の第３の実施の形態を示すブロック図である。
【図７】 同上の動作説明図である。
【図８】 本発明の第４の実施の形態を示す要部のブロック図である。
【図９】 同上の動作説明図である。
【図１０】 本発明の参考例１を示すブロック図である。
【図１１】 同上の動作説明図である。
【図１２】 同上の原理説明図である。
【図１３】 同上の原理説明図である。
【図１４】 本発明の参考例２の動作説明図である。
【図１５】 本発明の参考例３を示すブロック図である。
【図１６】 同上の動作説明図である。
【図１７】 本発明の参考例５を示すブロック図である。
【図１８】 同上の原理説明図である。
【符号の説明】
１ ３次元位置測定装置
２ 画像取込手段
３ パターン記億手段
４ 差画像抽出手段
５ 一致度演算手段
６ 判定手段
７ 領域選択手段
７ａ 差分計算手段
７ｂ 変化領域抽出手段
８ 代表距離抽出手段
９ 領域特徴抽出手段
１０ 検知判断手段
１０ａ 転倒検知手段
【発明の属する技術分野】
本発明は、距離画像を用いて監視空間における検知対象物の存否の判断あるいは検知対象物の特徴量の抽出に用いる距離画像処理装置に関するものである。
【０００２】
【従来の技術】
従来より、監視空間の画像に基づいて監視空間内における検知対象物の存否を判断したり検知対象物の特徴量を抽出したりするために各種の画像処理技術が提案されている。この種の画像処理技術では、濃淡画像またはカラー画像に基づいて検知対象物を背景から分離する方法が広く採用されている。
【０００３】
しかしながら、濃淡画像やカラー画像では、監視空間の画像を撮影する撮影手段と検知対象物との位置関係や外乱光の存在などによって、同じ検知対象物であって画像内の濃度変化や色変化に差異が生じ、とくに検知対象物の周辺での影の領域が変化するから、撮影手段に対する検知対象物の位置関係や外乱光が変動しやすい用途では誤検出を生じやすいという問題がある。この問題を解決するために種々の提案がなされているものの、濃淡画像やカラー画像では原理上、外乱光の影響を十分に除去することはできない。
【０００４】
これに対して、規定の基準点から監視空間内における当該画素に対応する物体までの距離に画像内の各画素の画素値を対応付けた距離画像を用いることが提案されている。基準点は検知対象物までの距離を求める３次元位置測定装置の設置位置に基づいて設定される。監視空間内で上記基準点から物体までの距離を求める技術は、検知光を監視空間に投光する能動型と検知光を投光しない受動型とがあり、能動型としては線状あるいは扇状の光ビームを監視空間内で走査する形式が広く知られており、受動形としては複数台のＴＶカメラを用いるステレオ画像法が広く知られている。いずれの方法も三角測量の原理を用いることによって監視空間内の物体までの距離を求めることができる。この種の距離画像は外乱光の影響を受けにくいから、距離画像を用いると検知対象物に関する情報が正確に得られ、外乱光の影響による誤検出が生じにくくなる。
【０００５】
ところで、ステレオ画像法によって距離画像を生成する技術では、複数の画像の対応点を発見することが必要であって、対応点を発見するために画像内において濃度変化の大きいエッジ部分を抽出して対応付けを行っているのが現状である。つまり、エッジ部分については距離を比較的正確に求めることができるから、エッジ部分から得られる３次元情報を、あらかじめ登録されている検知対象物の３次元モデルのエッジと比較し、両者の一致度によって検知対象物のエッジか否かを判断している。
【０００６】
【発明が解決しようとする課題】
上述したように、画像内のエッジ部分の情報を用いて検知対象物に関する情報を得る技術を採用しているのは、ステレオ画像法では検知対象物の平面部分のように画像内での濃度変化が小さい領域については距離を直接求めるのが難しいからであって、画像内にはエッジ部分以外の情報も含まれているにもかかわらず、この種の情報を有効に利用することができない。
【０００７】
一方、上述した能動型の技術を用いれば、検知対象物の平面部分のようなエッジ部分以外であっても距離を直接求めることができるから、この種の技術を採用すれば距離画像に基づいて検知対象物に関する情報をより正確に求めることができる。
【０００８】
しかしながら、あらかじめ登録されている３次元モデルと距離画像から得られる検知対象物に関する情報との一致度については、濃淡画像やカラー画像において採用されている画像処理技術と同様のパターンマッチングの手法をそのまま採用することができない。つまり、距離画像では各画素の画素値が上記基準点からの距離であるから、濃淡画像やカラー画像のように２次元平面内での位置合わせ（平行移動と回転移動）だけではパターンマッチングを行うことができず、登録されている３次元モデルを距離画像から得られる検知対象物に対して３次元空間で位置合わせをしなければならない。つまり、３次元モデルの距離および向きを３次元空間内で調節しなければ検知対象物とのパターンマッチングを行うことができず、３次元空間内で距離および向きを調節するには膨大な演算が必要になり、実時間で処理することが困難である。
【０００９】
本発明は上記事由に鑑みて為されたものであり、その目的は、距離画像を用いながらも比較的少ない演算で検知対象物の存否の判断や検知対象物の特徴量の抽出を正確に検出可能な距離画像処理装置を提供することにある。
【００１０】
【課題を解決するための手段】
請求項１の発明は、監視空間内の全領域について物体までの距離を測定する３次元位置測定装置と、監視空間を撮影した画面上の各画素の画素値が３次元位置測定装置により測定した距離である距離画像を記憶する画像取込手段と、検知対象物について３次元位置測定装置からの距離の分布パターンを基準パターンとして記憶するパターン記憶手段と、前記距離画像内で基準パターンを走査するとともに距離画像内での基準パターンの各位置において距離画像と基準パターンとの差分の画素値からなる差画像を抽出する差画像抽出手段と、差画像抽出手段により抽出した差画像の各画素値と一定値との差分を残差として求め、残差の絶対値の総和の大きさを距離画像と基準パターンとの一致度として求める一致度演算手段と、一致度演算手段により求めた一致度を閾値と大小比較し一致度が規定の閾値より小さいときに監視空間内で基準パターンの検知対象物が存在すると判定する判定手段とを備えることを特徴とする。
【００１１】
請求項２の発明は、請求項１の発明において、前記パターン記憶手段には前記検知対象物について大きさの異なる相似形状の複数種類の基準パターンが登録されていることを特徴とする。
【００１２】
請求項３の発明は、請求項１の発明において、前記距離画像内から前記検知対象物に対応する領域を抽出する領域選択手段が付加され、前記距離画像から領域選択手段により抽出された領域が基準パターンとしてパターン記憶手段に格納されることを特徴とする。
【００１３】
請求項４の発明は、請求項３の発明において、前記監視空間内を移動する前記検知対象物に適用する距離画像処理装置であって、前記領域選択手段が、監視空間内に検知対象物が存在している時間内の異なる時刻の２つの距離画像から差分である差分距離画像を求める差分計算手段と、差分距離画像において画素値が０ではない規定の閾値範囲内に属する画素からなる領域を前記距離画像から抽出し基準パターンとしてパターン記憶手段に格納する変化領域抽出手段とを備えることを特徴とする。
【００１９】
【発明の実施の形態】
（第１の実施の形態）
本実施形態は、図１に示すように、室内Ｒを監視空間とするために３次元位置測定装置１を天井Ｃに取り付けている例を示す。３次元位置測定装置１は、従来の技術として説明した能動型を用いることを想定しており、線状あるいは扇状の光ビームを投光手段から監視空間に投光するとともに監視空間内で光ビームを走査し、ＰＳＤのような半導***置検知素子やＴＶカメラを受光手段に用いて光ビームにより形成される輝点または輝線の位置を監視することにより、輝点または輝線が形成されている部位までの距離を求めるように構成される。監視空間内において輝点または輝線が形成されている部位までの距離を求める技術については周知であるから詳しく説明しないが、投光手段と受光手段との位置関係が既知であって、かつ光ビームの投光方向と、投光手段の位置と、受光手段に形成される輝点または輝線の像の位置との関係を用いて三角測量の原理により距離を幾何学的に算出することができる。したがって、上述したように光ビームを監視空間で走査することにより、監視空間の全体について輝点または輝線が形成されている物体までの距離を求めることができる。
【００２０】
３次元位置測定装置１によって求められた距離は画像取込手段２に入力され、画像取込手段２に一時的に記憶される。画像取込手段２では、距離を格納する領域が光ビームの投光方向に対応付けられており、画像取込手段２に記憶されたデータが距離画像になる。つまり、画像内の各画素に相当するアドレスにそれぞれ３次元位置測定装置１で求めた距離が格納され、結果的に各画素の画素値を距離とする距離画像が得られる。
【００２１】
本実施形態では、画像取込手段２に格納された距離画像に検知対象物が含まれるか否かを判定するためにパターンマッチング技術を用いている。そこで、画像取込手段２に格納された距離画像と比較すべき基準パターンを格納するパターン記憶手段３と、距離画像と基準パターンとの差画像を抽出する差画像抽出手段４とを設けている。
【００２２】
パターン記憶手段３に格納された基準パターンは、検知対象物に関する３次元データであって本実施形態ではＣＡＤデータを用いて作成されている。つまり、ＣＡＤデータを適宜の向きの投影面に投影すれば、投影面を画面とし３次元位置測定装置１からの距離を画素値とする距離画像と等価な基準パターンが得られる。このようにして得られる基準パターンは２次元平面内の各位置に距離を対応付けた３次元データであって、検知対象物について３次元位置測定装置１からの距離の分布パターンになる。基準パターン記憶部３には、監視空間内で検知対象物が投影されると予想されるあらゆる向きの投影面についてＣＡＤデータを投影することによって生成した基準パターンが登録される。差画像抽出手段４では、画像取込手段２に格納された距離画像と基準パターン記憶部３に格納された複数個の基準パターンとの差分を画素値とした差画像を求める。差画像を求めるにあたっては、各基準パターンを画像取込手段２に格納された距離画像内で走査し、濃淡画像やカラー画像に対するパターンマッチングの場合と同様に、２次元平面内での基準パターンの走査になるから、１つの基準パターンに対する処理は比較的短時間で終了する。
【００２３】
いま、画像取込手段２に格納された距離画像において検知対象物が含まれる部位に基準パターンが一致したとすれば、差画像における各画素の画素値はすべて等しくなると考えられる。つまり、基準パターン記憶部４における基準データを生成するＣＡＤデータにより表された検知対象物の向きが、監視空間における検知対象物の向きに一致したことになり、距離画像内で両者を相対的に回転させることなく平行移動させるだけで重ね合わせることができる状態とみなすことができる。
【００２４】
そこで、上述のようにして差画像抽出手段４において抽出した差画像内の各画素の画素値のばらつきの程度を評価すれば、監視空間内での検知対象物のデータと基準パターンとの一致度を評価することができ、監視空間内での検知対象物の存否を判定することができる上に、監視空間内での検知対象物の向きを特徴量として知ることが可能になる。差画像内の各画素の画素値のばらつきの程度を評価する方法としては、ばらつきの程度を評価する一般的な手法を用いることができる。本実施形態では、各画素値と一定値との差分を残差として求め、残差の絶対値の総和（「残差絶対和」と呼ぶ）の大きさをばらつきの程度として評価する。この一定値は適宜に設定することが可能であるが、差画像の画素値の平均値を用いるのが望ましい。残差絶対和は、一致度演算手段５により求められ、求めた残差絶対和を判定手段６に入力して規定の閾値と大小判定することにより監視空間内での検知対象物の存否を判定することができる。また、残差絶対和が最小になるときの基準パターンによって監視空間内での検知対象物の向きを知ることができる。ここに、本実施形態では画像取込手段２に格納された距離画像に対して基準パターンの拡大・縮小は不要な場合を想定しているが、監視空間が比較的広く距離画像と基準パターンとの比率が異なる場合には、距離画像と基準パターンとの一方に対して拡大・縮小を行ってもよい。
【００２５】
以下では、上述した構成の動作をまとめて簡単に説明する。なお、説明を簡単にするために距離画像を２次元データではなく１次元データとして説明する。つまり、直線上の位置について距離が得られているものとする。画像取込手段２に格納された距離画像（イで示す）とパターン記憶手段３に格納された基準パターン（ロ，ロ′で示す）とは図２（ａ）のような関係になる。基準パターン（ロ）（ロ′）は距離画像（イ）に対して走査され、たとえば基準パターン（ロ）の位置から基準パターン（ロ′）の位置まで移動するものとする。差画像抽出手段４は、基準パターン（ロ）（ロ′）の位置を一定画素数ずつずらして距離画像との差画像を求める。図２（ｂ）に示すように、差画像における各画素値（つまり、距離画像（イ）と基準パターン（ロ）（ロ′）との差分）は、基準パターン（ロ）に対してばらつきが少なく、基準パターン（ロ′）に対してばらつきが大きくなっている。
【００２６】
差画像における画素値のばらつきの程度を評価するために、一致度演算手段５では、差画像における画素値の平均値を求め、図２（ｃ）のように、差画像における各画素値と求めた平均値との差分を残差として求める。さらに、一致度演算手段５では、残差の絶対値の和である残差絶対和を求める。差画像における画素値の平均値は、３次元位置測定装置１と検知対象物との間の距離と基準パターンを生成する際にＣＡＤデータを投影した投影面までの距離との差に相当するオフセットとみなすことができ、一致度演算手段５では、差画像の画素値からオフセットを除去するとみなすことができる。判定手段６では、上述のようにして求めた残差絶対和があらかじめ設定した規定の閾値よりも小さいときには、基準パターンにより表された検知対象物が監視空間に存在すると判定する。
【００２７】
図２から明らかなように、基準パターンとの一致度が低い場合のほうが一致度の高い場合よりも差画像の画素値の総和が小さくなることがあるが、差画像の画素値の総和ではなく差画像の画素値からオフセットに相当する一定値を減算した残差の絶対値の総和を用いることによって、画素値のばらつきが大きいほど大きくなり、基準パターンとの一致度を正確に評価することができる。
【００２８】
（第２の実施の形態）
第１の実施の形態においても説明したように、３次元位置測定装置１から検知対象物までの距離が変化すれば距離画像内において検知対象物の大きさが変化するから、検知対象物までの距離が比較的大きく変化する場合には基準パターンとの一致度を正確に求めることができなくなる。そこで、本実施形態では、同じ検知対象物に対して大きさの異なる複数個の基準パターンをパターン記憶部３に格納している。
【００２９】
すなわち、図３に示すように、ＣＡＤデータを投影する投影面ＰＬ１，ＰＬ２，ＰＬ３までの距離が異なると、同じＣＡＤデータから得られる基準パターンの大きさＳ１，Ｓ２，Ｓ３が異なる。そこで、図４（ａ）（ｂ）（ｃ）に示すように、あらかじめ大きさの異なる複数個（図示例では３個）の基準パターンＢ１，Ｂ２，Ｂ３をパターン記憶手段３に登録しておき、画像読込手段２に格納された距離画像に対する各基準パターンＢ１，Ｂ２，Ｂ３の一致度を求めるのである。
【００３０】
したがって、図５（ａ）に示すような距離画像が画像取込手段２に格納されているものとし、図５（ｂ）（ｃ）（ｄ）にそれぞれ線ａとして示す基準パターンＢ３，Ｂ２，Ｂ１がパターン記憶手段３に登録されているものとすれば、残差は図５（ｂ）（ｃ）（ｄ）にそれぞれ線ｂとして示すようになる。つまり、残差絶対和は基準パターンＢ２に対してもっとも小さくなり、基準パターンＢ２との一致度がもっとも高いと言える。このようにして距離画像内で検知対象物が占める領域の大きさが変化しても基準パターンとの一致度を正確に求めることが可能になる。
【００３１】
本実施形態の構成では、相似形状の複数個の基準パターンをパターン記憶手段３に格納しているから、検知対象物までの距離の変化が比較的大きい場合や相似であるが大きさの異なる複数個の検知対象物が存在する場合であっても、距離画像と基準パターンとの一致度を求めて検知対象物の存否の判定の抽出が可能になる。他の構成および動作は第１の実施の形態と同様である。
【００３２】
（第３の実施の形態）
本実施形態は、図６に示すように、第１の実施の形態の構成に領域選択手段７を付加したものである。領域選択手段７は、画像取込手段２に格納された距離画像を２値化することにより、距離画像内から検知対象物が存在する領域を抽出し、距離画像から抽出した領域のデータを基準パターンとしてパターン記憶手段３に登録する機能を有する。領域選択手段７は基準パターンをパターン記憶手段３に登録する際に用いられ、距離画像と基準パターンとのパターンマッチングにより検知対象物の存否を判定したり特徴量を抽出したりする際には用いない。
【００３３】
基準パターンをパターン記憶手段３に登録する際の領域選択手段７の動作をさらに詳しく説明する。領域選択手段７には距離に関して２つの閾値Ｌｔ１，Ｌｔ２（Ｌｔ１＜Ｌｔ２）が設定されており、画像取込手段２に格納されている距離画像から両閾値Ｌｔ１，Ｌｔ２の間の距離範囲に属する画素を抽出する。つまり、距離画像の各画素の座標を（ｘ，ｙ）で表し、各画素の画素値をＤ（ｘ，ｙ）で表すものとすれば、Ｌｔ１＜Ｄ（ｘ，ｙ）＜Ｌｔ２を満たす画素（ｘ，ｙ）の集合を抽出し、集合に属する画素（ｘ，ｙ）が白画素（画素値が１）、残りが黒画素（画素値が０）となるように２値化する。このように距離画像の２値化によりマスクを形成することができるから、このマスクを距離画像に重ねることによって、距離画像から白画素に対応する領域のみを抽出する。このようにして領域選択手段７において距離画像から一部領域の画素の集合を抜き出すことができるのであって、この画素の集合を基準パターンとしてパターン記憶手段３に格納するのである。
【００３４】
すなわち、図７（ａ）に示すような距離画像が画像取込手段２に格納されているとすれば、領域選択手段７では、まず距離画像を２値化して図７（ｂ）に示すような２値画像を生成する。この２値画像のうちの白画素の領域を距離画像から抽出すると、図７（ｃ）に示すような基準パターンを生成することができるのである。
【００３５】
パターン記憶手段３に登録された基準パターンは第１の実施の形態と同様であって、差画像抽出手段４において画像取込手段２に格納された距離画像と基準パターンとの差画像を抽出し、一致度演算手段５において差画像の画素値のばらつきの程度を評価し、判定手段６では差画像の画素値のばらつきの程度が規定の閾値よりも小さいときに、距離画像内に基準パターンと一致度の高い領域が存在すると判定する。他の構成および動作は第１の実施の形態と同様である。
【００３６】
本実施形態の構成では、抽出しようとする検知対象物についてＣＡＤデータによって基準パターンを設定する必要がなく、実際に３次元位置測定装置１で検出される検知対象物に関する距離画像から基準パターンを抽出することになり、検知対象物の形状が複雑であっても基準パターンを容易に生成することができるとともに、基準パターンの変更が容易になる。しかも、３次元位置測定装置１により得られる距離画像から基準パターンを生成するから、検知対象物に合致した形状の基準パターンを設定することができ、特定の検知対象物が監視空間内で移動するような場合でも他の物体と明確に区別して追跡することが可能になる。
【００３７】
（第４の実施の形態）
本実施形態は、第３の実施の形態と同様に、領域選択手段７を備えるものであるが、領域選択手段７として図８に示すように、逐次入力される２つの距離画像の差分を求める差分計算手段７ａと、差分計算手段７ａにより求めた距離画像の差分によって距離画像内で変化の生じた領域を抽出する変化領域抽出手段７ｂとを備えたものを用いる。変化領域抽出手段７ｂは、距離画像の差分を２値化するとともに、２値化により得られた白画素の領域に対して膨張処理および収縮処理を施すことによって白画素の領域の穴埋めを行い、白画素の連続した領域を有するマスクを形成する。さらに、変化領域抽出手段７ｂでは、領域選択手段７に入力された２つの距離画像のうち後から入力された距離画像にマスクを重ねることによって距離画像から白画素に対応する領域を基準パターンとして抽出する。
【００３８】
基準パターンをパターン記憶手段３に登録する際の領域選択手段７の動作をさらに詳しく説明する。領域選択手段７に設けた差分計算手段７ａには、検知対象物が監視空間内に存在している時間内の異なる時刻において得られた２つの距離画像が画像取込手段２から入力される。両距離画像の時間差は短いほどマスクを小さく設定できる点で望ましいが、両距離画像の時間差が大きいほど演算量は低減されるから、両距離画像の時間差は所望の演算量に応じて適宜に設定する。
【００３９】
差分計算手段７ａでは、両距離画像間の差分である差分距離画像を求める。監視空間内で移動する物体が存在しなければ差分距離画像の全画素の画素値が０になるが、移動する物体が存在すれば画素値が０ではない画素が生じることになる。つまり、監視空間内で検知対象物が移動すれば、差分距離画像では入力された２つの距離画像において検知対象物が存在する領域に対応する画素の画素値が０ではない値になる。
【００４０】
変化領域抽出手段７ｂでは、第３の実施の形態における領域選択手段７と同様に距離に関して２つの閾値Ｌｔ３，Ｌｔ４（Ｌｔ３＜Ｌｔ４）が設定されており、差分距離画像から両閾値Ｌｔ３，Ｌｔ４の間の範囲に属する画素を抽出する。つまり、差分距離画像において各画素の座標を（ｘ，ｙ）で表し、各画素の画素値をＳ（ｘ，ｙ）で表すものとすれば、Ｌｔ３＜Ｓ（ｘ，ｙ）＜Ｌｔ４を満たす画素（ｘ，ｙ）の集合を抽出し、集合に属する画素（ｘ，ｙ）が白画素（画素値が１）、残りが黒画素（画素値が０）となるように２値化する。このようにして２値化すれば、差分距離画像のうち画素値が０ではない画素の集合を白画素として抽出することができるから、白画素の領域は監視空間内で移動する物体が存在していた領域を表すことになる。ここで、白画素の領域は必ずしも連続した１つの領域にはならないから、白画素の連続する１つの領域が形成されるように穴埋めを行ってマスクを生成する。
【００４１】
上述したように２つの距離画像のうち後から入力された距離画像に対してマスクを重ね合わせ、白画素に対応する領域の画素を抽出すれば、抽出された画素を基準パターンとして用いることが可能になる。つまり、抽出された画素をパターン記憶手段３に基準パターンとして格納するのである。
【００４２】
すなわち、図９（ａ）（ｂ）に示すような２つの距離画像が画像取込手段２に逐次格納されるとすれば、領域選択手段７の差分計算手段７ａでは、両距離画像の各画素値の差を求めて図９（ｃ）のような差分距離画像を求める。次に、変化領域抽出手段７ｂでは、差分距離画像を２値化して図９（ｄ）に示すような２値画像を生成する。このようにして求めた２値画像では白画素が分布している領域に検知対象物が含まれると考えられるが、白画素内に黒画素が入り交じっているから、検知対象物が存在すると考えられる領域内の全画素が白画素になるように白画素による穴埋めを行い、結果的に図９（ｅ）のようなマスクを生成する。こうして求めたマスクを、後から入力された図９（ｂ）の距離画像に重ね合わせると、図９（ｆ）に示す基準パターンを生成することができる。
【００４３】
パターン記憶手段３に登録された基準パターンは第１の実施の形態と同様であって、差画像抽出手段４において画像取込手段２に格納された距離画像と基準パターンとの差画像を抽出し、一致度演算手段５において差画像の画素値のばらつきの程度を評価し、判定手段６では差画像の画素値のばらつきの程度が規定の閾値よりも小さいときに、距離画像内に基準パターンと一致度の高い領域が存在すると判定する。他の構成および動作は第１の実施の形態と同様である。
【００４４】
しかして、本実施形態の構成では、監視空間内で検知対象物が移動する場合に、検知対象物の移動によって生じた２つの距離画像間の差を利用して基準パターンを設定するから、監視空間内で移動した検知対象物について基準パターンを自動的に生成することができ、基準パターンの設定後には検知対象物の検出や追跡を容易に行うことができる。
【００４５】
（参考例１）
上述した各実施形態では、主として監視空間内における検知対象物の存否の判定を行う例を示したが、本例は、主として検知対象物の特徴量を抽出することを目的にしている。以下では、室内Ｒにおいて床面Ｆ（図１０参照）からの検知対象物の代表点の高さ寸法を求める例について説明する。
【００４６】
本例では、検知対象物について基準パターンとの一致度を判定する必要がないから距離画像内において検知対象物の存在する領域を抽出すれば十分であって、図１０に示すように、第３の実施の形態と同様の領域選択手段７を設けている。また、第３の実施の形態において基準パターンとの一致度を求めるために必要であった構成、すなわち、パターン記憶手段３、差画像抽出手段４、一致度演算手段５、判定手段６は設けず、後述する代表距離計算手段８と領域特徴抽出手段９とを設けている。
【００４７】
領域選択手段７は画像取込手段２に格納されている距離画像から検知対象物の存在する領域を抽出するためのマスクを生成する。つまり、距離画像について２つの閾値の間の画素値を持つ領域を抽出する２値化を行い、２値化により得られた２値画像の白画素の領域を検知対象物の存在する領域とする。
【００４８】
代表距離計算手段８は、領域選択手段７により得られた２値画像における白領域の重心の座標（ｘｓｉ，ｙｓｉ）を求めるとともに、距離画像における座標（ｘｓｉ，ｙｓｉ）の画素値Ｄ（ｘｓｉ，ｙｓｉ）を３次元位置測定装置１の位置に応じて設定した基準点から検知対象物の代表点までの代表距離Ｌとして求める。ここで、基準点は３次元位置測定装置１の設置位置に基づいて設定されているから基準点の位置は既知であり、また基準点と代表点とを結ぶ方向も３次元位置測定装置１からの光ビームの投光方向によって既知であるから、代表距離Ｌが求められたことによって、床面Ｆからの代表点の高さを領域特徴抽出手段９において求めることができる。
【００４９】
すなわち、図１１（ａ）に示すような距離画像が画像取込手段２に格納されているとすれば、領域選択手段７では、まず距離画像を２値化して図１１（ｂ）に示すような２値画像を生成する。次に、図１１（ｃ）のように、２値画像のうちの白画素の領域の重心の座標（ｘｓｉ，ｙｓｉ）を求め、図１１（ｄ）のように、距離画像における座標（ｘｓｉ，ｙｓｉ）の画素値Ｄ（ｘｓｉ，ｙｓｉ）を代表距離Ｌとして求めるのである。
【００５０】
以下では、領域特徴抽出手段９において代表距離Ｌに基づいて代表点の高さを算出する方法について図１２および図１３に基づいて説明する。ここで、距離画像の画面内での２次元の座標系を画面座標系Ｃｉと呼び、実空間において設定した座標系を世界座標系Ｃｗと呼ぶことにする。画面座標系Ｃｉでは画面の中心を原点Ｏｉとする。世界座標系Ｃｗは監視空間である室内Ｒの床面に対して鉛直上向きをＺｗ軸方向とし、床面上で３次元位置測定装置１の直下を原点Ｏｗに設定する。つまり、３次元位置測定装置１の床面からの高さをＺｓｗとすると、装置座標系Ｃｃの原点Ｏｃは世界座標系ＣｗのＺｗ軸上であってＺｗ軸方向に高さＺｃｗだけずれて位置することになる。また、装置座標系ＣｃのＺｃ軸は世界座標系ＣｗのＺｗ軸に対して角度θをなすものとする。世界座標系ＣｗにおいてＸｗ軸方向およびＹｗ軸方向は監視空間の形状に応じて適宜に設定する。さらに、３次元位置測定装置１の視野において距離画像の画面のＸ軸方向とＹ軸方向とに一致する方向をＸｃ軸方向およびＹｃ軸方向とし、かつ３次元位置測定装置１の前方をＺｃ軸方向とする座標系を装置座標系Ｃｃと呼ぶことにする。装置座標系Ｃｃの原点は３次元位置測定装置１の視野の中心線上であって距離の測定の基準点となる位置に設定する。たとえば、３次元位置測定装置１の受光手段としてＴＶカメラを用いるとすれば、撮影用のレンズの焦点位置を装置座標系Ｃｃの原点Ｏｃに設定する。つまり、レンズの焦点距離をｆｃとすれば、画面座標系Ｃｉの原点Ｏｉは装置座標系Ｃｃの原点Ｏｃからｆｃの距離に位置することになる。
【００５１】
ところで、距離画像について検知対象物の代表点（白画素の領域の重心）の座標（ｘｓｉ，ｙｓｉ）を求めると座標値は画素数を単位として求められるのであるが、画面座標系Ｃｉでの代表点の座標（ｘｓｉ，ｙｓｉ）に基づいて世界座標系Ｃｗでの代表点の床面Ｆからの高さを求めるには、単位を長さの単位に変換する必要がある。たとえば、３次元位置測定手段１の受光手段にＴＶカメラを用いるものとして、受光面の物理サイズがＳｘｒ×Ｓｙｒ〔ｍｍ〕であって、画素数がＳｘｉ×Ｓｙｉ〔画素〕であるとすれば、受光面上ではＸ軸方向の画素間のピッチはＳｘｒ／Ｓｘｉ〔ｍｍ〕になり、Ｙ軸方向の画素間のピッチはＳｙｒ／Ｓｙｉ〔ｍｍ〕になる。したがって、検知対象物の代表点の受光面上で単位をミリメートルとするときの座標（ｘｓｃ，ｙｓｃ）は、以下のように求めることができる。
ｘｓｃ＝ｘｓｉ×（Ｓｘｒ／Ｓｘｉ）
ｙｓｃ＝ｙｓｉ×（Ｓｙｒ／Ｓｙｉ）
ここで、画面座標系Ｃｉの座標をミリメートル単位で表せば、装置座標系Ｃｃとは原点の位置をＺ軸方向にｆｃだけ変位させているから、画面座標系Ｃｉにおける座標（ｘｓｃ，ｙｓｃ）に対応する装置座標系Ｃｃでの座標（Ｘｓｃ、Ｙｓｃ，Ｚｓｃ）は、（Ｘｓｃ、Ｙｓｃ，Ｚｓｃ）＝（ｘｓｃ，ｙｓｃ，ｆｃ）になる。
【００５２】
上述したように、装置座標系ＣｃのＺｃ軸は世界座標系ＣｗのＺｗ軸に対して角度θをなすから、装置座標系Ｃｃでの座標（Ｘｓｃ、Ｙｓｃ，Ｚｓｃ）と、世界座標系Ｃｗでの座標（Ｘｓｗ，Ｙｓｗ，Ｚｓｗ）との関係は、数１のようになる。つまり、数１によって装置座標系Ｃｃから世界座標系Ｃｗへの座標変換を行うことになる。
【００５３】
【数１】
求めた点Ｒの座標（Ｘｓｗ，Ｙｓｗ，Ｚｓｗ）に対応する世界座標系Ｃｗにおける検知対象物Ｏｂの代表点Ｐの座標（Ｘｐｗ，Ｙｐｗ，Ｚｐｗ）は、図１３に示す直角三角形ＯｃＰＱと、直角三角形ＯｃＲＴとの相似を利用して求めることができる。点Ｏｃと点Ｐとの距離は上述した代表距離Ｌであり、点Ｏｃと点Ｒの距離Ｌｃは直角三角形ＯｃＯｉＲの斜辺の長さであることに着目すれば、次式によって求めることができる。
Ｌｃ＝（Ｘｓｃ2 ＋Ｙｓｃ2 ＋ｆｃ2 ）1/2
したがって、点Ｐの高さＺｐｗは次式のように求められる。
Ｚｐｗ＝Ｌ（Ｚｃｗ−Ｚｓｗ）／Ｌｃ
つまり、あらかじめ３次元位置測定装置１の高さを定数として与えておけば、検知対象物Ｏｂの代表点Ｐについて床面Ｆからの高さ求めることができる。要するに、３次元位置測定装置１の物理仕様（受光面の物理サイズ、画素数、床面Ｆからの高さ、光軸の向きなど）と代表距離Ｌとを用いて画面座標系Ｃｉから世界座標系Ｃｗへの座標変換が可能になるのである。なお、３次元位置測定装置１および画像取込手段２の機能は第１の実施の形態と同様である。
【００５５】
（参考例２）
本例は図１０に示した参考例１と同様の構成を用いるが、参考例１では検知対象物の代表点として距離画像を２値化して抽出した白画素の領域の重心位置を用いたのに対して、本例では検知対象物について２個の代表点を求め、両代表点間の距離を求めることによって検知対象物の大きさを特徴量として抽出するものである。
【００５６】
すなわち、本例における代表距離計算手段８は、図１４（ａ）のような距離画像を領域選択手段７で２値化して得た図１４（ｂ）のような２値画像における白画素の領域において、図１４（ｃ）のように２個の代表点の座標（ｘｓ１，ｙｓ１）（ｘｓ２，ｙｓ２）を求める。両代表点間の距離が検知対象物の大きさに対応するように、両代表点は白画素の周縁の離れた２点として設定する。本例では白画素の領域の重心を通り距離画像の画面の水平方向（ｙ軸方向）に延長した直線と黒画素の領域との交点で白画素内の画素を代表点として抽出している。要するに、重心を求めた後に２値画像内を水平方向に走査し、画素値が黒画素（画素値＝０）になれば、１つ前の白画素を代表点の画素とする。このようにして求めた代表点の座標は距離画像に照合され、図１４（ｄ）のように各代表点に対応する画素の画素値が検知対象物までの代表距離Ｌ１，Ｌ２として求められる。
【００５７】
２個の代表点と各代表点に対応する代表距離Ｌ１，Ｌ２が求まると、領域特徴抽出手段９において参考例１と同様にして、各代表点の座標（ｘｓ１，ｙｓ１）（ｘｓ２，ｙｓ２）を装置座標系Ｃｃに変換して（Ｘｓｃ１，Ｙｓｃ１，Ｚｓｃ１）（Ｘｓｃ２，Ｙｓｃ２，Ｚｓｃ２）とし、さらに、世界座標系Ｃｗにおける検知対象物Ｏｂの代表点Ｐ１（Ｘｐ１ｗ，Ｙｐ１ｗ，Ｚｐ１ｗ）および代表点Ｐ２（Ｘｐ２ｗ，Ｙｐ２ｗ，Ｚｐ２ｗ）を、以下の形で求めることができる。
Ｘｐ１ｗ＝Ｌ１（Ｚｃｗ−Ｚｓ１ｗ）／ｘｓｃ１
Ｙｐ１ｗ＝Ｌ１（Ｚｃｗ−Ｚｓ１ｗ）／ｙｓｃ１
Ｚｐ１ｗ＝Ｌ１（Ｚｃｗ−Ｚｓ１ｗ）／Ｌｃ
Ｘｐ２ｗ＝Ｌ２（Ｚｃｗ−Ｚｓ２ｗ）／ｘｓｃ２
Ｙｐ２ｗ＝Ｌ２（Ｚｃｗ−Ｚｓ２ｗ）／ｙｓｃ２
Ｚｐ２ｗ＝Ｌ２（Ｚｃｗ−Ｚｓ２ｗ）／Ｌｃ
ただし、Ｚｓ１ｗは、参考例１において説明した数１を用い、（Ｘｓｃ，Ｙｓｃ，Ｚｓｃ）を（Ｘｓｃ１，Ｙｓｃ１，Ｚｓｃ１）に置き換えたときのＺｓｗの値であり、Ｚｓ２ｗは、（Ｘｓｃ，Ｙｓｃ，Ｚｓｃ）を（Ｘｓｃ２，Ｙｓｃ２，Ｚｓｃ２）に置き換えたときのＺｓｗの値である。他の値は参考例１において説明した通りである。
【００５８】
上述のようにして検知対象物Ｏｂの２つの代表点Ｐ１，Ｐ２の座標を求めることができるから、両代表点Ｐ１，Ｐ２の間の距離は以下の形で求めることができる。
（（Ｘｐ１ｗ−Ｘｐ２ｗ）２ ＋（Ｙｐ１ｗ−Ｙｐ２ｗ）２ ＋（Ｚｐ１ｗ−Ｚｐ２ｗ）２ ）１／２
上述のようにして検知対象物Ｏｂの２つの代表点Ｐ１，Ｐ２の間の距離によって検知対象物Ｏｂの大きさを推定することができる。また、距離画像内での代表点の求め方は規則的であるから、上述のようにして求めた距離は検知対象物Ｏｂの大きさを評価する値として用いることができる。なお、本例では２値画像における白画素の領域の重心から水平方向に直線を延長して代表点を求めたが、重心から垂直方向に直線を延長して代表点を求めてもよい。他の構成および動作は参考例１と同様である。なお、本例では２個の代表点を用いているが、３個以上の代表点を用いる場合も同様であって、たとえば重心から水平方向と垂直方向とに延長した直線上での白画素の領域の端点を用いれば４点の代表点を用いて同様に処理することができる。
【００５９】
（参考例３）
本例は、図１５に示すように、図１０に示した参考例１の構成に加えて領域特徴抽出手段９の出力を受けて検知対象物の存否を判断する検知判断手段１０を設けたものである。３次元位置測定装置１、画像取込手段２、領域選択手段７は参考例１と同様の構成であって同様に機能する。
【００６０】
ところで、本例の代表距離計算手段８は、距離画像から得た２値画像における白画素の領域の代表点の座標として、参考例１と同様に重心の座標（ｘｓｉ，ｙｓｉ）を求めるとともに、参考例２と同様に白画素の領域の周縁の２点（端点）の座標（ｘｓ１，ｙｓ１）（ｘｓ２，ｙｓ２）を求める。つまり、本例では３個の代表点に対応する代表距離Ｌ，Ｌ１，Ｌ２を距離画像から求める。代表距離Ｌ，Ｌ１，Ｌ２の求め方は参考例１および参考例２の手順を用いる。すなわち、本例における代表距離計算手段８は、図１６（ａ）のような距離画像を領域選択手段７で２値化して得た図１６（ｂ）のような２値画像における白画素の領域から、図１６（ｃ）のように重心となる代表点の座標（ｘｓｉ，ｙｓｉ）と端点である２個の代表点の座標（ｘｓ１，ｙｓ１）（ｘｓ２，ｙｓ２）とを求め、各代表点の座標（ｘｓｉ，ｙｓｉ）（ｘｓ１，ｙｓ１）（ｘｓ２，ｙｓ２）を距離画像に照合することによって、図１６（ｄ）のように各代表点に対応する代表距離Ｌ，Ｌ１，Ｌ２を求める。
【００６１】
代表距離計算手段８において代表距離Ｌ，Ｌ１，Ｌ２が求まると、領域特徴抽出手段９において参考例１および参考例２と同様にして座標変換を行い、検知対象物Ｏｂの代表点Ｐについて床面Ｆからの高さＺｐｗを求める。この演算は参考例１と同様の演算になり、代表点Ｐの高さＺｐｗは次式で表される。
Ｚｐｗ＝Ｌ（Ｚｃｗ−Ｚｓｗ）／Ｌｃ
ただし、Ｌｃ＝（Ｘｓｃ２ ＋Ｙｓｃ２ ＋ｆｃ２ ）１／２
また、領域特徴抽出手段９では、検知対象物Ｏｂの代表点Ｐ１，Ｐ２について距離ｄ１２を求める。この演算は参考例２と同様の演算になり、距離ｄ１２（つまり、検知対象物の幅）は次式で表される。
ｄ１２＝（（Ｘｐ１ｗ−Ｘｐ２ｗ）２ ＋（Ｙｐ１ｗ−Ｙｐ２ｗ）２ ＋（Ｚｐ１ｗ−Ｚｐ２ｗ）２ ）１／２
上述のようにして、領域特徴抽出手段９によって検知対象物の高さＺｐｗおよび幅ｄ１２を求めることができるから、検知判断手段１０では、高さＺｐｗおよび幅ｄ１２がともに規定した判別範囲内であるときに想定した検知対象物が監視空間に存在すると判定する。
【００６２】
いま、検知対象物を人体と想定すると、代表点Ｐは検知対象物の中心付近に位置するから頭部または肩部と考えられ、代表点Ｐ１，Ｐ２の距離は肩幅に相当すると考えられる。そこで、高さＺｐｗに対する判別範囲を８０〜２００ｃｍ程度に設定するとともに、幅ｄ１２に対する判別範囲を２０〜５０ｃｍ程度に設定すれば、監視空間内における人体の存否を検知することが可能になる。なお、本例において代表点として３点を用いているが、４点以上であってもよく、また検知対象物の大きさを評価するための２点を代表点とし、高さについては一方の代表点の高さを用いることも可能である。
【００６３】
（参考例４）
本例は基本的には図１５に示した参考例３と同様の構成であるが、代表距離計算手段８において重心を代表点として求める代わりに、領域選択手段７により得られた２値画像の白画素の領域内で距離画像の画素値が最小になる画素の座標を求める。この画素は白画素の領域内であるから、検知対象物の範囲内の画素である可能性が高く、かつ白画素の領域内で距離画像における画素値が最小になる画素であるから、検知対象物において３次元位置測定装置１からの距離が最小になる部位と考えられる。すなわち、検知対象物においてもっとも高い部位に対応している可能性が高いといえる。
【００６４】
そこで、３次元位置測定装置１を視野の中心線が鉛直下向きになるようにして天井Ｃに設置し、３次元位置測定装置１の下を通過する人体の頭部を検出する目的に使用するとすれば、本例では検知判断手段１０において高さに関して設定する判別範囲を参考例３よりも狭い範囲に設定することが可能になる。これは、参考例３では距離画像から求めた２値画像における白画素の領域の代表点として重心を用いていることにより、代表点が検知対象物におけるもっとも高い部位になる可能性が十分に高いとは言えないのに対して、本例の構成では代表点として３次元位置測定装置１からの距離が最小になる部位を選択したことにより、検知対象物におけるもっとも高い部位に対応している可能性が高くなるからである。しかして、検知判断手段１０において高さに関して設定する判別範囲を、参考例３では８０〜２００ｃｍに設定しているとすれば、本例では、たとえば１２０〜２００ｃｍに設定することが可能になる。他の構成および動作は参考例３と同様であって、本例の構成を採用すれば、参考例３に比較して判別範囲を狭くしたことによって、誤検出の可能性を低減することができる。
【００６５】
（参考例５）
本例は、図１７に示すように、基本的には図１５に示した参考例３と同様の構成を有する。ただし、本例の検知判断手段１０には、人体である検知対象物の代表点の高さについて時間変化を追跡することによって人体である検知対象物の転倒を検知する転倒検知手段１０ａを備える点が相違する。追跡する代表点としては参考例３のように距離画像を２値化した２値画像における白領域の重心または参考例４のように白画素の領域内で３次元位置測定装置１からの距離が最小になる点を用いる。
【００６６】
本例の特徴である転倒検知手段１０ａでは、領域特徴抽出手段９において求めた代表点の床面からの高さを逐次記憶する。すなわち、３次元位置測定装置１において一定時間毎に距離画像を生成し、生成された距離画像に基づいて代表点の高さの変化を追跡する。ところで、人の頭部の高さの時間変化は、人が座るときには図１８にイで示す変化になり、人が転倒したときには図１８にロで示す変化になる。つまり、図１８によれば、人が転倒するときには短時間で頭部の高さが大きく減少することがわかる。ちなみに、図示例では人が座るときの１秒間の高さ変化は最大で７０ｃｍ程度であるのに対して、人が転倒するときの１秒間の高さ変化は１２０ｃｍ以上になっている。そこで、たとえば３次元位置測定装置１において距離画像を１秒毎に生成し、距離画像から得られる代表点の高さの変化が１００ｃｍを越えたときに検知対象物である人体が転倒したと判定するように転倒検知手段９を構成すれば、座る行為と転倒とを区別しながらも転倒を検知することが可能になる。
【００６７】
なお、上述した各例において示した数値は一例であって、目的に応じて適宜に設定すればよく、とくに参考例５においては、転倒の判断に１秒毎の高さの変化率を用いるとしても、距離画像を生成する時間間隔をより短い時間（たとえば、０．１秒）に設定することによって転倒の瞬間をより確実に捉えることが可能になる。要するに、転倒検知手段１０ａでは代表点の単位時間あたりの高さの変化幅が規定値を越えたときには検知対象物が転倒したと判断するのである。
【００６８】
【発明の効果】
請求項１の発明は、監視空間内の全領域について物体までの距離を測定する３次元位置測定装置と、監視空間を撮影した画面上の各画素の画素値が３次元位置測定装置により測定した距離である距離画像を記憶する画像取込手段と、検知対象物について３次元位置測定装置からの距離の分布パターンを基準パターンとして記憶するパターン記憶手段と、前記距離画像内で基準パターンを走査するとともに距離画像内での基準パターンの各位置において距離画像と基準パターンとの差分の画素値からなる差画像を抽出する差画像抽出手段と、差画像抽出手段により抽出した差画像の各画素値と一定値との差分を残差として求め、残差の絶対値の総和の大きさを距離画像と基準パターンとの一致度として求める一致度演算手段と、一致度演算手段により求めた一致度を閾値と大小比較し一致度が規定の閾値より小さいときに監視空間内で基準パターンの検知対象物が存在すると判定する判定手段とを備えるものであり、距離画像に対する基準パターンのパターンマッチングを行うことに相当するから、距離画像を用いながらも比較的少ない演算処理で検知対象物の存否を正確に判断することが可能になる。とくに、一致度には差画像の画素値のばらつきの程度を用いているから、四則演算程度の簡単な演算によって少ない演算量で一致度を求めることが可能になる。
【００６９】
請求項２の発明は、請求項１の発明において、前記パターン記憶手段には前記検知対象物について大きさの異なる相似形状の複数種類の基準パターンが登録されているものであり、監視空間内で検知対象物までの距離が比較的大きく変化したり相似であるが大きさの異なる検知対象物が監視空間に存在する場合であっても、監視空間内での検知対象物の存否を容易に抽出することができる。
【００７０】
請求項３の発明は、請求項１の発明において、前記距離画像内から前記検知対象物に対応する領域を抽出する領域選択手段が付加され、前記距離画像から領域選択手段により抽出された領域が基準パターンとしてパターン記憶手段に格納されるものであり、現実の検知対象物を用いて基準パターンを設定することになるから、検知対象物に合致した形状の基準パターンを設定することができ、特定の検知対象物が監視空間内を移動するような場合でも他の物体と区別して追跡することが可能になる。
【００７１】
請求項４の発明は、請求項３の発明において、前記監視空間内を移動する前記検知対象物に適用する距離画像処理装置であって、前記領域選択手段が、監視空間内に検知対象物が存在している時間内の異なる時刻の２つの距離画像から差分である差分距離画像を求める差分計算手段と、差分距離画像において画素値が０ではない規定の閾値範囲内に属する画素からなる領域を前記距離画像から抽出し基準パターンとしてパターン記憶手段に格納する変化領域抽出手段とを備えるものであり、監視空間内で検知対象物が移動する場合に、検知対象物の移動によって生じた２つの距離画像間の差を利用して基準パターンを設定しているから、監視空間内で移動した検知対象物について基準パターンを自動的に生成することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態を示すブロック図である。
【図２】 同上の動作説明図である。
【図３】 本発明の第２の実施の形態の原理説明図である。
【図４】 同上の動作説明図である。
【図５】 同上の動作説明図である。
【図６】 本発明の第３の実施の形態を示すブロック図である。
【図７】 同上の動作説明図である。
【図８】 本発明の第４の実施の形態を示す要部のブロック図である。
【図９】 同上の動作説明図である。
【図１０】 本発明の参考例１を示すブロック図である。
【図１１】 同上の動作説明図である。
【図１２】 同上の原理説明図である。
【図１３】 同上の原理説明図である。
【図１４】 本発明の参考例２の動作説明図である。
【図１５】 本発明の参考例３を示すブロック図である。
【図１６】 同上の動作説明図である。
【図１７】 本発明の参考例５を示すブロック図である。
【図１８】 同上の原理説明図である。
【符号の説明】
１ ３次元位置測定装置
２ 画像取込手段
３ パターン記億手段
４ 差画像抽出手段
５ 一致度演算手段
６ 判定手段
７ 領域選択手段
７ａ 差分計算手段
７ｂ 変化領域抽出手段
８ 代表距離抽出手段
９ 領域特徴抽出手段
１０ 検知判断手段
１０ａ 転倒検知手段
Claims (4)
- 監視空間内の全領域について物体までの距離を測定する３次元位置測定装置と、監視空間を撮影した画面上の各画素の画素値が３次元位置測定装置により測定した距離である距離画像を記憶する画像取込手段と、検知対象物について３次元位置測定装置からの距離の分布パターンを基準パターンとして記憶するパターン記憶手段と、前記距離画像内で基準パターンを走査するとともに距離画像内での基準パターンの各位置において距離画像と基準パターンとの差分の画素値からなる差画像を抽出する差画像抽出手段と、差画像抽出手段により抽出した差画像の各画素値と一定値との差分を残差として求め、残差の絶対値の総和の大きさを距離画像と基準パターンとの一致度として求める一致度演算手段と、一致度演算手段により求めた一致度を閾値と大小比較し一致度が規定の閾値より小さいときに監視空間内で基準パターンの検知対象物が存在すると判定する判定手段とを備えることを特徴とする距離画像処理装置。
- 前記パターン記憶手段には前記検知対象物について大きさの異なる相似形状の複数種類の基準パターンが登録されていることを特徴とする請求項１記載の距離画像処理装置。
- 前記距離画像内から前記検知対象物に対応する領域を抽出する領域選択手段が付加され、前記距離画像から領域選択手段により抽出された領域が基準パターンとしてパターン記憶手段に格納されることを特徴とする請求項１記載の距離画像処理装置。
- 前記監視空間内を移動する前記検知対象物に適用する距離画像処理装置であって、前記領域選択手段が、監視空間内に検知対象物が存在している時間内の異なる時刻の２つの距離画像から差分である差分距離画像を求める差分計算手段と、差分距離画像において画素値が０ではない規定の閾値範囲内に属する画素からなる領域を前記距離画像から抽出し基準パターンとしてパターン記憶手段に格納する変化領域抽出手段とを備えることを特徴とする請求項３記載の距離画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001401531A JP4048779B2 (ja) | 2001-12-28 | 2001-12-28 | 距離画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001401531A JP4048779B2 (ja) | 2001-12-28 | 2001-12-28 | 距離画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003196656A JP2003196656A (ja) | 2003-07-11 |
| JP4048779B2 true JP4048779B2 (ja) | 2008-02-20 |
Family
ID=27605438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001401531A Expired - Fee Related JP4048779B2 (ja) | 2001-12-28 | 2001-12-28 | 距離画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4048779B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4333457B2 (ja) * | 2004-04-14 | 2009-09-16 | トヨタ自動車株式会社 | 画像処理装置および画像処理方法 |
| WO2006011593A1 (ja) * | 2004-07-30 | 2006-02-02 | Matsushita Electric Works, Ltd. | 個体検出器及び共入り検出装置 |
| JP2006236184A (ja) * | 2005-02-28 | 2006-09-07 | Nec Engineering Ltd | 画像処理による人体検知方法 |
| JP4539388B2 (ja) * | 2005-03-16 | 2010-09-08 | パナソニック電工株式会社 | 障害物検出装置 |
| JP4848166B2 (ja) * | 2005-09-30 | 2011-12-28 | 株式会社トプコン | 三次元計測用投影装置及びシステム |
| DE102006002794A1 (de) * | 2006-01-20 | 2007-07-26 | Wash Tec Holding Gmbh | Verfahren und Vorrichtung zur Steuerung einer Fahrzeugwaschanlage |
| CN101496032B (zh) * | 2006-02-27 | 2011-08-17 | 普莱姆传感有限公司 | 使用斑纹解相关的距离映射的方法及设备 |
| JP4766269B2 (ja) * | 2007-03-06 | 2011-09-07 | 株式会社安川電機 | 物体検出方法、物体検出装置、及びそれを備えたロボット |
| JP5065744B2 (ja) * | 2007-04-20 | 2012-11-07 | パナソニック株式会社 | 個体検出器 |
| US10182223B2 (en) * | 2010-09-03 | 2019-01-15 | California Institute Of Technology | Three-dimensional imaging system |
| EP2761533A4 (en) | 2011-09-30 | 2016-05-11 | Intel Corp | RECOGNITION OF A HUMAN HEAD ON DEPTH PICTURES |
| JP5997463B2 (ja) * | 2012-03-07 | 2016-09-28 | 綜合警備保障株式会社 | 転倒検知装置および転倒検知方法 |
| JP2013200137A (ja) * | 2012-03-23 | 2013-10-03 | Omron Corp | 赤外線温度測定装置、赤外線温度測定方法、および、赤外線温度測定装置の制御プログラム |
| JP2015014514A (ja) * | 2013-07-04 | 2015-01-22 | パイオニア株式会社 | 識別装置 |
| JP2017131375A (ja) * | 2016-01-27 | 2017-08-03 | コニカミノルタ株式会社 | 血管内皮機能検査装置 |
| JP7091673B2 (ja) * | 2018-01-25 | 2022-06-28 | 富士通株式会社 | 可動自由度推定装置、及び可動自由度推定プログラム |
| JP2020183900A (ja) * | 2019-05-08 | 2020-11-12 | オムロン株式会社 | 光学計測装置及び光学計測方法 |
| JP6806845B2 (ja) * | 2019-06-11 | 2021-01-06 | ファナック株式会社 | ロボットシステムおよびロボット制御方法 |
-
2001
- 2001-12-28 JP JP2001401531A patent/JP4048779B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003196656A (ja) | 2003-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4048779B2 (ja) | 距離画像処理装置 | |
| US9087258B2 (en) | Method for counting objects and apparatus using a plurality of sensors | |
| CN105339980B (zh) | 具有嵌入辅助图案的条纹的绝对相位测量方法和*** | |
| TWI419081B (zh) | 提供擴增實境的標籤追蹤方法、系統與電腦程式產品 | |
| JP4205825B2 (ja) | 対象物認識装置 | |
| EP3153816B1 (en) | Method, device and computer programme for extracting information about one or more spatial objects | |
| CN103900494B (zh) | 用于双目视觉三维测量的同源点快速匹配方法 | |
| US20100328308A1 (en) | Three Dimensional Mesh Modeling | |
| JP2004340840A (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
| WO2007015059A1 (en) | Method and system for three-dimensional data capture | |
| CN104567758B (zh) | 立体成像***及其方法 | |
| JP7480833B2 (ja) | 計測装置、計測システムおよび車両 | |
| JP2006012178A (ja) | 駐車車両検知方法及び駐車車両検知システム | |
| JP2020056644A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN109886064A (zh) | 确定可驾驶空间的边界的方法 | |
| US6804380B1 (en) | System and method for acquiring tie-point location information on a structure | |
| CN109839628A (zh) | 一种障碍物确定方法及移动机器人 | |
| JP2015059768A (ja) | 段差計測装置、段差計測方法及びプログラム | |
| KR20140114594A (ko) | 사람 객체 추적을 통한 자동 카메라 보정 방법 | |
| JPH11257931A (ja) | 物体認識装置 | |
| JP6096601B2 (ja) | 駅ホーム転落検知装置 | |
| JP5981284B2 (ja) | 対象物検出装置、及び対象物検出方法 | |
| JP4101478B2 (ja) | 人体端点検出方法及び装置 | |
| JP2008293504A (ja) | 対象物認識装置 | |
| JP2004021496A (ja) | 駐車車両検知方法、検知システム及び駐車車両検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041026 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071009 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071119 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |