JP2001174223A

JP2001174223A - 熱物体の位置と形状の検出装置

Info

Publication number: JP2001174223A
Application number: JP36065999A
Authority: JP
Inventors: Masanobu Takahashi; 正信高橋; Toshiyuki Tamura; 俊之田村; Atsushi Takeda; 竹田　　淳; Kazuo Hisama; 和生久間
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-12-20
Filing date: 1999-12-20
Publication date: 2001-06-29

Abstract

(57)【要約】【課題】人体などの熱物体の位置と形状を高精度に検
出すること。【解決手段】赤外画像撮像手段により熱物体の存在可
能領域を検出し、複数の画像撮像手段とデータ処理手段
を用いたステレオ視により物体の位置と形状を検出する
際に前記存在可能領域に画像領域を制限してステレオ視
の処理を行うことにより熱物体の位置と形状を検出す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、人体などの熱物
体の位置と形状、姿勢などを検出する装置に関するもの
である。

【０００２】

【従来の技術】空調機器や照明などの家電製品の最適制
御あるいは独居老人などの異常検知のために、監視領域
内における人体の位置や姿勢を自動検出する必要性が高
まっている。特に、老人ホームの個室内や独居老人の室
内などにおける老人の異常検知は、老人の命を救い、介
護者の負担を減らすために社会的にも重要となってきて
きる。

【０００３】人体の姿勢を検出する従来の装置として
は、例えば特開平５−１４９７２５号公報に示された装
置がある。これは、主に空調機の制御を目的としたもの
で、焦電型赤外線センサを用いて撮像した熱画像データ
から人間の領域を検出し、その形状、動きなどから姿勢
を検出するものである。そして、立位、座位、臥位を判
別して空調機を制御する。

【０００４】

【発明が解決しようとする課題】従来の装置では、２次
元の熱画像のみから人体の姿勢を検出しているが、家庭
での利用を念頭においた場合、解像度は高いが高価な量
子型の赤外線カメラの利用は困難であり、解像度の低い
安価な赤外線センサを利用せざるを得ないため、形状や
姿勢などが大まかにしか分からないという問題があっ
た。また、１台のセンサだけでは距離が分からないた
め、物体の正確な位置や大きさが分からず、他の熱物体
との区別が困難であるという問題もあった。例えば、床
に倒れている老人を検出するためには、少なくとも１０
ｃｍ程度の精度で人体の外形を検出する必要があるが、
そうした精度を熱画像だけを用いた従来の装置で得るこ
とは困難であり、人に異常検知の用途には使えなかっ
た。

【０００５】この発明は、上記のような問題点を解決す
るためになされたものであり、複数のカメラを用いたス
テレオ視と熱画像を組み合わせることにより、家庭で利
用できる程度に安価で、かつ老人の異常検知などに利用
できる程度に高精度の熱物体の位置と形状を検出する装
置を得ることを目的とするものである。

【０００６】

【課題を解決するための手段】請求項１に記載の発明に
係る熱物体の位置と形状の検出装置は、予め設定した監
視領域の赤外画像を撮像するための少なくとも１台の赤
外画像撮像手段と、監視領域の画像を撮像するための少
なくとも２台の画像撮像手段と、得られた赤外画像と画
像を処理して熱物体の位置と形状を検出するデータ処理
手段とを備え、データ処理手段によって、赤外画像より
熱物体の存在可能領域を検出すると共に、画像を用いた
ステレオ視により物体の位置と形状を検出し、熱物体の
存在可能領域と物体の位置と形状を組み合わせることに
より熱物体の位置と形状を検出するようにしたものであ
る。

【０００７】請求項２に記載の発明に係る熱物体の位置
と形状の検出装置は、予め設定した監視領域の赤外画像
を撮像するための少なくとも１台の赤外画像撮像手段
と、監視領域の画像を撮像するための少なくとも２台の
画像撮像手段と、得られた赤外画像と画像を処理して熱
物体の位置と形状を検出するデータ処理手段とを備え、
データ処理手段によって、赤外画像より熱物体の存在可
能領域を検出し、熱物体の存在可能領域を元に画像中に
ステレオ視処理領域を設定し、ステレオ視処理領域内の
画像のみを用いてステレオ視により熱物体の位置と形状
を検出するようにしたものである。

【０００８】請求項３に記載の発明に係る熱物体の位置
と形状の検出装置は請求項２に記載の熱物体の位置と形
状の検出装置において、赤外画像より熱物体の存在可能
領域を検出した結果、熱物体の存在可能領域が存在した
場合にのみ画像撮像手段により画像を撮像し、撮像した
画像中にステレオ視処理領域を設定するようにしたもの
である。

【０００９】請求項４に記載の発明に係る熱物体の位置
と形状の検出装置は、請求項１から３のいずれかに記載
の熱物体の位置と形状の検出装置において、赤外画像撮
像手段として、焦電型赤外線センサをアレイ化したもの
を用いるようにしたものである。

【００１０】請求項５に記載の発明に係る熱物体の位置
と形状の検出装置は、予め設定した監視領域を分割した
小領域ごとの熱物体の動きを検出する少なくとも１台の
動き検出手段と、監視領域の画像を撮像するための少な
くとも２台の画像撮像手段と、動き検出手段により得ら
れた動き検出結果と画像を処理して熱物体の位置と形状
を検出するデータ処理手段とを備え、データ処理手段に
よって、動き検出結果を元に動く熱物体の存在可能領域
を検出すると共に、画像を用いたステレオ視により監視
領域内の物体の位置と形状を検出し、動く熱物体の存在
可能領域と物体の位置と形状を組み合わせることにより
熱物体の位置と形状を検出するようにしたものである。

【００１１】請求項６に記載の発明に係る熱物体の位置
と形状の検出装置は、予め設定した監視領域を分割した
各小領域ごとの熱物体の動きを検出する少なくとも１台
の動き検出手段と、監視領域の画像を撮像するための少
なくとも２台の画像撮像手段と、動き検出手段により得
られた動き検出結果と画像を処理して熱物体の位置と形
状を検出するデータ処理手段とを備え、データ処理手段
によって、動き検出結果を元に動く熱物体の存在可能領
域を検出し、動く熱物体の存在可能領域を元に画像中に
ステレオ視処理領域を設定し、ステレオ視処理領域内の
画像のみを用いてステレオ視により熱物体の位置と形状
を検出するようにしたものである。

【００１２】請求項７に記載の発明に係る熱物体の位置
と形状の検出装置は、請求項６に記載の熱物体の位置と
形状の検出装置において、動き検出結果を元に動く熱物
体の存在可能領域を検出した結果、動く熱物体の存在可
能領域が存在した場合にのみ画像撮像手段により画像を
撮像し、撮像した画像中にステレオ視処理領域を設定す
るようにしたものである。

【００１３】請求項８に記載の発明に係る熱物体の位置
と形状の検出装置は、請求項５から７のいずれかに記載
の熱物体の位置と形状の検出装置において、動き検出手
段として、小領域内の近接領域からの赤外線量の差分の
変化より小領域内の熱物体の動きを検出する差分方式焦
電型赤外線動きセンサをアレイ化したものを用いるよう
にしたものである。

【００１４】請求項９に記載の発明に係る熱物体の位置
と形状の検出装置は、請求項３または７記載の熱物体の
位置と形状の検出装置において、画像撮像手段を人工網
膜ＬＳＩを用いて構成し、人工網膜ＬＳＩのランダムア
クセス機能により、前記ステレオ視処理領域の画像のみ
を撮像し、撮像した画像を用いたステレオ視により熱物
体の位置と形状を検出するようにしたものである。

【００１５】請求項１０に記載の発明に係る熱物体の位
置と形状の検出装置は、請求項１から８のいずれかに記
載の熱物体の位置と形状の検出装置において、画像撮像
手段を人工網膜ＬＳＩを用いて構成し、人工網膜ＬＳＩ
のエッジ抽出機能により、画像としてエッジ抽出画像を
撮像するようにしたものである。

【００１６】請求項１１に記載の発明に係る熱物体の位
置と形状の検出装置は、請求項１から１０のいずれかに
記載の熱物体の位置と形状の検出装置において、検出さ
れた熱物体の位置と形状をもとに、前記データ処理部に
おいて、熱物体が人体であるかどうかを判断し、人体で
あればその姿勢を検出するようにしたものである。

【００１７】

【発明の実施の形態】実施の形態１．図１は、この発明
を実施するための実施の形態１による熱物体の位置と形
状を検出する装置を説明するための図である。ここで
は、赤外画像撮像手段を２台、画像撮像手段を２台使用
して、最終的に人体の位置と姿勢を検出する場合につい
て説明する。

【００１８】図１において、１ａは左側の画像撮像手
段、１ｂは右側の画像撮像手段、２ａは左側の赤外画像
撮像手段、２ｂは右側の赤外画像撮像手段、３はデータ
処理手段、４は人体、５はソファである。

【００１９】画像撮像手段１ａ、１ｂとしては、例えば
ＣＣＤカメラを用いる。また、赤外画像撮像手段２ａ、
２ｂとしては例えば焦電型赤外線センサをアレイ化した
ものを用いる。左側の画像撮像手段１ａと左側の赤外画
像撮像手段２ａはペアになっており、ほぼ同じ位置から
同じ領域を見るように配置される。右側の画像撮像手段
１ｂと右側の赤外画像撮像手段２ｂについても同様であ
る。物体による掩蔽を極力少なくするために、画像撮像
手段１ａ、１ｂ、赤外画像撮像手段２ａ、２ｂともに、
天井などの高い位置より床面を見るように取り付ける。
ステレオ視を実現するため、画像撮像手段１ａ、１ｂは
適当な基線長だけ離し、同じ監視領域を見るように設置
する。

【００２０】次に、動作について説明する。図２は、実
施の形態１による熱物体の位置と形状を検出する装置の
動作手順を示すフローチャートである。

【００２１】まず、画像撮像手段１ａ、１ｂ、および赤
外画像撮像手段２ａ、２ｂにより監視領域の画像と赤外
画像を同時に撮像する（ＳＴ１０１）。図３に左側の赤
外画像撮像手段により撮像された赤外画像（左側赤外画
像６ａ）、図４に右側の赤外画像撮像手段により撮像さ
れた赤外画像（右側赤外画像６ｂ）、図５に左側の画像
撮像手段により撮像された画像（左側画像７ａ）、図６
に右側の画像撮像手段により撮像された画像（右側画像
７ｂ）を示す。図５、図６において、８は人体の足、９
は人体の頭である。また、図５、図６には基線方向も示
している。基線方向については後で説明する。

【００２２】次にデータ処理手段３によって、赤外画像
６ａ、６ｂより熱物体の存在可能領域を検出する（ＳＴ
１０２）。熱物体の存在可能領域とは、図３、図４のよ
うな赤外画像が得られた場合に熱物体が存在し得る領域
のことである。本実施の形態においては、ペアとなった
画像撮像手段と赤外画像撮像手段はほぼ同じ領域を見て
いるため、例えば左側赤外画像６ａ中の熱物体のある領
域と同じ領域が、左側画像７ａ中の熱物体の存在可能領
域となる。左側画像７ａ中に熱物体の存在可能領域１０
を示した図を図７に、右側画像７ｂ中に熱物体の存在可
能領域１０を示した図を図８に示す。データ処理手段３
としては、例えばＤＳＰ（デジタルシグナルプロセッ
サ）などの、画像を処理するのに十分な演算性能を持つ
ものを使用しても良いし、パソコンなどのコンピュータ
を使用しても良い。

【００２３】次にデータ処理手段３によって、左側およ
び右側の画像７ａ、７ｂよりステレオ視により物体の位
置と形状を検出する（ＳＴ１０３）。ステレオ視とは、
離れた視点から同じ物体を見た時に物体が見える方向が
視点から物体への距離に応じて異なることを利用し、三
角測量の原理で物体までの距離を測定する方式である。
具体的には、左側の画像撮像手段１ａと右側の画像撮像
手段１ｂを結ぶ線を基線とよび、物体の位置はその距離
に応じて基線に沿った方向へ画像上でずれる。両方の画
像撮像手段が同じ領域を見ているとすると、図５と図６
において同じ物体の基線方向へのずれ量は、物体が遠い
ほど小さくて、物体が画像撮像手段に近いほど大きくな
る。例えば、足８のずれ量は小さいが、頭９のずれ量は
大きいため、足８までの距離は遠く（床に近い）、頭９
までの距離は近い（床から高い）ことが分かる。ステレ
オ視を実現するには、一方（例えば左側画像７ａ）中の
ある物体上の点が、もう一方の画像（例えば右側画像７
ｂ）中のどこに対応するのかを求める必要がある。これ
は対応点探索問題と呼ばれるが、対応する点は基線方向
に存在するので、基線方向の線（エピポーラ線と呼ばれ
る）上で探索すれば良い。輝度が大きく変化するエッジ
や角などの特徴的なところは、その特徴を手がかりにし
て対応点を比較的求めやすいため、通常は物体のエッジ
（輪郭）部分で対応点を求める。画像撮像手段として、
カラーのＣＣＤカメラを用いた場合には、色情報も対応
点探索に用いることができる。また、物体が移動してい
る場合には、前フレームの画像との差分画像を対応点探
索に用いても良い。人体の場合に探索の精度を向上する
上で有効である。データ処理手段３によって物体のエッ
ジ（輪郭）部分の対応点探索問題を解き、エッジ部分ま
での画像撮像手段からの距離を求めることにより、物体
の３次元空間での位置と形状が検出できる。右側および
左側画像７ａ、７ｂからは図９に示されるような検出結
果が得られる。

【００２４】次に、データ処理手段３によって、ＳＴ１
０２で求まった熱物体の存在可能領域とＳＴ１０３で求
まった物体の位置と形状を組み合わせて、熱物体の位置
と形状を検出する（ＳＴ１０４）。組合せ方は、例えば
ＳＴ１０３で求まった物体の位置と形状のうち、図７、
図８に示される画像７ａ、７ｂ中の熱物体の存在可能領
域１０内に存在する物体のみを熱物体とし、その位置と
形状を熱物体の位置と形状とすれば良い。これにより、
ソファ５は熱物体でないものとして除かれ、図１０に示
されるように熱物体のみの位置と形状の検出結果が得ら
れる。

【００２５】次に、データ処理手段３によって、検出さ
れた熱物体の位置と形状を元に、その熱物体が人体であ
るかどうかを判断し、人体と判断された場合には、その
姿勢を検出する（ＳＴ１０５）。人体であるかどうかの
判断は、例えばその物体が床の上にあり、外形（幅、厚
さ、高さ）が人体として妥当な範囲内であれば人体と判
断する。また、人体には動きがあるため、その物体の位
置、形状の履歴を保存しておいて、過去も含めて動きが
あったかどうかを判断基準に加えても良い。人体の姿勢
は、例えばその熱物体の骨格を求めて検出する。骨格が
床のすぐ上で床にほぼ平行になっている場合には臥位、
床に垂直方向であれば立位と判断できる。

【００２６】なお、上記実施の形態１では、赤外画像撮
像手段を２台、画像撮像手段を２台使用する場合につい
て説明したが、赤外画像撮像手段と画像撮像手段をペア
にしたものを３台以上用いても良い。より多くの台数を
用いてステレオ視を行った方が、対応点探索問題を正確
に解け、また位置と形状の検出精度を向上できる。

【００２７】実施の形態２．上記実施の形態１では、赤
外画像撮像手段を２台、画像撮像手段を２台使用する場
合について説明したが、赤外画像撮像手段は画像撮像手
段の数よりも少なくて良く、例えば１台でも良い。ここ
では、１台の赤外画像撮像手段と２台の画像撮像手段を
用いる場合について説明する。図１１は、この発明を実
施するための実施の形態２による熱物体の位置と形状を
検出する装置を説明するための図である。

【００２８】図１１において、２ｃは赤外画像撮像手
段、１１は熱物体、１２は高さの上限である。実施の形
態１においては２台の赤外画像撮像手段を用いて撮像し
た赤外画像６ａ、６ｂより熱物体の存在可能領域を検出
したが、実施の形態２では、１台の赤外画像撮像手段を
用いて撮像した赤外画像から熱物体の存在可能領域を検
出する。それ以外の動作は実施の形態１と同様である。
図１２に赤外画像撮像手段２ｃにより撮像された赤外画
像６ｃを示す。赤外画像６ｃが得られると、赤外画像検
出手段と画像撮像手段が見る方向や高さなどの予め解っ
ている撮像条件を元にして、データ処理手段３を用い
て、図１１に斜線で示される領域が熱物体の存在可能領
域１０として検出される。なお、図１１中の高さの上限
は、監視領域中に存在しうる物体の高さの上限であり、
予め決めておく。各画像における熱物体の存在可能領域
１０は、各画像撮像手段１ａ、１ｂから図１１に斜線で
示される熱物体の存在可能領域１０を見た領域となり、
これもデータ処理手段３を用いて求められる。左側画像
７ｃおよび右側画像７ｄ中に熱物体の存在可能領域１０
を示した図をそれぞれ図１３、図１４に示す。ＳＴ１０
２の熱物体の存在可能領域の検出を以上のように行い、
後の動作は実施の形態１と同様に図２のＳＴ１０３、Ｓ
Ｔ１０４、ＳＴ１０５に従って行うことで、人体の位置
と姿勢を検出できる。

【００２９】実施の形態３．この発明を実施するための
実施の形態３による熱物体の位置と形状を検出する装置
を、実施の形態１と同じ図１を用いて説明する。実施の
形態１と同様に、赤外画像撮像手段を２台、画像撮像手
段を２台使用して、最終的に人体の位置と姿勢を検出す
る場合について説明する。実施の形態３は、装置の構成
は実施の形態１と同じで、その動作のみが異なる。

【００３０】図１５は、実施の形態３による熱物体の位
置と形状を検出する装置の動作手順を示すフローチャー
トである。

【００３１】まず、画像撮像手段１ａ、１ｂ、および赤
外画像撮像手段２ａ、２ｂにより監視領域の画像と赤外
画像を同時に撮像する（ＳＴ１０１）。撮像された赤外
画像および画像は、実施の形態１と同様に、図３、図
４、図５、図６に示される。

【００３２】次にデータ処理手段３によって、実施の形
態１と同様にして図３、図４に示される赤外画像より熱
物体の存在可能領域を検出する（ＳＴ１０２）。図７、
図８に画像中に示された熱物体の存在可能領域１０を示
す。

【００３３】次に、データ処理手段３によって、熱物体
の存在可能領域１０を元に画像中にステレオ視処理領域
を設定する（ＳＴ１０６）。ステレオ視処理領域は、例
えば熱物体の存在可能領域と同じ領域を設定する。左側
および右側画像中のステレオ視処理領域１３をそれぞれ
図１６、図１７に示す。

【００３４】次に、データ処理手段３によって、ステレ
オ視処理領域１３の画像のみを用いてステレオ視により
物体の位置と形状を求める（ＳＴ１０７）。ステレオ視
処理領域内の物体は、熱物体であるため、結局は図１０
に示されるような熱物体のみの位置と形状が検出され
る。

【００３５】次に、データ処理手段３によって、実施の
形態１と同様にして、検出された熱物体の位置と形状を
元に、その熱物体が人体であるかどうかを判断し、人体
と判断された場合には、その姿勢を検出する（ＳＴ１０
５）。なお、上記実施の形態３では、赤外画像撮像手段
を２台、画像撮像手段を２台使用する場合について説明
したが、赤外画像撮像手段と画像撮像手段をペアにした
ものを３台以上用いても良い。より多くの台数を用いて
ステレオ視を行った方が、対応点探索問題を正確に解
け、また位置と形状の検出精度を向上できる。

【００３６】また、上記実施の形態３では、赤外画像撮
像手段を２台、画像撮像手段を２台使用する場合につい
て説明したが、赤外画像撮像手段は画像撮像手段の数よ
りも少なくて良く、例えば１台でも良い。実施の形態２
と同様にして、図１１に示される構成で、１台の赤外画
像撮像手段を用いて撮像した赤外画像から熱物体の存在
可能領域を検出し、画像撮像手段により撮像された画像
中にその領域を元にステレオ視処理領域として設定する
ことにより、同様にして人体の位置と姿勢を検出でき
る。

【００３７】また、上記実施の形態３では、ステレオ視
処理領域を熱物体の存在可能領域と同じ領域としたが、
熱物体の存在可能領域よりも広い領域をステレオ視処理
領域としても良い。人体などの熱物体の一部が掩蔽など
の何らかの理由により熱画像として検出されなかった場
合でも、広い領域をステレオ視処理領域とすることによ
り熱画像として検出されなかった部分も含めて熱物体全
体の位置と形状を検出できる効果がある。

【００３８】実施の形態４．図１８は、この発明を実施
するための実施の形態４による熱物体の位置と形状を検
出する装置を説明するための図である。ここでは、動き
検出手段を２台、画像撮像手段を２台使用して、人体が
動いた場合に、その位置と姿勢を検出する場合について
説明する。

【００３９】図１８において、１４ａは左側の動き検出
手段、１４ｂは右側の動き検出手段である。基本的に、
実施の形態１で示した図１における赤外画像撮像手段２
ａ、２ｂを動き検出手段１４ａ、１４ｂに置き換えたも
のとなっている。

【００４０】動き検出手段１４ａ、１４ｂは、監視領域
を分割した各小領域ごとに熱物体の動きを検出するもの
で、例えば小領域内の近接領域からの赤外線量の差分の
変化より小領域内の熱物体の動きを検出する差分方式焦
電型赤外線動きセンサをアレイ化したものを用いる。左
側の画像撮像手段１ａと左側の動き検出手段１４ａはペ
アになっており、ほぼ同じ位置から同じ領域を見るよう
に配置される。右側の画像撮像手段１ｂと右側の動き検
出手段１４ｂについても同様である。物体による掩蔽を
極力少なくするために、画像撮像手段１ａ、１ｂ、動き
検出手段１４ａ、１４ｂともに、天井などの高い位置よ
り床面を見るように取り付ける。ステレオ視を実現する
ため、画像撮像手段１ａ、１ｂは適当な基線長だけ離
し、同じ監視領域を見るように設置する。

【００４１】動作は、実施の形態１で用いた赤外画像の
代わりに、動き検出手段１４ａ、１４ｂによって小領域
ごとに検出された動き検出結果を用いること以外は実施
の形態１と全く同様である。即ち、動き検出手段１４
ａ、１４ｂにより監視領域内における熱物体の動きを検
出し、図３および図４に示されるような赤外画像と同様
な検出結果が得られたとすると、その検出領域を動く熱
物体の存在可能領域とする。後は図２に示されるＳＴ１
０３、ＳＴ１０４、ＳＴ１０５に従い、実施の形態１と
同様な動作手順で動きのあった人体の位置と姿勢を検出
する。

【００４２】なお、上記実施の形態４では、動き検出手
段を２台、画像撮像手段を２台使用する場合について説
明したが、動き検出手段と画像撮像手段をペアにしたも
のを３台以上用いても良い。

【００４３】また、上記実施の形態４では、動き検出手
段を２台、画像撮像手段を２台使用する場合について説
明したが、動き検出手段は画像撮像手段の数よりも少な
くて良く、例えば１台でも良い。１台の動き検出手段に
よる検出結果より動く熱物体の存在可能領域を検出し、
後は図２に示されるＳＴ１０３、ＳＴ１０４、ＳＴ１０
５に従い、実施の形態１と同様な動作手順で動きのあっ
た人体の位置と姿勢を検出すれば良い。

【００４４】実施の形態５．この発明を実施するための
実施の形態５による熱物体の位置と形状を検出する装置
を、実施の形態４と同じ図１８を用いて説明する。実施
の形態４と同様に、動き検出手段を２台、画像撮像手段
を２台使用して、人体が動いた場合に、その位置と姿勢
を検出する場合について説明する。実施の形態５は、装
置の構成は実施の形態４と同じで、その動作のみが異な
る。

【００４５】動作は、実施の形態３で用いた赤外画像の
代わりに、動き検出手段１４ａ、１４ｂによって小領域
ごとに検出された動き検出結果を用いること以外は実施
の形態３と全く同様である。即ち、動き検出手段１４
ａ、１４ｂにより監視領域内における熱物体の動きを検
出し、図３および図４に示されるような赤外画像と同様
な検出結果が得られたとすると、その検出領域を動く熱
物体の存在可能領域とし、後は図１５に示されるＳＴ１
０６、ＳＴ１０７、ＳＴ１０５に従い、実施の形態３と
同様な動作手順で動きのあった人体の位置と姿勢を検出
すれば良い。即ち、動く熱物体の存在可能領域をステレ
オ視処理領域とし、画像中のステレオ視処理領域内の画
像のみを用いてステレオ視により熱物体の位置と形状を
検出し、その位置と形状を元に熱物体が人体であるかど
うかを判別し、人体であればその姿勢を検出する。

【００４６】なお、上記実施の形態５では、動き検出手
段を２台、画像撮像手段を２台使用する場合について説
明したが、動き検出手段と画像撮像手段をペアにしたも
のを３台以上用いても良い。

【００４７】また、上記実施の形態５では、動き検出手
段を２台、画像撮像手段を２台使用する場合について説
明したが、動き検出手段は画像撮像手段の数よりも少な
くて良く、例えば１台でも良い。１台の動き検出手段に
よる検出結果より動く熱物体の存在可能領域を検出し、
後は図１５に示されるＳＴ１０６、ＳＴ１０７、ＳＴ１
０５に従い、実施の形態３と同様な動作手順で動きのあ
った人体の位置と姿勢を検出すれば良い。

【００４８】また、上記実施の形態５では、ステレオ視
処理領域を動く熱物体の存在可能領域と同じ領域とした
が、動く熱物体の存在可能領域よりも広い領域をステレ
オ視処理領域としても良い。人体などの熱物体の一部が
掩蔽などの何らかの理由により熱画像として検出されな
かった場合でも、広い領域をステレオ視処理領域とする
ことにより熱画像として検出されなかった部分も含めて
熱物体全体の位置と形状を検出できる効果がある。

【００４９】実施の形態６．なお、実施の形態３では赤
外画像から検出された熱物体の存在可能領域を元にステ
レオ視処理領域を設定し、実施の形態５では、動き検出
結果から検出された動く熱物体の存在可能領域を元にス
テレオ視処理領域を設定しているため、熱物体や動く熱
物体が無い場合には、ステレオ視処理領域が設定され
ず、従って画像撮像手段により撮像された画像を処理す
る必要が無い。従って、実施の形態３や実施の形態５で
は、画像の撮像を赤外画像の撮像や動き検出と同時に行
っていたが、ステレオ視処理領域が存在した場合のみ画
像を撮像するようにしても良い。即ち、撮像した赤外画
像あるいは動き検出結果より熱物体あるいは動く熱物体
の存在可能領域が検出されるとただちに画像を撮像し、
その画像中にステレオ視処理領域を設定して後の処理を
行うようにしても良い。

【００５０】実施の形態７．上記実施の形態６では、熱
物体や動く熱物体の存在可能領域が検出された場合のみ
画像を撮像するようにしているが、画像撮像手段１ａ、
１ｂを人工網膜ＬＳＩを用いて構成し、人工網膜ＬＳＩ
のランダムアクセス機能を利用して、画像撮像手段１
ａ、１ｂの視野中のステレオ視処理領域１３に相当する
画像のみを撮像するようにしても良い。人工網膜ＬＳＩ
とは、例えば「人工網膜チップの開発と事業化」（応用
物理、第６７巻、第４号、１９９８年、４２４頁〜４３
０頁）に示されるように、画像の撮像と画像処理機能を
兼ね備えた撮像素子であり、制御信号を変えることによ
り、画像撮像だけでなく、エッジ検出、ランダムアクセ
スなどの機能を実現できる。

【００５１】実施の形態８．上記実施の形態１から実施
の形態６では、画像撮像手段１ａ、１ｂとして例えばＣ
ＣＤカメラを用いて画像を撮影する場合について説明し
たが、画像撮像手段１ａ、１ｂを人工網膜ＬＳＩを用い
て構成し、人工網膜ＬＳＩのエッジ抽出機能を利用して
画像のエッジ画像を撮像するようにしても良い。

【００５２】

【発明の効果】以上のように、請求項１に記載の発明に
よれば、赤外画像撮像手段とデータ処理手段を用いて検
出した熱物体の存在可能領域と、複数の画像撮像手段を
用いてステレオ視により検出した物体の位置と形状を組
み合わせるようにしたので、比較的安価に、赤外画像撮
像手段だけを用いる場合よりも高精度に熱物体の位置と
形状を検出できる装置が得られる効果がある。また、ス
テレオ視により熱物体の存在可能領域内に物体が検出さ
れなかった場合、ステレオ視における対応点探索を間違
ったことが分かるため、ステレオ視による位置と形状の
検出精度を向上できる効果がある。

【００５３】また、請求項２に記載の発明によれば、赤
外画像撮像手段とデータ処理手段を用いて検出した熱物
体の存在可能領域を元に画像中にステレオ視処理領域を
設定し、ステレオ視処理領域内の画像のみを用いてステ
レオ視により熱物体の位置と形状を検出するようにした
ので、比較的安価に、赤外画像だけを用いる場合よりも
高精度で熱物体の位置と形状を検出できると共に、位置
と形状を求めるためのステレオ視の処理を元の画像より
も小さい範囲に限定できるため、計算量を減らせるとと
もに、対応点探索の精度を向上でき、結果的に高速かつ
位置と形状の検出精度を向上した装置が得られる効果が
ある。

【００５４】また、請求項３に記載の発明によれば、請
求項２に記載の発明において熱物体の存在可能領域が存
在した場合にのみ画像撮像手段により画像を撮像するよ
うにしたため、画像を撮像する回数を低減でき、その結
果として消費電力を低減した装置が得られる効果があ
る。

【００５５】また、請求項４に記載の発明によれば、請
求項１から３のいずれかに記載の発明における赤外画像
撮像手段として、焦電型赤外線センサをアレイ化したも
のを用いるようにしたので、一般家庭でも利用できる程
度に安価な装置が得られる効果がある。

【００５６】また、請求項５に記載の発明によれば、動
き検出手段とデータ処理手段を用いて検出した動く熱物
体の存在可能領域と、複数の画像撮像手段を用いたステ
レオ視により検出した物体の位置と形状を組み合わせる
ようにしたので、比較的安価に、赤外画像撮像手段だけ
を用いる場合よりも高精度に熱物体の位置と形状を検出
できる装置が得られる効果がある。また、ステレオ視に
より動く熱物体の存在可能領域内に物体が検出されなか
った場合、ステレオ視における対応点探索を間違ったこ
とが分かるため、ステレオ視による位置と形状の検出精
度を向上できる効果がある。また、人体などの動く熱物
体のみを検出できる効果がある。

【００５７】また、請求項６に記載の発明によれば、動
き検出手段とデータ処理手段を用いて検出した動く熱物
体の存在可能領域を元に画像中にステレオ視処理領域を
設定し、ステレオ視処理領域内の画像のみを用いてステ
レオ視により動く熱物体の位置と形状を検出するように
したので、比較的安価に、赤外画像だけを用いる場合よ
りも高精度で動く熱物体の位置と形状を検出できると共
に、位置と形状を求めるためのステレオ視の処理を元の
画像よりも小さい範囲に限定できるため、計算量を減ら
せるとともに、対応点探索の精度を向上でき、結果的に
位置と形状の検出精度を向上した装置が得られる効果が
ある。また、人体などの動く熱物体のみを検出できる効
果がある。

【００５８】また、請求項７に記載の発明によれば、請
求項６に記載の発明において動く熱物体の存在可能領域
が存在した場合にのみ画像撮像手段により画像を撮像す
るようにしたため、画像を撮像する回数を低減でき、そ
の結果として消費電力を低減した装置が得られる効果が
ある。

【００５９】また、請求項８に記載の発明によれば、請
求項５から７のいずれかに記載の発明における動き検出
手段として、小領域内の近接領域からの赤外線量の差分
の変化より小領域内の熱物体の動きを検出する差分方式
焦電型赤外線動きセンサをアレイ化したものを用いるよ
うにしたので、一般家庭でも利用できる程度に安価で、
かつ外乱光などにも頑強な装置が得られる効果がある。

【００６０】また、請求項９に記載の発明によれば、請
求項３または７に記載の発明における画像撮像手段を人
工網膜ＬＳＩを用いて構成し、人工網膜ＬＳＩのランダ
ムアクセス機能により、ステレオ視処理領域の画像のみ
を撮像するようにしたので、撮像する画像のデータ量を
低減でき、画像撮像手段よりデータ処理手段へより短時
間で画像データを送れると共に、データ処理手段で画像
データを蓄えておくためのメモリ量を節減でき、結果的
に安価で高速な装置が得られる効果がある。

【００６１】また、請求項１０に記載の発明によれば、
請求項１から８のいずれかに記載の発明における画像撮
像手段を人工網膜ＬＳＩを用いて構成し、人工網膜ＬＳ
Ｉのエッジ抽出機能により、エッジ抽出画像を撮像する
ようにしたので、対応点探索などのために画像中のエッ
ジを抽出する処理が不要になり、データ処理手段におけ
る演算時間を短縮でき、その結果として高速な装置が得
られる効果がある。

【００６２】また、請求項１１に記載の発明によれば、
請求項１から１０のいずれかに記載の発明において検出
された熱物体の位置と形状をもとに、熱物体が人体であ
るかどうかを判断し、人体であればその姿勢を検出する
ようにしたので、人体の位置や姿勢を元に人の異常を検
知したり機器を制御する装置で利用できる効果がある。

【図面の簡単な説明】

【図１】実施の形態１の熱物体の位置と形状を検出す
る装置を説明するための図である。

【図２】実施の形態１による熱物体の位置と形状を検
出する装置の動作手順を示すフローチャートである。

【図３】左側の赤外画像撮像手段により撮像された赤
外画像である。

【図４】右側の赤外画像撮像手段により撮像された赤
外画像である。

【図５】左側の画像撮像手段により撮像された画像で
ある。

【図６】右側の画像撮像手段により撮像された画像で
ある。

【図７】左側画像中に熱物体の存在可能領域を示した
図である。

【図８】右側画像中に熱物体の存在可能領域を示した
図である。

【図９】ステレオ視による物体の位置と形状の検出結
果を示す図である。

【図１０】実施の形態１の熱物体の位置と形状を検出
する装置により得られた熱物体のみの位置と形状の検出
結果である。

【図１１】実施の形態２の熱物体の位置と形状を検出
する装置を説明するための図である。

【図１２】赤外画像撮像手段により撮像された赤外画
像である。

【図１３】左側画像に熱物体の存在可能領域を示した
図である。

【図１４】右側画像に熱物体の存在可能領域を示した
図である。

【図１５】実施の形態３による熱物体の位置と形状を
検出する装置の動作手順を示すフローチャートである。

【図１６】左側画像中にステレオ視処理領域を示した
図である。

【図１７】右側画像中にステレオ視処理領域を示した
図である。

【図１８】実施の形態４の熱物体の位置と形状を検出
する装置を説明するための図である。

【符号の説明】

１ａ左側の画像撮像手段、１ｂ右側の画像撮像手
段、２ａ左側の赤外画像撮像手段、２ｂ右側の赤外
画像撮像手段、３データ処理手段、４人体、
５ソファ、６ａ左側赤外画像、６ｂ右側赤外
画像、６ｃ赤外画像、７ａ左側画像、７ｂ右側
画像、７ｃ左側画像、７ｄ右側画像、８足、
９頭、１０熱物体の存在可能領域、１１熱
物体、１２高さの上限、１３ステレオ視処理領
域、１４ａ左側の動き検出手段、１４ｂ右側の動き
検出手段。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０１Ｊ 1/42 Ｇ０８Ｂ 25/04 ＫＧ０１Ｖ 8/10 Ｈ０４Ｎ 7/18 ＤＧ０８Ｂ 25/04 Ｇ０１Ｂ 11/24 ＫＨ０４Ｎ 7/18 Ｇ０１Ｖ 9/04 Ｓ (72)発明者竹田淳東京都千代田区丸の内二丁目２番３号三菱電機株式会社内 (72)発明者久間和生東京都千代田区丸の内二丁目２番３号三菱電機株式会社内Ｆターム(参考） 2F065 AA04 AA06 AA12 AA37 AA51 BB05 CC16 DD06 FF05 FF09 GG09 GG21 JJ03 JJ05 JJ26 QQ03 QQ23 QQ24 QQ25 QQ36 2F112 AC04 BA05 CA01 CA12 DA21 FA03 FA07 FA36 2G065 AA04 AA11 AB02 AB04 BA04 BA13 BA34 BC11 BC13 BC14 BC35 DA20 5C054 CA04 CA05 CC02 CE02 CE16 EA05 FC03 FC12 FC13 FC14 FC15 FD01 HA12 HA19 5C087 DD03 DD24 EE14 EE18 FF01 FF02 FF19 GG02

Claims

【特許請求の範囲】

【請求項１】予め設定した監視領域の赤外画像を撮像
するための少なくとも１台の赤外画像撮像手段と、前記
監視領域の画像を撮像するための少なくとも２台の画像
撮像手段と、得られた前記赤外画像と前記画像を処理し
て熱物体の位置と形状を検出するデータ処理手段とを備
え、データ処理手段によって、前記赤外画像より熱物体
の存在可能領域を検出すると共に、前記画像を用いたス
テレオ視により物体の位置と形状を検出し、前記熱物体
の存在可能領域と前記物体の位置と形状を組み合わせる
ことにより熱物体の位置と形状を検出することを特徴と
する熱物体の位置と形状の検出装置。
【請求項２】予め設定した監視領域の赤外画像を撮像
するための少なくとも１台の赤外画像撮像手段と、前記
監視領域の画像を撮像するための少なくとも２台の画像
撮像手段と、得られた前記赤外画像と前記画像を処理し
て熱物体の位置と形状を検出するデータ処理手段とを備
え、データ処理手段によって、前記赤外画像より熱物体
の存在可能領域を検出し、該熱物体の存在可能領域を元
に前記画像中にステレオ視処理領域を設定し、該ステレ
オ視処理領域内の画像のみを用いてステレオ視により熱
物体の位置と形状を検出することを特徴とする熱物体の
位置と形状の検出装置。
【請求項３】前記赤外画像より熱物体の存在可能領域
を検出した結果、該熱物体の存在可能領域が存在した場
合にのみ前記画像撮像手段により画像を撮像し、撮像し
た画像中にステレオ視処理領域を設定することを特徴と
する請求項２記載の熱物体の位置と形状の検出装置。
【請求項４】前記赤外画像撮像手段として、焦電型赤
外線センサをアレイ化したものを用いることを特徴とす
る請求項１から３のいずれかに記載の熱物体の位置と形
状の検出装置。
【請求項５】予め設定した監視領域を分割した小領域
ごとの熱物体の動きを検出する少なくとも１台の動き検
出手段と、前記監視領域の画像を撮像するための少なく
とも２台の画像撮像手段と、前記動き検出手段により得
られた動き検出結果と前記画像を処理して熱物体の位置
と形状を検出するデータ処理手段とを備え、データ処理
手段によって、前記動き検出結果を元に動く熱物体の存
在可能領域を検出すると共に、前記画像を用いたステレ
オ視により監視領域内の物体の位置と形状を検出し、前
記動く熱物体の存在可能領域と前記物体の位置と形状を
組み合わせることにより熱物体の位置と形状を検出する
ことを特徴とする熱物体の位置と形状の検出装置。
【請求項６】予め設定した監視領域を分割した各小領
域ごとの熱物体の動きを検出する少なくとも１台の動き
検出手段と、前記監視領域の画像を撮像するための少な
くとも２台の画像撮像手段と、前記動き検出手段により
得られた動き検出結果と前記画像を処理して熱物体の位
置と形状を検出するデータ処理手段とを備え、データ処
理手段によって、前記動き検出結果を元に動く熱物体の
存在可能領域を検出し、該動く熱物体の存在可能領域を
元に前記画像中にステレオ視処理領域を設定し、該ステ
レオ視処理領域内の画像のみを用いてステレオ視により
熱物体の位置と形状を検出することを特徴とする熱物体
の位置と形状の検出装置。
【請求項７】前記動き検出結果を元に動く熱物体の存
在可能領域を検出した結果、該動く熱物体の存在可能領
域が存在した場合にのみ前記画像撮像手段により画像を
撮像し、撮像した画像中にステレオ視処理領域を設定す
ることを特徴とする請求項６記載の熱物体の位置と形状
の検出装置。
【請求項８】前記動き検出手段として、小領域内の近
接領域からの赤外線量の差分の変化より小領域内の熱物
体の動きを検出する差分方式焦電型赤外線動きセンサを
アレイ化したものを用いることを特徴とする請求項５か
ら７のいずれかに記載の熱物体の位置と形状の検出装
置。
【請求項９】前記画像撮像手段を人工網膜ＬＳＩを用
いて構成し、人工網膜ＬＳＩのランダムアクセス機能に
より、前記ステレオ視処理領域の画像のみを撮像し、撮
像した画像を用いたステレオ視により熱物体の位置と形
状を検出することを特徴とする請求項３または７記載の
熱物体の位置と形状の検出装置。
【請求項１０】前記画像撮像手段を人工網膜ＬＳＩを
用いて構成し、人工網膜ＬＳＩのエッジ抽出機能によ
り、前記画像としてエッジ抽出画像を撮像することを特
徴とする請求項１から８のいずれかに記載の熱物体の位
置と形状の検出装置。
【請求項１１】検出された熱物体の位置と形状をもと
に、前記データ処理部において、熱物体が人体であるか
どうかを判断し、人体であればその姿勢を検出すること
を特徴とする請求項１から１０のいずれかに記載の熱物
体の位置と形状の検出装置。