JP4365699B2 - 状態解析装置 - Google Patents

Description

本発明は、状態解析装置に関し、特に対象物の状態の異常を正確に把握できる状態解析装置に関するものである。

空間内、例えば風呂場やトイレ等での対象物、例えば人物の動きを検出する動き検出装置として、従来から、動き検出センサが提案されている。代表的な例としては、ベッド上の就寝者にパターンを投影し、投影されたパターンを連続的に撮像した画像からパターンの移動量を算出することで、就寝者の呼吸を監視する監視装置があった（例えば、特許文献１参照。）。
特開２００２−１７５５８２号公報 （第５−９頁、第１−１３図）

しかしながら以上のような従来の装置によれば、対象物の各部位の状態、例えば動きのある部位の動きの方向、動きの状態を正確に把握しづらかった。さらに言えば、例えば上体の平均的な動きの大きさに現れない異常は検出しづらかった。

そこで本発明は、対象物の状態の異常を正確に把握できる状態解析装置を提供することを目的としている。

上記目的を達成するために、請求項１に係る発明による状態解析装置１は、例えば図１、図４に示すように、対象領域に存在する対象物２の高さ方向の動きを複数の測定点で測定する三次元センサ１０と；前記測定された複数の動きに基づいて、対象物２の状態を示す情報を演算する演算手段２０とを備え；演算手段２０は、前記複数の測定点のうち前記動きのあった測定点が形成する領域における位置座標の重み付け無し代表座標を計算する重み付け無し代表位置演算手段２２と、前記動きのあった測定点のそれぞれの位置座標について当該測定点における前記動きの量に関する量で重み付けを行った値に基づいて、前記動きのあった測定点が形成する領域の重み付け重心座標を計算する重み付け重心位置演算手段２３と、前記重み付け無し代表座標と前記重み付け重心座標との差が閾値より大きくなる場合には、警告データを出力するデータ出力手段２４とを有する。なお、重み付け無し代表位置演算手段２２が、前記動きのあった測定点のすべての位置座標の平均値を前記重み付け無し代表座標とする計算を行うこととしてもよい。

このように構成すると、対象領域に存在する対象物２の高さ方向の動きを複数の測定点で測定する三次元センサ１０と、前記測定された複数の動きに基づいて、対象物２の状態を示す情報を演算する演算手段２０とを備えているので、演算手段２０が三次元センサ１０により測定された複数の動きに基づいて、対象物２の状態を示す情報を演算できる。さらに演算手段２０は、重み付け無し代表位置演算手段２２と、重み付け重心位置演算手段２３と、データ出力手段２４とを有しているので、前記複数の測定点の位置座標の重み付け無し代表座標と、前記複数の測定点の動きの量に関する量で重み付けを行った値に基づいて、前記動きのある測定点が形成する領域の重み付け重心座標とを計算でき、前記重み付け無し代表座標と前記重み付け重心座標との差が閾値より大きくなる場合には、警告データを出力するので、対象物の状態の異常を正確に把握できる状態解析装置１を提供できる。

また請求項２に記載のように、請求項１に記載の状態解析装置１では、重み付け無し代表位置演算手段２２及び重み付け重心位置演算手段２３は、前記複数の測定点の一次元方向の座標のみを用いて重み付け無し代表座標及び重み付け重心座標の計算を行うことを特徴とするとよい。

また請求項３に記載のように、請求項１又は請求項２に記載の状態解析装置１では、例えば図２に示すように、三次元センサ１０は、対象領域にパターン光を投影する投影装置１１と；前記パターン光が投影された対象領域を撮像する撮像装置１２と；前記撮像された像上のパターンの移動を測定する測定手段１４とを有し；前記測定されたパターンの移動に基づいて、対象物２の高さ方向の動きを複数の点で測定することを特徴とするとよい。

このように構成すると、投影装置１１と、撮像装置１２と、測定手段１４とを有しており、パターン光が投影された対象領域を撮像し、前記撮像された像上のパターンの移動を測定して、さらに、前記測定されたパターンの移動に基づいて、対象物２の高さ方向の動きを複数の点で測定するので、単純な構成でありながら、正確に対象物２の高さ方向の動きを複数の点で測定できる。

また請求項４に記載のように、請求項１乃至請求項３のいずれか１項に記載の状態解析装置１では、三次元センサ１０で測定された動きの量が閾値以下である測定点は、演算手段２０による演算に使用しないことを特徴とするとよい。

また請求項５に記載のように、請求項１乃至請求項４のいずれか１項に記載の状態解析装置１では、三次元センサ１０で測定された動きの周波数が閾値以上である測定点は、演算手段２０による演算に使用しないことを特徴としてもよい。

以上のように、本発明によれば、対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサと、前記測定された複数の動きに基づいて、前記対象物の状態を示す情報を演算する演算手段とを備え、前記演算手段は、前記複数の測定点の位置座標の重み付け無し代表座標を計算する重み付け無し代表位置演算手段と、前記複数の測定点の動きの量に関する量で重み付けを行った値に基づいて、前記動きのある測定点が形成する領域の重み付け重心座標を計算する重み付け重心位置演算手段と、前記重み付け無し代表座標と前記重み付け重心座標との差が閾値より大きくなる場合には、警告データを出力するデータ出力手段とを有するので、対象物の状態の異常を正確に把握できる状態解析装置を提供できる。

以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号を付し、重複した説明は省略する。

図１は、本発明による実施の形態である状態解析装置としての監視装置１の模式的外観図である。監視装置１は、対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサ１０と、三次元センサ１０により測定された複数の動きに基づいて、対象物の状態を示す情報を演算する演算手段としての演算装置２０とを含んで構成される。演算装置２０は、監視装置１を制御するものでもある。また監視装置１は、対象領域を監視するように構成されている。本実施の形態では、対象物は、呼吸をするものである。即ち対象物は、例えば人物や動物である。本実施の形態では、対象物は人物２として説明する。また対象物の高さ方向の動きは、呼吸による動きである。即ち高さ方向の動きは人物２の呼吸による動きである。また本実施の形態では、対象領域はベッド３上である。さらに言えば、対象領域はベッド３上で後述の撮像装置１２（図２参照）で撮像された領域である。また、三次元センサ１０は、対象領域内の各測定点での高さも測定できるものでもある。

また、図中ベッド３上に、人物２が横たわって存在している。また、人物２の上には、さらに寝具４がかけられており、人物２の一部と、ベッド３の一部とを覆っている。この場合には、三次元センサ１０は、寝具４の上面の高さ方向の動きを測定している。また寝具４を使用しない場合には、三次元センサ１０は、人物２そのものの高さ方向の動きを測定する。

また、ベッド３の上部には、三次元センサ１０が配置されている。三次元センサ１０については後で詳述する。なお、図示では、三次元センサ１０と演算装置２０とは別体として示してあるが、一体に構成してもよい。このようにすると、監視装置１を小型化することができる。演算装置２０は、典型的にはパソコン等のコンピュータである。

図２の模式的外観図を参照して、三次元センサ１０について説明する。本実施の形態では、三次元センサ１０は三角測量法を用いて人物２の高さ方向の動きを測定するものである。ここではＦＧセンサを用いる場合で説明する。なおＦＧセンサについては後で詳述する。以下、三次元センサ１０をＦＧセンサ１０として説明する。ＦＧセンサ１０は、対象領域即ちベッド３上にパターン光を投影する投影装置１１と、パターン光が投影されたベッド３上を撮像する撮像装置１２と、撮像装置１２で撮像された像上のパターンの移動を測定する測定手段としての測定装置１４とを含んで構成される。さらに測定装置１４は、測定されたパターンの移動に基づいて、人物２の高さ方向の動きを複数の点で測定するように構成される。また、投影装置１１と、撮像装置１２は、測定装置１４に電気的に接続され、測定装置１４に制御されている。撮像装置１２は、典型的にはＣＣＤカメラである。なお、本実施の形態では、測定装置１４は、演算装置２０と一体に構成される。

またここでは、投影されるパターン光は、複数の輝点である。そして、ベッド３上に投影された複数の輝点は、ベッド３上の複数の測定点にそれぞれ対応する。即ち複数の測定点はベッド３上に存在する人物２に投影された各輝点に対応する。さらに言えば、複数の測定点は人物２に投影された各輝点のうち撮像装置１２で撮像された像の画角内に存在する輝点に対応する。また、複数の点で測定された人物２の高さ方向の動きは、図６で後述する輝点の移動に対応する（なお動きの量は輝点の移動量に対応）。以下、各構成について説明する。

図３の模式的斜視図を参照して、監視装置１に適した投影装置１１について説明する。なおここでは、説明のために、対象領域を平面１０２とし、後述のレーザ光束Ｌ１を平面１０２に対して垂直に投射する場合で説明する。投影装置１１は、可干渉性の光束を発生する光束発生手段としての光束発生部１０５と、ファイバーグレーティング１２０（以下、単にグレーティング１２０という）とを備えている。光束発生部１０５により投射される可干渉性の光束は、典型的には赤外光レーザである。光束発生部１０５は、平行光束を発生するように構成されている。光束発生部１０５は、典型的には不図示のコリメータレンズを含んで構成される半導体レーザ装置であり、発生される平行光束は、レーザ光束Ｌ１である。そしてレーザ光束Ｌ１は、断面が略円形状の光束である。ここで平行光束とは、実質的に平行であればよく、平行に近い光束も含む。

またここでは、グレーティング１２０は、平面１０２に平行に（Ｚ軸に直角に）配置される。グレーティング１２０に、レーザ光Ｌ１を、Ｚ軸方向に入射させる。するとレーザ光Ｌ１は、個々の光ファイバー１２１により、そのレンズ効果を持つ面内で集光したのち、発散波となって広がって行き、干渉して、投影面である平面１０２に複数の輝点アレイであるパターン１１ａが投影される。なお、グレーティング１２０を平面１０２に平行に配置するとは、例えば、グレーティング１２０を構成するＦＧ素子１２２の各光ファイバー１２１の軸線を含む平面と、平面１０２とが平行になるように配置することである。

また、グレーティング１２０は、２つのＦＧ素子１２２を含んで構成される。本実施の形態では、各ＦＧ素子１２２の平面は、互いに平行である。以下、各ＦＧ素子１２２の平面を素子平面という。また、本実施の形態では、２つのＦＧ素子１２２の光ファイバー１２１の軸線は、互いにほぼ直交している。

ＦＧ素子１２２は、例えば、直径が数１０ミクロン、長さ１０ｍｍ程度の光ファイバー１２１を数１０〜数１００本程度、平行にシート状に並べて構成したものである。また、２つのＦＧ素子１２２は、接触して配置してもよいし、それぞれの素子平面の法線方向に距離を空けて配置してもよい。この場合には、２つのＦＧ素子１２２の互いの距離は、パターン１１ａの投影に差支えない程度とする。レーザ光束Ｌ１は、典型的には、グレーティング１２２の素子平面に対して垂直に入射させる。なお、ここではＦＧ素子１２２を用いたグレーティング１２０で説明するが、これに限られずグレーティング１２０の代わりとして、例えば回折格子やマイクロレンズアレイを用いたグレーティングであってもよい。

このように、投影装置１１は、２つのＦＧ素子１２２を含んで構成されたグレーティング１２０が光学系となるので、複雑な光学系を必要とすることなく、光学筐体を小型化できる。さらに投影装置１１は、グレーティング１２０を用いることで、単純な構成で、複数の輝点１１ｂをパターン１１ａとして対象領域に投影できる。なお、パターン１１ａは、典型的には正方格子状に配列された複数の輝点１１ｂである。また、輝点の形状は楕円形を含む略円形である。

図２に戻って説明する。撮像装置１２は、結像光学系１２ａ（図５参照）と撮像素子１５（図５参照）を有するものである。撮像素子１５は、典型的にはＣＣＤ撮像素子である。また、撮像素子１５として、ＣＣＤの他にＣＭＯＳ構造の素子が最近盛んに発表されており、それらも当然使用可能である。特にこれらの中には、素子自体にフレーム間差算や二値化の機能を備えたものがあり、これらの素子の使用は好適である。

撮像装置１２は、前述の光束発生部１０５（図３参照）により発生されるレーザ光束Ｌ１の波長の周辺部以外の波長の光を減光するフィルタ１２ｂ（図５参照）を備えるとよい。フィルタ１２ｂは、典型的には干渉フィルタ等の光学フィルタであり、結像光学系１２ａの光軸上に配置するとよい。このようにすると、撮像装置１２は、撮像素子１５に受光する光のうち、投影装置１１より投影されたパターン１１ａの光の強度が相対的にあがるので、外乱光による影響を軽減できる。また、光束発生部１０５により発生されるレーザ光束Ｌ１は、典型的には赤外光レーザの光束である。また、レーザ光Ｌ１は、継続的に照射してもよいし、断続的に照射してもよい。断続的に照射する場合には、撮像装置１２による撮像を、照射のタイミングに同期させて行うようにする。

ここで、ＦＧセンサ１０の設置例について説明する。投影装置１１と、撮像装置１２は、ベッド３の上方に配置されている。図示では、人物２のおよそ頭部上方に撮像装置１２が、ベッド３のおよそ中央部上方に投影装置１１が配置されている。投影装置１１は、ベッド３上にパターン１１ａを投影している。また、撮像装置１２の画角は、およそベッド３の中央部分を撮像できるように設定されている。さらに言えば、ベッド３上に存在する人物２の主に胸部と腹部を撮像できるような画角に設定されている。即ち撮像装置１２は主に人物２の胸部と腹部に投影された輝点を撮像している。このように、呼吸の動きが反映されやすい胸部と腹部に投影された輝点を撮像することで、呼吸を精度良く測定しやすくなる。またＦＧセンサ１０は、投影装置１１と撮像装置１２とを結ぶ直線の方向即ち三角測量法の基線方向がベッド３の長手方向の中心線と平行になるように設置されている。さらに言えば、ＦＧセンサ１０は、ＦＧセンサ１０の基線方向とベッド３の長手方向の中心線が平行であり、且つ投影装置１１と撮像装置１２とを結ぶ基線がベッド３の長手方向の中心線のおよそ鉛直上方に位置するように配置されている。なおここでは基線方向は、ベッド３の長手方向の中心線と平行である場合で説明するが、例えばベッド３の長手方向の中心線と直交する方向としてもよい。この場合であっても人物２の動きの測定には支障ない。

投影装置１１は、ここでは、その光軸（レーザ光束Ｌ１の投射方向）を、図示のように、ベッド３の上面の垂直方向対して、およそ平行方向に設置する。なおここでは、上記のように、投影装置１１は、その光軸をベッド３の上面の垂直方向に対しておよそ平行方向に設置するが、前記垂直方向に対して、傾けて設置してもよい。

またここでは、撮像装置１２は、その光軸をベッド３の上面の垂直方向に対して、傾けて設置する。このようにすることで、例えば撮像装置１２と投影装置１１との距離を離して設置することが容易に行える。言い換えれば、三角測量法の基線長を長く取ることが容易に行える。なおここでは、上記のように、撮像装置１２は、その光軸をベッド３の上面の垂直方向に対して傾けて設置するが、投影装置１１と同様に、その光軸をベッド３の上面の垂直方向に対し、およそ平行方向に設置してもよい。さらに、投影装置１１と撮像装置１２は、それぞれの光軸を、互いに平行方向に向けて設置してもよい。

また、投影装置１１と撮像装置１２とは、ある程度距離を離して設置するとよい。このようにすることで、図５で後述する距離ｄ（基線長ｄ）が長くなるので、変化を敏感に検出できるようになる。なお、基線長は長く取ることが好ましいが、短くてもよい。但しこの場合には、呼吸等の小さな動きを検出しにくくなるが、後述のように、輝点の重心位置を検出するようにすれば、小さな動き（呼吸）の検出も可能である。

図４のブロック図を参照して、監視装置１の構成例について説明する。前述のように、演算装置２０は、測定装置１４と一体に構成されている。さらに言えば、測定装置１４は、後述の制御部２１に一体に構成される。そして投影装置１１と、撮像装置１２は、前述のように、測定装置１４に電気的に接続されており、制御されている。本実施の形態では、演算装置２０は、投影装置１１と、撮像装置１２に対し遠隔的に配置されている。具体的には、例えば、ベッド３の脇や、ベッド３が設置されている部屋とは別の部屋、例えばナースステーション等に設置される。

まず測定装置１４について説明する。測定装置１４は、前述のように、撮像装置１２で撮像された像上のパターンの移動を測定するものであり、さらに測定されたパターンの移動に基づいて、人物２の高さ方向の動きを複数の点で測定するものである。測定装置１４は、撮像装置１２で撮像した像を取得できるように構成されている。さらに測定装置１４は、撮像装置１２により撮像された像上の各輝点の移動を測定するように構成されている。なおここでは、投影された輝点も撮像された像上の輝点の像も、便宜上単に輝点という。またここでは、輝点の移動を測定するとは、輝点の移動の量（以下移動量という）を測定することをいう。

ここで、測定装置１４による輝点の移動の測定について詳述する。測定装置１４は、撮像装置１２から取得した異なる２時点の像に基づいて、輝点の移動を測定するように構成されている。

ここで、異なる２時点の像に基づく、輝点の移動の測定について説明する。異なる２時点の像は、任意の時点とそのわずかに前の時点とするとよい。わずかに前とは、人物２の動きを検出するのに十分な時間間隔だけ前であればよい。この場合、人物２のわずかな動きも検出したいときは短く、例えば人物２の動きが大きくなり過ぎず、実質的にはほぼ動き無しとみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０〜１／３）とするとよい。また、人物２の大まかな動きを検出したいときは長く、例えば１０秒程度としてもよい。但し、本実施の形態のように、人物２の呼吸も検出する場合では長くし過ぎると、正確な呼吸の検出が行えなくなるので、例えば１分などにするのは適切でない。以下、任意の時点（現在）で取得した像を取得像、取得像よりわずかに前（過去）に取得した像を参照像として説明する。なお、参照像は、記憶部３１内に保存される。本実施の形態では、異なる２時点の像は、取得像（Ｎフレーム）と、取得像の１つ前に取得した像（Ｎ−１フレーム）とする。即ち参照像は、取得像の１つ前に取得した像である。また、像の取得間隔は、例えば装置の処理速度や、上述のように検出したい動きの内容により適宜決めるとよいが、例えば０．１〜３秒、好ましくは０．１〜０．５秒程度とするとよい。また、より短い時間間隔で像を取得し、平均化またはフィルタリングの処理を行うことで、例えばランダムノイズの影響を低減できるので有効である。

なお、任意の時点とそのわずかに前の時点の異なる２時点の像に基づく、輝点の移動の測定で得られる波形（例えば輝点の移動量の総和など）は、距離の微分波形、即ち速度変化を表す波形になる。また例えば、高さ変化を表すような波形を得たいときは、前記波形を積分すれば距離の波形、即ち高さ変化を示す波形になる。

ここで、取得像と参照像は、例えば撮像装置１２により撮像された像であるが、それぞれの像上での、輝点の位置情報も含む概念である。即ち、取得像と参照像は、各々の時点で、投影装置１１の投影により形成されたパターン１１ａの像である。なお、本実施の形態では、参照像は、例えば、いわゆる像としてではなく、各輝点の位置に関する、座標等の位置情報の形で、記憶部３１に保存される。なお、ここでの座標は例えば撮像装置１２で撮像された画像内で設定されるものである。このようにすると、後述する輝点の移動量を測定する際に、例えば輝点の座標や方向を比較するだけで済むので処理が単純になる。さらに、ここでは、輝点の位置は、輝点の重心位置とする。このようにすることで、僅かな輝点の移動も測定することができる。

また、輝点の移動量は、前述のように、記憶部３１に保存された参照像上の各輝点の位置情報と、取得像上の各輝点の位置情報とを比較することで、輝点の移動量を測定する。なお、それぞれの移動量は、例えば、輝点の位置が移動した画素数（何画素移動したか）を計数することで求められる。測定される輝点の移動量は、輝点の移動方向を含む概念である。即ち、測定される輝点の移動量には、移動した方向の情報も含まれる。このようにすると、後述のように、差分像を生成しないで済むので処理を単純化できる。

なお上記では、輝点の位置情報を比較する場合で説明したが、参照像と取得像との差分像を作成してもよい。この場合、この差分像から対応する輝点の位置に基づいて、輝点の移動量を測定する。このようにすると、移動した輝点のみが差分像上に残るので、処理量を減らすことができる。

さらに、測定装置１４により測定された輝点の移動量は、過去一定回数測定された、または過去一定期間内に測定された輝点の移動量の移動平均値、または期間平均値としてもよい。このようにすることで、ランダムノイズや窓から差し込む日光のちらつきなどによる突発的なノイズが軽減でき、測定した輝点の移動量の信頼性が向上する。

測定装置１４は、以上のような、輝点の移動の測定を、パターン１１ａを形成する各輝点毎に行うように構成される。即ち複数の輝点の位置が複数の測定点となる。測定装置１４は、パターン１１ａを形成する各輝点毎に測定した輝点の移動、即ち測定した輝点の移動量を測定結果として制御部２１へ出力する。即ち、測定結果は、異なる２時点の像に基づいて測定した輝点の移動量である。この測定結果は図５で後述するように、各輝点（測定点）での対象物ここでは人物２の高さ方向の動きに対応している。以下、この測定結果を動き情報と呼ぶ。測定装置１４は、各測定点での前記測定結果を動き情報として出力する。なお、人物２の高さ方向の動きは、例えば人物２の呼吸に伴う動きである。

ここで、図５の概念的斜視図を参照して、輝点の移動の概念について説明する。ここでは、判りやすく、対象領域を平面１０２、対象物を物体１０３として説明する。さらにここでは、説明のために、参照像は、物体１０３が平面１０２に存在しないときのパターン１１ａの像であり、取得像は、物体１０３が平面１０２に存在しているときのパターン１１ａとして説明する。

図中物体１０３が、平面１０２上に載置されている。またＸＹ軸を平面１０２内に置くように、直交座標系ＸＹＺがとられており、物体１０３はＸＹ座標系の第１象限に置かれている。一方、図中Ｚ軸上で平面１０２の上方には、投影装置１１と、撮像装置１２とが配置されている。撮像装置１２は、投影装置１１によりパターン１１ａが投影された平面１０２を撮像する。即ち平面１０２上に載置された物体１０３を撮像する。

撮像装置１２の結像光学系としての結像レンズ１２ａは、ここでは、その光軸がＺ軸に一致するように配置されている。そして、結像レンズ１２ａは、平面１０２あるいは物体１０３上のパターン１１ａの像を、撮像装置１２の撮像素子１５の結像面１５’（イメージプレーン）に結像する。結像面１５’は、典型的にはＺ軸に直交する面である。さらに、結像面１５’内にｘｙ直交座標系をとり、Ｚ軸が、ｘｙ座標系の原点を通るようにする。平面１０２から結像レンズ１２ａと等距離で、結像レンズ１２ａからＹ軸の負の方向に距離ｄ（基線長ｄ）だけ離れたところに、投影装置１１が配置されている。物体１０３と平面１０２には、投影装置１１により複数の輝点１１ｂが形成するパターン１１ａが投影される。なお、ｙ軸方向は、三角測量法の基線方向でもある。

投影装置１１により平面１０２に投影されたパターン１１ａは、物体１０３が存在する部分では、物体１０３に遮られ平面１０２には到達しない。ここで物体１０３が存在していれば、平面１０２上の点１０２ａに投射されるべき輝点１１ｂは、物体１０３上の点１０３ａに投射される。輝点１１ｂが点１０２ａから点１０３ａに移動したことにより、また結像レンズ１２ａと投影装置１１とが距離ｄ（基線長ｄ）だけ離れているところから、結像面１５’上では、点１０２ａ’（ｘ，ｙ）に結像すべきところが点１０３ａ’（ｘ，ｙ＋δ）に結像する。即ち、物体１０３が存在しない時点と物体１０３が存在する時点とは、輝点１１ｂの像がｙ軸方向に距離δだけ移動することになる。

これは、例えば図６に示すように、撮像素子１５の結像面１５’に結像した輝点は、高さのある物体１０３により、δだけｙ軸方向に移動することになる。

このように、この輝点の移動量δを測定することにより、物体１０３上の点１０３ａの位置が三次元的に特定できる。即ち、例えば点１０３ａの高さがわかる。このように、ある点が、物体１０３が存在しなければ結像面１５’上に結像すべき点と、結像面１５’上の実際の結像位置との差を測定することにより、物体１０３の高さの分布、言い換えれば三次元形状が測定できる。あるいは物体１０３の三次元座標が測定できる。また、輝点１１ｂの対応関係が不明にならない程度に、パターン１１ａのピッチ、即ち輝点１１ｂのピッチを細かくすれば、物体１０３の高さの分布はそれだけ詳細に測定できることになる。

以上のような概念に基づいて、測定装置１４は、輝点の移動量を測定することで対象物の高さが測定できる。但しここでは、取得像と、取得像の１つ前に取得した像即ち参照像に基づいて、高さ方向の動きを測定するので、輝点の移動の変化量を見ることになる。このため、例えば人物２の絶対的な高さは測定できなくなるが、人物２の高さ方向の動きを検出することが目的であるので問題は無い。

さらに監視装置１は、ＦＧセンサ１０で測定された動きの量が閾値以下である測定点は、演算装置２０による演算に使用しないように構成されている。本実施の形態では、測定装置１４で測定された動きの量が閾値以下である測定点のデータを演算装置２０へ出力しないように構成されている。閾値は典型的には人物２の呼吸の動きより小さく設定する。具体的には、人物２の呼吸より小さな動き、さらに言えばこの小さな動きに対応する輝点の移動量より小さく設定する。これにより、呼吸より小さな動きが測定された測定点を無視することができる。このようにすることで、例えばノイズによる影響を効果的に排除することができる。なお呼吸の動きより小さい動きとは、呼吸による高さ方向の動きの範囲より小さい動きのことをいう。上述のように、ここでは輝点の移動量は輝点の移動の変化量、言い換えれば動きの速度を示しているので、呼吸より小さな動きとは、例えば呼吸による高さ方向の動きの速度の範囲が２〜４０ｍｍ／ｓ程度である場合に２ｍｍ／ｓ以下の速度の動きのことをいう。即ちこの場合閾値は２ｍｍ／ｓに設定するとよい。さらに言えば動きの速度の２ｍｍ／ｓに対応する輝点の移動量に設定する。例えば毎秒４回の画像取得を行っている場合には、輝点の移動量の閾値は、人物２の動きの量０．５ｍｍ（２ｍｍ／ｓ÷４）に対応する輝点の移動量に設定する。

また監視装置１は、ＦＧセンサ１０で測定された動きの周波数が閾値以上である測定点は、前記演算手段による演算に使用しないように構成するとよい。本実施の形態では、測定装置１４で測定された動きの周波数が閾値以上である測定点のデータを演算装置２０へ出力しないように構成されている。周波数の閾値は、例えば人物の呼吸の周波数より高い周波数、例えば毎分６０サイクル程度に設定するとよい。ところで、大人の呼吸数は、毎分５〜３０サイクル程度の範囲にあるが、幼児の場合にはさらに呼吸数が多くなる傾向があるので、これを考慮して周波数の閾値を設定するとよい。これにより、呼吸の周波数より高い周波数の動きが測定された測定点を無視することができる。このようにすることで、呼吸の動きに関係ない動き例えばノイズによる影響を効果的に排除することができる。

図４に戻って、演算装置２０について説明する。演算装置２０は、監視装置１を制御する制御部２１を備えている。さらに制御部２１には、記憶部３１が接続されている。記憶部３１は、撮像装置１２から取得した像を時系列的に記憶するようにするとよい。また記憶部３１には算出された情報等のデータが記憶できる。

制御部２１には、人物２の状態を示す情報を出力する情報出力手段としてのディスプレイ４０が接続されている。ディスプレイ４０は典型的にはＬＣＤである。ディスプレイ４０は、例えば後述の警告データ出力部２４により出力される警告データ即ち人物２の呼吸に異常があることを示すデータを表示することにより出力する。また、本実施の形態のように、後述の波形データ出力部２５を備えている場合には、ディスプレイ４０は波形データ出力部２５により出力される人物２の呼吸の波形パターンを表示することにより出力するように構成されている。ディスプレイ４０は、典型的には呼吸の波形パターンをリアルタイム表示する。リアルタイム表示するとは、例えば後述の波形データ出力部２５により即時的に出力される人物２の呼吸の波形パターンを即時的に表示することである。

また制御部２１には、監視装置１を操作するための情報を入力する入力装置３５が接続されている。入力装置３５は例えばタッチパネル、キーボードあるいはマウスである。本図では、入力装置３５は、演算装置２０に外付けするものとして図示されているが、内蔵されていてもよい。

さらに、制御部２１内には、ＦＧセンサ１０の複数の測定点の位置座標の重み付け無し代表座標を計算する重み付け無し代表位置演算手段としての中心座標演算部２２と、複数の測定点の動きの量に関する量で重み付けを行った値に基づいて、動きのある測定点が形成する領域の重み付け重心座標を計算する重み付け重心位置演算手段としての重心座標演算部２３と、重み付け無し代表座標と重み付け重心座標との差が閾値より大きくなる場合には、警告データを出力するデータ出力手段としての警告データ出力部２４とが備えられている。言い換えれば、演算装置２０は中心座標演算部２２と、重心座標演算部２３と、警告データ出力部２４とを有している。また、前記複数の測定点の動きの量に関する量とは、言い換えれば、前記重み付け無し代表座標の計算の対象となった複数の測定点のそれぞれの動きの量に関する量のことである。

なおここでは、ＦＧセンサ１０で測定される複数の測定点の内、動きの無かった測定点、即ち輝点の移動が無かった測定点は無視して（除外して）上記計算（例えば中心座標、重心座標の計算）を行う。言い換えれば、ここで用いられる測定点は動きがあった測定点のことである。

ここでは中心座標演算部２２により計算される重み付け無し代表座標は、複数の測定点全て即ち動きのあった測定点全ての位置座標の平均値とする。以下この平均値を中心座標という。中心座標は次式で表される。

中心座標Ｘcenter＝｛Σ（Ｘｉ）｝÷ｎ ・・・（１）

ここでｎは全ての測定点を形成する測定点の数である。Ｘｉは各測定点の座標値である。２次元で計算するときには、例えばＸｉをｘ軸方向の座標値、Ｙｉをｙ軸方向の座標値としてそれぞれ中心座標Ｘcenter、Ｙcenterを計算する。また、人物２の動きの上方向下方向別言い換えれば輝点の移動方向別（図６（画像上）では左右方向別）に、例えば中心座標Ｘcenter-up、Ｘcenter-downを計算してもよい。

またここでは、重心座標演算部２３により計算される重み付け重心座標は、動きのある測定点が形成する領域内の各測定点の座標に、動きの量に関する量で重み付けを行った値の平均値とする。以下この平均値を重心座標という。なお動きの量に関する量は、典型的には各測定点での輝点の移動量である。さらに重みは符号無し（移動の方向の符号）である。即ち重心座標は、各測定点の座標に、輝点の移動量で重み付けを行った値の平均値である。重心座標は次式で表される。

重心座標Ｘcenter’＝｛Σ（Ｘｉ×｜ΔＺｉ｜）｝÷Σ｜ΔＺｉ｜ ・・・（２）

ここでΔＺｉは各測定点での重み即ち輝点の移動量である。また｜ΔＺｉ｜は各測定点での符号無し重み即ち輝点の移動量の絶対値である。なお前記中心座標Ｘcenterと同様に、２次元で計算するときには、例えばＸｉをｘ軸方向の座標値、Ｙｉをｙ軸方向の座標値としてそれぞれ重心座標Ｘcenter’、Ｙcenter’を計算する。

また重心座標は、中心座標と同様に、人物２の動きの上方向下方向別言い換えれば輝点の移動方向別（図６（画像上）では左右方向別）に、例えば重心座標Ｘcenter-up’、Ｘcenter-down’を計算してもよい。この場合には、全体の中心座標と比較する重心座標を、例えば動きの上下方向別の輝点の移動量の総和｜Ｚｉ｜（｜Ｚｉ_up｜、｜Ｚｉ_down｜等）の大きい方を用いて、後述の中心座標と重心座標の差を評価するようにしてもよい。またさらに、中心座標、重心座標共に動きの上下方向別（輝点の移動方向別）に計算した場合は、例えば上下方向別の輝点の移動量の総和｜Ｚｉ｜の大きい方を用いて、後述の中心座標と重心座標の差を評価するようにしてもよい。

警告データ出力部２４は、中心座標と重心座標との差が閾値より大きくなる場合に警告データを出力するものである。ここで閾値は、例えば中心座標と重心座標との差を対象領域の大きさ言い換えれば撮像装置１２の画角で除した値を％で表した値で表した場合に、５〜２０％程度とするとよい。この場合は人物２の呼吸の動きが明らかに偏った動きであるものと見ることができる。なお、中心座標と重心座標との差が大きい場合には、動きのある部分（領域）の中心部で動きが最大（振幅最大）ではなく、偏った位置で最大になっている可能性がある。この場合には例えば慢性閉塞性肺疾患（ＣＯＰＤ：ｃｈｒｏｎｉｃ ｏｂｓｔｒｕｃｔｉｖｅ ｐｕｌｍｏｎａｒｙ ｄｉｓｅａｓｅ）である可能性もある。ところで慢性閉塞性肺疾患とは、慢性気管支炎、肺気腫、びまん性汎細気管支炎等に代表される気道の障害や機能不全によって、主に閉塞性の換気障害をきたす症候群のことである。警告データは人物２の呼吸に異常があることを示すデータである。警告データ出力部２４は、典型的には警告データをリアルタイムに出力する。リアルタイムに出力するとは、例えば中心座標と重心座標との差が閾値より大きくなる場合に即時的に警告データを出力することである。また出力される警告データは例えばディスプレイ４０へ出力され、表示される。なおここでは閾値は、中心座標と重心座標との差を対象領域の大きさ即ち撮像装置１２の画角で除した値の場合で説明したが、例えば中心座標と重心座標との差を対象領域の幅言い換えれば撮像装置１２で撮像された画像の幅（例えばｘ軸方向の幅言い換えれば基線方向に垂直な方向の長さ）で除した値としてもよい。

また中心座標と重心座標を動きの方向別言い換えれば２次元で計算した場合には、式（２）で上述した各測定点での符号無し重み｜ΔＺｉ｜の大きい方で中心座標と重心座標との差を見るようにする。例えばｙ軸方向の方で｜ΔＺｉ｜が大きいときには、中心座標Ｙcenterと重心座標Ｙcenter’との差を見るようにする。

ここで図７を参照して、中心座標と重心座標との差についてさらに具体的に説明する。図示では、説明のために、撮像された像と画角とその画角内での測定点の位置（動きのあった測定点のみ）、さらに人物２（図中破線で表示）を示しているが、実際には座標の数値だけで計算する。まず、中心座標演算部２２により中心座標が、重心座標演算部２３により重心座標がそれぞれ計算される。（ａ）の例に示すように、人物２の呼吸の状態が正常である場合には、中心座標は、動きのある測定点の平均値であるので、動きのある測定点が存在する領域の中心部となる。また重心座標も、動きの量が領域の中心部で大きく、偏りも無いので、動きのある測定点が存在する領域の中心部となる。即ち中心座標と重心座標との差が小さい。なお図示では、人物２の腹部と胸部に対応する領域に動きのある測定点が存在する場合を示している。即ちこの場合中心座標、重心座標は腹部と胸部のおよそ中心部となる。

また（ｂ）の例に示すように、例えば人物２の呼吸の状態が異常である場合には、中心座標は、動きのある測定点の平均値であるので、動きのある測定点が存在する領域の中心部となる。また重心座標は、動きの量に偏りがあるので、動きのある測定点が存在する領域の中心部ではなく偏った位置となる。即ち中心座標と重心座標との差が大きくなる。警告データ出力部２４は、例えばこのような場合に警告データを出力する。

さらに中心座標演算部２２及び重心座標演算部２３は、複数の測定点の一次元方向の座標のみを用いて重み付け無し代表座標としての中心座標及び重み付け重心座標としての重心座標の計算を行うようにしてもよい。一次元方向は、例えばＦＧセンサ１０の基線方向や人物２の背骨方向言い換えれば胸部の中心と腹部の中心を結ぶ直線方向、又は左右の肺の中心を結ぶ直線に垂直な方向である。なお例えば本実施の形態のように、人物２の背骨方向と基線方向がおよそ一致している場合には（図２参照）、一次元方向は基線方向とする。中心座標演算部２２及び重心座標演算部２３は、基線方向即ちｙ軸の座標（図６参照）のみを用いて中心座標及び重心座標を計算する。このようにすると、演算装置２０による演算量を軽くできるので処理の高速化が図れる。

さらに制御部２１内には、複数の測定点で測定された人物２の高さ方向の動きのデータを統合して、人物２の状態を示す情報としての波形データを出力する波形データ出力部２５が備えられるようにするとよい。複数の測定点で測定された動きのデータを統合するとは、例えば測定点での輝点の移動量の総和を演算することであり、また出力される動きの波形データは前記総和を時間方向に並べて形成される波形パターンである。このように形成された波形パターンは人物２の呼吸の動きを示す。即ち出力される波形パターンは人物２の呼吸の波形パターンである。このようにすると、人物２の呼吸の波形パターンを出力できるので、より正確に人物２の状態の異常を把握することができる。また、波形データ出力部２５は、典型的には人物２の呼吸の波形パターンをリアルタイム出力するように構成されている。リアルタイムに出力するとは、例えば撮像装置１２により撮像された像毎に測定される輝点の移動量の総和を即時的に出力することである。さらに言えばこの場合には、この総和をリアルタイムに出力することで、波形データ出力部２５は、時間方向に並べて形成される人物２の呼吸の波形パターンを出力することになる。出力された呼吸の波形パターンはディスプレイ４０により表示される。

なおここでは、波形データ出力部２５は波形パターンをディスプレイ４０にリアルタイム出力する場合で説明したが、リアルタイムでなくてもよい。例えば波形データ出力部２５より出力される人物２の呼吸の波形パターンが記憶部３１等の記憶装置（ハードディスク等）に保存されるように構成してもよい。この場合には、警告データ出力部２４により出力される警告データも記憶部３１に保存するようにする。このようにすることで例えば、保存された波形パターンと警告データを後で詳細に観察することができる。

以上のように監視装置１は、対象領域に存在する対象物２の高さ方向の動きを複数の測定点で測定するＦＧセンサ１０と、ＦＧセンサ１０で測定された複数の動きに基づいて、対象物２の状態を示す情報を演算する演算装置２０とを備えているので、例えば人物２の状態を示す情報を演算結果を参照することで把握できる。さらに演算装置２０は、複数の測定点の位置座標の中心重心座標を計算する中心座標演算部２２と、複数の測定点の動きの量に関する量で重み付けを行った値に基づいて、動きのある測定点が形成する領域の重心座標を計算する重心座標演算部２３と、中心座標と重心座標との差が閾値より大きくなる場合には、警告データを出力する警告データ出力部２４とを有していることにより、例えば中心座標と重心座標との差が大きい場合には、人物２の呼吸による動きが偏った動きであることが判り、さらにこの場合には警告データを出力するので、人物２の状態の異常を正確に把握できる。

さらに、ＦＧセンサ１０は、対象領域にパターン光を投影する投影装置１１と、パターン光が投影された対象領域を撮像する撮像装置１２と、撮像装置１２で撮像された像上のパターンの移動を測定する測定装置１４とを含んで構成される。さらに測定装置１４は、測定されたパターンの移動に基づいて、人物２の高さ方向の動きを複数の点で測定するように構成されることにより、測定を非接触で行えるので、測定される人物２への負担が少ない。またパターンを形成する各輝点の移動を測定することにより、例えば人物２の小さな動きであっても正確に測定できるので、人物２の呼吸による高さ方向の動きを正確に測定できる。

また、監視装置１は、ディスプレイ４０により、警告データ出力部２４により出力される警告データを表示するので、例えば人物２の呼吸による動きが偏ったものであることを容易に把握できる。即ち異常な状態を把握できる。これは例えば、医師による慢性肺疾患の診断に役立つ。またディスプレイ４０により、波形データ出力部２５で出力される人物２の呼吸の波形パターンをリアルタイムに表示するので、例えば人物２の呼吸による動きの状態が容易に把握できる。これは例えば医師の診断の参考になる。

なお以上では、ベッド３上に投影するパターンを複数の輝点とした場合で説明したが、図８に示すように、輝線としてもよい。即ち光切断法を用いて人物２の高さ方向の動きを測定するようにしてもよい。この場合には、投影手段には、ベッド３上にパターン光としての輝線を投影するように構成された投影装置１１１を用いる。投影する輝線の数は、典型的には複数であるが、１本であってもよい。以下、輝線は複数の場合で説明する。複数の輝線１１１ｂは、等間隔に複数本投影される。複数本の輝線１１１ｂは、パターン１１１ａを形成する。また、輝線１１１ｂの方向と三角法の基線方向は、ほぼ垂直である。言い換えれば、輝線１１１ｂの方向はベッド３の長手方向の中心線と垂直方向である。

なお輝線の場合には、例えば図９に示すように、図６で説明した輝点の場合と同様に、撮像素子１５の結像面１５’に結像した輝線の像は、高さのある物体により、δだけｙ軸方向に移動することになる。さらに同様に、このδを測定することにより、物体上の点の位置が三次元的に特定できる。なお、δの測定は、輝線の像の中心線の位置で測定するようにする。さらに輝線の場合には、測定点が、輝線の像の位置にある撮像素子１５の画素１つに対応する。

以上のように、パターン光を複数本の輝線とし、輝線の移動を測定することで、パターン光を複数の輝点とした場合に比べて、輝線上の任意の点の移動を測定でき、輝線方向の連続的形状が認識できる。言い換えれば、輝線方向の測定の分解能を向上することができる。

本発明の実施の形態である監視装置の概略を示す模式的外観図である。 本発明の実施の形態である三次元センサにＦＧセンサを用いた場合の監視装置の概略を示す模式的外観図である。 本発明の実施の形態である投影装置を説明する模式的斜視図である。 本発明の実施の形態である監視装置の構成例を示すブロック図である。 本発明の実施の形態での輝点の移動の概念について説明する概念的斜視図である。 図５の場合での結像面に結像した輝点について説明する模式図である。 本発明の実施の形態に係る中心座標と重心座標との差について説明する模式的平面図である。 本発明の実施の形態である投影装置により投影するパターン光に複数の輝線を用いた場合の監視装置の概略を示す模式的外観図である。 図８の場合での結像面に結像した輝線について説明する模式図である。

符号の説明

１ 監視装置
２ 人物
３ ベッド
４ 寝具
１０ ＦＧセンサ（三次元センサ）
１１ 投影装置
１１ａ パターン
１１ｂ 輝点
１２ 撮像装置
１４ 測定装置
２０ 演算装置
２１ 制御部
２２ 中心座標演算部
２３ 重心座標演算部
２４ 警告データ出力部
２５ 波形データ出力部
４０ ディスプレイ
１０２ 平面
１０３ 物体
１０５ 光束発生部
１２０ グレーティング
１２１ 光ファイバー
１２２ ＦＧ素子

Claims (6)

1. 対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサと；
   前記測定された複数の動きに基づいて、前記対象物の状態を示す情報を演算する演算手段とを備え；
   前記演算手段は、前記複数の測定点のうち前記動きのあった測定点が形成する領域における位置座標の重み付け無し代表座標を計算する重み付け無し代表位置演算手段と、
   前記動きのあった測定点のそれぞれの位置座標について当該測定点における前記動きの量に関する量で重み付けを行った値に基づいて、前記動きのあった測定点が形成する領域の重み付け重心座標を計算する重み付け重心位置演算手段と、
   前記重み付け無し代表座標と前記重み付け重心座標との差が閾値より大きくなる場合には、警告データを出力するデータ出力手段とを有する；
   状態解析装置。
2. 前記重み付け無し代表位置演算手段及び前記重み付け重心位置演算手段は、前記複数の測定点の一次元方向の座標のみを用いて重み付け無し代表座標及び重み付け重心座標の計算を行うことを特徴とする；
   請求項１に記載の状態解析装置。
3. 前記三次元センサは、対象領域にパターン光を投影する投影装置と；
   前記パターン光が投影された対象領域を撮像する撮像装置と；
   前記撮像された像上のパターンの移動を測定する測定手段とを有し；
   前記測定されたパターンの移動に基づいて、前記対象物の高さ方向の動きを複数の点で測定することを特徴とする；
   請求項１又は請求項２に記載の状態解析装置。
4. 前記三次元センサで測定された動きの量が閾値以下である測定点は、前記演算手段による演算に使用しないことを特徴とする；
   請求項１乃至請求項３のいずれか１項に記載の状態解析装置。
5. 前記三次元センサで測定された動きの周波数が閾値以上である測定点は、前記演算手段による演算に使用しないことを特徴とする；
   請求項１乃至請求項４のいずれか１項に記載の状態解析装置。
6. 前記重み付け無し代表位置演算手段が、前記動きのあった測定点のすべての位置座標の平均値を前記重み付け無し代表座標とする計算を行う；
   請求項１乃至請求項５のいずれか１項に記載の状態解析装置。

Images