JP2004096457A - 領域監視装置 - Google Patents

領域監視装置 Download PDF

Info

Publication number
JP2004096457A
JP2004096457A JP2002255394A JP2002255394A JP2004096457A JP 2004096457 A JP2004096457 A JP 2004096457A JP 2002255394 A JP2002255394 A JP 2002255394A JP 2002255394 A JP2002255394 A JP 2002255394A JP 2004096457 A JP2004096457 A JP 2004096457A
Authority
JP
Japan
Prior art keywords
area
height
target
person
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002255394A
Other languages
English (en)
Other versions
JP3939224B2 (ja
Inventor
Kazuhiro Mimura
味村 一弘
Yasuhiro Takemura
竹村 安弘
Kei Kato
加藤 圭
Toshiji Takei
武居 利治
Tomofumi Nishiura
西浦 朋史
Masato Nakajima
中島 真人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Osaka Cement Co Ltd
Original Assignee
Sumitomo Osaka Cement Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Osaka Cement Co Ltd filed Critical Sumitomo Osaka Cement Co Ltd
Priority to JP2002255394A priority Critical patent/JP3939224B2/ja
Publication of JP2004096457A publication Critical patent/JP2004096457A/ja
Application granted granted Critical
Publication of JP3939224B2 publication Critical patent/JP3939224B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】対象物が対象領域の外へ出ようとする動きを検出できるだけでなく、単純な領域監視装置を提供する。
【解決手段】対象領域内の3次元情報を取得する3次元センサ10と、前記取得した3次元情報に基づいて、前記対象領域内の高さの変化を検出する高さ変化検出手段22と、前記検出された高さの変化に基づいて、対象物2の位置を検出する位置検出手段23と、対象物2が前記対象領域の外へ出ようとする動きを監視する動き監視手段24とを備え、動き監視手段24は、前記検出された対象物2の位置が、前記対象領域内の特定の領域であるときであって、対象物2の高さの変化が所定量以上であるときに前記対象領域の外へ出ようとする動きを検出するように構成される領域監視装置1とする。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、領域監視装置に関し、特に対象領域内から外に出ようとする動きを監視できる領域監視装置に関するものである。
【0002】
【従来の技術】
介護施設、例えば老人ホーム等では、入所者が夜中にベッドから出ようとして落下し、足の骨を折る等の事故が発生している。また病院でも、例えば手術後に患者が麻酔から覚めたとき、その痛みからベッド上で激しく動いて落下する場合もある。さらに、幼児がベッドから落下する場合もある。このような事故に対して逸早く対応するために、従来から、荷重センサまたは圧力センサにより検出した圧力分布の時間推移に基づき、ベッド上の人物の状態を監視する装置が提案されている。
【0003】
【発明が解決しようとする課題】
しかしながら以上のような従来の装置によれば、例えば人物がベッド上から居なくなった(離床した)ことは検出できるが、ベッド上からの落下、あるいは落下しそうな動きを検出することが難しかった。言い換えれば、落下を予測することが難しかった。さらに、測定される信号が微小であることから、安定した信号を取得し検出するためには、高性能な信号増幅器や何らかの信号処理が必要であり、システムとして複雑かつ大掛かりなものになっていた。
【0004】
そこで本発明は、対象物が対象領域の外へ出ようとする動きを検出できるだけでなく、単純な領域監視装置を提供することを目的としている。
【0005】
【課題を解決するための手段】
上記目的を達成するために、請求項1に係る発明による領域監視装置1は、例えば図1、図2に示すように、対象領域内の3次元情報を取得する3次元センサ10と;前記取得した3次元情報に基づいて、前記対象領域内の高さの変化を検出する高さ変化検出手段22と;前記検出された高さの変化に基づいて、対象物2の位置を検出する位置検出手段23と;対象物2が前記対象領域の外へ出ようとする動きを監視する動き監視手段24とを備え;動き監視手段24は、前記検出された対象物2の位置が、前記対象領域内の特定の領域であるときであって、対象物2の高さの変化が所定量以上であるときに前記対象領域の外へ出ようとする動きを検出するように構成される。
【0006】
また、上記領域監視装置1は、前記対象領域と周辺との境界に設けられた、前記対象領域よりも一段高い境界区画部材を備えるとよい。このように構成すると、例えば対象物2が不用意に対象領域の外へ出てしまうことを防ぐことができるだけでなく、対象物2が対象領域の外に出る際に、高さ変化が大きくなる。
【0007】
このように構成すると、3次元センサ10と、高さ変化検出手段22と、位置検出手段23とを備えているので、対象物2の位置を検出できるので、単純な領域監視装置とすることができる。さらに、動き監視手段24を備え、動き監視手段24は、前記検出された対象物2の位置が、前記対象領域内の特定の領域であるときであって、対象物2の高さの変化が所定量以上であるときに前記対象領域の外へ出ようとする動きを検出するように構成されるので、例えば対象物が柵を乗り越えようとする動きを検出することで、対象物が対象領域の外へ出ようとする動きを検出できるだけでなく、単純な領域監視装置を提供することができる。
【0008】
また請求項2に記載のように、請求項1に記載の領域監視装置1では、動き監視手段24は、対象物2の高さの変化が所定量以上であって、さらに前記所定量以上の高さの変化の領域が所定の面積以上であるときに前記対象領域の外へ出ようとする動きを検出するように構成することが好ましい。
【0009】
このように構成すると、例えば、対象物の位置が特定の領域であるときに、対象物2の高さの変化が所定量以上ある領域がごく一部であっても、対象領域の外へ出ようとする動きを検出してしまうことを防ぐことが出来るので、前記動きの監視の信頼性が増す。
【0010】
また請求項3に記載のように、請求項1又は請求項2に記載の領域監視装置1では、動き監視手段24は、対象物2の移動を検出できるように構成され;対象物2の位置が前記特定の領域にあり、その位置に至る直前の対象物2の移動速度が所定の閾値を超えているときに、前記対象領域の外へ出ようとする動きを検出するように構成してもよい。
【0011】
このように構成すると、例えば、対象物2が、急に特定の領域に入り、そのまま対象領域の外へ出ようとする場合であっても、逸早く対象領域の外へ出ようとする動きを検出することができる。
【0012】
また請求項4に記載のように、請求項1乃至請求項3のいずれか1項に記載の領域監視装置1では、位置検出手段23は、前記検出された高さ変化に基づいて、対象物2の存在する存在領域を判定し、前記判定された存在領域を含む領域であって、前記存在領域を所定の範囲だけ拡大した領域を算出し、前記拡大された領域を優先して、対象物2の位置の検出を行なうように構成するとよい。
【0013】
このように構成すると、例えば、対象物2の存在する可能性が高い領域から対象2の位置の検出を行なうので、対象物2の位置の検出に要する時間を短縮でき、処理の高速化が図れる。
【0014】
また請求項5に記載のように、請求項1乃至請求項4のいずれか1項に記載の領域監視装置1では、例えば図7に示すように、3次元センサ101は、前記対象領域に、輝線又は、複数の輝点を投影する投影手段110と;前記投影により形成されたパターンを撮像する撮像手段111と;前記撮像されたパターン像と参照像とに基づいて三角法により前記対象物の高さを演算する高さ演算部118とを備える。
【0015】
このように構成すると、3次元センサ101は、投影手段110により前記対象領域に投影された輝線又は、複数の輝点により形成されたパターンを、撮像手段111により撮像し、高さ演算部118により、前記撮像されたパターン像と参照像とに基づいて三角法により前記対象物の高さを演算するので、単純でありながら正確に対象物の高さを測定できる。また、パターンを輝線とした場合には、例えば、輝線方向の連続的な高さを測定できる。
【0016】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号を付し、重複した説明は省略する。
【0017】
図1は、本発明による実施の形態である領域監視装置としての落下予測装置1の模式的外観図である。落下予測装置1は、対象領域内の3次元情報を取得する3次元センサ10と、演算装置20とを含んで構成される。また落下予測装置1は、対象領域を監視するように構成されている。本実施の形態では、対象物は、人物2である。また本実施の形態では、対象領域は、周辺より高さのある対象領域であり、典型的にはベッド3上である。また、3次元センサ10は、対象領域内に複数の測定点を有しており、各測定点での高さを測定できるものである。また本実施の形態では、3次元情報は、ベッド3上の複数存在する測定点の座標と、各点で測定された高さである。言い換えれば、3次元情報は、ベッド3上での高さ分布である。また、3次元情報から対象領域を検出するようにしてもよい。この場合には、まず対象領域を含む領域の3次元情報を取得し、この3次元情報に基づいて、周辺より高さのある対象領域即ちベッド3上を検出するように構成する。ベッド3の上面は、周辺より高いので、3次元情報から容易に検出できる。このようにすることで、落下予測装置1を設置する際の環境設定作業が単純になり、設置が容易になる。また、対象領域の検出は、3次元情報に基づいて、後述の柵6を検出することにより、検出してもよい。
【0018】
図中ベッド3上に、人物2が横たわって存在している。また、人物2の上には、さらに寝具4がかけられており、人物2の一部と、ベッド3の一部とを覆っている。この場合には、3次元センサ10は、寝具4の上面の高さ分布を取得している。また寝具4を使用しない場合には、3次元センサ10は、人物2そのものの高さ分布を取得する。また、ベッド3には、対象領域と周辺との境界に設けられた、対象領域よりも一段高い境界区画部材としての柵6が備えられている。柵6は、例えば人物2が転がり落ちることを防ぐための落下予防手段でもある。柵6は、ベッド3の両側面3aに取り付けられている。柵6は、人物2が例えば寝返りにより転がり落ちない程度の高さ例えばベッド3上面から20〜50cm程度の高さを有したものである。さらにベッド3は、両端部に、ベッド3の上面より高く形成された端板3bが形成されている。
【0019】
また、ベッド3の上部には、3次元センサ10が配置されている。3次元センサ10については後で詳述する。3次元センサ10と演算装置20とは電気的に接続されている。なお、図示では、3次元センサ10と演算装置20とは別体として示してあるが、一体に構成してもよい。このようにすると、落下予測装置1を小型化することができる。
【0020】
図2のブロック図を参照して、落下予測装置1の構成例について説明する。3次元センサ10は、演算装置20に接続されており、取得した3次元情報を演算装置20に出力するように構成されている。また演算装置20は、3次元情報を3次元センサ10から時系列的に取得するように構成するとよい。演算装置20は、例えばパソコンやマイコン等のコンピュータである。また、演算装置20は落下予測装置1を制御する制御部21を有している。
【0021】
制御部21には、記憶部31が接続されている。記憶部31は、3次元センサ10より時系列的に取得した3次元情報を記憶するようにするとよい。また記憶部31には算出された情報等のデータが記憶できる。さらに、記憶部31は、図3で後述する特定の領域を予め登録する特定領域登録部32を有している。
【0022】
また制御部21には、落下予測装置1を操作するための情報を入力する入力装置35、落下予測装置1で処理された結果を出力する出力装置36が接続されている。入力装置35は例えばタッチパネル、キーボードあるいはマウスであり、出力装置36は例えばディスプレイやプリンタである。本図では、入力装置35、出力装置36は演算装置20に外付けするものとして図示されているが、内蔵されていてもよい。また、入力装置35は、例えば対象領域内の監視(落下予測)の開始や解除を行なえるスイッチ、出力装置36は、例えば動作インジケータとしてのLEDとしてもよい。このようにすると、落下予測装置1を単純に構成できる。特に、3次元センサ10と演算装置20とを一体に構成する場合には、このように構成することが好ましい。このようにすることで、落下予測装置1を、より単純で小型なものとすることができる。
【0023】
制御部21内には、3次元センサ10より取得した3次元情報に基づいて、対象領域内の高さの変化を検出する高さ変化検出手段としての高さ変化検出部22と、高さ変化検出部22により検出された高さの変化に基づいて、人物2の位置を検出する位置検出手段としての位置検出部23と、人物2が対象領域の外へ出ようとする動きを監視する動き監視手段としての落下予測部24とが備えられている。位置検出部23により検出する人物2の位置は、例えば人物2の存在する領域の位置であり、人物2の存在領域の位置は、典型的には人物2の存在領域の重心位置である。
【0024】
高さ変化検出部22による高さの変化の検出は、3次元センサ10から取得した3次元情報と、記憶部31に時系列的に保存された3次元情報との差分を算出することにより対象領域内の各測定点での高さの変化を検出する。言い換えれば、取得した最新の3次元情報と、過去に取得した3次元情報との差分を取ることにより対象領域内の各測定点での高さの変化を検出する。過去に取得した3次元情報は、典型的には最新の3次元情報より1つ前(過去)に取得した3次元情報である。なお、この場合、3次元情報は、3次元センサ10から一定時間間隔で取得するようにする。3次元情報の取得間隔は、例えば0.1〜3秒程度、好ましくは0.1〜0.5秒程度とするとよい。また、より短い時間で3次元情報を取得し、平均化またはフィルタリングの処理を行なうことで、例えばランダムノイズの影響を低減できるので有効である。また、取得間隔は、比較的長めな時間、例えば5〜20秒程度としてもよい。この場合には、例えば人物2の起き上がりの動きを検出しやすくなる。
【0025】
また、3次元センサ10から取得した3次元情報又は高さ変化は、過去一定回数取得した、または過去一定期間内に取得した値の移動平均値、または期間平均値としてもよい。このようにすることで、ランダムノイズや窓から差し込む日光のちらつきなどによる突発的なノイズが軽減でき、ピーク位置の誤判定やゼロクロス位置(符号が反転する交点)の誤判断を軽減することができる。
【0026】
また、位置検出部23は、高さ変化検出部22により検出された高さ変化に基づいて、人物2の存在する存在領域を判定し、前記判定された存在領域の重心位置を人物2の位置とするように構成するとよい。このようにすることで、人物2の位置を、面積のある領域ではなく、点で検出することができるので、人物2の僅かな動きを比較的敏感に検出することができる。
【0027】
存在領域の判定は、例えば、任意の測定点の高さ変化に注目し、高さ変化が閾値以上であれば、この注目点から所定の範囲にある点で、高さ変化が閾値以上であり、変化の方向が注目位置と同じである測定点の数を計数し、そしてその数が所定の値以上であれば、この範囲を存在領域と見なすようにする。
【0028】
さらに、位置検出部23は、判定された存在領域を含む領域であって、存在領域を所定の範囲だけ拡大した領域を算出し、その拡大された領域を優先して、人物2の位置の検出を行なうように構成してもよい。本実施の形態では、3次元センサ10による3次元情報の取得間隔は、人物2の動きと比較して十分短時間に設定されているので、人物2がこの取得間隔の間に大きく移動することはなく、次に人物2の位置を検出する際にも、人物2がほぼ同じ位置あるいは隣接した領域に存在すると考えられる。このため、存在領域を所定の範囲だけ拡大した領域を優先して人物2の位置の検出を行なう方法が有効である。このようにすることで、人物2が存在する可能性が高い領域を優先して、人物2の位置を検出するので、人物2の探索時間が短縮でき、処理の高速化が図れる。
【0029】
ここで、落下予測部24について説明する。落下予測部24は、前述の通り、人物2が対象領域の外へ出ようとする動きを監視するものである。ここでは、人物2が対象領域の外へ出ようとする動きを監視するとは、例えば、人物2のベッド3上からの落下の予測や、ベッド3上から落下したことを検出することである。さらに、落下予測部24は、位置検出部23により検出された人物2の位置が、対象領域内の特定の領域であるときであって、人物2の高さの変化が所定量以上であるときに対象領域の外へ出ようとする動きを検出するように構成されている。言い換えれば、人物2の落下を予測するように構成される。以下、対象領域の外へ出ようとする動きを検出することを、落下を予測するという。またここで、特定の領域とは、典型的には、対象領域即ちベッド6上の周縁部とその近傍の領域である(以下、これらを区別しないときには単にベッド3上の周縁部という)。落下予測部24は、人物2の落下を予測したときには、警報信号を出力するように構成される。警報信号は、典型的には後述の警報装置38へ出力される。
【0030】
図3に、特定領域の例を示す。また、特定領域は、(a)のように、ベッド3上の周縁部全体に設定することが好ましいが、(b)に示すように、ベッド3上周縁部の特に落下が発生しやすい箇所、例えばベッド3上の両側面側のみとしてもよい。このようにすると、落下が発生しやすい箇所のみを特定領域とすることができるので、効率の良い落下予測ができる。
【0031】
本実施の形態では、人物2がベッド3から落下するような場合には、柵6があるため、寝返り等によりそのまま落下(転落)することはなく、例えば柵6や端板3bを乗り越えて落下するか、起き上がって柵6の無い部分から落下する。即ち落下する前には、ベッド3の周縁部で必ず寝返り等の小さな体動よりも大きな高さ変化が検出されることになる。このため、落下の予測の基準を、人物2の位置が特定領域即ちベッド3上の周縁部であり、さらに高さ変化が所定量、典型的には一定以上としている。ここで、一定以上の高さ変化とは、例えば人物2が起き上がるときに検出される高さ変化以上の高さ変化であり、例えば300〜700mm程度に相当する高さ変化以上の高さ変化である。
【0032】
落下予測部24は、人物2が対象領域内から落下を検出するように構成される。落下予測部24は、落下を予測した後に、対象領域内で高さ変化が検出されなくなったときには、人物2が対象領域内からの落下を検出する。即ち、人物2がベッド3上から落下したことを検出するように構成される。落下予測部24は、人物2の落下を検出したときには、警報信号を出力するように構成される。警報信号は、典型的には後述の警報装置38へ出力される。
【0033】
また、落下予測部24は、人物2の高さの変化が一定以上であって、さらに前記一定以上の高さの変化の領域が所定の面積以上であるときに人物2の落下を予測するように構成するとよい。前述したように、人物2がベッド3上から落下しそうな場合には、必ず周縁部で寝返り等の小さな体動よりも大きな高さ変化が検出されることになる。さらに、この大きな高さ変化は、人物2が起き上がるような動きをしていれば、例えば人物2の頭部、胴部の断面積程度の面積以上で検出されることになる。このため、落下の予測を、さらに一定以上の高さ変化の領域が所定の面積以上であるときとしている。所定の面積は、典型的には、標準的な人物2の頭部の断面積程度である。このようにすることで、落下に至らないような小さな領域での動き、例えば就寝中の人物2がベッド3の周縁部の位置に存在するときに、腕だけを挙げたような動きだけでも落下を予測してしまう(警報が発せられる)ことを防ぐことが出来るので、落下予測の信頼性が増す。
【0034】
また、落下予測部24は、人物2の移動を検出できるように構成するとよい。なお、移動の検出は、移動の有無の検出の他、移動の方向、速度、距離の検出を含むものとする。さらに、落下予測部24は、人物2の位置が特定の領域にあり、その位置に至る直前の人物2の移動速度が所定の閾値を超えているときに人物2の落下を予測するように構成するとよい。人物2が、急に特定領域に入り、そのまま落下するケースがある。このような場合には、逸早く落下を予測する必要がある。このため落下予測部24は、人物2が、所定の閾値を超えている移動速度で、特定の領域に入ったときに、人物2の落下を予測するように構成している。所定の閾値は、例えば2〜5km/h程度とするとよい。
【0035】
さらに、制御部21内には、高さ変化検出部22により検出した高さの変化に基づいて、人物2の状態を検出する状態検出部25が備えられている。人物2の状態とは、例えば正常な呼吸をしている、異常な呼吸をしており危険である、体動例えば寝返りを打っている等といった状態である。さらに、状態検出部25は、高さ変化検出部22により検出した高さの変化に基づいて、人物2の呼吸を検出するように構成される。
【0036】
状態検出部25による呼吸の検出は、高さ変化検出部22により検出した高さ変化の周期的変化の振幅と周期(周波数)の両方又はいずれか一方に所定の上限下限の閾値を設定し、この閾値と比較して呼吸か否かを判定し、呼吸を検出する。周期の上限下限の閾値は、例えば人物の呼吸の周期を含む範囲、例えば、下限を毎分5サイクル、上限を毎分60サイクルに設定するとよい。ところで、大人の呼吸数は、毎分5〜30回程度の範囲にあるが、幼児の場合にはさらに呼吸数が多くなる傾向がある。また同様に、振幅の上限下限の閾値は、例えば人物の呼吸の振幅を含む範囲、例えば、下限を1mm、上限を20mm程度の高さ変化に相当する値に設定するとよい。これにより、検出された人物2の呼吸は、波形パターンを形成する。
図4は、呼吸の波形パターンの例を示した図である。
【0037】
また状態検出部25は、人物2の呼吸が一定時間検出された後に、人物2がベッド3上の存在の有無の検出、即ち人物2の在床を検出するように構成してもよい。また落下予測装置1は、人物2の在床を検出したことを条件に、人物2の落下の予測を開始するようにしてもよい。一定時間は、呼吸を安定して検出できる時間であり、例えば30〜120秒、より好ましくは、30〜90秒である。
【0038】
さらに、状態検出部25による人物2の状態の検出は、以下のようなことを考慮して、検出するようにするとよい。例えば、短時間に呼吸パターンの持つ周期が乱れた場合又は、呼吸パターンの持つ周期が急激に変化した場合には、例えば、自然気胸、気管支喘息などの肺疾患、うっ血性心不全などの心疾患、または、脳出血などの脳血管疾患であると推測できる。また、呼吸パターンの消失が続いた場合には、人物2の呼吸が停止したと推測できる。そして、短時間に呼吸パターンではなく人物2の体動が頻出した場合には、人物2が何らかの理由で苦しんで暴れているような状況が推測できる。
【0039】
また、人物2の体動の検出は、高さ変化から呼吸のみを検出した場合に比べて、遥かに大きく変動するので、容易に検出することができる。このため、状態検出部25は、位置検出部23より検出した人物2の位置により、人物2が、例えば寝返り等その場で動いているのか、ベッドから起き上がる等の大きい動きをしているのかを検出することもできる。また、人物2が痙攣のような周期的で小さい動きをした場合でも、その波形パターンから異常を検出することができる。このような場合には、さらに痙攣している状態の波形パターンを記憶部31に保存しておくことで、そのパターンと比較することで人物2の痙攣している状態と検出することもできる。
【0040】
図5を参照して、正常及び異常な呼吸パターンの例を説明する。正常な呼吸パターンは、図5(a)に示したような、周期的なパターンである。ただし、大人の場合には、1分間の呼吸数として正常な範囲は、10〜20回程度である。異常な呼吸パターンは、例えば、チェーン−ストークス(Cheyne−Stokes)呼吸、中枢性過換気、失調性呼吸、カスマウル(Kussmul)の大呼吸など、生理学的に体内に障害が発生している場合に生じると考えられている呼吸パターンである。
【0041】
図5(b)に、Cheyne−Stokes呼吸の呼吸パターンを、図5(c)に中枢性過換気の呼吸パターンを、図5(d)に失調性呼吸の呼吸パターンをそれぞれ示す。
さらに図6に、上記の異常な呼吸パターンが発生した場合の、病名または疾患箇所について示す。
【0042】
状態検出部25は、それぞれの呼吸パターンの呼吸の周波数、出現回数、深浅が異なることを利用して、人物2の呼吸パターンが上記のいずれの呼吸パターンに属するかを判別し、人物2の状態を検出するようにするとよい。また以上のような呼吸パターンを、記憶部31に保存しておくとよい。このようにすることで、これらのパターンと比較することで人物2の呼吸が正常であるか否かの検出が容易に行なえる。
【0043】
さらに状態検出部25は、人物2の呼吸が、生理学的に体内に障害が発生している湯合に生じると考えられている呼吸パターンに属すると判定した場合に、人物2が異常な呼吸をしており危険な状態にあることを検出する。生理学的に体内に障害が発生している湯合に生じると考えられている呼吸パターンとは、例えば図5で説明した呼吸パターンである。このように検出された人物2の状態は、例えば、制御部21により出力装置36や警報装置38に出力される。また出力される内容は、検出された人物2の呼吸数(周期)や動きの頻度、異常な呼吸パターンの名称やその呼吸の原因となると考えられる病名、疾患器官、疾患箇所などである。
【0044】
さらに、演算装置20は、警報を発する警報装置38を備える。警報装置38は、警報信号を入力することで、警報を発するように構成される。警報装置38は、例えば落下予測部24により人物2の落下が予測されたときや、落下が検出されたとき、あるいは状態検出部25により人物2が危険な状態にあることを検出したとき、落下予測装置1に故障等の異常が発生したときに警報を発するように構成するとよい。また、警報装置38は、入力した警報信号に応じて、異なる種類の警報を発するように構成される。具体的には、例えば、入力した警報信号の種類毎に異なる警報を設定する。これにより、装置の使用者(管理者)が、発せられた警報により、例えば人物2の落下が予測されたことを認知できる。このようにすることで、異常に対して迅速に対応できるので、信頼性を高めることができる。また、演算装置20は、警報装置38が作動した場合に、インターフェイス37を介して、警報の発生を外部に通報するように構成するとよい。本図では、警報装置38は、外付けとして図示してあるが内蔵としてもよい。
【0045】
また演算装置20は、外部と通信するためのインターフェイス37が備えられている。インターフェイス37は、例えば警報装置38により警報が発せられた場合に外部に通報することができるように構成されている。通報は、例えば音声、文字、記号、室内照明を含む光の強弱又は、振動などによるものである。またインターフェイス37は、一般電話回線、ISDN回線、PHS回線、または、携帯電話回線などの通信回線に対して接続する機能を備えている。即ち、例えば落下予測装置1が個人宅に設置されている場合には、上記通信回線を利用することで、離れた場所例えば病院等の医療施設に通報できる。このようにすることで、例えば落下予測装置1が設置された場所から離れた場所であっても、上記通信回線を利用することで、警報が発せられたこと容易に通報できるので、有効である。また制御部21は、音声出力機能を備えるようにし、インターフェイス37を介して、第三者に例えば警報や人物2の状態を音声で通報するようにしてもよい。
【0046】
ここで3次元センサ10について説明する。3次元センサ10は、典型的には非接触で対象領域内の3次元情報を取得できるものである。以下、本実施の形態で、3次元センサとして用いるFGセンサについて説明する。
【0047】
図7の概念的斜視図を参照して、本実施の形態の落下予測装置1に適した3次元センサ10として用いるFG(ファイバーグレーティング)センサ101について説明する。FGセンサ101は、対象領域内に存在する対象物(人物2)の3次元情報を取得できるものである。即ち、対象物の高さの分布を測定できるように構成されたものである。ここでは、説明のために、対象領域内を平面102、対象物を物体103として説明する。
【0048】
FGセンサ101は、対象領域に、複数の輝点を投影する投影手段としての輝点投影装置110と、輝点投影装置110の投影により形成されたパターン110aを撮像する撮像手段としての撮像装置111とを備えている。パターン110aは、典型的には正方格子状に配列された複数の輝点である。また、輝点の形状は楕円形を含む略円形である。
【0049】
図中物体103が、平面102上に載置されている。またXY軸を平面102内に置くように、直交座標系XYZがとられており、物体103はXY座標系の第1象限に置かれている。一方、図中Z軸上で平面102の上方には、輝点投影装置110と、撮像装置111とが配置されている。撮像装置111は、輝点投影装置110によりパターン110aが投影された物体103を撮像する。
【0050】
撮像装置111は、結像レンズ111aと、撮像素子115とを有している。撮像素子115は、典型的にはCCDカメラである。撮像装置111の結像レンズ111aは、典型的にはその光軸がZ軸に一致するように配置されている。そして、結像レンズ111aは、平面102あるいは物体103上のパターン110aの像を、撮像素子115の結像面115’(イメージプレーン)に結像する。結像面115’は、典型的にはZ軸に直交する面である。さらに、結像面115’内にxy直交座標系をとり、Z軸が、xy座標系の原点を通るようにする。平面2から結像レンズ111aと等距離で、結像レンズ111aからY軸の負の方向に距離d(基線長d)だけ離れたところに、輝点投影装置110が配置されている。物体103と平面102には、輝点投影装置110により複数の輝点110bが形成するパターン110aが投影される。また、y軸方向は、図9で後述する高さの演算に用いる三角法の基線方向でもある。
【0051】
撮像素子115は、典型的にはCCD撮像素子である。また、CCDの他にCMOS構造の素子が最近盛んに発表されており、それらも当然使用可能である。特にこれらの中には、素子自体にフレーム間差算や二値化の機能を備えたものがあり、これらの素子の使用は好適である。
【0052】
また、撮像素子115には、制御装置114が接続されている。言い換えれば、撮像装置111は制御装置114に接続されている。制御装置114は、FGセンサ101全体を制御するものである。また、制御装置114は、典型的には撮像装置111と別体に設置されるが、一体に構成してもよい。このようにすると、装置の小型化が図れる。制御装置114は典型的にはパソコン等のコンピュータである。また制御装置114内には、撮像装置111により撮像されたパターンの像を取得する画像処理装置117が組み込まれている。
【0053】
さらに制御装置114内には、撮像装置111により撮像されたパターン像と参照像とに基づいて三角法により対象物としての物体103の高さを演算する高さ演算部118が組み込まれている。ここで、参照像とパターン像は、例えば撮像装置111により撮像された像であるが、参照像とパターン像のそれぞれの撮像素子115(又は結像面115’)上での位置の情報も含む概念である。即ち、参照像とパターン像は、輝点投影装置110の投影により形成されたパターン110aの像である。ここでは、参照像は、物体103が平面102に存在しないときのパターン110aの像であり、パターン像は、物体103が平面102に存在しているときのパターン10aの像である。即ち、参照像は、パターン110aの各輝点110bの基準位置を示す像である。また、参照像は、画像処理装置117に予め保存しておくとよい。ここでは、参照像は、例えば、いわゆる像としてではなく、各輝点110bの位置に関する、座標等の位置の情報の形で保存するようにするとよい。このようにすると、後述するパターン像と参照像に基づいて輝点の移動量を検出する際に、例えば輝点の座標や方向を比較するだけで済むので処理が単純になる。
【0054】
撮像装置111は、後述の光束発生部105(図10参照)により発生されるレーザ光束L1の波長の周辺部以外の波長の光を減光するフィルタ111bを備えるとよい。フィルタ111bは、典型的には干渉フィルタ等の光学フィルタであり、結像レンズ111aの光軸上に配置するとよい。このようにすると、撮像装置111は、撮像素子115に受光する光のうち、輝点投影装置110より投影されたパターン110aの光の強度が相対的にあがるので、外乱光による影響を軽減できる。また、光束発生部105により発生されるレーザ光束L1は、典型的には赤外光レーザの光束である。また、レーザ光L1は、継続的に照射してもよいし、断続的に照射してもよい。断続的に照射する場合には、撮像装置111による撮像を、照射のタイミングに同期させて行なうようにする。
【0055】
また、FGセンサ101は、撮像装置111によりパターン110aを撮像する際に、外乱光と区別するために、変調を行なうように構成するとよい。変調は、例えば光束発生部105によるレーザ光束L1の発光(照射)停止を周期的に繰り返し行なうような動作である。この場合、レーザ光束L1の発光停止は、例えば光源を発光停止してもよいし、遮光板やスリットを回転させることにより、発光停止をするようにしてもよい。この場合、この変調に同期した受光信号を取り出すことにより、外乱光の影響を著しく低減することができる。さらに変調は、上述に加え、外乱光の強さにより、レーザ光束L1の出力も変化させるようにしてもよい。また、画像処理装置117は、レーザ光束L1を照射している時の受光信号からレーザ光束L1を照射していない時の受光信号を差し引いた信号を生成するようにしてもよい。これにより、外乱光の影響を低減することができる。さらに、FGセンサ101は、信頼性を確保するために、変調動作を複数回行ない、その平均の出力信号を取得データ即ちパターン像とするように構成してもよい。
【0056】
ここで、図7を参照して、FGセンサ101の作用を説明する。まず、物体103の高さの計測の概念について説明する。輝点投影装置110により平面102に投影されたパターン110aは、物体103が存在する部分では、物体103に遮られ平面102には到達しない。ここで物体103が存在していれば、平面102上の点102aに投射されるべき輝点110bは、物体103上の点103aに投射される。輝点110bが点102aから点103aに移動したことにより、また結像レンズ111aと輝点投影装置110とが距離d(基線長d)だけ離れているところから、結像面115’上では、点102a’(x,y)に結像すべきところが点103a’(x,y+δ)に結像する。即ち、物体103が存在しない時点と物体103が存在する時点とは、輝点110bの像がy軸方向に距離δだけ移動することになる。
【0057】
これは、例えば図8に示すように、撮像素子115の結像面115’に結像した輝点110bの像は、高さのある物体103により、δだけy軸方向に移動することになる。
【0058】
FGセンサ101は、このδを計測することにより、物体103上の点103aの位置が三次元的に特定できる。即ち、点103aの高さがわかる。このように、ある点が、物体103が存在しなければ結像面115’上に結像すべき点と、結像面115’上の実際の結像位置との差を計測することにより、物体103の高さの分布、言い換えれば三次元形状が計測できる。あるいは物体103の三次元座標が計測できる。また、輝点110bの対応関係が不明にならない程度に、パターン110aのピッチ、即ち輝点110bのピッチを細かくすれば、物体103の高さの分布はそれだけ詳細に計測できることになる。
【0059】
ここで、高さ演算部118による高さの演算について説明する。高さ演算部118は、パターン像と参照像を読出し、輝点110bの像の移動量δを計測する。移動量δの計測は、まずパターン像と参照像の差画像を作成する。そして、この差画像から対応する輝点の像の位置の移動量δを計測する。移動量δは、例えば、輝点110bの像の位置が移動した画素数(何画素移動したか)を計数することで求められる。なお、上記は、差画像を作成する場合で説明したが、参照像を各輝点110bの位置の情報の形で保存しておき、パターン像の各輝点110bの位置の情報と、参照像の輝点110bの位置の情報とを比較することで、移動量δを計測してもよい。このようにすると、差画像を生成しないで済むので処理を単純化できる。高さ演算部118は、移動量δに基づいて三角法により物体3の高さを演算する。図9を参照して、三角法による物体103の高さを算出について説明する。
【0060】
図9は、撮像装置111、輝点投影装置110、物体103、平面102との関係をX軸方向(図7参照)に見た側面図である。ここでは、物体103の高さがZ1である場合で説明する。輝点投影装置110の中心(パターン光源の中心)と結像レンズ111aの中心とは、平面102に平行に距離dだけ離して配置されており、結像レンズ111aから結像面115’(撮像素子115)までの距離はl(エル)(結像レンズ111aの焦点とほぼ等しい)、結像レンズ111aから平面102までの距離はh、物体103の点103aの平面102からの高さはZ1である。物体103が平面102上に置かれた結果、結像面115’上の点102a’はδだけ離れた点103a’に移動したとする。
【0061】
図中結像レンズ111aの中心と点103aとを結ぶ線が平面102と交差する点を102a”とすれば、点102aと点102a”との距離Dは、三角形103a’−102a’−111aと三角形102a”−102a−111aとに注目すれば、D=δ・h/lであり、三角形111a−110−103aと三角形102a”−102a−103aに注目すれば、D=(d・Z1)/(h−Z1)である。この両式からZ1を求めると次式のようになる。
Z1=(h・δ)/(d・l+h・δ) ………(1)
以上のように、物体103の高さを算出することができる。
【0062】
さらに、高さ演算部118により演算された物体103の高さは、過去一定回数演算された、または過去一定期間内に演算された高さの移動平均値、または期間平均値としてもよい。このようにすることで、ランダムノイズや窓から差し込む日光のちらつきなどによる突発的なノイズが軽減でき、演算した物体103の高さの信頼性が向上する。
【0063】
以上のように、FGセンサ101は、対象領域に、輝点投影装置110の投影により形成されたパターン110aを撮像装置111で撮像し、この撮像されたパターン像と参照像とに基づいて三角法により対象物の高さを高さ演算部118で演算するので、対象物の高さを計測できる。また、FGセンサ101は、対象物の高さを対象領域内の複数の点で計測できるので、対象物の高さの分布を計測することができる。また、この高さの分布を、例えば一定時間間隔で計測することで、高さ分布の時間変化を計測することもできる。
【0064】
さらに、図10の模式的斜視図を参照して、FGセンサ101に適した輝点投影装置110について説明する。輝点投影装置110は、可干渉性の光束を発生する光束発生手段としての光束発生部105と、ファイバーグレーティング120(以下、単にグレーティング120という)とを備えている。可干渉性の光束は、典型的には赤外光レーザである。光束発生部105は、平行光束を発生するように構成されている。光束発生部105は、典型的には不図示のコリメータレンズを含んで構成される半導体レーザ装置であり、発生される平行光束は、レーザ光束L1である。そしてレーザ光束L1は、断面が略円形状の光束である。ここで平行光束とは、実質的に平行であればよく、平行に近い光束も含む。
【0065】
またここでは、グレーティング120は、平面102に平行に(Z軸に直角に)配置される場合で説明する。グレーティング120に、レーザ光L1を、Z軸方向に入射させる。するとレーザ光L1は、個々の光ファイバー121により、そのレンズ効果を持つ面内で集光したのち、発散波となって広がって行き、干渉して、投影面である平面102にパターン110aが投影される。なお、グレーティング120を平面102に平行に配置するとは、例えば、グレーティング120を構成するFG素子122の各光ファイバー121の軸線を含む平面と、平面102とが平行になるように配置することである。
【0066】
グレーティング120は、2つのFG素子122を含んで構成される。本実施の形態では、各FG素子122の平面は、互いに平行である。以下、各FG素子122の平面を素子平面という。また、本実施の形態では、2つのFG素子122の光ファイバー121の軸線は、互いにほぼ直交している。
【0067】
FG素子122は、例えば、直径が数10ミクロン、長さ10mm程度の光ファイバー121を数10〜数100本程度、平行にシート状に並べて構成したものである。また、2つのFG素子122は、接触して配置してもよいし、それぞれの素子平面の法線方向に距離を空けて配置してもよい。この場合には、2つのFG素子122の互いの距離は、パターン110aの投影に差支えない程度とする。レーザ光束L1は、典型的には、グレーティング110の素子平面に対して垂直に入射させる。
【0068】
以上のように、輝点投影装置110は、2つのFG素子122を含んで構成されたグレーティング120が光学系となるので、複雑な光学系を必要とすることなく、光学筐体を小型化できる。さらに輝点投影装置110は、グレーティング120を用いることで、単純な構成で、複数の輝点110bをパターン110aとして平面102に投影できる。
【0069】
また、以上では、パターンを複数の輝点として説明したが、複数の輝線としてもよい。即ち光切断法を用いて対象物の高さを測定するようにしてもよい。この場合には、輝点投影装置110の代わりに、対象領域に、輝線を投影する投影手段としての輝線投影装置210を備えるようにする。輝線投影装置210により投影する輝線の数は、典型的には複数であるが、1本であってもよい。以下、輝線は複数の場合で説明する。以下、FGセンサ101に光切断法を用いた場合のものをFGセンサ101’として説明する。
【0070】
図11の模式的概念図を参照して、FGセンサ101’について説明する。輝線投影装置210は、平面102に、輝線210bを平行に複数本投影する。撮像装置111は、輝線投影装置210によりパターン210aが投影された物体103及び平面102を撮像する。輝線210bは、等間隔に複数本投影される。複数本の輝線210bは、パターン210aを形成する。また、輝線210bの方向と三角法の基線方向は、ほぼ垂直である。即ち、輝線210bの方向は、y軸に垂直である。またここでは、輝線は複数本としているが、1本であってもよい。この場合には、FGセンサ101’をさらに単純に構成できる。
【0071】
ここで、光切断法を用いた物体103の高さ計測の概念について説明する。輝線投影装置210により平面102に投影されたパターン210aは、物体103が存在する部分では、物体103に遮られ平面102には到達しない。ここで物体103が存在しなければ、平面102上の点102aに投射されるべき輝線は、物体103上の点103aに投射される。輝線が点102aから点103aに移動したことにより、また結像レンズ111aと輝線投影装置210とが距離d(基線長d)だけ離れているところから、結像面115’上では、点102a’(x,y)に結像すべきところが点103a’(x,y+δ)に結像する。即ち、物体103が存在しない時点と物体103が存在する時点とは、輝点がy軸方向に距離δだけ移動することになる。
【0072】
これは、例えば図12に示すように、撮像素子115の結像面115’に結像した輝線210bの像は、高さのある物体103により、δだけy軸方向に移動することになる。FGセンサ101と同様に、このδを計測することにより、物体103上の点103aの位置が三次元的に特定できる。即ち、点103aの高さがわかる。また、輝線210bの対応関係が不明にならない程度に、パターン210aのピッチ、即ち輝線210bのピッチを細かくすれば、物体103の高さの分布はそれだけ詳細に計測できることになる。また、高さ演算部118による高さの算出は、図9の説明と同様である。
【0073】
以上のように、FGセンサ101’は、パターンを複数本の輝線とし、輝線の移動を計測することで、パターンを輝点とした場合に比べて、輝線の任意の点の移動を計測でき、輝線方向の連続的形状が認識できる。言い換えれば、図中X軸方向の計測の分解能を向上することができる。
【0074】
図13の模式的斜視図を参照して、FGセンサ101’に適した輝線投影装置210について説明する。輝線投影装置210は、図10で前述した光束発生部105と、ファイバーグレーティング220(以下、単にグレーティング220という)とを備えている。
【0075】
ここでは、グレーティング220は、平面102に平行に(Z軸に直角に)配置される場合で説明する。グレーティング220に、レーザ光L1を、Z軸方向に入射させる。するとレーザ光L1は、個々の光ファイバーにより、そのレンズ効果を持つ面内で集光したのち、発散波となって広がって行き、干渉して、投影面である平面102にパターン210aが投影される。なお、グレーティング220を平面102に平行に配置するとは、図14で後述するように、例えば、グレーティング220を構成する第1FG素子222の各光ファイバー221の軸線を含む平面と、平面102とが平行になるように配置することである。
【0076】
図14の模式図を参照して、グレーティング220について説明する。(a)は斜視図、(b)は正面図である。グレーティング220は、複数の光ファイバー221を各光ファイバー221の軸線を第1の方向v1に向けて平行に且つ平面状に並べた第1のファイバーグレーティング素子222(以下第1FG素子222という)と、複数の光ファイバー221を各光ファイバー221の軸線を第1の方向v1と異なる第2の方向v2に向けて平行に且つ平面状に並べた第2のファイバーグレーティング素子223(以下第2FG素子223という)と、複数の光ファイバー221を各光ファイバー221の軸線を第1の方向v1、第2の方向v2と異なる第3の方向v3に向けて平行に且つ平面状に並べた第3のファイバーグレーティング素子224(以下第3FG素子224という)とを含んで構成される。本実施の形態では、各FG素子222、223、224の平面は、互いに平行である。ここでは、各FG素子を識別するために、第1FG素子、第2FG素子、第3FG素子と呼ぶ。本実施の形態では、第1FG素子、第2FG素子、第3FG素子の順序で重ね合わせてある。しかしなから他の順序、例えば、第1FG素子、第3FG素子、第2FG素子の順に重ね合わせてもよい。以下、各FG素子222、223、224の平面を素子平面という。
【0077】
第1FG素子222、第2FG素子223、第3FG素子224は、前述したFG素子122と同様なものである。また図示では、各FG素子222、223、224は、接触して配置している場合を示しているが、それぞれ、素子平面の法線方向に距離を空けて配置してもよい。この場合には、各FG素子222、223、224の互いの距離は、パターン210aの投影に差支えない程度とする。
【0078】
第1FG素子222と第2FG素子223と第3FG素子224は、重ね合わせてグレーティング220を構成する。なお、ここでの重ね合わせは、各FG素子222、223、224の各素子平面がほぼ平行になるように重ね合わされている。言い換えれば、本実施の形態では、グレーティング220は、第1FG素子222、第2FG素子223、第3FG素子224の順に、各々の素子平面が平行になるように重ね合わされている。また、グレーティング220は、光束発生部105により発生されるレーザ光束L1を透過させるように構成されている。ここでは、レーザ光束L1は、第1FG素子222、第2FG素子223、第3FG素子224の順に透過させる。レーザ光束L1は、典型的には、グレーティング220(第1FG素子222)の素子平面に対して垂直に入射させる。
【0079】
さらに、図14(b)に示すように、本実施の形態では、第1の方向v1と第2の方向v2がほぼ直交している。また、第3FG素子224は、第3の方向v3が、第1の方向v1から所定の角度θだけ素子平面と平行な面内で回転させて重ね合わされている。所定の角度θについては、図15を参照して後述する。
【0080】
ここで、図15を参照して、所定の角度θについて説明する。まず所定の角度θを与えることによる、輝点の変化について説明する。(a)では、(b)に示すように、所定の角度θがθ1の場合で説明する。なお(a)は、(b)の図中奥側から手前にレーザ光束L1を透過させた場合に投影されるパターン210a’の一部を示した図である。図示では、参考として、θ1は、10°程度で示してある。まず、所定の角度θが0°であったときに投影されるパターン210a’の一部である輝点251、252、253、254、255に注目する。そして、第3FG素子224に所定の角度θ1を与えると、上記各輝点は、各輝点の生成方向である直線251aに対して、それぞれ角度θ1をなす直線251a’方向に回折して新たな輝点を投影する。さらに説明するならば、輝点251に注目すると、輝点251は、直線251a’方向に、回折して新たな輝点251’を投影する。
【0081】
これにより、所定の角度θによって輝点の回折方向が変わるので、θによっては、例えば平行であり、等間隔に配列された複数の輝線列(以下単に複数の輝線という)や、密な輝点アレイを投影することができる。言い換えれば、第3FG素子224に所定の角度θを調整することで、複数の輝線を容易に投影することができる。
【0082】
図16の模式図を参照して、所定の角度θを調整して、パターンを複数の輝線とする場合の例について説明する。輝線は、複数の輝点が直線的に集合することで形成される。また、FG素子は、低次から高次の回折光に渡って回折効率が一定に近く、また輝線は、複数の輝点が集合することで形成されているので、輝線の中央部の明るさが、中央部から輝線の端部方向にいっても変化しにくい。即ち、輝度が均一な輝線を投影できる。複数の輝線にする場合には、所定の角度θは、0.1〜10°、好ましくは1〜8°、最も好ましくは5°程度とするとよい。また、θ=85°の場合にも、同様な複数の輝線となる。但し、この場合には、投影されるパターンは、(b)を90°回転させたパターンとなる。
【0083】
以上のように、輝線投影装置210は、レーザ光束L1を第1FG素子222と、第2FG素子223と、第3FG素子224を透過させることで、複数の輝線のパターン210aを投影できるので、単純に構成できる。また、輝線投影装置210は、重ね合わせた第1FG素子222と、第2FG素子223と、第3FG素子224とを含んで構成されたグレーティング220が光学系となるので、複雑な光学系を必要とすることなく、光学筐体を小型化できる。さらに、このように構成されているので、複数の輝線をパターン210aとして平面102に投影できる。さらに、輝線を、輝点の集合により形成するので、輝度が均一な複数の輝線を投影できる。このため、本実施の形態のように輝線の移動を測定する場合に優位性がある。
【0084】
なお、輝線投影装置は、上述した輝線投影装置210の場合で説明したがこれに限られない、例えばシリンドリカルレンズや、スリット等を用いて、パターン210aとして複数の輝線を投影するように構成してもよい。
【0085】
図17に、輝線投影装置の別の例として、輝線投影装置310を示す。輝線投影装置310は、光学ガラスで形成された光学素子311を有している。また光学素子311は、光束の入射側に断面が略三角形の凸311a部が形成され、さらに凸部311aの光束の入射側先端部には、円筒面311bが形成される。光学素子311は、典型的にはUS4826299に開示されているパウエルレンズである。このような光学素子311の円筒面311bに、光束発生部105’により、この円筒面311bの曲率半径より小さい径のレーザ光束L1’を入射させることで、対象領域に輝線を投影できる。さらに、光学素子311の対象領域側に、回折素子、例えば前述したFG素子を配置することで、複数の輝線を投影することができる。輝線投影装置310は、このような光学素子311を用いることで、輝度が均一な複数の輝線を投影することができる。
【0086】
また、図18の模式図に示すように、FGセンサ101’は、対象領域を、輝線を対象物の動きに比べて十分に高速で、図中y軸方向に走査し、輝線が対象領域の異なる位置に投影されたパターン像を複数撮像するようにしてもよい。この場合には、輝線発生手段を、投影した輝線を対象領域の特定方向に走査できる輝線投影装置210’とする。また、この場合には、このように撮像された複数のパターン像の組み合わせにより、前述のパターン210a(図11参照)の像であるパターン像としてもよい。言い換えれば、(b)に示すように、異なる位置に投影された輝線のパターン像を組合わせることで、前述の複数の輝線即ちパターン210aが投影された対象領域のパターン像と同じパターン像を生成してもよい。さらに説明すれば、例えば図示のように、時間t1、t2、t3、t4に取得したパターン像を組合わせて、複数の輝線が投影された対象領域のパターン像を生成することである。即ち、対象領域内を輝線が走査している間に、パターン像を取得した回数が、組み合わされたパターン像上の輝線の像の本数となる。なお、走査する輝線は、典型的には1本である。
【0087】
ここで、図19の模式的外観図を参照して、FGセンサ101の設置例について説明する。輝点投影装置110と、撮像装置111は、ベッド3の上方に配置されている。図示では、人物2のおよそ頭部上方に輝点投影装置110が、ベッド3のおよそ中央部上方に撮像装置111が配置されている。輝点投影装置110は、ベッド3上にパターン110aを投影している。また、撮像装置111の画角は、ベッド3全体を撮像できるように設定されいる。また制御装置114は、図2で説明した制御部21内に組み込むとよい。このようにすることで、落下予測装置1の構成を単純化できる。
【0088】
また、輝点投影装置110は、典型的には、その光軸(レーザ光束の投射方向)を、図示のように対象領域の垂直方向に対して傾けて設置する。このようにすることで、容易に広範囲にパターン110aを投影できる。また、例えば撮像装置111と輝点投影装置110との距離を離して設置することが容易に行なえる。また、撮像装置111は、対象領域の垂直方向に対し、光軸をおよそ平行方向に向けて設置する。なおここでは、上記のように、輝点投影装置110は、その光軸を対象領域の垂直方向に対して傾けて設置するが、前記垂直方向に対して、およそ平行方向に設置してもよい。言い換えれば、その光軸を、およそ撮像装置111の光軸と平行方向に向けて設置してもよい。
【0089】
さらに、撮像装置111と輝点投影装置110とは、撮像装置111と輝点投影装置110を結ぶ軸(基線方向)と、ベッド3の中心線がおよそ平行になるように設置する。また、撮像装置111と輝点投影装置110とは、ある程度距離を離して設置するとよい。このようにすることで、図7で前述した距離d(基線長d)が長くなるので、変化を敏感に検出できるようになる。撮像装置111と輝点投影装置110とは、例えばスタンドに取り付けて設置するとよい。このようにすることで、FGセンサ101(特に撮像装置111と輝点投影装置110)の設置が容易になり、例えば、病院等で必要なときに必要な場所に設置できるので、簡便である。また、撮像装置111と輝点投影装置110とは、天井に取り付けてもよい。このようにすると、撮像装置111と輝点投影装置110とをより確実に固定することが容易に行なえる。なお、ここでは、FGセンサ101ついて説明したが、FGセンサ101’についても同様に設置してよい。
【0090】
以上のような、FGセンサ101を3次元センサ10として用いることで、対象領域内の3次元情報を正確に取得できる。また、3次元センサ10は、上述したFGセンサ101に限らず、対象領域の3次元情報を取得できるものなら何でもよく、例えば、モアレを用いたセンサ、ステレオカメラを用いたセンサ、複数の距離センサを用いたセンサであってもよい。
【0091】
モアレを用いたセンサは、例えば、2つのスリットを用いて形成したモアレ縞を撮像することにより、3次元情報を取得できる。モアレを用いることで、縞方向の高さ分布を連続的に測定できるので、高精度な3次元情報を取得できる。モアレとは、2つの規則的な強度分布を重ねたとき、両者の空間周波数の差によって生じる粗い縞模様である。2つの強度分布の和によって生じる和のモアレと、積によって生じる積のモアレとがあり、前者は2つの規則的分布を二重露光した写真で実現でき、後者はそれぞれの規則的分布を記録した透明画を重ねて見ればよい。また、モアレ縞の位相の情報を利用することで、高精度に人物2の動きを検出することもできる。
【0092】
また、ステレオカメラを用いたセンサは、例えば2つのCCDカメラにより、ステレオ画像を取得し、このステレオ画像上の対応点を探索することで、対象涼気の高さ分布を三角法により測定できる。即ち、対象領域の3次元情報を取得できる。二次元画像に基づいて、3次元情報を取得するので高精度である。
【0093】
さらに、複数の距離センサを用いたセンサは、必要な測定点に対応して複数の距離センサを設置、対象領域の複数の測定点の距離を測定することで、3次元情報を取得することができる。距離センサを用いることで、外乱光の影響が少なく正確に3次元情報を取得できる。また、画像処理の必要がないので、単純な構成とすることができる。使用する距離センサは、基本的には何でもよく、例えば、赤外線センサのような三角法を用いたタイプであってもよいし、超音波センサであってもよく、タイムツウフライト(Time―to―flight)のタイプ(光が出射して帰ってくる時間を測定し、距離を測定するもの)であってもよい。
【0094】
以上のように本実施の形態の落下予測装置1は、人物2のベッド3上からの落下を的確に予測できるので、例えば幼児や老人がベッド3上から転落しそうなことを逸早く知ることができ、落下による事故を未然に防ぐことができる。また、人物2が落下してしまったことも検出できるので、落下してしまった場合でも迅速な対応が可能になる。また、落下予測装置1は、人物2の呼吸を検出することができるので、高齢者や病人が危機的状況に陥った場合に、迅速な救急対応の実現が可能になる。
【0095】
以上では、対象領域は、ベッド3上即ち周辺より高さのある場合で説明したが、周辺と同じ高さであってもよい。言い換えれば、例えば床面に置いた柵内を対象領域としてもよい。このような場合には、領域監視装置は、柵を乗り越えようとする動きを検出できるので、例えば柵で囲まれた場所にいる乳幼児を監視することにも利用できる。また、領域監視装置は、例えば動物が柵を乗り越えて逃げ出そうする動きも検出することが可能であるので、例えば動物園でも利用することができる。さらに、以上では、ベッド即ち周辺より高さのある対象領域に柵が備えられている場合で説明したが、柵を備えなくてもよい。例えば通常の場合、人物がベッドから落下する前には、ベッドの周縁部で起き上がり等の大きな高さ変化が検出されるので、人物の落下を予測できる。即ち対象物が対象領域の外に出ようとする動きを検出できる。
【0096】
【発明の効果】
以上のように、本発明によれば、対象領域内の3次元情報を取得する3次元センサと、前記取得した3次元情報に基づいて、前記対象領域内の高さの変化を検出する高さ変化検出手段と、前記検出された高さの変化に基づいて、対象物の位置を検出する位置検出手段と、前記対象物が前記対象領域の外へ出ようとする動きを監視する動き監視手段とを備え、前記動き監視手段は、前記検出された対象物の位置が、前記対象領域内の特定の領域であるときであって、前記対象物の高さの変化が所定量以上であるときに前記対象領域の外へ出ようとする動きを検出するように構成されるので、対象物が対象領域の外へ出ようとする動きを検出できるだけでなく、単純な領域監視装置を提供できる。
【図面の簡単な説明】
【図1】本発明の実施の形態である落下予測装置の模式的外観図である。
【図2】本発明の実施の形態である落下予測装置の構成を示すブロック図である。
【図3】図1の場合でのベッド上の特定の領域を説明する模式的平面図である。
【図4】本発明の実施の形態で用いる、呼吸の波形パターンについて示した概要図である。
【図5】図4の場合での、正常及び異常な呼吸の波形パターンについて示した概要図である。
【図6】図5の場合の、異常な呼吸の波形パターンに対応する病名または疾患箇所の表を示した図である。
【図7】本発明の実施の形態であるFGセンサの概念的斜視図である。
【図8】図7の場合での結像面に結像したパターンの像を説明する模式図である。
【図9】図7の場合での対象物の高さの演算について説明する線図である。
【図10】図7の場合での輝点投影装置を説明する模式的斜視図である。
【図11】本発明の実施の形態である光切断法を用いたFGセンサの概念的斜視図である。
【図12】図11の場合のパターンの像を説明する線図である。
【図13】図11の場合での輝線投影装置を説明する模式的斜視図である。
【図14】図13の場合でのグレーティングについて説明する、(a)斜視図、(b)正面図である。
【図15】図14のグレーティングにより投影されるパターンについて説明する、(a)パターンの模式図、(b)グレーティングの正面図である。
【図16】図14のグレーティングにより投影されるパターンを示す模式的平面図である。
【図17】図11の場合での輝線投影装置の別の形態を示す模式的斜視図である。
【図18】図11の場合での輝線投影装置のさらに別の形態を示す図であり、(a)FGセンサの模式的斜視図、(b)パターン像の組み合わせについて説明する模式図である。
【図19】本発明の実施の形態であるFGセンサを設置する場合の例を示す模式的外観図である。
【符号の説明】
1 落下予測装置
2 人物
3 ベッド
4 寝具
6 柵
10 3次元センサ
20 演算装置
21 制御部
22 高さ変化検出部
23 位置検出部
24 落下予測部
25 状態検出部
31 記憶部
38 警報装置
101 FGセンサ
101’ FGセンサ(光切断法を用いたもの)
102 平面
103 物体
105 光束発生部
110 輝点投影装置
110a パターン
110b 輝点
111 撮像装置
114 制御装置
115 撮像素子
117 画像処理装置
118 高さ演算部
120 グレーティング
121 光ファイバー
122 FG素子
210 輝線投影装置
210a パターン
210b 輝線
220 グレーティング
221 光ファイバー
222 第1FG素子
223 第2FG素子
224 第3FG素子

Claims (5)

  1. 対象領域内の3次元情報を取得する3次元センサと;
    前記取得した3次元情報に基づいて、前記対象領域内の高さの変化を検出する高さ変化検出手段と;
    前記検出された高さの変化に基づいて、対象物の位置を検出する位置検出手段と;
    前記対象物が前記対象領域の外へ出ようとする動きを監視する動き監視手段とを備え;
    前記動き監視手段は、前記検出された対象物の位置が、前記対象領域内の特定の領域であるときであって、前記対象物の高さの変化が所定量以上であるときに前記対象領域の外へ出ようとする動きを検出するように構成された;
    領域監視装置。
  2. 前記動き監視手段は、前記対象物の高さの変化が所定量以上であって、さらに前記所定量以上の高さの変化の領域が所定の面積以上であるときに前記対象領域の外へ出ようとする動きを検出するように構成された;
    請求項1に記載の領域監視装置。
  3. 前記動き監視手段は、前記対象物の移動を検出できるように構成され;
    前記対象物の位置が前記特定の領域にあり、その位置に至る直前の前記対象物の移動速度が所定の閾値を超えているときに、前記対象領域の外へ出ようとする動きを検出するように構成された;
    請求項1又は請求項2に記載の領域監視装置。
  4. 前記位置検出手段は、前記検出された高さ変化に基づいて、前記対象物の存在する存在領域を判定し、前記判定された存在領域を含む領域であって、前記存在領域を所定の範囲だけ拡大した領域を算出し、前記拡大された領域を優先して、前記対象物の位置の検出を行なうように構成された;
    請求項1乃至請求項3のいずれか1項に記載の領域監視装置。
  5. 前記3次元センサは、前記対象領域に、輝線又は、複数の輝点を投影する投影手段と;
    前記投影により形成されたパターンを撮像する撮像手段と;
    前記撮像されたパターン像と参照像とに基づいて三角法により前記対象物の高さを演算する高さ演算部とを備える;
    請求項1乃至請求項4のいずれか1項に記載の領域監視装置。
JP2002255394A 2002-08-30 2002-08-30 領域監視装置 Expired - Lifetime JP3939224B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002255394A JP3939224B2 (ja) 2002-08-30 2002-08-30 領域監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002255394A JP3939224B2 (ja) 2002-08-30 2002-08-30 領域監視装置

Publications (2)

Publication Number Publication Date
JP2004096457A true JP2004096457A (ja) 2004-03-25
JP3939224B2 JP3939224B2 (ja) 2007-07-04

Family

ID=32060925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002255394A Expired - Lifetime JP3939224B2 (ja) 2002-08-30 2002-08-30 領域監視装置

Country Status (1)

Country Link
JP (1) JP3939224B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005246033A (ja) * 2004-02-04 2005-09-15 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2009159554A (ja) * 2007-12-28 2009-07-16 Casio Comput Co Ltd 撮像装置、及び、プログラム
JP2009230335A (ja) * 2008-03-21 2009-10-08 Aisin Seiki Co Ltd ベッド転落検知システムおよびベッド装置
WO2010105860A1 (de) 2009-03-16 2010-09-23 Robert Bosch Gmbh Zustandserfassungseinrichtung zur befestigung an einem lebewesen
JP2011086286A (ja) * 2009-09-17 2011-04-28 Shimizu Corp ベッド上及び室内の見守りシステム
WO2011108913A1 (en) * 2010-03-01 2011-09-09 Mimos Berhad A tracking and movement monitoring system and a method thereof
WO2012043020A1 (ja) * 2010-09-29 2012-04-05 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
WO2012043021A1 (ja) * 2010-09-29 2012-04-05 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
JP2014174627A (ja) * 2013-03-06 2014-09-22 Nk Works Co Ltd 情報処理装置、情報処理方法、及び、プログラム
DE102013017264A1 (de) * 2013-10-17 2015-04-23 Dräger Medical GmbH Verfahren für die Überwachung eines Patienten innerhalb eines medizinischen Überwachungsbereichs
JP2015132963A (ja) * 2014-01-13 2015-07-23 知能技術株式会社 監視システム
JP2015156603A (ja) * 2014-02-21 2015-08-27 オムロン株式会社 監視装置、監視システム、監視方法、監視プログラム、および監視プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2019131781A1 (ja) * 2017-12-28 2019-07-04 ミネベアミツミ株式会社 在床状態監視システム、及びこれを備えるベッド
JP2022031977A (ja) * 2016-09-30 2022-02-22 マジック リープ, インコーポレイテッド 空間光変調を伴うプロジェクタ
CN116958909A (zh) * 2023-09-20 2023-10-27 山东通广电子股份有限公司 基于网格化管控的视频监控***及监控方法
JP7447467B2 (ja) 2019-12-18 2024-03-12 三菱電機株式会社 空気調和装置

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005246033A (ja) * 2004-02-04 2005-09-15 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2009159554A (ja) * 2007-12-28 2009-07-16 Casio Comput Co Ltd 撮像装置、及び、プログラム
JP4492697B2 (ja) * 2007-12-28 2010-06-30 カシオ計算機株式会社 撮像装置、及び、プログラム
JP2009230335A (ja) * 2008-03-21 2009-10-08 Aisin Seiki Co Ltd ベッド転落検知システムおよびベッド装置
WO2010105860A1 (de) 2009-03-16 2010-09-23 Robert Bosch Gmbh Zustandserfassungseinrichtung zur befestigung an einem lebewesen
DE102009001565A1 (de) 2009-03-16 2010-09-23 Robert Bosch Gmbh Zustandserfassungseinrichtung zur Befestigung an einem Lebewesen
US9028431B2 (en) 2009-03-16 2015-05-12 Robert Bosch Gmbh Status detecting device to be attached to a living being
JP2011086286A (ja) * 2009-09-17 2011-04-28 Shimizu Corp ベッド上及び室内の見守りシステム
WO2011108913A1 (en) * 2010-03-01 2011-09-09 Mimos Berhad A tracking and movement monitoring system and a method thereof
CN103118589B (zh) * 2010-09-29 2015-02-18 欧姆龙健康医疗事业株式会社 安全看护***及安全看护***的控制方法
WO2012043020A1 (ja) * 2010-09-29 2012-04-05 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
JP2012071003A (ja) * 2010-09-29 2012-04-12 Omron Healthcare Co Ltd 安全看護システム、および、安全看護システムの制御方法
CN103118588A (zh) * 2010-09-29 2013-05-22 欧姆龙健康医疗事业株式会社 安全看护***及安全看护***的控制方法
CN103118589A (zh) * 2010-09-29 2013-05-22 欧姆龙健康医疗事业株式会社 安全看护***及安全看护***的控制方法
US8749626B2 (en) 2010-09-29 2014-06-10 Omron Healthcare Co., Ltd. Safe nursing system and method for controlling safe nursing system
WO2012043021A1 (ja) * 2010-09-29 2012-04-05 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
US8994805B2 (en) 2010-09-29 2015-03-31 Omron Healthcare Co., Ltd. Safe nursing system and method for controlling safe nursing system
JP2012071004A (ja) * 2010-09-29 2012-04-12 Omron Healthcare Co Ltd 安全看護システム、および、安全看護システムの制御方法
JP2014174627A (ja) * 2013-03-06 2014-09-22 Nk Works Co Ltd 情報処理装置、情報処理方法、及び、プログラム
US10395123B2 (en) 2013-10-17 2019-08-27 Drägerwerk AG & Co. KGaA Method for monitoring a patient within a medical monitoring area
DE102013017264A1 (de) * 2013-10-17 2015-04-23 Dräger Medical GmbH Verfahren für die Überwachung eines Patienten innerhalb eines medizinischen Überwachungsbereichs
JP2015132963A (ja) * 2014-01-13 2015-07-23 知能技術株式会社 監視システム
JP2015156603A (ja) * 2014-02-21 2015-08-27 オムロン株式会社 監視装置、監視システム、監視方法、監視プログラム、および監視プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2015125701A1 (ja) * 2014-02-21 2015-08-27 オムロン株式会社 監視システム
US10674941B2 (en) 2014-02-21 2020-06-09 Omron Corporation Monitoring device, monitoring system, monitoring method, monitoring program, and computer readable media with monitoring program recording thereon
JP2022031977A (ja) * 2016-09-30 2022-02-22 マジック リープ, インコーポレイテッド 空間光変調を伴うプロジェクタ
US12007505B2 (en) 2016-09-30 2024-06-11 Magic Leap, Inc. Projector with spatial light modulation
WO2019131781A1 (ja) * 2017-12-28 2019-07-04 ミネベアミツミ株式会社 在床状態監視システム、及びこれを備えるベッド
JP2019120958A (ja) * 2017-12-28 2019-07-22 ミネベアミツミ株式会社 在床状態監視システム、及びこれを備えるベッド
JP7447467B2 (ja) 2019-12-18 2024-03-12 三菱電機株式会社 空気調和装置
CN116958909A (zh) * 2023-09-20 2023-10-27 山东通广电子股份有限公司 基于网格化管控的视频监控***及监控方法
CN116958909B (zh) * 2023-09-20 2023-12-22 山东通广电子股份有限公司 基于网格化管控的视频监控***及监控方法

Also Published As

Publication number Publication date
JP3939224B2 (ja) 2007-07-04

Similar Documents

Publication Publication Date Title
JP3939224B2 (ja) 領域監視装置
JP4058286B2 (ja) 監視装置
US6980679B2 (en) Method and system for monitoring breathing activity of a subject
TWI425431B (zh) 監視裝置與程式
US7545279B2 (en) Condition-analyzing device
US8427324B2 (en) Method and system for detecting a fallen person using a range imaging device
US7428468B2 (en) Monitoring apparatus
KR20110105789A (ko) 오브젝트 감시 방법 및 장치
JP3979238B2 (ja) 空間内監視装置
JP3922694B2 (ja) 監視装置
WO2004109228A1 (ja) 三次元形状測定装置
JP2008110215A (ja) 監視装置
JP2007020845A (ja) 離床前動作検出装置、離床前動作検出システム及び離床前動作検出方法
WO2012002904A1 (en) Device and method for detection of abnormal spatial states of a human body
JP4189229B2 (ja) 動き検出装置
JP2004093376A (ja) 高さ計測装置及び監視装置
JP2004037274A (ja) 高さ計測装置及び監視装置
JP2003225210A (ja) 監視装置
JP4230287B2 (ja) 動き検出装置
JP2002340540A (ja) 監視システム
JP2005000388A (ja) 状態推移表示方法及びモニタ装置
JP4372643B2 (ja) 動き検出装置
JP2004037871A (ja) パターン光投影装置及び測定装置
JP2005245974A (ja) 状態解析装置
JP4411361B2 (ja) 状態推移モニタ装置及び状態推移表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061116

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070109

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070327

R150 Certificate of patent or registration of utility model

Ref document number: 3939224

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100406

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140406

Year of fee payment: 7

S201 Request for registration of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314201

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S303 Written request for registration of pledge or change of pledge

Free format text: JAPANESE INTERMEDIATE CODE: R316303

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term