JP2022126071A - 画像処理方法 - Google Patents

Abstract

【課題】距離画像からより精度よく移動体を検出する画像処理方法を提供する。【解決手段】監視サーバ１０と、人物が横たわるベッドが配置された第一領域である部屋内の距離画像を撮影可能な位置に配置されている距離画像カメラＣと、介護者などのユーザが在籍する監視ルームなど、第一領域とは離れた場所に設置されて監視端末３０及び携帯端末４０と、を備えて構成されている情報処理システムにおいて、監視サーバ１０（画像処理装置）は、距離画像において略高さ方向に沿って広がる平面を検出し、検出した平面に基づいて距離画像内における垂直方向を決定する方向決定部１２と、決定した垂直方向に基づいて距離画像に対する画像処理を行う処理部１３、１４と、を備える。【選択図】図２

Description

本発明は、距離画像から移動体を検出する処理を行う画像処理方法及び画像処理装置に関する。

近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献１に記載のような、距離画像センサで撮影した距離画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。

特許文献１に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人物の領域を検出し、人物の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人物の動作は、所定の高さ位置に対する物体の位置検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。

特開２０１２－０３００４２号公報

ここで、上述したように距離画像からベッドや人物の動作を検出する場合には、距離画像内における基準となる方向を特定する必要がある。例えば、距離画像における床面を検出し、かかる床面から水平方向を特定し、水平方向を基準としてベッドの位置や人物の動作を検出することとなる。

しかしながら、距離画像が斜め上方から撮影される場合には、床面に対してレーザが斜めに入射して反射するため、精度よく床面を検出することができず、水平方向を精度よく特定することができない。その結果、距離画像からより精度よく移動体を検出することが困難である、という問題が生じる。

このため、本発明の目的は、上述した課題である、距離画像からより精度よく移動体を検出することが困難である、ことを解決することにある。

本発明の一形態である画像処理方法は、
距離画像において略高さ方向に沿って広がる平面を検出し、
検出した平面に基づいて前記距離画像内における垂直方向を決定し、
決定した垂直方向に基づいて前記距離画像に対する画像処理を行う、
という構成をとる。

また、上記画像処理方法では、
前記距離画像内の所定の壁面を前記平面として検出する、
という構成をとる。

また、上記画像処理方法では、
決定した垂直方向に基づいて、前記距離画像内から寝床を検出する、
という構成をとる。

また、上記画像処理方法では、
決定した垂直方向に基づいて、前記距離画像内から寝床の外形を形成するエッジ部分を検出する、
という構成をとる。

また、本発明の一形態である画像処理装置は、
距離画像において略高さ方向に沿って広がる平面を検出し、検出した平面に基づいて前記距離画像内における垂直方向を決定する決定部と、
決定した垂直方向に基づいて前記距離画像に対する画像処理を行う処理部と、
を備えた、
という構成をとる。

また、上記画像処理装置では、
前記処理部は、決定した垂直方向に基づいて前記距離画像内から寝床を検出する、
という構成をとる。

また、本発明の一形態であるプログラムは、
情報処理装置に、
距離画像において略高さ方向に沿って広がる平面を検出し、
検出した平面に基づいて前記距離画像内における垂直方向を決定し、
決定した垂直方向に基づいて前記距離画像に対する画像処理を行う、
処理を実行させる、
という構成をとる。

本発明は、以上のように構成されることにより、距離画像からより精度よく移動体を検出することができる。

本発明の実施形態１における情報処理システムの構成を示す概略図である。 図１に開示した監視サーバの構成を示すブロック図である。 図１に開示した監視サーバによる距離画像の処理の様子を示す図である。 図１に開示した監視サーバによる距離画像の処理の様子を示す図である。 図１に開示した監視サーバの処理動作を示すフローチャートである。

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図５を参照して説明する。図１乃至図２は、情報処理システムの構成を示す図である。図３乃至図５は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。

本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物Ｐの行動を監視するための情報処理システムである。そして、情報処理システムは、監視サーバ１０と、距離画像カメラＣと、監視端末３０と、携帯端末４０と、を備えて構成されている。

上記距離画像カメラＣ（撮影装置）は、監視対象となる人物Ｐが横たわるベッドＢが配置された領域である部屋Ｒ１（第一領域）内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラＣは、医療施設や介護施設、住宅などの部屋Ｒ１の天井に設けられ、部屋Ｒ１の大部分が画像内に収まる位置に配置されている。特に、本実施形態では、距離画像カメラＣは、部屋Ｒ１の天井から当該部屋Ｒ１内を斜め下方に向かって撮影するよう設置されており、例えば、光軸が水平方向に対して４５度未満に設置されていることとする。なお、距離画像カメラＣは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。但し、部屋Ｒ１に設置されるベッドＢは、布団などのいかなる寝床であってもよい。

距離画像カメラＣは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラＣは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式の撮影装置であってもよい。そして、距離画像カメラＣは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ１０に送信する機能を有する。なお、後述する監視サーバ１０の機能については、上記距離画像カメラＣに搭載することもできる。つまり、距離画像カメラＣに搭載された情報処理装置にて監視サーバ１０の機能を実現してもよい。

上記監視端末３０（監視装置）は、被介護者である人物Ｐの介護を行う介護者や、監視する監視者であるユーザＵが操作する情報処理端末である。監視端末３０は、介護者などのユーザＵが在籍する監視ルームＲ２など、人物Ｐの部屋Ｒ１（第一領域）とは離れた場所（第二領域）に設置されており、複数のユーザＵによって操作可能である。監視端末３０は、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ１０に送信したり、監視サーバ１０から発せられる人物Ｐの状態の通知を受信して、ユーザＵに報知する機能を有する。

上記携帯端末４０（監視装置）は、上記ユーザＵが保持して操作するスマートフォンなどの情報処理端末である。携帯端末４０は、監視サーバ１０と無線通信を介して接続される通信可能であり、介護者などのユーザＵが在籍する監視ルームＲ２や他の被介護者の部屋など、人物Ｐの部屋Ｒ１（第一領域）とは離れた場所（第二領域）に位置し、複数のユーザＵによって操作可能である。携帯端末４０は、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ１０に送信したり、監視サーバ１０から発せられる人物Ｐの状態の通知を受信して、ユーザＵに報知する機能を有する。

上記監視サーバ１０は、距離画像カメラＣからの距離画像を用いて人物Ｐの部屋における当該人物Ｐの特定の動作状態を検知する機能を主に有する。そして、監視サーバ１０は、演算装置及び記憶装置を有する１台又は複数台の情報処理装置で構成される。具体的に、監視サーバ１０は、図２に示すように、演算装置がプログラムを実行することで構築された、画像取得部１１、方向決定部１２、ベッド検出部１３、動作検知部１４、通知部１５、を備えている。また、監視サーバ１０は、記憶装置に形成された、判定基準記憶部１６を備えている。以下、各構成について詳述するが、併せて監視サーバ１０の動作も図５のフローチャートを参照して説明する。なお、監視サーバ１０の機能については、上記距離画像カメラＣに搭載することもできる。つまり、距離画像カメラＣに搭載された情報処理装置にて監視サーバ１０の機能を実現してもよい。

上記画像取得部１１は、上述したように距離画像カメラＣにて撮影されたベッドＢを含む部屋Ｒ１内の距離画像を、当該距離画像カメラＣから取得する。そして、取得した距離画像を、方向決定部１２とベッド検出部１３と動作検知部１４とに渡すことで、当該距離画像は後述する処理に用いられる。なお、画像取得部１１は、常に取得した距離画像をそのまま監視端末３０や携帯端末４０に送信し、監視端末３０や携帯端末４０の表示装置に表示するよう出力してもよい。

上記方向決定部１２（決定部）は、距離画像に基づいて、当該距離画像内における垂直方向と水平方向とを決定する処理を行う。具体的に、方向決定部１２は、まず、図３に示すように、計測した距離画像内の各画素の距離値ｄから、略高さ方向に沿って広がる壁面Ｗを検出する（図５のステップＳ１）。例えば、方向決定部１２は、距離画像の高さ方向に沿って、距離値が所定の範囲内でほぼ一定であるか、なだらかに変化する画素の領域を平面として検出し、かかる平面を壁面Ｗとして認識する。そして、図３及び距離画像である図４に示すように、その壁面の高さ方向Ｄｗを、距離画像における撮影している部屋Ｒ１（第一領域）の垂直方向Ｄｗとして決定する（図５のステップＳ２）。なお、方向決定部１２は、距離画像カメラＣの設置状況を表す情報、例えば、距離画像カメラＣの設置高さや水平方向あるいは垂直方向に対する光軸の角度に基づいて、各画素の距離値から平面を検出してもよい。また、方向決定部１２は、高さ方向に広がる複数の平面を検出した場合には、例えば、最も広い面積の平面から垂直方向Ｄｗを決定してもよく、任意の平面から垂直方向Ｄｗを決定してもよい。さらに、方向決定部１２は、決定した部屋Ｒ１内の垂直方向Ｄｗに基づいて、図３及び図４に示すように、部屋Ｒ１内の床面Ｆに沿った方向に対応する水平方向Ｄｆを決定する。

上記ベッド検出部１３（処理部）は、上述したように決定した垂直方向Ｄｗを用いて、ベッドＢ（寝床）の領域であるベッド領域を検出する（図５のステップＳ３）。例えば、ベッド検出部１３は、距離画像から、垂直方向Ｄｗから特定できる水平方向Ｄｆに延びる所定の広さの平面を検出し、かかる平面のうち、予め記憶しているベッド情報に対応する平面領域をベッド領域として検出する。例えば、ベッド情報は判定基準記憶部１６に記憶されており、当該ベッド情報には、ベッドの広さや矩形である外形の長辺及び短辺の長さ、床面Ｆからの高さ、といった情報が含まれる。そして、ベッド検出部１３は、特に、ベッド領域の外形を形成する端であるエッジ部分を検出する。例えば、ベッド検出部１３は、ベッドＢの外形付近に位置する箇所であって、近隣する画素同士の距離値が急激に変化する直線形状の箇所を、エッジ部分として検出する。

上記動作検知部１４は、距離画像内における人物Ｐを検出する処理を行う。具体的に、動作検知部１４は、まず、時間的に前後する距離画像の差分を用いて、かかる差分が所定値よりも小さい箇所を背景部分として検出する。例えば、部屋Ｒ１の距離画像において、床面や壁面、ベッドＢといった固定物が映る箇所は、背景部分として検出される。

そして、動作検知部１４は、新たに撮影された距離画像の各画素において背景部分と距離の差分を算出し、かかる差分が所定値よりも大きい箇所に移動する物体（移動体）が存在することを検出する。そして、動作検知部１４は、さらに、検出した物体の形状に基づいて人物Ｐを検出して、その後に順次撮影される距離画像において人物Ｐを追従する（図５のステップＳ４）。例えば、動作検知部１４は、検出した物体の形状（一例として、アスペクト比）や、物体間の位置関係や体積比（面積比）などから、頭部と胴体部との対といった複数の人体部位からなる人物Ｐを検出する。また、例えば、動作検知部１２は、新たな距離画像に対して、人体部位の形状をパターンマッチングしたり、部位の特徴点のオプティカルフローなども用いて、同一と判断できる人物Ｐの部位（頭部や胴体部など）を追従する。このとき、動作検知部１４は、新たな距離画像に対して、直前に検出した人物Ｐの位置の近隣に存在する物体を検出して、パターンマッチングなどを用いて追従する。

さらに、動作検知部１４は、追従した人物Ｐの動作状態を検出し（図５のステップＳ５）、特定の動作状態であるどうかを判定する（図５のステップＳ６）。例えば、動作検知部１４は、追従した人物Ｐの人体部位（頭部や胴体部など）の位置関係に基づいて、かかる人物Ｐの動作状態を検出する。一例として、動作検知部１４は、頭部から検出できる人物Ｐの高さと、胴体部から検出できる重心位置と、距離画像内のベッドＢと、の位置関係に基づいて、人物Ｐの動作状態を検出し、かかる動作状態が予め設定された特定の動作状態であるか否かを判定する。例えば、人物ＰがベッドＢに横たわっている状態（臥位状態）である場合には、人物Ｐがかかる状態（ベッドＢ上に位置して横たわっている）であることを認識するだけで、特定の動作状態とは判定しない（図５のステップＳ６でＮｏ）。一方で、動作検知部１４は、例えば、人物ＰがベッドＢの境界に位置する状態や、人物ＰがベッドＢから離れてうずくまっている状態、人物ＰがベッドＢから離れて横たわっている状態、である場合には、人物Ｐの動作状態が異常と判断できる可能性のある特定の動作状態であると判定する（図５のステップＳ６でＹｅｓ）。なお、上述したように人物Ｐの高さ、重心位置、ベッドＢなどとの位置関係に基づいて人物Ｐの動作状態が特定の動作状態であると判断する基準は、予め判定基準記憶部１６に記憶されていることとする。

ここで、上述した動作検知部１４は、人物Ｐの部位の検出や追従、動作状態の判定などの処理を、上述したように検出した垂直方向や水平方向を用いて行う。例えば、動作検知部１４は、人物Ｐの頭部を検出した後に同一人物の胴体部を検出したり追従する際に、頭部の垂直方向に沿って胴体部の存在を調べることで、効率よく人物Ｐの検出や追従を行うことができる。また、人物Ｐの動作状態を判定するために人物Ｐの各部位とベッドＢのエッジとの位置関係を調べる際にも、垂直方向や水平方向に基づいて、それらの位置関係を判定することで、より精度よく人物Ｐの動作状態を判定することができる。

上記通知部１５は、上述したように動作検知部１４にて人物Ｐが特定の動作状態であると判定すると（図５のステップＳ６でＹｅｓ）、ユーザＵに対して人物Ｐが異常状態である可能性がある旨の通知を行う（図５のステップＳ７）。例えば、通知部１５は、監視端末３０や携帯端末４０に対して、人物Ｐが異常状態である可能性があることを通知する通知情報を送信する。但し、本発明で判定する特定の動作状態は、上述した状態に限定されず、他の動作状態を特定の動作状態として判定してもよい。例えば、人物ＰがベッドＢに立つ状態（立位状態）、人物ＰがベッドＢ上に座っている状態（起き上がり状態）、を異常と判断できる可能性のある特定の動作状態として判定してもよい。

以上のように、本発明によると、距離画像内の略高さ方向に広がる平面に基づいて、当該距離画像内における垂直方向を決定し、かかる垂直方向を用いてベッド領域を検出したり、人物Ｐの追従処理を行っている。このため、距離画像からより精度よく移動体を検出することができる。

なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

１０ 監視サーバ
１１ 画像取得部
１２ 方向決定部
１３ ベッド検出部
１４ 動作検知部
１５ 通知部
１６ 判定基準記憶部
３０ 監視端末
４０ 携帯端末
Ｂ ベッド
Ｃ 距離画像カメラ
Ｐ 人物
Ｕ ユーザ

Claims (7)

1. 距離画像において略高さ方向に沿って広がる平面を検出し、
   検出した平面に基づいて前記距離画像内における垂直方向を決定し、
   決定した垂直方向に基づいて前記距離画像に対する画像処理を行う、
   画像処理方法。
2. 請求項１に記載の画像処理方法であって、
   前記距離画像内の所定の壁面を前記平面として検出する、
   画像処理方法。
3. 請求項１又は２に記載の画像処理方法であって、
   決定した垂直方向に基づいて、前記距離画像内から寝床を検出する、
   画像処理方法。
4. 請求項３に記載の画像処理方法であって、
   決定した垂直方向に基づいて、前記距離画像内から寝床の外形を形成するエッジ部分を検出する、
   画像処理方法。
5. 距離画像において略高さ方向に沿って広がる平面を検出し、検出した平面に基づいて前記距離画像内における垂直方向を決定する決定部と、
   決定した垂直方向に基づいて前記距離画像に対する画像処理を行う処理部と、
   を備えた画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記処理部は、決定した垂直方向に基づいて前記距離画像内から寝床を検出する、
   画像処理装置。
7. 情報処理装置に、
   距離画像において略高さ方向に沿って広がる平面を検出し、
   検出した平面に基づいて前記距離画像内における垂直方向を決定し、
   決定した垂直方向に基づいて前記距離画像に対する画像処理を行う、
   処理を実行させるためのプログラム。
   

Images