JP2022126071A - 画像処理方法 - Google Patents
画像処理方法 Download PDFInfo
- Publication number
- JP2022126071A JP2022126071A JP2021023928A JP2021023928A JP2022126071A JP 2022126071 A JP2022126071 A JP 2022126071A JP 2021023928 A JP2021023928 A JP 2021023928A JP 2021023928 A JP2021023928 A JP 2021023928A JP 2022126071 A JP2022126071 A JP 2022126071A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vertical direction
- image processing
- distance image
- bed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 230000010365 information processing Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 39
- 230000033001 locomotion Effects 0.000 description 34
- 238000001514 detection method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000474 nursing effect Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】距離画像からより精度よく移動体を検出する画像処理方法を提供する。【解決手段】監視サーバ10と、人物が横たわるベッドが配置された第一領域である部屋内の距離画像を撮影可能な位置に配置されている距離画像カメラCと、介護者などのユーザが在籍する監視ルームなど、第一領域とは離れた場所に設置されて監視端末30及び携帯端末40と、を備えて構成されている情報処理システムにおいて、監視サーバ10(画像処理装置)は、距離画像において略高さ方向に沿って広がる平面を検出し、検出した平面に基づいて距離画像内における垂直方向を決定する方向決定部12と、決定した垂直方向に基づいて距離画像に対する画像処理を行う処理部13、14と、を備える。【選択図】図2
Description
本発明は、距離画像から移動体を検出する処理を行う画像処理方法及び画像処理装置に関する。
近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献1に記載のような、距離画像センサで撮影した距離画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。
特許文献1に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人物の領域を検出し、人物の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人物の動作は、所定の高さ位置に対する物体の位置検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。
ここで、上述したように距離画像からベッドや人物の動作を検出する場合には、距離画像内における基準となる方向を特定する必要がある。例えば、距離画像における床面を検出し、かかる床面から水平方向を特定し、水平方向を基準としてベッドの位置や人物の動作を検出することとなる。
しかしながら、距離画像が斜め上方から撮影される場合には、床面に対してレーザが斜めに入射して反射するため、精度よく床面を検出することができず、水平方向を精度よく特定することができない。その結果、距離画像からより精度よく移動体を検出することが困難である、という問題が生じる。
このため、本発明の目的は、上述した課題である、距離画像からより精度よく移動体を検出することが困難である、ことを解決することにある。
本発明の一形態である画像処理方法は、
距離画像において略高さ方向に沿って広がる平面を検出し、
検出した平面に基づいて前記距離画像内における垂直方向を決定し、
決定した垂直方向に基づいて前記距離画像に対する画像処理を行う、
という構成をとる。
距離画像において略高さ方向に沿って広がる平面を検出し、
検出した平面に基づいて前記距離画像内における垂直方向を決定し、
決定した垂直方向に基づいて前記距離画像に対する画像処理を行う、
という構成をとる。
また、上記画像処理方法では、
前記距離画像内の所定の壁面を前記平面として検出する、
という構成をとる。
前記距離画像内の所定の壁面を前記平面として検出する、
という構成をとる。
また、上記画像処理方法では、
決定した垂直方向に基づいて、前記距離画像内から寝床を検出する、
という構成をとる。
決定した垂直方向に基づいて、前記距離画像内から寝床を検出する、
という構成をとる。
また、上記画像処理方法では、
決定した垂直方向に基づいて、前記距離画像内から寝床の外形を形成するエッジ部分を検出する、
という構成をとる。
決定した垂直方向に基づいて、前記距離画像内から寝床の外形を形成するエッジ部分を検出する、
という構成をとる。
また、本発明の一形態である画像処理装置は、
距離画像において略高さ方向に沿って広がる平面を検出し、検出した平面に基づいて前記距離画像内における垂直方向を決定する決定部と、
決定した垂直方向に基づいて前記距離画像に対する画像処理を行う処理部と、
を備えた、
という構成をとる。
距離画像において略高さ方向に沿って広がる平面を検出し、検出した平面に基づいて前記距離画像内における垂直方向を決定する決定部と、
決定した垂直方向に基づいて前記距離画像に対する画像処理を行う処理部と、
を備えた、
という構成をとる。
また、上記画像処理装置では、
前記処理部は、決定した垂直方向に基づいて前記距離画像内から寝床を検出する、
という構成をとる。
前記処理部は、決定した垂直方向に基づいて前記距離画像内から寝床を検出する、
という構成をとる。
また、本発明の一形態であるプログラムは、
情報処理装置に、
距離画像において略高さ方向に沿って広がる平面を検出し、
検出した平面に基づいて前記距離画像内における垂直方向を決定し、
決定した垂直方向に基づいて前記距離画像に対する画像処理を行う、
処理を実行させる、
という構成をとる。
情報処理装置に、
距離画像において略高さ方向に沿って広がる平面を検出し、
検出した平面に基づいて前記距離画像内における垂直方向を決定し、
決定した垂直方向に基づいて前記距離画像に対する画像処理を行う、
処理を実行させる、
という構成をとる。
本発明は、以上のように構成されることにより、距離画像からより精度よく移動体を検出することができる。
<実施形態1>
本発明の第1の実施形態を、図1乃至図5を参照して説明する。図1乃至図2は、情報処理システムの構成を示す図である。図3乃至図5は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。
本発明の第1の実施形態を、図1乃至図5を参照して説明する。図1乃至図2は、情報処理システムの構成を示す図である。図3乃至図5は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。
本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物Pの行動を監視するための情報処理システムである。そして、情報処理システムは、監視サーバ10と、距離画像カメラCと、監視端末30と、携帯端末40と、を備えて構成されている。
上記距離画像カメラC(撮影装置)は、監視対象となる人物Pが横たわるベッドBが配置された領域である部屋R1(第一領域)内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラCは、医療施設や介護施設、住宅などの部屋R1の天井に設けられ、部屋R1の大部分が画像内に収まる位置に配置されている。特に、本実施形態では、距離画像カメラCは、部屋R1の天井から当該部屋R1内を斜め下方に向かって撮影するよう設置されており、例えば、光軸が水平方向に対して45度未満に設置されていることとする。なお、距離画像カメラCは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。但し、部屋R1に設置されるベッドBは、布団などのいかなる寝床であってもよい。
距離画像カメラCは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラCは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式の撮影装置であってもよい。そして、距離画像カメラCは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ10に送信する機能を有する。なお、後述する監視サーバ10の機能については、上記距離画像カメラCに搭載することもできる。つまり、距離画像カメラCに搭載された情報処理装置にて監視サーバ10の機能を実現してもよい。
上記監視端末30(監視装置)は、被介護者である人物Pの介護を行う介護者や、監視する監視者であるユーザUが操作する情報処理端末である。監視端末30は、介護者などのユーザUが在籍する監視ルームR2など、人物Pの部屋R1(第一領域)とは離れた場所(第二領域)に設置されており、複数のユーザUによって操作可能である。監視端末30は、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ10に送信したり、監視サーバ10から発せられる人物Pの状態の通知を受信して、ユーザUに報知する機能を有する。
上記携帯端末40(監視装置)は、上記ユーザUが保持して操作するスマートフォンなどの情報処理端末である。携帯端末40は、監視サーバ10と無線通信を介して接続される通信可能であり、介護者などのユーザUが在籍する監視ルームR2や他の被介護者の部屋など、人物Pの部屋R1(第一領域)とは離れた場所(第二領域)に位置し、複数のユーザUによって操作可能である。携帯端末40は、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ10に送信したり、監視サーバ10から発せられる人物Pの状態の通知を受信して、ユーザUに報知する機能を有する。
上記監視サーバ10は、距離画像カメラCからの距離画像を用いて人物Pの部屋における当該人物Pの特定の動作状態を検知する機能を主に有する。そして、監視サーバ10は、演算装置及び記憶装置を有する1台又は複数台の情報処理装置で構成される。具体的に、監視サーバ10は、図2に示すように、演算装置がプログラムを実行することで構築された、画像取得部11、方向決定部12、ベッド検出部13、動作検知部14、通知部15、を備えている。また、監視サーバ10は、記憶装置に形成された、判定基準記憶部16を備えている。以下、各構成について詳述するが、併せて監視サーバ10の動作も図5のフローチャートを参照して説明する。なお、監視サーバ10の機能については、上記距離画像カメラCに搭載することもできる。つまり、距離画像カメラCに搭載された情報処理装置にて監視サーバ10の機能を実現してもよい。
上記画像取得部11は、上述したように距離画像カメラCにて撮影されたベッドBを含む部屋R1内の距離画像を、当該距離画像カメラCから取得する。そして、取得した距離画像を、方向決定部12とベッド検出部13と動作検知部14とに渡すことで、当該距離画像は後述する処理に用いられる。なお、画像取得部11は、常に取得した距離画像をそのまま監視端末30や携帯端末40に送信し、監視端末30や携帯端末40の表示装置に表示するよう出力してもよい。
上記方向決定部12(決定部)は、距離画像に基づいて、当該距離画像内における垂直方向と水平方向とを決定する処理を行う。具体的に、方向決定部12は、まず、図3に示すように、計測した距離画像内の各画素の距離値dから、略高さ方向に沿って広がる壁面Wを検出する(図5のステップS1)。例えば、方向決定部12は、距離画像の高さ方向に沿って、距離値が所定の範囲内でほぼ一定であるか、なだらかに変化する画素の領域を平面として検出し、かかる平面を壁面Wとして認識する。そして、図3及び距離画像である図4に示すように、その壁面の高さ方向Dwを、距離画像における撮影している部屋R1(第一領域)の垂直方向Dwとして決定する(図5のステップS2)。なお、方向決定部12は、距離画像カメラCの設置状況を表す情報、例えば、距離画像カメラCの設置高さや水平方向あるいは垂直方向に対する光軸の角度に基づいて、各画素の距離値から平面を検出してもよい。また、方向決定部12は、高さ方向に広がる複数の平面を検出した場合には、例えば、最も広い面積の平面から垂直方向Dwを決定してもよく、任意の平面から垂直方向Dwを決定してもよい。さらに、方向決定部12は、決定した部屋R1内の垂直方向Dwに基づいて、図3及び図4に示すように、部屋R1内の床面Fに沿った方向に対応する水平方向Dfを決定する。
上記ベッド検出部13(処理部)は、上述したように決定した垂直方向Dwを用いて、ベッドB(寝床)の領域であるベッド領域を検出する(図5のステップS3)。例えば、ベッド検出部13は、距離画像から、垂直方向Dwから特定できる水平方向Dfに延びる所定の広さの平面を検出し、かかる平面のうち、予め記憶しているベッド情報に対応する平面領域をベッド領域として検出する。例えば、ベッド情報は判定基準記憶部16に記憶されており、当該ベッド情報には、ベッドの広さや矩形である外形の長辺及び短辺の長さ、床面Fからの高さ、といった情報が含まれる。そして、ベッド検出部13は、特に、ベッド領域の外形を形成する端であるエッジ部分を検出する。例えば、ベッド検出部13は、ベッドBの外形付近に位置する箇所であって、近隣する画素同士の距離値が急激に変化する直線形状の箇所を、エッジ部分として検出する。
上記動作検知部14は、距離画像内における人物Pを検出する処理を行う。具体的に、動作検知部14は、まず、時間的に前後する距離画像の差分を用いて、かかる差分が所定値よりも小さい箇所を背景部分として検出する。例えば、部屋R1の距離画像において、床面や壁面、ベッドBといった固定物が映る箇所は、背景部分として検出される。
そして、動作検知部14は、新たに撮影された距離画像の各画素において背景部分と距離の差分を算出し、かかる差分が所定値よりも大きい箇所に移動する物体(移動体)が存在することを検出する。そして、動作検知部14は、さらに、検出した物体の形状に基づいて人物Pを検出して、その後に順次撮影される距離画像において人物Pを追従する(図5のステップS4)。例えば、動作検知部14は、検出した物体の形状(一例として、アスペクト比)や、物体間の位置関係や体積比(面積比)などから、頭部と胴体部との対といった複数の人体部位からなる人物Pを検出する。また、例えば、動作検知部12は、新たな距離画像に対して、人体部位の形状をパターンマッチングしたり、部位の特徴点のオプティカルフローなども用いて、同一と判断できる人物Pの部位(頭部や胴体部など)を追従する。このとき、動作検知部14は、新たな距離画像に対して、直前に検出した人物Pの位置の近隣に存在する物体を検出して、パターンマッチングなどを用いて追従する。
さらに、動作検知部14は、追従した人物Pの動作状態を検出し(図5のステップS5)、特定の動作状態であるどうかを判定する(図5のステップS6)。例えば、動作検知部14は、追従した人物Pの人体部位(頭部や胴体部など)の位置関係に基づいて、かかる人物Pの動作状態を検出する。一例として、動作検知部14は、頭部から検出できる人物Pの高さと、胴体部から検出できる重心位置と、距離画像内のベッドBと、の位置関係に基づいて、人物Pの動作状態を検出し、かかる動作状態が予め設定された特定の動作状態であるか否かを判定する。例えば、人物PがベッドBに横たわっている状態(臥位状態)である場合には、人物Pがかかる状態(ベッドB上に位置して横たわっている)であることを認識するだけで、特定の動作状態とは判定しない(図5のステップS6でNo)。一方で、動作検知部14は、例えば、人物PがベッドBの境界に位置する状態や、人物PがベッドBから離れてうずくまっている状態、人物PがベッドBから離れて横たわっている状態、である場合には、人物Pの動作状態が異常と判断できる可能性のある特定の動作状態であると判定する(図5のステップS6でYes)。なお、上述したように人物Pの高さ、重心位置、ベッドBなどとの位置関係に基づいて人物Pの動作状態が特定の動作状態であると判断する基準は、予め判定基準記憶部16に記憶されていることとする。
ここで、上述した動作検知部14は、人物Pの部位の検出や追従、動作状態の判定などの処理を、上述したように検出した垂直方向や水平方向を用いて行う。例えば、動作検知部14は、人物Pの頭部を検出した後に同一人物の胴体部を検出したり追従する際に、頭部の垂直方向に沿って胴体部の存在を調べることで、効率よく人物Pの検出や追従を行うことができる。また、人物Pの動作状態を判定するために人物Pの各部位とベッドBのエッジとの位置関係を調べる際にも、垂直方向や水平方向に基づいて、それらの位置関係を判定することで、より精度よく人物Pの動作状態を判定することができる。
上記通知部15は、上述したように動作検知部14にて人物Pが特定の動作状態であると判定すると(図5のステップS6でYes)、ユーザUに対して人物Pが異常状態である可能性がある旨の通知を行う(図5のステップS7)。例えば、通知部15は、監視端末30や携帯端末40に対して、人物Pが異常状態である可能性があることを通知する通知情報を送信する。但し、本発明で判定する特定の動作状態は、上述した状態に限定されず、他の動作状態を特定の動作状態として判定してもよい。例えば、人物PがベッドBに立つ状態(立位状態)、人物PがベッドB上に座っている状態(起き上がり状態)、を異常と判断できる可能性のある特定の動作状態として判定してもよい。
以上のように、本発明によると、距離画像内の略高さ方向に広がる平面に基づいて、当該距離画像内における垂直方向を決定し、かかる垂直方向を用いてベッド領域を検出したり、人物Pの追従処理を行っている。このため、距離画像からより精度よく移動体を検出することができる。
なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
10 監視サーバ
11 画像取得部
12 方向決定部
13 ベッド検出部
14 動作検知部
15 通知部
16 判定基準記憶部
30 監視端末
40 携帯端末
B ベッド
C 距離画像カメラ
P 人物
U ユーザ
11 画像取得部
12 方向決定部
13 ベッド検出部
14 動作検知部
15 通知部
16 判定基準記憶部
30 監視端末
40 携帯端末
B ベッド
C 距離画像カメラ
P 人物
U ユーザ
Claims (7)
- 距離画像において略高さ方向に沿って広がる平面を検出し、
検出した平面に基づいて前記距離画像内における垂直方向を決定し、
決定した垂直方向に基づいて前記距離画像に対する画像処理を行う、
画像処理方法。 - 請求項1に記載の画像処理方法であって、
前記距離画像内の所定の壁面を前記平面として検出する、
画像処理方法。 - 請求項1又は2に記載の画像処理方法であって、
決定した垂直方向に基づいて、前記距離画像内から寝床を検出する、
画像処理方法。 - 請求項3に記載の画像処理方法であって、
決定した垂直方向に基づいて、前記距離画像内から寝床の外形を形成するエッジ部分を検出する、
画像処理方法。 - 距離画像において略高さ方向に沿って広がる平面を検出し、検出した平面に基づいて前記距離画像内における垂直方向を決定する決定部と、
決定した垂直方向に基づいて前記距離画像に対する画像処理を行う処理部と、
を備えた画像処理装置。 - 請求項5に記載の画像処理装置であって、
前記処理部は、決定した垂直方向に基づいて前記距離画像内から寝床を検出する、
画像処理装置。 - 情報処理装置に、
距離画像において略高さ方向に沿って広がる平面を検出し、
検出した平面に基づいて前記距離画像内における垂直方向を決定し、
決定した垂直方向に基づいて前記距離画像に対する画像処理を行う、
処理を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021023928A JP2022126071A (ja) | 2021-02-18 | 2021-02-18 | 画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021023928A JP2022126071A (ja) | 2021-02-18 | 2021-02-18 | 画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022126071A true JP2022126071A (ja) | 2022-08-30 |
Family
ID=83058976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021023928A Pending JP2022126071A (ja) | 2021-02-18 | 2021-02-18 | 画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022126071A (ja) |
-
2021
- 2021-02-18 JP JP2021023928A patent/JP2022126071A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6137425B2 (ja) | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム | |
US20020044682A1 (en) | Method and apparatus for subject physical position and security determination | |
JP2018097487A (ja) | 監視装置及びプログラム | |
JP2014236896A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JPWO2016194402A1 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JPWO2016181837A1 (ja) | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム | |
WO2019240196A1 (ja) | 情報処理装置 | |
JP2022126071A (ja) | 画像処理方法 | |
JP7347577B2 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP7232497B2 (ja) | 情報処理装置 | |
JP6922914B2 (ja) | 見守りシステム、見守り装置、見守り方法、および見守りプログラム | |
JP2020187389A (ja) | 移動体軌跡分析装置、移動体軌跡分析プログラム、および移動体軌跡分析方法 | |
JP2022126069A (ja) | 画像処理方法 | |
JP7095870B2 (ja) | 情報処理装置 | |
JP2022126070A (ja) | 画像処理方法 | |
JP2023548886A (ja) | カメラを制御するための装置及び方法 | |
JP6565468B2 (ja) | 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム | |
JPWO2017029841A1 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
JP6606912B2 (ja) | 浴室異常検知装置、浴室異常検知方法、及び浴室異常検知プログラム | |
JP2021033379A (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
JP7090328B2 (ja) | 情報処理装置 | |
JP7039011B2 (ja) | 情報処理装置 | |
WO2019163561A1 (ja) | 情報処理装置 | |
WO2020145145A1 (ja) | 情報処理装置 | |
WO2021024691A1 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231201 |