JP7266599B2 - 患者の身体運動を検知するためのデバイス、システム及び方法 - Google Patents

Description

本発明は、人間の動きを検知、位置特定及び分析するためのデバイスに関する。本発明は更に、前述のデバイスを組み込んだシステム及び対応する方法に関する。

患者の運動の自動検知及び分析は、病院において、又は自宅看護下において、患者の継続的な監視を可能とする。身体の動きの検知及び分析は、運動能力分析、セキュリティ面で重要なエリアの監視、マン－マシンインタフェースから、ベッドからの落下リスクの判定のような様々な臨床的用途まで広い範囲に適用される。動きの分析の更なる用途は、せん妄の検知によっても与えられる。せん妄を有する患者は、例えば、撮空模床やもがきのような典型的な運動を伴うはっきりとした運動パターンを呈示する。したがって、患者からせん妄などの特定の医学的状態を示す望ましくない運動が見られたとき、医師、看護士及び介護者は、即座に助けを提供するように迅速な警告を受け取ることができる。

患者の運動の検知及び分析は、コンピュータビジョン技術を使用し、カメラによって自動的に行われ得る。実際上、ビジョンをベースとした動き検知及び分析は、一般的に知られた技術である（例えば、Ｊ．Ｋ．Ａｇｇａｒｗａｌ及びＱ．Ｃａｉによる「Ｈｕｍａｎ Ｍｏｔｉｏｎ Ａｎａｌｙｓｉｓ：Ａ Ｒｅｖｉｅｗ」、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ、Ｖｏｌ．７３、４２８～４４０ページ、１９９９年を参照）。具体的には、深度カメラが、運動情報を撮影及び定量化するための信頼性の高い方法を提供する。これは、深度カメラ（すなわち、範囲撮像カメラ又は３Ｄカメラ）は、２次元的（２Ｄ）強度情報とは別に、シーンの深度情報も提供するという事実のおかげである。深度画像は、各ピクセルにおいて、フレームレートにおいてシーンのオブジェクトまでのカメラの距離を提供する。深度情報及び２Ｄ強度画像情報の両方によって、明るさレベル及びカメラの視点の変化に対して堅牢な、運動についての正確な推測が行われ得る。

単純な運動検知器システムは、概して、ビデオにおいて又は画像のストリームから取得された２つ以上の画像フレームの相関関係又はフレーム差分を使用した方法によって実現される。このコンテキストにおいて相関関係は、２つの連続的な画像フレームの間の（２次元的な）相関係数によって表現され、これは、各フレームにおけるピクセルの強度変化によって正規化された平均減算ピクセル単位強度乗算の和として定義される。相関係数の否定の値、例えば（１－相関係数）の値が高いと、概して、これは動きによってもたらされたものと考えられる。その一方で、フレーム差分は、連続的な画像フレームにおけるピクセル単位の強度差の絶対和である。ここでも、この差の値が高いと、これは動きによってもたらされたものと考えられる。

これらの方法を使用した運動検知器は、それ自体が運動の場所のような粒度の高い情報、又は特定のタイプの運動の発生についての堅牢な推測を与え得るものではない。同時的に発生した身体運動が存在する場合、例えば、患者の両方の手が同時に動いている場合、１つの特定の身体エリアからの運動情報は、全体的な運動検知信号から先験的には分離され得ない。運動検知信号のスペクトルが、例えば反復的な運動を検知するために、続いて更に分析されるとしても、得られるのは不正確な推測である。例えば、ベッドに横たわっている患者が左手で指をタッピングする動きを行う一方で、右手も動かしている場合、運動検知信号は、両方の手の運動からの寄与を含み、場所への割り当ては含まない。しかしながら、もしも運動検知信号が、左手における運動からの寄与だけを含むのであれば、対応する運動検知信号のスペクトル分析によって、左手の反復的運動が発生していると推測することが可能である。

今までのところ、運動の堅牢な検知及び詳細な分析は、撮影された画像におけるシーンの正確な表現を必要とする。オプティカルフローアルゴリズムのような動き推定アルゴリズムは、ピクセルレベルの解像度又は小ブロックレベルの解像度で動きを推定し、すなわち、このアルゴリズムは、画像におけるピクセル又はブロック単位で動きベクトルを生成する。しかしながら、動き推定アルゴリズムは、複雑で、実行には計算量においてコストがかかり、動き領域／タイプについての最終的な推測は、使用される動き推定器の精度によって制限される。これは、このアルゴリズムは、それらの細かな粒度に起因して、すなわち、特に臨床環境において取得されるビデオレコーディングの種類に関する高解像度に起因して、ノイズの影響を受けやすいという事実による。しかしながら、ノイズを含む動き推定は、異なる身体部位において同時的に発生する動きを区別することを非常に困難にしている。更には、運動の詳細な分析及び位置特定は、動き推定アルゴリズムとともに身体部位のセグメント化のような補助的情報を必要とする。特に同時発生的な運動を区別するために異なるクラスタにおける動きベクトルの空間的なセグメント化が使用されるとしても、この方法は非常に複雑で、簡単ではない。

米国特許第９２３２９１２（Ｂ２）号は、乳児が脳性麻痺などの医学的状態に罹患しているか又は罹患するリスクがあるかを判定する目的で、ビデオシステムを使用して乳児の１つ又は複数の手足の運動を測定するためのシステム及び方法を開示している。

Ｘｉａｏｄｏｎｇ Ｙａｎｇらによる「Ｒｅｃｏｇｎｉｚｉｎｇ Ａｃｔｉｏｎｓ Ｕｓｉｎｇ Ｄｅｐｔｈ Ｍｏｔｉｏｎ Ｍａｐｓ－ｂａｓｅｄ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ、２０１２年１月１日、１０５７ページでは、深度マップのシーケンスから人間のアクションを認識する方法を開示しており、これは、アクション認識のための追加的な身体形状及び動き情報を提供する。この手法において、深度マップは、３つの直交する平面に投影され、深度動きマップ（ＤＭＭ）を生成するために全域的動作が全体的なビデオシーケンスを通じて蓄積される。

Ｌｉａｎ Ｂｉｎらによる「Ｓｐｅｃｉｆｉｃｉｔｙ ａｎｄ Ｌａｔｅｎｔ Ｃｏｒｒｅｌａｔｉｏｎ Ｌｅａｒｎｉｎｇ ｆｏｒ Ａｃｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｓｙｎｔｈｅｔｉｃ Ｍｕｌｔｉ－Ｖｉｅｗ Ｄａｔａ Ｆｒｏｍ Ｄｅｐｔｈ Ｍａｐｓ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ、ｖｏｌ．２６、ｎｏ．１２、２０１７年１２月１日、５５６０～５５７４ページでは、深度マップからの合成マルチビューデータを使用したアクション認識の手法を開示している。具体的には、まず、深度マップからの３Ｄポイントクラウドを回転させることによって複数のビューが生成される。次いで、角錐状のマルチビュー深度動きテンプレートが、マルチビューアクション表現のために利用され、３Ｄにおいてマルチスケールの動き及び形状パターンを特徴付ける。

本発明の目的は、計算量が少ない手法によって、高い信頼性で身体運動を検知するための、及び異なる身体部位に対応する身体運動を分離するためのデバイス、システム及び方法を提供することである。

本発明の第１の態様において、患者の身体運動を検知するためのデバイスが提示され、このデバイスは、
患者を示す画像に対応する深度情報を備える画像データを取得し、異なる視点について患者の１つ又は複数の投影画像を生成するように構成された投影走査ユニットと、
１つ又は複数の投影画像において患者の動きを検知し、それぞれの投影画像において動きが検知されたか否かを示す１つ又は複数の動き検知信号を生成するように構成された動き検知ユニットと、
動き検知信号の１つ又は複数の組み合わせに基づいて患者の１つ又は複数の身体部位の身体運動を検知及び位置特定するように構成された分析ユニットとを備える。

本発明の更なる態様において、患者の身体運動を検知するためのシステムが提示され、このシステムは、
患者を示す画像に対応する深度情報を備える画像データを取得するように構成された深度カメラと、
取得された画像データに基づいて患者の身体運動を検知するためのデバイスとを備える。

本発明の別の態様において、患者の身体運動を検知するための方法が提示され、この方法は、
患者を示す画像に対応する深度情報を備える画像データを取得し、異なる視点について患者の１つ又は複数の投影画像を生成するステップと、
１つ又は複数の投影画像において患者の動きを検知し、それぞれの投影画像において動きが検知されたか否かを示す１つ又は複数の動き検知信号を生成するステップと、
動き検知信号の１つ又は複数の組み合わせに基づいて患者の１つ又は複数の身体部位の身体運動を検知及び位置特定するステップとを有する。

本発明のなおも更なる態様において、コンピュータプログラムであって、コンピュータプログラムがコンピュータ上で実行されたときに方法のステップを実行するプログラムコード手段を備える、コンピュータプログラムと、プロセッサによって実行されたときに本明細書において開示される方法を実行するコンピュータプログラム製品を内部に記憶する非一時的コンピュータ可読記録媒体とが提供される。

本発明の好ましい実施形態は、従属請求項において定められる。特許請求される方法、システム、コンピュータプログラム及び媒体は、特許請求されるシステム、具体的には従属請求項において定められ、本明細書において開示されるシステムと類似の及び／又は同一の好ましい実施形態を有することが理解されるべきである。

本発明は、シーン内での同時発生的な動きの、高い信頼性にもかかわらず単純な検知及び分離を可能とするデバイス、システム及び方法を提供するという着想に基づく。現在の動き検知システムは、シーン内での異なる場所において発生した動きを区別することができないか、又は、このような動きを区別できるとしても、高い経費をかけたときのみであるかのいずれかである。本発明は、巧緻な動き検知アルゴリズムを使用する代わりに、投影画像に適用される単純な二分法的な動き／非－動き検知アルゴリズムを使用して、身体の動きを検知し、特には、同時に動いている身体部位を区別することを目的とする。

提案されるシステムの特定の利点は、画像の１つの部分における運動が、別の１つ又は複数の部分における運動と同時発生するときに得られる。画像を表すポイントクラウド、すなわち、３次元的空間におけるデータポイントのセットが、異なる視点について投影されるとき、様々な画像の部分における運動は、異なる投影画像へと分離され得る。具体的には、画像のある部分における動きに関するポイントは、視野に応じて、隠れた領域に追いやられることがある。同様に、シーンの異なる部分が、異なる投影画像において、選択的に抑制又は強調されることがある。

例えば、第１及び第２の領域において動きを備える画像について、提案されるデバイスは、動きの第１の領域だけを撮影した１つ又は複数の投影画像と、動きの第２の領域だけを撮影した１つ又は複数の投影画像とを生成する。動きの第１の領域だけを撮影した異なる投影画像を組み合わせる一方で他の投影を除外することで、第１の領域における動きに対応する動き検知信号は、動きの第２の領域に対応する動き検知信号から分離される。これとは逆に、動きの第２の領域だけを撮影した投影画像を排他的に組み合わせることで、第２の領域に対応する動き検知信号がハイライトされる。このようにして、異なる視点に対応する投影画像を生成する投影走査を使用し、この投影画像における動き検知及び検知された動き検知信号の組み合わせによって、異なる画像領域における運動に属する動き検知信号を分離することが可能となる。それ故、異なる動きの領域は患者の異なる身体部位に属するので、異なる身体部位の運動が、別個に検知及び分析され得る。すなわち、同時発生的な運動が存在したとしても、特定の身体部位の運動が、正確に且つ個々に分析され得る。

概して、視点の数は、シーンにおいて動きが検知及び位置特定される解像度又は粒度に直接的に影響を与える。これは、投影画像がより異なるほど、ますます当てはまる。投影画像がより多く生成され、これらの投影画像の重複領域が小さいほど、シーンにおける動き検知の粒度は精細になる。したがって、広範囲の視点をカバーする投影走査における多数の小さなステップが、複雑な身体運動でさえも別個の投影画像に区別する柔軟性をもたらす。具体的には、この方法は、数多くの同時発生的な身体運動を区別することを可能とする。有利には、有意な運動分析を得るために、最小で３つの少なくとも部分的に異なる投影画像が必要とされる。更に有利には、投影画像は、単一の予め定められた身体部位に紐付けられる。例えば、第１の投影画像は患者の頭部を表し、第２及び第３の投影画像は、それぞれ患者の左腕及び右腕を表す。この制限は、同時発生的な動きの検知をより一層単純化する。

これとは別に、提案されるデバイスは、動き推定及び身体部位セグメント化情報を明確に必要とすることなしに、運動についての推測を可能とする。

ここで、本発明の要素及びその使用は、集中治療室（ＩＣＵ）における患者の動作の運動検知及び分析の特定のコンテキストにおいて説明される。しかしながら、システムは、概して、運動分析が必要とされる任意の類似の用途において使用され得る。

デバイスの実施形態において、動き検知ユニットは、フレーム差分法及び／又は相関関係をベースとした方法を使用して、患者の動きを検知するように構成される。

フレーム差分法はフレーム減算とも呼ばれ、連続的な画像フレームの間の差分がチェックされる技術である。もしもピクセル又はボクセルが変化したなら、画像において何かが明らかに変化している。この画像変化を撮影されたシーンにおける動きに割り当てるために、多くの技術は、ノイズ又は照明の変化によってもたらされた変化をフィルタリングするための何らかのブラー又は閾値を用いる。具体的には、フレーム差分は、連続的な画像フレームにおけるピクセル単位の強度差の絶対和として定義される。この差の値がゼロでないとき、特には値が高いとき、これは動きによってもたらされたものと考えられる。

一方、相関関係をベースとした方法は、連続した画像フレームの２Ｄ又は３Ｄ相関係数、具体的にはピアソンの相関係数を使用する。この係数は、各フレームにおけるピクセル又はボクセルの強度変化によって正規化された平均減算ピクセル単位強度乗算の和として定義される。ここでも、相関係数の否定の値、例えば（１－相関係数）の値が高いと、これは動きによってもたらされたものと考えられる。相関係数及び／又はフレーム差分値について予め定められた閾値に基づき、動き検知ユニットは、画像において動きが検知されたか否かを示す。フレーム差分法及び相関関係をベースとした方法のどちらも単純であり、したがって計算量が少ない。

実際上は、どちらの方法も、互いに比較されるべき画像の間に差が見つからない限りにおいて投影画像に適用されるだけでよい。動き検知ユニットは画像において動きが存在するか、又は存在しないかを検知することのみを必要とし、この動きを位置特定する必要はないので、連続的な対応するピクセル又はボクセルに差が見つかったらすぐに、画像比較は停止してよい。

デバイスの別の実施形態において、分析ユニットは、ベッド位置及び／又は向き、カメラの場所、並びに身体の四肢に対応する検知された末端ポイントのうちの任意の１つを備える補助的情報を使用して身体運動を検知するように構成される。例えば、ベッド位置及び向き情報によって、各投影画像が、ベッド及び／又は患者の特定の側にそれぞれ先験的にリンクされ得る。この事前の情報は、分析ユニットによって使用され得る。例えば、ベッドが画像平面を幅方向に横切っている画像において、左から右への投影走査は、患者の矢状平面に平行な投影画像に対応する。しかしながら、もしもベッドが画像平面を長さ方向に横切っているなら、同じ投影走査は、頭部から足指への投影に対応する。例えば、前者の投影画像は患者の矢状方向の動きを検知及び区別するために使用され、後者の画像は頭部及び足指に対応する長手方向身体軸に沿った動きを分離するために使用される。補助的情報は、例えば、臨床的職員によってユーザインタフェースを介して提供され、又は、デバイス自体が、自動的コンピュータビジョンユニットを使用してこの情報自体を取得する。

デバイスの更なる実施形態において、分析ユニットは、動きの領域、動きの方向、動きの速度、動きの頻度、及び動きのパターンのうちの任意の１つを備える運動データを推測するように構成される。したがって、分析ユニットは、患者のどの身体部位が動いているか、及び運動がどのように起こっているかを推測する。例えば、分析ユニットは、患者が自身のベッドの縁部に向かって急速に動いていること、又は、身体の特定の部位を引っ掻いていることを推測する。動きの方向及び速度を推測することによって、分析ユニットは更に、運動のタイプ、例えば、この運動が滑らかであるか痙攣的であるかを分析する。具体的には、例えば周期的な手足の動きの疾患における震え又は四肢の運動などの周期的な動き及びその頻度が認識される。

デバイスのなおも別の実施形態において、分析ユニットは、検知された身体運動を、検知された身体運動と医学的状態との間のマッピングに基づいて、医学的状態に割り当てるように構成される。このことは、システムが、検知された動き検知信号から患者の医学的状態を導出することを可能とする。例えば、リントピッキング（ｌｉｎｔ－ｐｉｃｋｉｎｇ）行為は、分析ユニットによって、せん妄状態と関連付けられる。同様に、単収縮はてんかん発作と関連付けられる。

デバイスの別の実施形態において、分析ユニットは、予め定められた機能について訓練された及び／又は訓練されるように構成された１つ又は複数の機械学習モデルを備える。より単純な機能としては、画像においてどこで動きが発生したかについての確定があり、より複雑な機能としては、特定の画像領域において検知された動きの経過を追うことによるこの領域における周期的動きの確定がある。例えば、第１のモデルは、この動きの速度を推測するように訓練され、第２のモデルはこの動きの方向を推測するように訓練され、第３のモデルは、測定されたパラメータを対応する医学的状態に割り当てるように訓練される。より複雑な環境においては、機械学習モデルは、異なる動き検知信号を取得し、身体部位運動に関連する複数の予め定められた判定についての出力を生むように訓練される。例えば、機械学習モデルは、例えば、患者の頭部が動いているか、又は患者の左手若しくは右手が動いているかを推測する。この情報を推測するために、１つ又は複数の機械学習モデルは、補助的情報を使用し得る。典型的な運動、例えばせん妄における撮空模床は、運動特性がアノテーションされたこれらの１つ又は複数のモデルについての訓練セットに基づいて特定される。

デバイスの実施形態において、分析ユニットは、重み係数に従って動き検知信号を組み合わせるように構成される。可能な重み係数の１つは、検知された動き信号の強さであり、例えば、これはフレーム差分の大きさ又は相関係数の大きさによって与えられる。他の例示的な重み係数としては、画像の鮮明度、照明状態及び動き検知信号の強さに関連する他の画像品質係数又は他のマーカーなどがある。

デバイスの別の実施形態によると、投影走査ユニットは、異なる角度及び／又は異なるズームレベルから画像を取得するように構成される。この追加的な情報は、更なる投影画像を生成するために使用され、故に、より細かな粒度を達成することを助ける。異なるズームレベルにおける投影は、例えば、動いている領域への収束を助け、そこでの同時発生的な身体部位についてより詳細な情報を得る。このことは、例えば、指などのより小さな身体部位の動きの分析について特に妥当性がある。

なおも別の実施形態において、デバイスは、補助的情報を取得するため、及び／又は検知された身体運動と医学的状態との間のマッピングを取得するために分析ユニットによって提供された分析を提示するように構成されたユーザインタフェースを更に備え、及び／又は、デバイスは、画像、１つ又は複数の投影画像、運動データ、補助的情報、及び検知された身体運動と医学的状態との間のマッピングのうちの任意の１つを記憶するように構成された記憶ユニットを更に備える。

例えば、ユーザインタフェースは、検知された各動きの領域、速度及び方向を表示するディスプレイを備える。更には、動きパターン及び推論された医学的状態が示される。ユーザインタフェースは、臨床的職員によって、例えば、ベッド位置及び向きに関連する補助的情報をデバイスに提供するためにも使用され、次いで、この補助的情報は、分析ユニットによって特定の画像領域に関係付けられる。更には、ユーザインタフェースは、身体運動と医学的状態との間の関係に関連する情報をデバイスに提供するために使用される。具体的には、検知された身体運動と医学的状態との間のマッピングなどのユーザ入力は、分析ユニットの１つ又は複数の機械学習モデルを訓練するために使用される。

一方、記憶ユニットは、例えばテーブルの形態でこのようなマッピングを記憶し、分析ユニットはこのテーブルにアクセスする。運動データ及び対応する画像を記憶することは、再発性の病状を有する患者の治療に特に役立つ。疾病の進行についての結論を引き出すために、以前の入院での運動パターンが現在の動き行為と比較され得る。

別の実施形態において、デバイスの投影走査ユニットは、画像及び／又は１つ又は複数の投影画像の１つ又は複数のサブ画像を生成するように構成され、動き検知ユニットは、１つ又は複数のサブ画像から、それぞれのサブ画像において動きが検知されたか否かを示すサブ画像動き検知信号を検知するように構成される。サブ画像は、画像及び／又は投影画像をズームインすることによって及び／又はカットすることによって生成される。サブ画像及びこの画像における動きの検知は、特には、動き検知信号の領域を絞り込むため、すなわち、シーンにおける動きをより正確に位置特定するために使用される。サブ画像は、画像及び投影画像のそれぞれの組み合わせによっては動きの場所が曖昧さを残さずに特定され得ない領域に、特に妥当である。

更に別の実施形態において、投影走査ユニットは、異なる視点について１つ又は複数のサブ画像から１つ又は複数の投影サブ画像を生成するように構成され、動き検知ユニットは、１つ又は複数の投影サブ画像から、それぞれの投影サブ画像において動きが検知されたか否かを示す更なる動き検知信号を検知するように構成される。

デバイスのなおも別の実施形態において、投影走査ユニットは、深度情報を有するか又は有さない投影画像、サブ画像及び投影サブ画像のうちの任意の１つを生成するように構成される。

したがって、深度情報を備える画像データを取得した後、投影走査ユニットは、距離情報を保持する、すなわち、実際上３Ｄ画像を生成する視点又はこの情報を除外する視点といった、異なる視点に対応する異なる平面に、入力画像を投影する。単純な２次元的画像における動き検知は、概して、３次元画像における動き検知よりも労力が少ないため、深度情報を除外したときの方が動き検知はより効果的になる。３次元的画像、すなわち、更に深度情報を備える２次元的画像の２次元的平面上へのマッピングの種類は、正射投影、弱透視投影、及び透視投影のうちの任意の１つである。更に、例えば分析される必要のある投影画像がほんの数個である場合など、深度情報を省略することが効率的でない場合もある。

本発明のこれらの及び他の態様は、以下に説明される実施形態から明らかになり、これらを参照して明瞭にされるであろう。

本発明による患者の身体運動を検知するためのデバイスの実施形態の概略的な図である。 本発明による患者の身体運動を検知するための方法の実施形態のフローチャートである。 本発明による２つの連続的な時間点における患者の画像及びこの画像に対応する投影を図示する図である。 本発明によるデバイスの実施形態によって生成された画像の２つの異なる投影画像のうちの１つである。 本発明による患者の身体運動を検知するためのシステムの実施形態の概略的な図である。 ベッドに横たわっている患者の動きを検知、分析、及び位置特定するために使用される８つの異なる投影平面を示す図である。 本発明によるデバイスの実施形態によって生成される画像のフローチャートである。

図１は、本発明による患者の身体運動を検知するためのデバイス１の実施形態の概略的な図を図示する。デバイス１は、投影走査ユニット２と、動き検知ユニット３と、分析ユニット４とを備える。

深度情報５を備える画像データを使用して、投影走査ユニット２は、カメラが室内の他の場所でパンされた及び／又は位置特定されたかのように、異なる視点について対応する画像５０を投影する。こうして、１つ又は複数の投影画像２１が取得される。動き検知ユニット３は、これらの投影画像２１、すなわち、対応する投影画像データの各々について、それぞれの投影画像２１において動きが存在するか否かを二分法的判定として検知するように構成される。こうして投影画像２１について得られた動き検知信号３１は、分析ユニット４に渡される。分析ユニットにおいて、信号３１は、シーンにおける身体運動をより詳細に検知するため、具体的には、この運動を位置特定し、分析するために任意の手法で組み合わされる。次いで、分析４１の結果は、更なる処理に使用される。

図２は、本発明による患者の身体運動を検知するための方法の実施形態のフローチャートを図示する。

第１のステップにおいて、深度情報５を備える画像データが、深度カメラ６から受信される。この画像データは、例えば、ベッドにいる対象者を示す画像に対応する。データ５が与えられ、もしも画像において動きが発生したことが動き検知ユニット３の動き検知器３０によって発見されたなら、投影走査ユニット２によって、異なる視点２２に対応する異なる投影画像２１の画像ストリームが生成される。異なる投影平面又は視点２２は、初期カメラ平面から始まる個別の走査に基づいて生成される。初期カメラ平面について明示的な情報が使用できない他のシナリオにおいては、投影平面は、監視されるシーンの静的な情報、すなわち、床及び壁の向きのような補助的情報に基づいて選択される。視点２２の全体的な範囲にわたって完全な走査を行うことも可能である。次のステップにおいて、生成された投影画像２１は、動き検知器３０を備える動き検知ユニット３に提供され、これは、もしも動きがあるなら、投影画像２１の各々において動きを判定する。連続的な画像の相関関係又はフレーム差分に基づく単純な動き検知アルゴリズムが、これらの画像ストリームにおける動き／非－動き、すなわち動きがあるか又は動きがないかに関する判定を行うために使用される。故に、この動き検知は、計算量が少ない。結果として得られた動き検知信号３１は、次いで、分析ユニット４において組み合わされ、分析される。動き検知信号３１は二分法的な動き／非－動き信号、すなわち、それぞれの投影画像において動きが存在するか否かを投影ごとに示す二分法的信号であるが、分析ユニット４は、異なる投影画像ストリームからの動き検知判定を組み合わせて、運動についてより複雑な推論を行うことができる。画像において運動を位置特定することとは別に、分析ユニット４は、例えば、検知された動きを特定の身体部位に割り当て、動きの頻度を推測し、反復を認識する。シーンにおける動きの検知、位置特定及び分析は、規則的に、又は間隔をおいて行われる。

図３Ａから図３Ｆは、本発明による、２つの連続的な時間点における患者の画像５０及び画像５０の対応する投影２１を図示する。具体的には、図３Ａ及び図３Ｂは、ベッドに横たわっている患者を上面図で図示し、図３Ｃ及び図３Ｄは、同じ患者を側面図で図示し、図３Ｅ及び図３Ｆは、このシーンを患者の頭部の背後のある角度から図示する。図３Ａ、図３Ｃ及び図３Ｅは各々、同一の時間点におけるシーンを図示する。同じことが図３Ｂ、図３Ｄ及び図３Ｆにも当てはまるが、これらは全て、もっと後の時間点において撮影されている。図３Ａ及び図３Ｂに図示された入力シーンはそれぞれ、エリア５１及び５２によってそれぞれマークされているように、患者の右手及び左手の両方に運動を含む。図３Ｃ及び図３Ｄから分かるように、側面図についての投影画像は、２つのエリアのうちのエリア５１のみを撮影している。したがって、患者の右手の運動は見えているが、エリア５２に対応する左手の運動は、この視野においては隠れている。一方、図３Ｅ及び図３Ｆにおいては、左手の運動、すなわち、エリア５２は明瞭に見えているが、右手を含むエリア５１は隠れている。したがって、図３Ｃ及び図３Ｄにおいて並びに図３Ｅ及び図３Ｆにおいてそれぞれ図示された投影によって、患者の手における同時発生的な運動は別個に視覚化されている。

図４Ａ及び図４Ｂは、本発明によるデバイス１の実施形態によって生成された画像５０の２つの異なる投影画像２１を図示する。具体的には、図４Ａ及び図４Ｂは、シーンの３次元的表現を形成するポイントの集合、すなわちポイントクラウドを図示する。投影の各ポイントは、その３つの座標ｘ、ｙ及びｚによって特定される。視点は、平面によって、また、その平面に対する法線によって一意に特定される。深度情報を備える画像データに対応する画像は、別の視点についての深度情報を備える別の投影画像を取得するために、別の平面上に投影され得る。例えば、図４Ａは、法線Ｎ_ｃによって定められる平面に対応する視点から見た深度情報を備える画像、すなわち３次元的ポイントクラウドＰ_ｃを図示する。ポイントが投影されるべき視点の平面の法線はＮ_ｐである。これらの法線の間の角度が回転マトリクスＲを定め、法線Ｎ_ｐに対応する視点から見たときのポイントクラウドＰ_ｃは、Ｐ_ｃ’＝Ｒ＊Ｐ_ｃによって与えられる。Ｎ_ｐによって定められる視点から視認できるポイントのセット、すなわち、深度情報Ｐ_ｃ’を備える画像が、図４Ｂにおいて図示される。視点が異なるので、クラウドＰ_ｃにおいて視認できるポイントのうちのいくつかは、Ｐ_ｃ’においては隠されている。具体的には、視点平面に近接したポイント及び（それらの）面が、同一の視点ラインにあるがそれぞれの投影平面から離れたポイント（及びそれらの面）をブロックする。図４Ｂは、３次元的投影画像として、すなわち、深度情報を備える投影画像として、動き検知ユニット３において既に使用されているが、投影走査ユニット２は、好ましくは、Ｐ_ｃ’の保持されたポイントセットの２次元的投影、すなわち、深度情報を持たない投影画像を集めるために、この画像を更に処理する。実際上、３次元的画像の代わりに２次元的画像において動き信号を検知することは、著しく計算量を減少させる。使用される投影方法は、正射投影又は透視投影のいずれかである。正射投影は、遠くの物体は近くの物体よりも小さく見えることを無視しているので、透視投影が好ましい。この方法を使用して、最終的な２Ｄ画像が、

、

、
として取得され、ここで、座標ｘ’、ｙ’及びｚ’は深度情報Ｐ_ｃ’を備える画像データにおけるポイントに対応し、ｆは任意の拡大係数であり、座標Ｘ’及びＹ’は、法線Ｎ_ｐによって定められる視点平面における２Ｄ投影を表す。Ｐ_ｃ’におけるポイントのｘ’、ｙ’及びｚ’に対応する全てのポイントＸ’及びＹ’の集合は、投影画像として定められる。ポイントクラウド若しくは投影されたポイントクラウドにより接近した、又はポイントクラウド若しくは投影されたポイントクラウドからより離間した視点平面をシミュレートする変換ベクトルＴを更に定めることも可能である。このようなズーミングを使用すると、異なる運動の分離にもつながる。

図５は、本発明による患者の身体運動を検知するためのシステム１００の実施形態の概略的な図を図示する。システム１００は、深度カメラ６と、投影走査ユニット２と、動き検知ユニット３と、分析ユニット４と、記憶ユニット７と、ユーザインタフェース８と、警告ユニット９と、自動的コンピュータビジョンユニット１０とを備える。

このシナリオにおいて、カメラ６は、患者のベッドの真上に位置し、患者を患者の正面平面２２０に平行な方向から、すなわち、ベッドの上側面に平行な方向から眺めている。次いで、収集された画像データ５は、投影走査ユニット２に提供される。この実施形態において、投影走査ユニット２は、深度情報５を備える画像データに対応するように取得された画像５０を、２つの投影平面２１０及び２１１に投影し、これらはどちらも患者の身体の矢状平面２３０に平行に、具体的には、左側及び右側に位置する。故に、この実施形態において生成された投影画像は、深度情報を有さない２次元的画像である。

患者の右手の運動のみを検知及び分析するために、動き検知は、平面２１０及び／又は平面２１０に近接した他の平面に投影された画像に適用される。ここで選択される平面（又はその近傍領域）は、ベッドの向き及びカメラの向きの情報に基づいて特定される。ベッド及びカメラの向きについてのこの補助的情報は、システム初期化によって使用可能となるか、ユーザインタフェース８を介してユーザによって提供されるか、又は、自動的コンピュータビジョンユニット１０によって観察されたシーンの静的領域から導出される。右手における運動を検知するために平面２１０及びその近傍の他の平面を選択する際に、システム１００は、暗黙的に運動領域の場所を特定する。提案されるシステム１００は、明示的に運動の場所を検知することもできる。

例えば、患者の左手の運動は、平面２１１に対応する投影画像においてのみ撮影される。しかしながら、深度情報を備える画像５０が平面２１０に投影されるとき、左手のポイントは隠れている。同様に、右手は、平面２１１に対応する投影画像においてのみ撮影される。したがって、異なる身体部位における運動についての動き情報は分離されている。更に、両方の手が動いている場合、平面２１０及び平面２１１からの組み合わされた動き検知信号が、左手及び右手の両方が動いているという情報を捕捉する。

分析ユニット４において、平面２１０及び２１１からもたらされる別個の動き情報信号はそれぞれ、例えばスペクトル分析によって更に分析され、周期性、持続期間などについての推測を行う。また、動き検知信号における動きパターンも、分析ユニット４によって見出される。

患者の運動に関連して獲得された情報、例えば、運動の場所、速度、持続期間は、次いで、記憶ユニット７に記憶された運動データと比較され得る。具体的には、運動データは、特定の疾患の動き特性及び動きパターンを備える。加えて、記憶ユニット７は、このデータを、関連付けられた医学的状態に関連するデータにマッピングとともに記憶する。

したがって、検知された動き検知信号３１を記憶ユニット７からの動きデータと比較することによって、分析ユニット４が患者が疾患に苦しんでいることを発見すると、診断がユーザインタフェース８のディスプレイに表示される。ユーザインタフェース８のディスプレイは、ベッドサイド患者モニタ、看護士モニタ、及び／又は医師モニタである。

同様に、診断された医学的状態に応じて、警告ユニット９によって音響的、視覚的又は触覚的警告が医療スタッフに与えられ得る。このために、分析ユニット４は、診断された各医学的状態にリスクスコアを割り当て、予め定められたリスクスコア閾値が超過されたときには、医療スタッフに警告するように警告ユニット９に信号を与える。

リアルタイムの分析とは別に、分析ユニット４は、患者の運動行為の長期的な分析を提供するように構成される。所定の期間にわたって動き検知信号３１を分析することによって、分析ユニット４は更に、患者の平均的動作並びに患者の動作の変化及び／又は傾向についての情報を推測する。例えば、せん妄の平均的持続期間は数時間であり、例えば実際上の例示的状況において約４８時間である。故に、もしもせん妄患者が、対応する期間にわたって監視されれば、せん妄の診断の信頼性が増加され得る。更に、身体運動の検知は、継続的に行われる必要はなく、特定の時間点において、例えば睡眠時間に実施されればよい。

記憶ユニット７は更に、所定の期間について動き検知信号及び分析ユニット４による対応する分析４１を記憶するように構成される。

図６は、ベッドに横たわっている患者の動きを検知、分析及び位置特定するために使用される８つの異なる投影平面を示す。元の画像において、患者のベッドは上から眺められている。後続の詳細な運動の位置特定は、平面２１２から２１９への元の画像の８つの異なる投影に紐付けられた動き検知判定に基づいて行われる。平面２１２から２１９からの動き検知判定が「ｙ」、「ｙ」、「ｎ」、「ｎ」、「ｎ」、「ｙ」、「ｙ」、「ｎ」であり、「ｙ」が動きの検知を、「ｎ」が非検知を示す場合、平面２１２、２１３、２１７及び２１８に対応する視点について、動きが検知される。前もって判定された患者の位置に対する視点の位置、すなわち、投影平面によって、動きの可能性のある２つの領域、つまり、第１には平面２１２及び２１３に対応する視点の交差領域、第２には平面２１２及び２１９についての視点の交差領域があることが推測され得る。これらの領域における動きについて更なる情報を集めるために、投影走査ユニット２は、元の画像からこれらの領域のサブ画像を生成し、サブ画像の更なる投影を生成する。

図７は、本発明によるデバイスの実施形態によって生成される画像のフローチャートを図示する。患者の指の運動を検知、位置特定及び分析するために、いくつかの投影画像２４０から２４６が生成される。

投影画像のシーケンスを使用して、より正確な運動領域の位置特定が、信頼性の高い運動検知及び運動タイプの推測に利用される。深度情報を備える画像データ５に対応する患者画像５０を受信すると、投影走査ユニット２は、投影画像２４０、２４１及び２４２を生成し、これらの各々は、異なる視野から患者を示す。画像２４０は患者の頭部及び左腕を、画像２４１は患者の胴体及び左腕を、画像２４２は患者の左腕及び脚を示す。これらの投影された画像の各々において動きが検知された場合、分析ユニットは、投影の重複領域、すなわち、患者の腕を含む領域において検知された動きの場所を特定する。続いて、分析ユニット４は、運動の領域にズームインし、この領域からの情報がより一層詳細に捕捉される。この結果、画像５０に対応する視野から見た左腕だけを示す画像２４３がもたらされる。画像データ５の品質に応じて、ズームイン画像２４３は、例えば、外部深度カメラからも取得される。検知された運動の領域に基づいて、更なる投影走査が適用され、画像２４４において患者の腕を患者の矢状平面に平行な平面から示し、画像２４５に示されるように患者の下半身における横断平面に平行な平面から示す。このことは、例えば、以前のステップにおいて運動が検知された制限的な領域においてより精細な投影走査を行うことによって、より精細な情報を得るという利益を提供する。もしも運動が投影画像２４５においてのみ検知されたなら、検知された動きは、画像２４４において隠れている領域において起こったはずであり、おそらくは胴体の近傍の患者の指のうちの１つである。次いで、指が更に監視され、分析ユニット４によって、運動はズームイン画像２４６において分析され得る。動いている指の特定は、スペクトル分析によって、及び画像における身体の四肢の場所のような補助的情報の使用によって支援される。この補助的情報は、分析ユニット４に提供され、投影平面をそれぞれの身体領域に紐付けるために使用される。もしも分析ユニット４が、指がせん妄に関連付けられたリントピッキング行為に似た動きをしていると判定したなら、医師又は介護者は即座に警告される。

要約すれば、提案されるシステムは、シーンの一部における運動の検知を可能とし、動き推定及び身体部位セグメント化情報を明確に必要とすることなしに、単純な動き検知アルゴリズムを使用して運動タイプについての推測を行う。同時発生的な運動があるとき、提案されるシステムは、異なる身体部位における運動を分離し、個別に分析することができる。

提案されるシステムは、カメラによる患者の監視のような用途のために使用され得る。このシステムは、ＩＣＵにおけるような一人の患者の監視環境において、又は、カメラの視界内に複数の患者が存在する一般病棟においてさえも使用され得る。身体全体の運動に基づいた全体的アクチグラフに加えて、せん妄検知システムのような臨床的用途においても、手及び脚のような特定の身体領域において検知された運動イベントの数、検知された撮空模床運動の数のような、より精細な情報から利益が得られる。

臨床的用途のシナリオの他に、提案されるシステムは、精細な粒度の運動情報が役立つ用途における動きの位置特定及び機能強化のために使用され得る。いくつか例示的用途としては、群衆の中での異常な行為の検知、ユーザのジェスチャーの認識、落下防止、歩行分析などがある。

本発明は、図面及び前述の説明において詳細に図示及び説明されたが、このような図示及び説明は、説明的又は例示的なものと見なされるべきであり、制限的なものと見なされるべきではない。本発明は、開示された実施形態に限定されるものではない。開示された実施形態に対する他の変形例が、図面、本開示及び添付の特許請求の範囲を検討することから、特許請求された本発明を実践するにあたり、当業者によって理解及び実行され得る。

特許請求の範囲において、「備える、有する」という語は、他の要素又はステップを排除するものではなく、単数形は、複数性を排除するものではない。単一の要素又は他のユニットが、特許請求の範囲において記載されたいくつかのアイテムの機能を果たし得る。特定の手段が、互いに異なる従属請求項において記載されているという単なる事実は、これらの手段の組み合わせが有利に使用され得ないことを示すものではない。

コンピュータプログラムは、他のハードウェアとともに又は他のハードウェアの一部として供給される光学的記憶媒体又は固体媒体などの適切な非一時的媒体上に記憶及び／又は分配されてよいが、インターネット又は他の有線若しくは無線遠隔通信システムを介してなど、他の形態で分配されてもよい。

特許請求の範囲における任意の参照記号は、範囲を限定するものと解釈されるべきではない。

Claims (15)

1. 患者の身体運動を検知するためのデバイスであって、前記デバイスは、
   前記患者を示す画像に対応する深度情報を備える画像データを取得し、前記画像データを使用して、異なる視点について前記患者の少なくとも３つの投影画像を生成する投影走査ユニットと、
   前記投影画像において前記患者の動きを検知し、それぞれの投影画像において動きが検知されたか否かを示す少なくとも３つの動き検知信号を生成する動き検知ユニットと、
   前記動き検知信号の１つ又は複数の組み合わせに基づいて、前記患者の複数の身体部位の同時発生的な身体運動を検知、位置特定及び分離する分析ユニットと
   を備える、デバイス。
2. 前記動き検知ユニットは、フレーム差分法及び／又は相関関係をベースとした方法を使用して、前記患者の動きを検知する、請求項１に記載のデバイス。
3. 前記分析ユニットは、ベッド位置及び／又は向き、カメラの場所、並びに身体の四肢に対応する検知された末端ポイントのうちの任意の１つを備える補助的情報を使用して身体運動を検知する、請求項１又は２に記載のデバイス。
4. 前記分析ユニットは、動きの領域、動きの方向、動きの速度、動きの頻度、及び動きのパターンのうちの任意の１つを備える運動データを推測する、請求項１から３のいずれか一項に記載のデバイス。
5. 前記分析ユニットは、検知された前記身体運動を、検知された前記身体運動と医学的状態との間のマッピングに基づいて、前記医学的状態に割り当てる、請求項４に記載のデバイス。
6. 前記分析ユニットは、予め定められた機能について訓練された及び／又は訓練されるように構成された１つ又は複数の機械学習モデルを備える、請求項１から５のいずれか一項に記載のデバイス。
7. 前記分析ユニットは、重み係数に従って前記動き検知信号を組み合わせる、請求項１から６のいずれか一項に記載のデバイス。
8. 前記投影走査ユニットは、異なる角度及び／又は異なるズームレベルから画像を取得する、請求項１から７のいずれか一項に記載のデバイス。
9. 前記画像データ、前記投影画像、前記運動データ、補助的情報、及び検知された前記身体運動と前記医学的状態との間のマッピングのうちの任意の１つを記憶する記憶ユニットを更に備え、及び／又は、
   前記補助的情報を取得するため、及び／又は検知された前記身体運動と前記医学的状態との間のマッピングを取得するために前記分析ユニットによって提供された分析を提示するユーザインタフェースを更に備える、請求項５に記載のデバイス。
10. 前記投影走査ユニットは、前記画像及び／又は前記投影画像の１つ又は複数のサブ画像を生成し、前記動き検知ユニットは、前記１つ又は複数のサブ画像から、それぞれのサブ画像において動きが検知されたか否かを示すサブ画像動き検知信号を検知する、請求項１から９のいずれか一項に記載のデバイス。
11. 患者の身体運動を検知するためのデバイスであって、前記デバイスは、
    前記患者を示す画像に対応する深度情報を備える画像データを取得し、前記画像データを使用して、異なる視点について前記患者の少なくとも３つの投影画像を生成する投影走査ユニットと、
    前記投影画像において前記患者の動きを検知し、それぞれの投影画像において動きが検知されたか否かを示す少なくとも３つの動き検知信号を生成する動き検知ユニットと、
    前記動き検知信号の１つ又は複数の組み合わせに基づいて、前記患者の１つ又は複数の身体部位の身体運動を検知及び位置特定する分析ユニットと、を備え、
    前記投影走査ユニットは、前記画像及び／又は前記投影画像の１つ又は複数のサブ画像を生成し、前記動き検知ユニットは、前記１つ又は複数のサブ画像から、それぞれのサブ画像において動きが検知されたか否かを示すサブ画像動き検知信号を検知し、
    前記投影走査ユニットは、異なる視点について前記１つ又は複数のサブ画像から１つ又は複数の投影サブ画像を生成し、前記動き検知ユニットは、前記１つ又は複数の投影サブ画像から、それぞれの投影サブ画像において動きが検知されたか否かを示す更なる動き検知信号を検知する、デバイス。
12. 前記投影走査ユニットは、深度情報を有するか又は有さない、投影画像、サブ画像、及び投影サブ画像のうちの任意の１つを生成する、請求項１から１１のいずれか一項に記載のデバイス。
13. 患者の身体運動を検知するためのシステムであって、前記システムは、
    前記患者を示す画像に対応する深度情報を備える画像データを取得する深度カメラと、
    取得された前記画像データに基づいて前記患者の身体運動を検知するための、請求項１から１２のいずれか一項に記載のデバイスと
    を備える、システム。
14. 患者の身体運動を検知するための方法であって、前記方法は、
    前記患者を示す画像に対応する深度情報を備える画像データを取得し、前記画像データを使用して、異なる視点について前記患者の少なくとも３つの投影画像を生成するステップと、
    前記投影画像において前記患者の動きを検知し、それぞれの投影画像において動きが検知されたか否かを示す少なくとも３つの動き検知信号を生成するステップと、
    前記動き検知信号の１つ又は複数の組み合わせに基づいて、前記患者の複数の身体部位の同時発生的な身体運動を検知、位置特定及び分離するステップと
    を有する、方法。
15. 患者の身体運動を検知するためのコンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行されたときに、請求項１４に記載の方法のステップを前記コンピュータに実行させるためのプログラムコード手段を備える、コンピュータプログラム。

Images