JP6312512B2 - 遠隔見守りシステム - Google Patents

Description

本発明は、遠隔見守りシステムに係り、特に、独居高齢者の介護や、リハビリ対象者の運動機能評価、医師の遠隔診断等に用いるのに好適な、見守られる人のプライバシーを保護しつつ、人体の３次元の動作に基づく的確な見守りが可能な遠隔見守りシステム、及び、そのためのコンピュータプログラムに関する。

公共・私空間のセキュリティ、医療・介護や育児における見守り、生産現場の安全管理、コンピュータベース教育など様々な目的で、遠隔地から人を長時間モニタリングする要請が高まっている。従来、このような監視には、カメラによる実写映像が利用されてきたが、必要以上の情報が含まれてしまうため、見守られる人のプライバシーの保護が困難で、心的負担が大きくなってしまう。

そこで、例えば特許文献１では、プライバシー保護が必要な時に、一時的に、実写映像の視野を制限したり、カメラの方向を変更したり、画像を修正することが記載されている。

又、特許文献２や３には、見守り対象の色々な状態を分かり易く知らせるために、実写映像の代わりに見守り対象の状態（食事中、就寝中など）を判定し、この状態を示す絵図（キャラクタ）を要求元の端末装置に通知することが記載されている。

又、特許文献４には、人でなく家庭装置の動作の進行状態に従ったアバター画像を表示することが記載されている。

特表２０１０−５２９７３８号公報 特開２０１３−０７７１１３号公報 特開２０１３−１０９６２３号公報 米国公開特許ＵＳ２００９／０００９５２１Ａ１号公報

しかしながら、特許文献１に記載の方法では、プライバシーを保護したい場合には、見守られる人の一部の映像が遮られてしまい、全体の常時観察は困難である。

又、特許文献２乃至４のアバター画像は、見守り対象の動作内容を分かり易く表示するためのものであり、細かい動きのモニタはできない。

更に、従来のカメラによる映像は、２次元的な投影画像であり、その場で奥行情報を与えたり、視点を大きく変えたりすることはできない等の問題点を有していた。

本発明は、前記問題点を解決するべくなされたもので、見守られる人のプライバシーを保護しつつ、人体の３次元の動作に基づく的確な見守り及び医師の遠隔診断を可能にすることを課題とする。

本発明は、見守られる人の少なくとも骨格の動きを検出するための３Ｄカメラ搭載の多視点モーションキャプチャ装置である動きセンサと、該動きセンサで得た骨格の動きを含む情報を遠隔地に伝送する伝送手段と、該伝送手段の入力側、内部、又は出力側で、前記動きセンサで得た骨格の動き及び実写映像を含む情報にボディイメージを重ねて、実写映像を一部に含む人型アバターによる３次元アニメーション画像を形成するアバター画像形成手段と、該アバター画像形成手段で形成された、実写映像を一部に含む人型アバター３次元アニメーション画像を遠隔地で見守る人に表示する表示手段と、を備えた遠隔見守りシステムであって、前記動きセンサが、見守られる人の骨格の動きだけでなく表情も検出可能とされ、頭部を拡大した人型アバターによる３次元アニメーション画像が、見守られる人の表情の変化も再現可能とされていることを特徴とする遠隔見守りシステムにより、前記課題を解決したものである。

ここで、前記見守る人の側にも動きセンサ又はカメラを設け、該見守る人の実写映像又は人型アバターによる３次元アニメーション画像を、見守られる人がその場で視聴可能な表示手段に表示することができる。

本発明は、又、コンピュータに、前記遠隔見守りシステムを実現させるためのコンピュータプログラムを提供するものである。

本発明によれば、見守られる人の実際の外観とは独立した人型のアバター画像（人型エージェントとも称する）を用いて、見守られる人の骨格の動きに基づいて人型アバター（人型エージェント）による３次元アニメーション画像を形成するようにしたので、見守られる人のプライバシーを保護しつつ、人体の３次元の細かい動作までリアルタイムで的確に見守ることが可能となる。即ち、視点を変えて、見守られる人の側面や背面に回り込んだり、上から見守ることも可能になる。又、骨格データを直接表示する場合に比べて、骨格データに人型の外観を加えた疑似的な人体を用いるようにしたので、人体に近い外観による動作によって、介護者などの見守る人が、見守られる人の転倒や急病などの人体動作をパターン認知する能力を活用できる。

本発明の第１実施形態の全体構成を示す図 同じく詳細構成を示すブロック図 同じく見守られ側パソコンの処理手順を示す流れ図 同じく実写映像とアバター画像を比較して示す図 同じく見守られ側パソコンによって生成される骨格画像の例を示す図 同じくサーバの処理手順を示す流れ図 同じく見守り側パソコンの処理手順を示す流れ図 人型アバター３次元アニメーション画像の変形例を示す図 本発明の第２実施形態の全体構成を示す図

以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本発明は以下の実施形態及び実施例に記載した内容により限定されるものではない。又、以下に記載した実施形態及び実施例における構成要件には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。更に、以下に記載した実施形態及び実施例で開示した構成要素は適宜組み合わせてもよいし、適宜選択して用いてもよい。

本発明の第１実施形態は、図１に全体構成、図２に詳細構成を示す如く、見守られる人（例えば独居高齢者）１０の骨格の動きを検出するための動きセンサである３Ｄカメラ搭載の多視点モーションキャプチャ装置（例えばＫｉｎｅｃｔ（登録商標）センサ）１２と、該多視点モーションキャプチャ装置１２で得た骨格の動きを含む情報を、骨格の動きを表す骨格運動データに変換する、見守られ側パソコン（ＰＣ）２０と、該見守られ側ＰＣ２０が接続される伝送手段であるインターネット３０と、該インターネット３０に接続された、前記見守られ側ＰＣ２０で得た骨格運動データ、及び、人型アバターによるアニメーション画像形成用の３Ｄモデルを保存するサーバ４０と、リモート側、即ち遠隔地で前記インターネット３０に接続された、前記サーバ４０に保存された３Ｄモデルと骨格運動データを合成して人型アバターによる３次元アニメーション画像１０Ｃを生成し、遠隔地で見守る人（例えば介護者）６０にリアルタイムで表示する表示手段である見守り側ＰＣ５０とを備えている。

前記多視点モーションキャプチャ装置１２は、例えば近赤外線を利用した距離画像センサと映像センサ（ビデオカメラ）を内蔵しており、これらのセンサ情報を多視点モーションキャプチャ装置１２の内部に搭載されているプロセッサで処理し、関節部位の位置座標を算出する。

前記見守られ側ＰＣ２０は、この多視点モーションキャプチャ装置１２から骨格運動データを取得し、骨格運動処理用ソフトウェア２２により骨格姿勢を表す骨格運動データを作成し、例えばプロトコル処理が高速なＵＤＰ通信によってインターネット３０に送信する。

具体的には、図３に示す如く、まずステップ１００で関節部位を認識し、次いでステップ１１０で座標値に変換し、次いでステップ１２０でデータを保存し、次いでステップ１３０で、アプリケーションソフトによる分析（視覚化・定量化）を行う。具体的には、ステップ１３２における関節部位の再現（アニメーション）を行って、図４の右上に例示するような実写映像１０Ａから図５に例示するような線画でなる骨格画像１０Ｂを得る。

前記サーバ４０は、図２に詳細に示した如く、前記見守られ側ＰＣ２０から入力される骨格運動データを受信して格納するリレーショナルデータベース（ＤＢ）４２と、管理者用のＤＢツール４４と、サーバソフトウェア４６を含むワークステーションにより構成されている。前記ＤＢ４２には、人型アバター３次元アニメーション画像１０Ｃ生成用の３Ｄモデルが格納されている。

このサーバ４０では、図６に示す如く、ステップ２１０で前記見守られ側ＰＣ２０から出力される骨格運動データを受信し、ステップ２２０でユーザＩＤを付与してログデータとしてＤＢ４２へ格納し、ステップ２３０でＤＢツール４４からの指示によりデータを選択／削除し、ステップ２４０でデータをリモート側（見守り側）へ送信する準備を行う。

前記見守り側ＰＣ５０は、図７に示す如く、ステップ３００で骨格運動データを受信し、ステップ３１０で３Ｄモデルと合成して、ステップ３２０でウェブのブラウザ５２によりアニメーション描画処理を行って、図４の左下に例示するような人型アバター３次元アニメーション画像１０Ｃを表示する。ここで、見守り側ＰＣ５０のディスプレイは２Ｄディスプレイでもよいが、３Ｄディスプレイであれば立体的な表示が可能になる。

この際、マイクとスピーカを併用して音声も伝達し、マルチメディア情報による的確な見守りを可能とする。

以上のようにして、見守る人６０は、見守り側ＰＣ５０のブラウザの画面により見守られる人１０の動きを人型アバター３次元アニメーション画像１０Ｃと音声によりリアルタイムで的確に見守ることができる。

この際、見守られる人１０の実写映像を直接用いるのではなく、人型アバターを用いているので、プライバシーは完全に保護される。なお、図１の例では見守られる人１０、見守る人６０共に一人ずつとされていたが、見守られる人１０を複数として１人で複数の人を見守れるようにしたり、見守る人６０を複数として複数の人で見守れるようにしたり、あるいは、見守られる人１０、見守る人６０共に複数として相互に見守り合えるようにすることができる。特に、見守られる人１０が複数いる場合は、見守られる人毎に人型アバターの色を変えて識別を容易とすることができる。

なお、前記実施形態においては、見守られる人１０の骨格情報のみを用いて見守るようにしていたが、例えば前記多視点モーションキャプチャ装置１２の顔認識機能又はビデオ画像を利用して、又は他のビデオカメラを設けて、見守られる人１０の表情の変化を捉え、図８に例示する如く、頭部を大きくした人型アバター３次元アニメーション画像１０Ｄにより、表情を観察できるようにすることも可能である。又、例えば手や足の先については実写映像を部分的に表示するようにして、医師による遠隔診断を可能としてもよい。

次に、図９を参照して、双方向通信を可能とした本発明の第２実施形態を説明する。

本実施形態においては、見守り側にもカメラ５４を設けて、見守る人６０、例えば医師やリハビリ指導者の表情やリハビリ動作を示す実写映像６０Ａを、見守られる人１０がその場で視聴可能な見守られ側ＰＣ２０のディスプレイ２４に表示して、見守られる人１０に親近感を与えたり、見守る人６０の表情や動作を見守られる人１０に伝えることができる。

この第２実施形態は、特に、医師が遠隔診断をする際や、リハビリを指導する際に有用である。

なお、見守り側にもカメラ５４の代わりに、見守られ側と同様の多視点モーションキャプチャ装置を設けて、見守られ側にも人型アバター３次元アニメーション画像を表示するようにしてもよい。

前記実施形態においては、いずれも、動きセンサとして３Ｄカメラ搭載の多視点モーションキャプチャ装置１２が用いられていたが、動きセンサの種類はこれに限定されない。又、サーバ４０がインターネット３０の見守り側ＰＣ５０及び見守られ側ＰＣ２０と異なる場所に配設されていたが、サーバ４０を見守り側ＰＣ５０と一体に配設したり、見守られ側ＰＣ２０と一体に配設することも可能である。更に、３次元アニメーション画像の形成手段も見守り側ＰＣ５０に限定されず、サーバ４０で形成したり、見守られ側ＰＣ２０で形成してもよい。

１０…見守られる人
１０Ａ、６０Ａ…実写映像
１０Ｂ…骨格画像
１０Ｃ、１０Ｄ…人型アバター３次元アニメーション画像
１２…多視点モーションキャプチャ装置（動きセンサ）
２０…見守られ側ＰＣ
３０…インターネット
４０…サーバ
４２…データベース（ＤＢ）
５０…見守り側ＰＣ
６０…見守る人

Claims (3)

1. 見守られる人の少なくとも骨格の動きを検出するための３Ｄカメラ搭載の多視点モーションキャプチャ装置である動きセンサと、
   該動きセンサで得た骨格の動きを含む情報を遠隔地に伝送する伝送手段と、
   該伝送手段の入力側、内部、又は出力側で、前記動きセンサで得た骨格の動き及び実写映像を含む情報にボディイメージを重ねて、実写映像を一部に含む人型アバターによる３次元アニメーション画像を形成するアバター画像形成手段と、
   該アバター画像形成手段で形成された、実写映像を一部に含む人型アバター３次元アニメーション画像を遠隔地で見守る人に表示する表示手段と、
   を備えた遠隔見守りシステムであって、
   前記動きセンサが、見守られる人の骨格の動きだけでなく表情も検出可能とされ、頭部を拡大した人型アバターによる３次元アニメーション画像が、見守られる人の表情の変化も再現可能とされていることを特徴とする遠隔見守りシステム。
2. 前記見守る人の側にも動きセンサ又はカメラが設けられ、
   該見守る人の実写映像又は人型アバターによる３次元アニメーション画像が、見守られる人がその場で視聴可能な表示手段に表示するようにされていることを特徴とする請求項１に記載の遠隔見守りシステム。
3. コンピュータに、請求項１又は２に記載の遠隔見守りシステムを実現させるためのコンピュータプログラム。