JP2014188095A - 遠隔診断システム - Google Patents

Abstract

【課題】平面画像と画素対応の三次元空間座標が得られる立体撮像装置を用い，遠隔地の患者の患部画像を，ネットワークを通して遠隔診断することを可能とする。
【解決手段】患者の患部を撮像して得られる平面画像データと，前記平面画像データの所定の範囲のドットパターンデータを取得する撮像装置と，前記平面画像データとドットパターンデータから立体画像データを生成する第１の処理装置であって、前記立体画像データを特定の処理装置にネットワークを通して送信する処理装置を有する患者側システムと，前記患者側システムから送信される立体画像データを，ネットワークを通して受信し、前記立体画像データを平面データに射影する第２の処理装置と、前記平面データを画像データとして表示するディスプレイを有する診断医側システムにより，立体画像データを診断医側のディスプレイに表示させる。
【選択図】図１

Description

本発明は，遠隔診断システムに関し，特に地理的に離れた患者側と診断医側とをネットワークを介して繋ぎ，診断医側で，患者の患部の画像の観察により診断，及び介護支援を可能とするシステムに関する。

インターネット等のネットワークの普及により高精細画像を，ネットワークを通して送受することが広く受け入れられている。パーソナルコンピュータ，デジタルカメラ，移動体機器等のネットワークに接続が容易な機器が日常生活で使用されている。

これらの機器を医療診断に適用することで患者が病院に赴く時間の節約が図れ，特に移動の困難な患者にとって利益は計り知れない。さらに少数しかいない専門家の活動範囲を広げることが可能になると期待される。

しかし，これまで医師と患者とは対面して診断をすることが原則であり，ネットワークを通して診断を行う場合は，対面の場合と同じ診断が可能になるとは限らない。その一つの理由として，対面で患者を診断するときは，医師は患者（患部）を自然に立体視しているが，ネットワークを介して送受される画像情報は原則平面画像，即ち二次元画像であり，立体視的な観察が出来ないことが挙げられる。

平面画像の立体視を可能にする技術として，ディスプレイに左右２つの視差平面画像を表示し，ディスプレイ前面に配置されるレンチキュラレンズを通して裸眼で観察する方法，液晶シャッターメガネを装着して観察する方法等がある。

視差平面画像をネットワークを通して遠隔地に送信することは可能であるが，診断医が上記いずれかの方法で患部画像を観察することは，画像の精細度，高価格機器の導入あるいは，データの伝送速度等の観点から実用化することは困難である。

特開平９−１８７４３２号公報 特開２００１−３４４３４９号公報 特開２００２−３５１９８８号公報 特開２００５−１０８８４号公報

一方，近年平面画像を撮像し，同時に平面画像の各画素単位に奥行き情報を獲得するデバイス(例えば，マイクロソフト社のKINECT[登録商標]と称されるコンピュータ周辺機器)があり，一利用法としてゲーム装置の入力手段として用いられている。

本発明者は，かかる平面画像と画素対応の仮想三次元空間座標が得られる立体撮像装置は安価であり，更に全方向の完全な立体構造を生成することは出来ないが，皮膚の平面画像をその奥行き方向に立体的な表示をすることが可能であり，ストーマ患者，褥瘡等の患者の患部の状態を観察診断する特定の遠隔医療診断に有効な手段になるとの認識に至った。

したがって，本願発明の目的は，平面画像と画素対応の仮想三次元空間座標が得られる立体撮像装置を用い，遠隔地の患者の患部画像を，ネットワークを通して診断することを可能とする遠隔診断システムを提供することにある。

上記課題を達成する本発明に従う遠隔診断システムの第１の側面は，患者の患部を撮像して得られる平面画像データと，前記平面画像データの所定の範囲のドットパターンデータを取得する撮像装置と，前記平面画像データとドットパターンデータから三次元の座標空間上に立体画像データを生成する制御手段を有する患者側システムと，前記患者側システムから送信される立体画像データを，ネットワークを通して受信する診断医側システムを有し，前記診断医側システムで前記立体画像データをディスプレイに表示させることを特徴とする。

本発明の第１の側面によれば，ネットワークを介した遠隔医療診断において，対面形式の医療診断に近い医師による観察が可能となり，更に診断医側システム２は，遠隔地でリアルタイムに患者の状態を診察することができる。

本発明に従う遠隔診断システムの一実施例概念図である。 KINECT（登録商標）に類似の装置構成の概略構成を示す図である。 処理装置の一構成例ブロック図である。 診断医側システムの一構成例ブロック図である。 ディスプレイに表示される仮想三次元の立体画像の表示例である。 ツール棒が腹部に形成した創傷部（画面上黒丸で囲んだ部分）のポケットに差し込まれた状態を示す図である。 図６に示す患者側システムでの操作に対応してリアルタイムに示されるディスプレイ表示である。

以下図面に従い，本発明の実施例を説明する。

図１は，本発明に従う遠隔診断システムの一実施例概念図である。

患者１Ａ側に置かれる患者側システム１がインターネット等のネットワーク３を通して診断医２Ａ側に置かれる診断医側システム２と接続される。

患者側システム１は，立体撮像装置１０と，処理装置１１により構成される。一方診断医側システム２は，処理装置２０を備え，処理装置２０は、処理装置２０の処理結果を表示するディスプレイ２１と処理装置２０に指令を与える入力機器２２を備える。

患者側システム１の立体撮像装置１０は，立体画像データを生成可能の装置で，例として，マイクロソフト社の入力装置であるKINECT（登録商標）を挙げることができる。かかる立体撮像装置１０の概略構成を図２に示す。

立体撮像装置１０は、患者１Ａの患部を含む所定範囲を撮像し，患部の平面画像データを生成するデジタルカメラ１００と，赤外線ドットの放射源が所定のパターンで配列され、前記所定範囲より狭い範囲に赤外線ドットによるドットマトリクスの赤外線を投影する赤外線放射部１０１と，赤外線放射部１０１により患部に放射投影された赤外線ドットマトリクス像を撮像する赤外線撮像部１０２と、前記デジタルカメラ１００と前記赤外線放射部１０１と前記赤外線撮像部１０２とに接続され、前記デジタルカメラ１００と前記赤外線放射部１０１と前記赤外線撮像部１０２とを制御する制御部１０５と、前記制御部１０５に接続され、前記デジタルカメラ１００により撮像された平面画像データと前記赤外線撮像部１０２により撮像された赤外線ドットマトリクスデータを格納するバッファメモリ１０４とを有する。前記平面画像データと前記赤外線ドットマトリクスデータに対する、制御部１０５による立体画像への変換は、以下のプロセスにより実行される。

制御部１０５による立体画像への変換は，例えば，被写体即ち，撮像対象の患部の凹凸に対応して，投影された赤外線ドットマトリクス像に歪みが生じる。この歪みから赤外線ドットマトリクスを構成する各赤外線ドットの三次元空間における奥行き方向の大きさが判定される。すなわち，赤外線ドットの放射源と，記赤外線撮像部１０２と被写体に投影された赤外線ドットの成す三角形の形状が，基準平面から被写体の凹凸に対応して変形する。これにより，空間に仮想的に設定された三次元座標における赤外線ドットの座標位置が判定される。したがって，この各赤外線ドットの座標位置に対応して，一般的なＣＧ（コンピュータグラフィック）技術によりデジタルカメラ１００により撮像された平面画像データを変形することにより三次元空間における患部の立体画像データが得られ，これをディスプレイ平面に射影することにより立体像が表示される。

かかる立体画像への変換処理は，立体撮像装置１０の制御部１０５において実行しても，あるいは，処理装置１１または２０において実行することも可能である。

なお，立体撮像装置１０の位置即ち三次元空間における視点位置を移動することにより，撮像対象となる空間における視点位置を移動して，生成される立体画像の向きを変えることが可能である。

図３は，処理装置１１の一構成例ブロック図である。処理装置１１及び２０の構成は、一般的なパーソナルコンピュータと同様であり，主処理部としてＣＰＵ１１０を有する。ＣＰＵ１１０は，ＨＤＤ等の記憶装置１１１に格納されるＯＳ（オペレーションシステム）に基づき，本発明に関連するアプリケーションプログラム（同様に記憶装置１１１に格納されている）を実行する。

処理装置１１は、立体撮像装置１０の制御部１０５からの立体画像データを，インタフェース１１６を通して入力する。ＣＰＵ１１０の制御により，一フレーム毎の立体画像データをバッファメモリ１１２に格納し，同時にビデオＲＡＭ１１３に描画し，ディスプレイ１１４に表示する。

さらに，立体画像データは，通信処理部１１７によりネットワーク３を通してリアルタイムに，診断医側システム２に送られる。

図４は，診断医側システム２の一構成例ブロック図である。処理装置２０は、実質的に患者側システム１の処理装置１１と同様の構成である。

主制御部としてＣＰＵ２００を有し，記憶装置１１１に格納されるＯＳ（オペレーションシステム）に基づき，全体制御が行われる。通信処理部２０３により患者側システム１からネットワーク３を通してリアルタイムに送られる患部の画像データを受信する。

受信された画像データは，バッファメモリ２０２に格納されるとともに，ＣＰＵ２００によりビデオメモリ２０４に描画され，ディスプレイ２１に表示される。

処理装置２０はまた、処理装置２０に接続された入力機器２２による指令を受け取り、ネットワーク３を通して処理装置１１に指令を伝え、立体撮像装置１０の位置即ち三次元空間における視点位置を移動させることもできる。

入力機器２２は、キーボードでもよく、所定のキーごとに移動させる向きなどを指定させることもできる。また、別例として入力機器２２はマウスでもよく、ディスプレイ２１に表示される矢印をクリックすることで移動する向きなどを指定することもできる。

さらに別例として、入力機器２２はマイクロフォンでもよく、特定の音声パターンに応じて移動する向きや距離を指定することもできる。入力機器２２の例はこれまでにあげた例を個別に使っても組み合わせて使ってもよいが、これらの例に限定されない。

図５は，ディスプレイ２１に表示される仮想三次元の立体画像の表示例である。画像内容は，資料として子豚の腹部に，擬似的な褥瘡を想定して形成した創傷部（画面上黒丸で囲んだ部分）の画像である。ディスプレイ２１の表示画像の辺部の暗部は，赤外線ドットマトリクスの照射範囲から外れた領域で，奥行き方向のデータが存在しないために何も表示されていない部分である。

図６は，資料として子豚の実像であり，先端部にＬＥＤ光源が付けられたツール棒が腹部に形成した創傷部（画面上黒丸で囲んだ部分）のポケットに差し込まれた状態である。

ポケットの深さ及びポケットの周辺部の状態をより広範囲に観察するために，ポケットに差し込まれたツール棒が操作される様子が図６に示される。

図７は，この図６に示す患者側システム１での操作に対応してリアルタイムに示されるディスプレイ表示であり，診断医側システム２のディスプレイ２１に患部の画像表示行われる。図７において，ポケットの状態が立体視されていることが理解出来る。

さらに，診断医側システム２に関わる医師は，ディスプレイ２１を見て，患部をシフトした角度からの観察を欲する際は，ディスプレイ２１上に形成されたタッチセンサを操作して，三次元座標の視点を移動させる指示を，インタフェース２１１を通して入力するか，キーボード等の入力手段２２により入力する。

この指示が，通信処理部２０３を通して患者側システム１に送られる。これにより先に説明したように，患者側システム１において，仮想三次元空間のカメラ位置（視点座標）を，診断医側システム２からの指示に対応して移動し，変更された立体画像データを，診断医側システム２に再送信する。これにより，診断医側システム２おいて，リアルタイムに角度を変更した立体画像を表示することが出来る。

上記の様に，本発明では二次元平面画像データと赤外線ドットマトリクスデータによる奥行き情報から立体像を作成できるので，患部の状態を擬似的な立体視が可能となる。

また，撮像カメラ１００の撮像範囲と，その範囲より狭い範囲で赤外線ドットマトリクスによる奥行き情報のデータが生成されるので，患部に対応する必要な立体画像データを大きくすることがない。

これにより，患者側システム１から診断医側システム２に送られる画像データを大きくすることがないので，伝送時間も大きくすることがない。したがって，診断医側システム２は，遠隔地でリアルタイムに患者の状態を診察することができる。

すなわち，ネットワークを介した遠隔医療診断において患部の立体視的な観察ができるようになったため，対面形式の医療診断に近い医師による観察が可能となる。これにより遠隔医療診断の普及に貢献することが期待できる。

１ 患者側システム
１０ 立体撮像装置
１１ 処理装置
２ 診断医側システム
２０ 処理装置
２１ ディスプレイ
２２ 入力機器
３ ネットワーク

Claims (3)

1. 患者の患部を撮像して得られる平面画像データと，前記平面画像データの所定の範囲のドットパターンデータを取得する撮像装置と，前記平面画像データとドットパターンデータから立体画像データを生成する第１の処理装置であって、ネットワークを通して特定の処理装置に前記立体画像データを送信する処理装置を有する患者側システムと，
   前記患者側システムから送信される立体画像データを，ネットワークを通して受信し、前記立体画像データを平面データに射影して射影データを生成する第２の処理装置と、前記射影データを画像として表示するディスプレイとを有する診断医側システムとを備えることを特徴とする遠隔診断システム。
2. 請求項１において，
   前記ドットパターンは，所定のパターンで配置される赤外線ドット放射源から放射される複数の赤外線ドットのパターンであり，前記撮像装置は，前記所定のパターンで配置される赤外線ドット放射源から放射される前記複数の赤外線ドットのパターンを前記患部に放射する赤外線放射部と，前記赤外線ドットのパターンを撮像する赤外線撮像部を有する，
   ことを特徴とする遠隔診断システム。
3. 請求項１において，
   前記診断医側システムは、前記ディスプレイに表示される前記射影データの元となる前記立体画像データの視点位置を変更する指示出すための入力装置を更に有し，
   前記診断医側システムの前記第２の処理装置は、前記入力装置からの指示に応答して前記視点位置を変更する指示を前記患者側システムに送信し、前記患者側システムは，前記視点位置を変更する指示に対応して，立体画像データを変更して前記診断医側システムに送る，
   ことを特徴とする遠隔診断システム。