JP7121968B2 - 情報表示システム、情報表示装置、情報表示方法および情報表示プログラム - Google Patents

Description

本発明は、情報表示システム、情報表示装置、情報表示方法および情報表示プログラムに係り、特に、医療用装置に関する情報を拡張現実（ＡＲ：Augmented Reality）の技術を用いて表示する情報表示システム、情報表示装置、情報表示方法および情報表示プログラムに関する。

従来、特許文献１のように、端末装置に実際の表示部と同等またはそれ以上の表示部を設けることで操作・表示の利便性を図っている。

特開２０１６－２１４４９６号公報（段落［０１２８］～［０１２９］）

しかし、医療用装置にはメカニカルな操作スイッチ等が設けられていることが多く、前記操作スイッチを利用して操作を行う場合に、特許文献１の技術では、端末装置側での操作情報の表示は限定的である。

また、電気的な操作だけでなく、患者導入や位置付け等、スイッチ操作以外によってフローが進行する場合もあり、患者導入等の操作についての情報も必要となってくる。

本発明は、前記した事情に鑑みてなされたものであり、医療用装置のさらなる利便性の向上を図り、誤操作のリスクを軽減することができる情報表示システム、情報表示装置、情報表示方法および情報表示プログラムを提供することを課題とする。

前記課題を解決するため、操作部を有する医療用装置と、前記医療用装置に関連する装置関連情報を表示する情報表示装置と、を備える情報表示システムであって、前記操作部は、前記医療用装置の状態情報を表示する状態情報表示領域を備えており、前記情報表示装置は、撮影部と、表示部と、制御部と、を備えており、前記制御部は、前記撮影部によって撮影した画像に写し出される前記操作部のボタンおよび前記状態情報表示領域を抽出し、前記状態情報表示領域内に表示される前記状態情報を認識し、前記状態情報に応じた前記装置関連情報を当該ボタンに関連づけて前記表示部に表示する。

本発明は、医療用装置のさらなる利便性の向上を図り、誤操作のリスクを軽減することができる。

本発明の実施形態に係る情報表示システムの外観斜視図である。 医療用装置の操作部の外観図である。 情報表示装置のブロック図である。 表示情報ＤＢのデータ構成図である。 本発明の実施形態に係る情報表示システムの動作を示すフローチャートである。 スキャナリセット工程における装置関連情報の表示例を示した図である。 撮影条件設定工程における装置関連情報の表示例を示した図である。 患者位置付け工程における装置関連情報の表示例を示した図である。 撮影準備工程における装置関連情報の表示例を示した図である。 Ｘ線照射工程における装置関連情報の表示例を示した図である。 撮影終了工程における装置関連情報の表示例を示した図である。

以下、図面を参照して、本発明の実施形態について詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

本発明の実施形態に係る情報表示システム１について、図１から図１１を参照しながら詳細に説明する。情報表示システム１の説明における「上下」、「左右」、「前後」は図１の矢印に従う。当該方向は、説明の便宜上定めるものであり、本発明を限定するものではない。

情報表示システム１は、拡張現実（ＡＲ：Augmented Reality）の技術を用いて、医療用装置２の関連情報（以下、「装置関連情報」という）を操作者に表示するものである。操作者への装置関連情報の表示は、情報表示装置３を介して行われる。

装置関連情報は、医療用装置２に関する情報であればよく、例えば、医療用装置２を構成する部位の説明、操作方法の説明、メンテナンス情報、故障情報などである。部位は医療用装置２の一部の領域であればよく、例えば機能や形状によって区別される領域である。メンテナンス情報は、メンテナンスに関する情報（例えば、メンテナンス方法など）である。故障情報は、故障に関する情報（例えば、修理方法など）である。

＜全体構成＞
情報表示システム１は、例えば、図１に示すように、医療現場で使用される医療用装置２と、医療用装置２の装置関連情報を表示する情報表示装置３と、を備えている。

＜医療用装置＞
医療用装置２は、医療に使用される装置であればよく、特に種類を限定するものではない。医療用装置２は、例えば、歯科用ユニットや画像診断機器などであり、ここでは、医療用装置２として、Ｘ線ＣＴ（Computer Tomography）装置を想定して説明する。ここでの医療用装置２は、本体部２１と、昇降部２２と、スキャナ２３と、操作部２４と、を備えている。

なお、医療用装置２は、患者の情報が登録された管理用のＰＣ（Personal Computer）に接続されていてもよい。その場合、管理用のＰＣには、患者の情報に関連付けて医療用装置２によって撮影されたＣＴ画像が記憶される。

本体部２１は、医療用装置２の本体となる部分である。本体部２１は、土台２１ａと、土台２１ａの後部に垂設された柱部２１ｂと、土台２１ａの前部に設置された患者用の椅子２１ｃと、患者の頭部を固定する頭部固定機構２１ｄとを備える。なお、図１では患者の図示を省略している。

頭部固定機構２１ｄは、摺動運動と回転運動とを組み合わせた構造になっており、リンク２１ｄａ，２１ｄｂ，２１ｄｃを備えたリンク機構として構成されている。リンク２１ｄｃの先端には患者の頭部を固定する患者固定具２１ｄｄが設けられている。

昇降部２２は、柱部２１ｂを昇降する構成要素である。昇降部２２は、スキャナ２３を支持するスキャナ支持部２２ａと、スキャナ２３の位置を患者の口腔に合わせるための位置付け部２２ｂと、を備えている。

スキャナ支持部２２ａの内部には、スキャナ２３を回動させる回動機構が収納されており、上下方向を回転軸としてスキャナ２３を回動させる。

位置付け部２２ｂは、前方に位置合わせ用のビーム（例えば、レーザ光線）を照射する部分である。位置付け部２２ｂから照射されるビームは、前後および左右の線分で構成される平面（水平面）に対して平行であり、スキャナ２３の上下方向の位置合わせに使用される。

スキャナ２３は、Ｘ線を用いて患者の口腔内を撮影する構成要素である。スキャナ２３は、回動しながら撮影を行うことが可能であり、回動させながら撮影した画像データを合わせることで３次元のボリュームデータとなる。操作部２４を操作することで、スキャナ２３の撮影モードや撮影条件（管電圧、管電流、撮影秒数など）を設定することが可能である。

医療用装置２の撮影モードは、例えば、作成されるデータの種類や撮影範囲などによって分類される。ここでは、撮影モードとして、「オーラルモード」、「デンタルモード」、「標準パノラマモード」および「小児パノラマモード」の四つがある。「オーラルモード」は、口腔内の全体の３次元データを作成する撮影モードである。「デンタルモード」は、口腔内の局所の３次元データを作成する動作モードである。「標準パノラマモード」は、口部分の２次元データを作成する撮影モードである。「小児パノラマモード」は、「標準パノラマモード」よりも狭い範囲の２次元データを作成する撮影モードである。

操作部２４は、操作者によって操作される構成要素であり、ここでは昇降部２２の左側面に設置されている。操作部２４は、例えば、図２に示すように、リセットボタン２４ａと、撮影モード選択ボタン２４ｂと、上下左右の方向ボタン２４ｃと、Ｘ線照射ボタン２４ｄと、メニューボタン２４ｅと、を備えている。また、操作部２４は、例えば、撮影条件表示領域２４ｆと、状態情報表示領域２４ｇと、撮影モード表示領域２４ｈと、を備えている。なお、図２に示す操作部２４の構成はあくまで例示であって、ボタン等の配置や形状は任意のものであってよい。

リセットボタン２４ａは、例えば、スキャナ２３を特定の位置に移動させる場合に押下される。リセットボタン２４ａは円形状を呈しており、リセットボタン２４ａの表面には「Ｒ」の文字が表示されている。

撮影モード選択ボタン２４ｂは、例えば、撮影モードの選択時に押下される。撮影モード選択ボタン２４ｂは円形状を呈しており、撮影モード選択ボタン２４ｂの表面には「Ｍ」の文字が表示されている。

上下左右の方向ボタン２４ｃは、例えば、撮影条件（管電圧、管電流、撮影秒数など）の設定やスキャナ２３の位置合わせに使用される。方向ボタン２４ｃは略三角形状（三角形の一つの頂点に丸みを持たせた形状）を呈しており、方向ボタン２４ｃにはそれぞれの方向を示す黒塗りの三角形が表示されている。

Ｘ線照射ボタン２４ｄは、例えば、Ｘ線を照射する際に押下される。Ｘ線照射ボタン２４ｄは円形状を呈しており、Ｘ線照射ボタン２４ｄには「Ｂ」の文字が表示されている。

メニューボタン２４ｅは、例えば、選択した撮影モードや設定した撮影条件を決定する場合や、撮影時以外の様々な設定に使用される。メニューボタン２４ｅは矩形状を呈している。

撮影条件表示領域２４ｆは、ディスプレイであって、例えば、複数のセグメントで構成されるディスプレイ（ここでは、７セグメントディスプレイを想定）である。撮影条件表示領域２４ｆには、撮影条件である管電圧（ｋＶ）、管電流（ｍＡ）、撮影秒数（ｓｅｃ）が表示される。

状態情報表示領域２４ｇは、ディスプレイであって、例えば、複数のセグメントで構成されるディスプレイ（ここでは、７セグメントディスプレイを想定）である。状態情報表示領域２４ｇには、医療用装置２の状態情報が表示される。

ここでの「状態情報」は、医療用装置２の様々な状態を示す情報であればよく、例えば、Ｘ線画像撮影時の操作工程を示す情報（以下、「操作工程情報」という）、故障の内容を識別する情報（以下、「故障識別情報」という）、メンテナンスの内容を識別する情報（以下、「メンテナンス識別情報」という）などである。

操作工程情報は、例えば「Ｓ１」，「Ｓ２」のように「英字の「Ｓ」＋数字」で表される。故障識別情報は、例えば「Ｅ１」，「Ｅ２」のように「英字の「Ｅ」＋数字」で表される。メンテナンス識別情報は、例えば「Ｍ１」，「Ｍ２」のように「英字の「Ｍ」＋数字」で表される。

撮影モード表示領域２４ｈは、選択されている撮影モードを表示するものであり、例えば、撮影モードの名称とランプとで構成される。撮影モードが選択された場合、該当する撮影モードのランプが点灯する。

＜情報表示装置＞
情報表示装置３は、医療用装置２の装置関連情報を表示するものである。情報表示装置３は、拡張現実技術を用いて装置関連情報を表示できるものであればよく、特に種類を限定するものではない。情報表示装置３は、例えば、頭部に装着するヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）や手に持って操作するモバイル端末などである。ここでは、情報表示装置３として、ビデオキャプチャを用いて信号レベルで画像に装置関連情報を合成する方式（ビデオシースルー方式）のヘッドマウントディスプレイを想定して説明する。

情報表示装置３は、例えば、図３に示すように、撮影部３１と、表示部３２と、記憶部３４と、制御部３５と、を備えている。なお、制御部３５は、特許請求の範囲の「制御手段」の一例である。

撮影部３１は、例えばＣＭＯＳ（Complementary metal-oxide-semiconductor）イメージセンサやＣＣＤ（Charged-coupled devices）イメージセンサを備えるカメラである。撮影部３１は、操作者に装着された状態で操作者の目線方向の映像（画像を含む。以下同じ。）を撮影するように設置されている。

表示部３２は、例えば、液晶ディスプレイや有機ＥＬディスプレイである。表示部３２は、操作者に装着された状態で操作者の視野を遮るように配置されている。表示部３２には、撮影部３１で撮影された映像が表示される。また、表示部３２には、医療用装置２の状態に応じた装置関連情報が、医療用装置２の部位に関連付けて表示される。装置関連情報の表示の詳細については後記する。

記憶部３４は、例えばメモリであって、装置関連情報の表示に必要な情報が記憶されている。ここでの記憶部３４には、部位情報ＤＢ（Data Base）３４ａと、状態情報ＤＢ３４ｂと、付加情報ＤＢ３４ｃと、が記憶されている。なお、これらの情報の一部または全部は、情報表示装置３以外の装置に記憶され、情報表示装置３が必要に応じてネットワークを介して情報を取得してもよい。その場合、情報表示装置３は、例えば、他の装置との間で通信を実現する通信部（例えば、無線モジュール）を備える。

部位情報ＤＢ３４ａには、撮影した映像に映し出される部位（例えば、操作部２４の各種ボタンや表示領域など）の認識処理に用いられる情報が記憶されている。部位情報ＤＢ３４ａは、例えば、それぞれの部位の特徴点の世界座標系における３次元座標と、特徴量とが対応付けられたものである。ここで、世界座標系は、医療用装置２が設置されている現実空間中の任意の位置を原点とした座標系である。一方、世界座標系に対してカメラ座標系があり、カメラ座標系は、撮影部３１の位置を原点とした座標系である。カメラ座標系は、例えば撮影部３１の光軸方向がＺ軸となっている。

部位情報ＤＢ３４ａの作成は、医療用装置２を用いたＣＴ画像の撮影の前処理として行われる。部位情報ＤＢ３４ａを作成する前処理は、例えば、以下の処理によって行われる。最初に、部位を複数方向から撮影した画像群を用意し、それぞれの画像から部位の特徴点を検出すると共に、特徴点の特徴量を算出する。特徴点の検出の手法や特徴量の算出の手法は特に限定されない。次に、「Structure from Motion」やステレオ視などによって検出した特徴点の世界座標系における３次元座標を算出し、算出した３次元座標と特徴量との対応付けを行うことで部位情報ＤＢ３４ａを作成する。

状態情報ＤＢ３４ｂには、撮影した映像に映し出される状態情報（ここでは、状態情報表示領域２４ｇに表示される「Ｓ１」，「Ｓ２」などの文字）の認識処理に用いられる情報が記憶されている。状態情報ＤＢ３４ｂは、例えば、状態情報の特徴点の世界座標系における３次元座標と、特徴量とが対応付けられたものである。状態情報ＤＢ３４ｂの作成は、部位情報ＤＢ３４ａと同様に、医療用装置２を用いたＣＴ画像の撮影の前処理として行われる。

付加情報ＤＢ３４ｃには、撮影した映像に付加する情報が記憶されている。付加情報ＤＢ３４ｃは、例えば、図４に示すように、操作工程情報（状態情報）と、表示対象部位情報と、操作説明情報（装置関連情報）と、の項目を備えている。

操作工程情報は、状態情報の一種であり、ここでは「スキャナリセット工程（Ｓ１）」、「撮影条件設定工程（Ｓ２）」、「患者位置付け工程（Ｓ３）」、「撮影準備工程（ｓ４）」、「Ｘ線照射工程（Ｓ５）」および「撮影終了工程（Ｓ６）」が例示されている。

表示対象部位情報は、装置関連情報を付加する部位を示す情報であり、ここでは「リセットボタン」、「撮影モード選択ボタン」、「撮影条件設定ボタン（方向ボタン）」、「昇降ボタン（方向ボタン）」、「位置付け部」、「患者固定具」、「Ｘ線照射ボタン」が例示されている。表示対象部位情報は、例えば、部位の代表点の世界座標系における座標である。

操作説明情報は、装置関連情報の一種であり、ここでは「リセットボタンを押し、スキャナを初期位置に設定してください。」、「撮影モードを選択してください。撮影モードは○○モードに設定されています。」などが例示されている。ここで、操作説明情報中の「○○」部分には、例えば、操作部２４に表示される情報が入る。

制御部３５は、例えばＣＰＵ（Central Processing Unit）であって、プログラム実行処理によって部位認識部３５ａと、カメラ位置姿勢算出部３５ｂと、状態認識部３５ｃと、装置関連情報付加部３５ｄと、を実現する。これらの機能を実現するためのプログラムは、例えば、記憶部３４に格納される。なお、これらのプログラムは、情報表示装置３以外の装置に記憶され、情報表示装置３が必要に応じてネットワークを介してプログラムを取得してもよい。

部位認識部３５ａは、撮影した映像に写る部位を認識する。部位認識部３５ａは、例えば、撮影した映像から特徴点の検出および特徴量の算出を行い、算出した特徴量と部位情報ＤＢ３４ａに記憶される特徴量との間で特徴量マッチングを行う。部位認識部３５ａにより検出する特徴点には、部位の形状や部位に表示された文字や画像が含まれる。なお、特徴点の検出、特徴量の算出および特徴量マッチングは、既存の種々の手法を用いることができる。

カメラ位置姿勢算出部３５ｂは、撮影部３１の世界座標系における位置および姿勢を算出する。カメラ位置姿勢算出部３５ｂは、例えば、部位認識部３５ａによる特徴量マッチングの結果から、撮影した映像から検出した特徴点の画像座標系における２次元座標と部位情報ＤＢ３４ａに記憶される部位の特徴点の世界座標系における３次元座標とを対応付けることで、世界座標系における撮影部３１の位置や姿勢を算出する。ここで、画像座標系は、撮影した画像平面上の座標系である。世界座標系における撮影部３１の位置や姿勢は、例えば、世界座標系とカメラ座標系との間の姿勢の違いを表す回転行列と位置の違いを表す並進ベクトルとで表される。なお、撮影部３１の世界座標系における位置や姿勢の算出は、既存の種々の手法を用いることができる。

状態認識部３５ｃは、撮影した映像に写る状態情報を認識する。状態認識部３５ｃは、例えば、部位認識部３５ａによる部位の認識と同様の処理により状態情報を認識する。つまり、状態認識部３５ｃは、撮影した映像から特徴点の検出および特徴量の算出を行い、算出した特徴量と状態情報ＤＢ３４ｂに記憶される特徴量との間で特徴量マッチングを行う。

また、状態認識部３５ｃは、特徴点を用いた認識以外の手法によって、撮影した映像から状態情報を認識してもよい。状態認識部３５ｃは、例えば、部位認識部３５ａによる特徴量マッチングの結果から撮影した映像における状態情報表示領域２４ｇの範囲を特定し、カメラ位置姿勢算出部３５ｂで算出した撮影部３１の世界座標系における位置および姿勢に基づいて、状態情報表示領域２４ｇ部分の画像を正面から視た状態に補正する。そして、補正した状態情報表示領域２４ｇの画像に対して文字認識を行ってもよい。文字認識の方法は特に限定されず、例えば、ＡＩ（Artificial Intelligence）を用いた手法でもよい。

装置関連情報付加部３５ｄは、撮影した映像に装置関連情報を付加して表示部３２に表示する。装置関連情報付加部３５ｄは、例えば、状態認識部３５ｃによって認識された状態情報をキーにして付加情報ＤＢ３４ｃを参照し、該当する状態情報に対応する表示対象部位情報の位置に所定の操作説明情報を付加する。装置関連情報付加部３５ｄは、例えば、スキャナリセット工程においては、映像に写るリセットボタン２４ａの位置に「リセットボタンを押し、スキャナを初期位置に設定してください。」との表示を付加する。

なお、撮影した映像に装置関連情報を付加する場合に、カメラ位置姿勢算出部３５ｂで算出した撮影部３１の位置や姿勢を考慮して、撮影した映像に装置関連情報を重畳表示してもよい。つまり、装置関連情報が医療用装置２の表面に実際に描かれているように表示するようにしてもよい。

＜実施形態に係る情報表示システムの動作＞
次に、本発明の実施形態に係る情報表示システム１の動作について、図５から図１１を参照しながら詳細に説明する（適宜、図１から図４を参照）。

＜Ｔ１：患者の選択＞
最初に、医療用装置２の操作者は、管理用のＰＣ（図示せず）を用いて、これからＣＴ画像の撮影を行う患者を選択する（Ｔ１）。これにより、医療用装置２によって撮影されたＣＴ画像は、患者の情報に関連付けて管理用のＰＣに記憶される。また、医療用装置２は、患者の設定が行われた後で、操作部２４の状態情報表示領域２４ｇ（図２参照）に「Ｓ１」を表示する。

＜Ｓ１：スキャナリセット工程＞
次に、操作者は、情報表示装置３を装着した状態で、医療用装置２の操作部２４の操作を行う。操作部２４の状態情報表示領域２４ｇ（図２参照）には、「Ｓ１」が表示されている。情報表示装置３の撮影部３１は、操作者の目線方向にある操作部２４の映像を撮影し、制御部３５の部位認識部３５ａは、撮影した映像の操作部２４および操作部２４に含まれる各種ボタンや表示領域を認識する。また、状態認識部３５ｃは、状態情報表示領域２４ｇ内に表示される状態情報を認識する。ここでは、状態情報表示領域２４ｇ内に表示される状態情報が「Ｓ１」であること（つまり、医療用装置２の操作工程が「スキャナリセット工程」であること）を認識する。

制御部３５の装置関連情報付加部３５ｄは、付加情報ＤＢ３４ｃ（図４参照）を参照して、撮影した映像に写る部位に装置関連情報を関連付ける。ここでは、装置関連情報付加部３５ｄは、撮影した映像に写るリセットボタン２４ａに、例えば「リセットボタンを押し、スキャナを初期位置に設定してください。」との文言を付加する。これにより、操作者は、「Ｓ１」での操作部２４の操作に際して、例えば図６に示す映像を見ることになる。そして、操作者は、符号４１で示す文言にしたがってリセットボタン２４ａを押下し、医療用装置２はスキャナ２３（図１参照）を初期位置に移動する。また、医療用装置２は、スキャナ２３を初期位置に移動した後で、操作部２４の状態情報表示領域２４ｇ（図２参照）に「Ｓ２」を表示する。

＜Ｓ２：撮影条件設定工程＞
次に、操作者は、医療用装置２の操作部２４の操作を再び行う。操作部２４の状態情報表示領域２４ｇ（図２参照）には、「Ｓ２」が表示されている。情報表示装置３の撮影部３１は、操作者の目線方向にある操作部２４の映像を撮影し、制御部３５の状態認識部３５ｃは、スキャナリセット工程（Ｓ１）と同様の処理によって、状態情報表示領域２４ｇ内に表示される状態情報が「Ｓ２」であること（つまり、医療用装置２の操作工程が「撮影条件設定工程」であること）を認識する。

制御部３５の装置関連情報付加部３５ｄは、付加情報ＤＢ３４ｃ（図４参照）を参照して、ここでの表示対象部位である撮影モード選択ボタン２４ｂに、例えば「撮影モードを選択してください。撮影モードは「オーラルモード」に設定されています。」との文言を付加する。なお、操作部２４の撮影条件表示領域２４ｆ（図２参照）の認識方法は特に限定されず、部位認識部３５ａは、例えば、状態認識部３５ｃと同様の方法によって、撮影された映像から撮影条件表示領域２４ｆ内に表示される撮影条件（最初は初期値）を認識する。

また、制御部３５の装置関連情報付加部３５ｄは、付加情報ＤＢ３４ｃ（図４参照）を参照して、撮影条件設定ボタンとしての方向ボタン２４ｃに、例えば「撮影条件を設定してください。現在の撮影条件は、「６０ｋＶ」、「８．０ｍＡ」、「２０．０ｓｅｃ」です。撮影条件を設定したら、患者を導入してください。」との文言を付加する。なお、操作部２４の撮影モード表示領域２４ｈ（図２参照）の認識方法は特に限定されず、部位認識部３５ａは、例えば、状態認識部３５ｃと同様の方法によって、撮影された映像から点灯している撮影モードのランプ（最初は予め決められた撮影モード）を認識する。

これにより、操作者は、「Ｓ２」での操作部２４の操作に際して、例えば図７に示す映像を見ることになる。操作者は、符号４２で示す文言にしたがって撮影モード選択ボタン２４ｂを押下し、希望する撮影モードを選択する。また、操作者は、符号４３で示す文言にしたがって方向ボタン２４ｃを操作し、希望する撮影条件を設定する。そして、操作者は、メニューボタン２４ｅを押下し、撮影条件設定工程を完了させる。医療用装置２は、撮影モードおよび撮影条件の設定の完了を受け付けた後で、操作部２４の状態情報表示領域２４ｇ（図２参照）に「Ｓ３」を表示する。

＜Ｔ２：患者導入＞
次に、操作者は、撮影モードおよび撮影条件の設定が完了した後で、患者を医療用装置２内に導入し、患者を椅子２１ｃ（図１参照）に座らせる。

＜Ｓ３：患者位置付け工程＞
次に、操作者は、医療用装置２の操作部２４の操作を再び行う。状態情報表示領域２４ｇ（図２参照）には、「Ｓ３」が表示されている。情報表示装置３の撮影部３１は、操作者の目線方向にある操作部２４の映像を撮影し、制御部３５の状態認識部３５ｃは、スキャナリセット工程（Ｓ１）と同様の処理によって、状態情報表示領域２４ｇ内に表示される状態情報が「Ｓ３」であること（つまり、医療用装置２の操作工程が「患者位置付け工程」であること）を認識する。

制御部３５の装置関連情報付加部３５ｄは、付加情報ＤＢ３４ｃ（図４参照）を参照して、ここでの表示対象部位である昇降ボタンとしての方向ボタン２４ｃに、例えば「撮影部位に高さを合わせてください。」との文言を付加する。また、装置関連情報付加部３５ｄは、位置付け部２２ｂに、例えば「位置付けが正しいか確認してください。」との文言を付加する。また、装置関連情報付加部３５ｄは、患者固定具２１ｄｄに、例えば「患者位置付けが完了したら、患者を固定してください。」との文言を付加する。

これにより、操作者は、「Ｓ３」での操作部２４の操作に際して、例えば図８に示す映像を見ることになる（ここでは、患者固定具２１ｄｄが操作者の視界に入っていないことにし、患者固定具２１ｄｄの記載を省略している）。操作者は、符号４４で示す文言にしたがって方向ボタン２４ｃを操作し、スキャナ２３を希望する高さにする。また、操作者は、符号４５で示す文言にしたがって位置付け部２２ｂの位置を確認する。また、操作者は、患者固定具２１ｄｄに表示される文言にしたがって患者を固定する。そして、操作者は、メニューボタン２４ｅを押下し、患者位置付け工程を完了させる。医療用装置２は、患者位置付けの完了を受け付けた後で、操作部２４の状態情報表示領域２４ｇ（図２参照）に「Ｓ４」を表示する。

＜Ｓ４：撮影準備工程＞
次に、操作者は、医療用装置２の操作部２４の操作を再び行う。状態情報表示領域２４ｇ（図２参照）には、「Ｓ４」が表示されている。情報表示装置３の撮影部３１は、操作者の目線方向にある操作部２４の映像を撮影し、制御部３５の状態認識部３５ｃは、スキャナリセット工程（Ｓ１）と同様の処理によって、状態情報表示領域２４ｇ内に表示される状態情報が「Ｓ４」であること（つまり、医療用装置２の操作工程が「撮影準備工程」であること）を認識する。

制御部３５の装置関連情報付加部３５ｄは、付加情報ＤＢ３４ｃ（図４参照）を参照して、ここでの表示対象部位であるリセットボタン２４ａに、例えば「リセットボタンを押し、スキャナを撮影開始位置に設定してください。」との文言を付加する。これにより、操作者は、「Ｓ４」での操作部２４の操作に際して、例えば図９に示す映像を見ることになる。そして、操作者は、符号４７で示す文言にしたがってリセットボタン２４ａを押下し、医療用装置２はスキャナ２３を撮影開始位置に移動する。また、医療用装置２は、スキャナ２３を撮影開始位置に移動した後で、操作部２４の状態情報表示領域２４ｇ（図２参照）に「Ｓ５」を表示する。

＜Ｓ５：Ｘ線照射工程＞
次に、操作者は、医療用装置２の操作部２４の操作を再び行う。状態情報表示領域２４ｇ（図２参照）には、「Ｓ５」が表示されている。情報表示装置３の撮影部３１は、操作者の目線方向にある操作部２４の映像を撮影し、制御部３５の状態認識部３５ｃは、スキャナリセット工程（Ｓ１）と同様の処理によって、状態情報表示領域２４ｇ内に表示される状態情報が「Ｓ５」であること（つまり、医療用装置２の操作工程が「Ｘ線照射工程」であること）を認識する。

制御部３５の装置関連情報付加部３５ｄは、付加情報ＤＢ３４ｃ（図４参照）を参照して、ここでの表示対象部位であるＸ線照射ボタン２４ｄに、例えば「Ｘ線照射ボタンを押し、撮影を行ってください。Ｘ線照射中は、ボタンを離さないようにしてください。」との文言を付加する。これにより、操作者は、「Ｓ５」での操作部２４の操作に際して、例えば図１０に示す映像を見ることになる。そして、操作者は、符号４８で示す文言にしたがってＸ線照射ボタン２４ｄを押下し、医療用装置２はＸ線の照射および撮影を行う。また、医療用装置２は、撮影が完了した後で、操作部２４の状態情報表示領域２４ｇ（図２参照）に「Ｓ６」を表示する。

＜Ｓ６：撮影終了工程＞
状態情報表示領域２４ｇ（図２参照）には、「Ｓ６」が表示されている。情報表示装置３の撮影部３１は、操作者の目線方向にある操作部２４の映像を撮影し、制御部３５の状態認識部３５ｃは、スキャナリセット工程（Ｓ１）と同様の処理によって、状態情報表示領域２４ｇ内に表示される状態情報が「Ｓ６」であること（つまり、医療用装置２の操作工程が「撮影終了工程」であること）を認識する。

制御部３５の装置関連情報付加部３５ｄは、付加情報ＤＢ３４ｃ（図４参照）を参照して、ここでの表示対象部位であるＸ線照射ボタン２４ｄに、例えば「撮影が終了しました。患者固定具を解除し、患者を退出させてください。」との文言を付加する。これにより、操作者は、「Ｓ６」において、例えば図１１に示す映像を見ることになる。

＜Ｔ３：患者退出＞
次に、操作者は、患者から患者固定具２１ｄｄを解除し、患者を医療用装置２から退出させる。これで、医療用装置２を用いた口腔内のＣＴ撮影が完了する。

以上のように構成された本発明の実施形態に係る情報表示システム１は、以下のような作用効果を奏する。
つまり、情報表示システム１は、拡張現実技術を用いて、撮影した映像に写る医療用装置２の部位（例えば、操作部２４）に装置関連情報（機能の説明や操作手順など）を関連付けて表示する。そのため、操作者は、実際の部位から得られる情報に加えて、付加される追加の情報を得ることができる。したがって、情報表示システム１は、医療用装置のさらなる利便性の向上を図り、誤操作のリスクを軽減することができる。

特に、医療用装置２が小型などの理由で表示部分が限られている場合において、操作者は、操作部２４の機能等をボタンの形状や名称などの限られた情報から判断し、且つ操作手順を覚えておく必要がある。また、操作手順を忘れた場合には、マニュアルを参照しなければならない。しかし、情報表示システム１であればその必要もない。

さらに、情報表示システム１では、医療用装置２の製造時に装置関連情報を予め登録する必要がなく、追加で表示が必要になった情報を後から情報表示装置３に登録することも可能である。そのため、装置関連情報の更新作業が容易である。

また、情報表示システム１は、医療用装置２に表示される状態情報を認識し、状態情報に応じた装置関連情報を医療用装置２の部位に関連付けて表示する。そのため、医療用装置２の状態ごとに異なる情報を表示することができるので、医療用装置２のさらなる利便性の向上を図ることができる。

さらに、情報表示システム１では、情報表示装置３が医療用装置２に表示される状態情報を認識すればよいので、情報表示装置３と医療用装置２との間で無線通信によるデータ（状態情報）の送受信が行われない。そのため、情報表示システム１は、無線通信の電波が医療用装置２に悪影響を及ぼす虞がない。つまり、情報表示システム１は、無線通信の電波に影響を受けやすい医療用装置２が使用される現場に、特に適している。

また、情報表示システム１は、状態情報として操作工程情報を用い、操作工程に応じて医療用装置２の操作部２４の説明を切り替えて表示する。そのため、操作工程ごとに必要最小限の情報を最適な位置に表示することができるので、操作者による誤操作のリスクをさらに軽減することができる。

また、情報表示システム１は、状態情報としてメンテナンス識別情報又は故障識別情報を用い、これらの情報に応じた情報を医療用装置２の部位に表示する。そのため、操作者は、メンテナンスが必要であることや故障が発生していることを漏れなく認識することができる。

［変形例］
以上、本発明の実施形態について説明したが、本発明は、前記した実施形態に限定されず、適宜変更して実施することが可能である。

本実施形態の情報表示システム１は、図１に示すように、医療用装置２と情報表示装置３とを備える構成であり、情報表示装置３の制御部３５で医療用装置２を構成する部位に装置関連情報を関連づけていた。つまり、制御部３５は、部位認識部３５ａと、カメラ位置姿勢算出部３５ｂと、状態認識部３５ｃと、装置関連情報付加部３５ｄと、を有していた。しかしながら、本発明の構成はこれに限定されず、例えば、情報表示システム１は、医療用装置２と、情報表示装置３と、制御装置（図示せず）とを備え、制御装置で医療用装置２を構成する部位に装置関連情報を関連づけてもよい。つまり、本実施形態の制御部３５の一部または全部の機能を情報表示装置３とは別の制御装置が備える構成であってもよい。その場合、制御装置は、例えば情報表示装置３から撮影部３１で撮影した映像を受信し、医療用装置２を構成する部位に装置関連情報を関連づけた映像を情報表示装置３に送信する。なお、制御装置は、特許請求の範囲の「制御手段」の一例である。

また、本実施形態では、医療用装置２として、Ｘ線ＣＴ（Computer Tomography）装置を想定して説明した。そのため、操作工程ごとに表示を切り替えていたが、医療用装置２の部位と装置関連情報とが１対１に対応するものであってもよい。その場合、医療用装置２で状態情報の表示を行わず、情報表示装置３は、撮影した映像に写る医療用装置２の部位を単に認識し、部位に装置関連情報を関連付けて表示する。つまり、情報表示装置３では状態情報の認識を行わないようにしてもよい。

また、本実施形態では、医療用装置２の操作部２４に状態情報を表示し、情報表示装置３の撮影部３１でその表示を撮影することで医療用装置２の状態を認識していた。しかしながら、状態情報の認識方法はこれに限定されず、前記方法に代えて、あるいは前記方法に加えて他の方法を用いることも可能である。例えば、医療用装置２が状態情報を音で出力し（報知し）、情報表示装置３がその音を検知した場合に、情報表示装置３の状態認識部３５ｃで音の解析を行って医療用装置２の状態を認識してもよい。このような構成によれば、操作者が医療用装置２の周囲（音が届く範囲）にいる限り、操作者の目線方向に関わらず情報表示装置３で状態情報を認識することができる。そのため、情報表示装置３は、状態情報を漏れなく認識することができる。状態情報を音で認識する方法は、操作者の目線が様々な部位に移動するような場合（例えば、大型の医療用装置）に、特に有効である。

また、本実施形態では、部位認識部３５ａで撮影した映像から特徴点の検出および特徴量の算出を行うことで、撮影した映像に写る部位を認識していた。つまり、本実施形態では、自然特徴ベース（マーカーレス）の認識を行っていた。しかしながら、マーカーベース（例えば、バーコードやＱＲコード（登録商標）などのＡＲマーカー）の認識を行ってもよい。

その場合、例えば、医療用装置２の夫々の部位にＡＲマーカーを付しておき、ＡＲマーカーの世界座標系における位置（座標）を情報表示装置３に予め登録しておく。そして、情報表示装置３の部位認識部３５ａが、撮影部３１で撮影した映像からＡＲマーカーを認識し、装置関連情報付加部３５ｄは、撮影した映像のＡＲマーカーに装置関連情報を付加して表示部３２に表示する。

また、例えば、医療用装置２の基準となる部位にＡＲマーカーを付しておき、医療用装置２のそれ以外の部位の位置を、ＡＲマーカーを基準とする座標として情報表示装置３に予め登録しておく。そして、情報表示装置３の部位認識部３５ａが、撮影部３１で撮影した映像からＡＲマーカー（基準点）を認識し、装置関連情報付加部３５ｄは、撮影した映像のＡＲマーカーに対して登録された位置に装置関連情報を付加して表示部３２に表示する。この際、部位認識部３５ａは、ＡＲマーカーのサイズや歪みを算出して、撮影部３１からＡＲマーカーまでの距離や方向を特定する。

また、本実施形態では、情報表示装置３としてビデオシースルー方式のヘッドマウントディスプレイを想定していたが、ヘッドマウントディスプレイの種類はこれに限定されるものではない。例えば、透明な板状部品（コンバイナ）に装置関連情報を重ねる光学シースルー方式のものであってもよい。また、操作者の網膜上で弱レーザ光を走査する網膜投影型のものであってもよい。

情報表示装置３がこれらの種類のものである場合、装置関連情報付加部３５ｄは、例えば、撮影部３１で撮影した映像から術者の目線における医療用装置２の部位の位置を算出し、表示部３２（透明な板状部品や網膜）に装置関連情報のみを表示することで、術者はあたかも医療用装置２の部位に装置関連情報が関連づけられているように感じる。

１ 情報表示システム
２ 医療用装置
２１ 本体部
２２ 昇降部
２２ｂ 位置付け部（部位）
２３ スキャナ
２４ 操作部
２４ａ リセットボタン（部位）
２４ｂ 撮影モード選択ボタン（部位）
２４ｃ 方向ボタン（部位）
２４ｄ Ｘ線照射ボタン（部位）
２４ｅ メニューボタン
２４ｆ 撮影条件表示領域
２４ｇ 状態情報表示領域
２４ｈ 撮影モード表示領域
３ 情報表示装置
３１ 撮影部
３２ 表示部
３４ 記憶部
３４ａ 部位情報ＤＢ
３４ｂ 状態情報ＤＢ
３４ｃ 付加情報ＤＢ
３５ 制御部（制御手段）
３５ａ 部位認識部
３５ｂ カメラ位置姿勢算出部
３５ｃ 状態認識部
３５ｄ 装置関連情報付加部

Claims (8)

1. 操作部を有する医療用装置と、前記医療用装置に関連する装置関連情報を表示する情報表示装置と、を備える情報表示システムであって、
   前記操作部は、前記医療用装置の状態情報を表示する状態情報表示領域を備えており、
   前記情報表示装置は、撮影部と、表示部と、制御部と、を備えており、
   前記制御部は、前記撮影部によって撮影した画像に写し出される前記操作部のボタンおよび前記状態情報表示領域を抽出し、前記状態情報表示領域内に表示される前記状態情報を認識し、前記状態情報に応じた前記装置関連情報を当該ボタンに関連づけて前記表示部に表示する、
   ことを特徴とする情報表示システム。
2. 前記医療用装置は、当該医療用装置の状態情報を音として出力する報知部を備えており、
   前記制御部は、前記操作部の前記状態情報表示領域を抽出するのに代えて、または加えて前記報知部からの音を検知し、前記状態情報に応じた前記装置関連情報を当該ボタンに関連づけて前記表示部に表示する、
   ことを特徴とする請求項１に記載の情報表示システム。
3. 前記状態情報は、前記医療用装置の操作工程を示す操作工程情報であり、
   前記装置関連情報は、前記操作部の説明であり、
   前記制御部は、前記操作工程に応じて前記操作部の説明を切り替える、
   ことを特徴とする請求項１又は請求項２に記載の情報表示システム。
4. 前記状態情報は、前記医療用装置のメンテナンス識別情報、又は故障識別情報であり、
   前記装置関連情報は、前記医療用装置のメンテナンス情報、又は故障情報である、
   ことを特徴とする請求項１又は請求項２に記載の情報表示システム。
5. 操作部を有する医療用装置と、前記医療用装置に関連する装置関連情報を表示する情報表示装置と、制御装置と、を備える情報表示システムであって、
   前記操作部は、前記医療用装置の状態情報を表示する状態情報表示領域を備えており、
   前記情報表示装置は、撮影部と、表示部と、を備えており、
   前記制御装置は、前記撮影部によって撮影した画像を取得するとともに当該画像に写し出される前記操作部のボタンおよび前記状態情報表示領域を抽出し、前記状態情報表示領域内に表示される前記状態情報を認識し、前記状態情報に応じた前記装置関連情報を当該ボタンに関連づけて前記表示部に表示させる、
   ことを特徴とする情報表示システム。
6. 操作部を有する医療用装置に関連する装置関連情報を表示する情報表示装置であって、
   前記操作部は、前記医療用装置の状態情報を表示する状態情報表示領域を備えており、
   前記情報表示装置は、撮影部と、表示部と、制御部と、を備えており、
   前記制御部は、前記撮影部によって撮影した画像に写し出される前記操作部のボタンおよび前記状態情報表示領域を抽出し、前記状態情報表示領域内に表示される前記状態情報を認識し、前記状態情報に応じた前記装置関連情報を当該ボタンに関連づけて前記表示部に表示する、
   ことを特徴とする情報表示装置。
7. 撮影部および表示部を備える情報表示装置に、操作部を有する医療用装置に関連する装置関連情報を表示する情報表示方法であって、
   前記操作部は、前記医療用装置の状態情報を表示する状態情報表示領域を備えており、
   前記撮影部によって撮影した画像に写し出される前記操作部のボタンおよび前記状態情報表示領域を抽出し、前記状態情報表示領域内に表示される前記状態情報を認識し、前記状態情報に応じた前記装置関連情報を当該ボタンに関連づけて前記表示部に表示する、
   ことを特徴とする情報表示方法。
8. 請求項７に記載の情報表示方法を制御手段に実行させるための情報表示プログラム。

Images