JP7217065B1 - 力覚表示装置、力覚表示方法およびプログラム - Google Patents

Abstract

組織に与えるダメージの軽減を図りやすくするべく、力覚表示装置であって、患部の撮像情報を取得する画像取得部(51)と、前記患部を処置する少なくとも１つの術具(21R,21L)に働く力の大きさ及び力の方向の情報を含む力覚情報を取得する力覚取得部(52)と、前記力の大きさを表す力量表示および前記力の方向を表す方向表示を含む力覚表示を前記力覚情報に基づいて作成する作成部(53)と、前記撮像情報に基づいて、表示部(12)における前記術具が表示される術具領域を検出する検出部(54)と、前記術具領域に前記力覚表示を重畳して前記表示部に表示させる表示情報を作成する重畳部(53)と、が設けられるように構成した。

Description

本開示は、力覚表示装置、力覚表示方法およびプログラムに関する。

内視鏡や腹腔鏡や鉗子などの手術器具を用いた内視鏡外科手術や腹腔鏡手術などが普及しつつある。以降において内視鏡や腹腔鏡や鉗子などの手術器具を「術具」とも表記する。また、術具を用いた内視鏡外科手術や腹腔鏡手術などを「内視鏡外科手術など」とも表記する。

内視鏡外科手術などでは、医師などの術者が手に持った術具を用いて手術を行う他に、例えば特許文献１に開示されているように、手術支援を行う医用ロボットを用いた手術も行われている。手術支援を行う医用ロボットを用いた手術はロボット支援下手術とも呼ばれる。

特開２００１－１０４３３３号公報

内視鏡外科手術などでは、術具が臓器などの組織に与えている力を、術者が把握しにくいことが知られている。例えば、術具が組織を押す力や、組織をつかむ力などを、術者が把握しにくいことが知られている。そのため、組織に意図する以上の力を与えてしまい、組織にダメージを与えるおそれがあった。以降において術具が臓器などの組織に与えている力に関する情報を「力量情報」とも表記する。

上述の力量情報を術者が知る方法として、内視鏡により撮像された画像を表示する画像用表示機器とは別に、力量情報を術者に表示する専用の力量表示機器を用いる方法が知られている。この方法では、術者が力量情報を知るためには、画像用表示機器から力量表示機器に視線を移動させる必要がある。そのため、視線を移動している際に、組織に意図しないダメージを与えるおそれがあるという問題があった。

また、画像用ディスプレイ上に力量情報を重畳して表示する方法も知られている。この方法において、画像用ディスプレイ上の組織が表示されている部分に力量情報を重畳すると、力量情報が重畳されて隠れた組織が視認されにくくなる。そのため、視認しにくくなった組織に意図しないダメージを与えるおそれがあるという問題があった。

上述の特許文献１では、画像用ディスプレイ上の術具に相当するインスツルメントが表示されている部分に、力量情報を重畳して表示する技術が開示されている。具体的には、組織をつかむ力の大きさを示すインジケータや、インスツルメントの関節角度や、回転角度を表す情報を重畳して表示する技術が開示されている。この場合に表示される情報では、情報量が不足して組織に与えるダメージを予測することが難しいという問題があった。

本開示は、組織に与えるダメージの軽減を図りやすい力覚表示装置、力覚表示方法およびプログラムの一例を開示する。

本開示の一局面である力覚表示装置は、患部を撮像する撮像部から出力された撮像情報を取得する画像取得部と、前記患部を処置する少なくとも１つの術具に働く力の大きさ及び力の方向の情報を含む力覚情報を取得する力覚取得部と、表示部に表示される表示態様であって、前記力の大きさを表す力量表示、および、前記力の方向を表す方向表示を含む力覚表示を前記力覚情報に基づいて作成する作成部と、前記撮像情報に基づいて、前記表示部に表示される画像における前記術具が表示される術具領域を検出する検出部と、前記術具領域に前記力覚表示を重畳して前記表示部に表示させる表示情報を作成する重畳部と、が設けられる。

本開示の一局面である力覚表示方法は、画像取得部と、力覚取得部と、作成部と、検出部と、重畳部とを有する力覚表示装置の表示方法であって、前記画像取得部が患部を撮像する撮像部から出力された撮像情報を取得する画像取得ステップと、前記力覚取得部が前記患部を処置する少なくとも１つの術具に働く力の大きさ及び力の方向の情報を含む力覚情報を取得する力覚取得ステップと、前記作成部が、表示部に表示される表示態様であって、前記力の大きさを表す力量表示、および、前記力の方向を表す方向表示を含む力覚表示を前記力覚情報に基づいて作成する作成ステップと、前記検出部が、前記撮像情報に基づいて、前記表示部に表示される画像における前記術具が表示される術具領域を検出する検出ステップと、前記重畳部が前記術具領域に前記力覚表示を重畳して前記表示部に表示させる表示情報を作成する重畳ステップと、を有する。

本開示の一局面であるプログラムは、コンピュータに、患部を撮像する撮像部から出力された撮像情報を取得する画像取得機能と、前記患部を処置する少なくとも１つの術具に働く力の大きさ及び力の方向の情報を含む力覚情報を取得する力覚取得機能と、表示部に表示される表示態様であって、前記力の大きさを表す力量表示、および、前記力の方向を表す方向表示を含む力覚表示を前記力覚情報に基づいて作成する作成機能と、前記撮像情報に基づいて、前記表示部に表示される画像における前記術具が表示される術具領域を検出する検出機能と、前記術具領域に前記力覚表示を重畳して前記表示部に表示させる表示情報を作成する重畳機能と、を実現させる。

このプログラムはコンピュータに組み込まれるＲＯＭやＲＡＭに記憶され、これらＲＯＭやＲＡＭからコンピュータにロードされて用いられてもよいし、ネットワークを介してコンピュータにロードされて用いられてもよい。また、上述のプログラムは、コンピュータにて読み取り可能なあらゆる形態の記録媒体に記録されて用いられてもよい。記録媒体としては、例えば、持ち運び可能な半導体メモリ（例えばＵＳＢメモリなど）が含まれる。

このように構成された力覚表示装置、力覚表示方法およびプログラムによれば、力の大きさを表す力量表示、および、力の方向を表す方向表示を含む力覚表示が、表示部に表示される画像の術具が表示される術具領域に重畳して表示される。そのため、術具が患部に与える力の大きさ、および、力の方向が把握されやすい。言い換えると、術具が患部の組織に与えるダメージを把握しやすい。

また、力覚表示が術具領域に重畳して表示され、表示部に表示される患部が力覚表示に隠されにくくなる。そのため、術具および患部が意図しない接触を起こしにくく、組織が接触によるダメージを受けにくくなる。

本開示の一局面において前記作成部は、色の種類、色の明暗、および、透過性の少なくとも１つを用いて前記力の大きさを表現する前記力量表示を含む前記力覚表示を作成することが好ましい。

このように構成された力覚表示装置は、色の種類、色の明暗および透過性の１つ、または、これらの組合せを用いて力の大きさを表現することにより、直感的に力の大きさを把握しやすくなる。

本開示の一局面において前記作成部は、数値を用いて前記力の大きさを表現する前記力量表示を含む前記力覚表示を作成することが好ましい。

このように構成された力覚表示装置は、数値で力の大きさを表現することにより、力の大きさを正確に表現することができる。

本開示の一局面において前記作成部は、表示される前記数値のサイズを用いて前記力の大きさを表現する前記力量表示を含む前記力覚表示を作成することが好ましい。

このように構成された力覚表示装置は、力の大きさを表す数値のサイズを用いて力の大きさを表現することにより、単に数値を用いて力の大きさを表す場合と比較して、力の大きさを正確に表現できるとともに、力の大きさを直感的に把握しやすくなる。

本開示の一局面においては、前記術具の色彩および模様の少なくとも一方を記憶する記憶部が更に設けられ、前記検出部は、前記記憶部に記憶された前記術具の色彩および模様の少なくとも一方に基づいて、前記表示部に表示される画像における前記術具領域を検出することが好ましい。

このように構成された力覚表示装置は、術具の色彩および模様の少なくとも一方に基づいて術具領域を検出することにより、術具領域の検出が容易になる。また、術具領域の検出精度を高めやすい。

本開示の一局面において前記力覚情報には、前記術具における棒状に延びるシャフト部に働く第１力の大きさ、および、第１力の方向の情報が含まれ、前記作成部は、前記第１力の大きさを表す第１力量表示、および、前記第１力の方向を表す第１方向表示を含む第１力覚表示を作成し、前記検出部は、前記表示部に表示される画像における前記シャフト部が表示される領域を第１術具領域として検出し、前記重畳部は、前記第１術具領域に前記第１力覚表示を重畳して前記表示部に表示させる前記表示情報を作成することが好ましい。

このように構成された力覚表示装置は、術具のシャフト部に係る第１力覚表示を、シャフト部が表示される第１術具領域に重畳して表示することにより、シャフト部が患部に与える力の大きさ、および、力の方向を把握しやすくなる。

本開示の一局面において前記力覚情報には、前記シャフト部の端部に設けられ前記患部の処置に用いられるエンドエフェクタ部に加わる第２力の大きさ、および、第２力の方向の情報が含まれ、前記作成部は、前記第２力の大きさを表す第２力量表示、および、前記第２力の方向を表す第２方向表示を含む第２力覚表示を作成し、前記検出部は、前記表示部に表示される画像における前記エンドエフェクタ部が表示される領域を第２術具領域として検出し、前記重畳部は、前記第２術具領域に前記第２力覚表示を重畳して前記表示部に表示させる前記表示情報を作成することが好ましい。

このように構成された力覚表示装置は、術具のエンドエフェクタ部に係る第２力覚表示を、エンドエフェクタ部が表示される第２術具領域に重畳して表示することにより、エンドエフェクタ部が患部に与える力の大きさ、および、力の方向を把握しやすくなる。

本開示の力覚表示装置、力覚表示方法およびプログラムによれば、術具が患部に与える力の大きさ、および、力の方向が把握しやすく、組織に与えるダメージの軽減を図りやすいという効果を奏する。

本開示の第１の実施形態に係る医用ロボットの構成を説明するブロック図である。 エンドスコープモニタに表示されたインスツルメントの構成を説明する図である。 力覚表示装置の構成を説明するブロック図である。 エンドスコープモニタに表示された第１力覚表示および第２力覚表示を説明する図である。 第１方向表示の他の表示例を説明する図である。 第１方向表示の他の表示例を説明する図である。 第１方向表示の他の表示例を説明する図である。 第１方向表示の他の表示例を説明する図である。 力覚表示を行う演算処理を説明するフローチャートである。 力覚表示装置が腹腔鏡手術に用いられる際の構成を説明する図である。 本開示の変形例に係る力覚表示装置の構成を説明するブロック図である。

１２…エンドスコープモニタ（表示部）
２１Ｒ，２１Ｌ，１２１Ｒ，１２１Ｌ… インスツルメント（術具）
２２Ｒ，２２Ｌ…シャフト部 ２３Ｒ，２３Ｌ…エンドエフェクタ部
３５…撮像部 ５０，５０Ａ…力覚表示装置 ５１…画像取得部
５２…力覚取得部 ５３…作成部 ５４，５４Ａ…検出部
５５…重畳部 ５７Ａ…記憶部
４１Ｒ，４１Ｌ…第１力量表示（力量表示）
４２Ｒ，４２Ｌ…第１方向表示（方向表示）
４６Ｒ，４６Ｌ…第２力量表示（力量表示）
２７Ｒ，２７Ｌ…第１術具領域（術具領域）
２８Ｒ，２８Ｌ…第２術具領域（術具領域）
Ｓ１０１…画像取得ステップ Ｓ１０２…検出ステップ
Ｓ１０３…力覚取得ステップ Ｓ１０４…作成ステップ
Ｓ１０５…重畳ステップ

以下の実施形態は、本開示の技術的範囲に属する実施形態の一例を示すものである。本開示の技術範囲は、下記の実施形態に示された具体的構成や構造等に限定されない。

各図に付された方向を示す矢印及び斜線等は、各図相互の関係及び各部材又は部位の形状を理解し易くするために記載されたものである。したがって、本開示の技術範囲は、各図に付された方向に限定されない。斜線が付された図は、必ずしも断面図を示すものではない。

少なくとも符号が付されて説明された部材又は部位は、「１つの」等の断りがされた場合を除き、少なくとも１つ設けられている。つまり、「１つの」等の断りがない場合には、当該部材は２以上設けられていてもよい。本開示に示された力覚表示装置および医用ロボットは、少なくとも符号が付されて説明された部材又は部位等の構成要素、並びに図示された構造部位を備える。

〔第１の実施形態〕
本開示の第１の実施形態に係る力覚表示装置５０および力覚表示装置５０を有する医用ロボット１について、図１から図９を参照しながら説明する。本実施形態の医用ロボット１は、内視鏡外科手術などにおいて手術支援を行うロボットである。

本実施形態では、力覚表示装置５０が医用ロボット１と一体となる構成の場合を例に説明する。力覚表示装置５０は、医用ロボット１に対して着脱可能な別体となる構成を有してもよい。

医用ロボット１には、図１に示すように、マスター１０と、スレーブ２０と、力覚表示装置５０と、が設けられる。

マスター１０は、医用ロボット１を用いて手術を行う執刀医が、スレーブ２０の操作を行うサージョンコンソールである。マスター１０は、スレーブ２０と操作に関する信号が通信可能に接続される。

本実施形態ではマスター１０が、スレーブ２０が設置されている部屋とは異なる部屋に設置されている場合を例に説明する。マスター１０は、スレーブ２０が設置されている部屋と同じ部屋に設置されてもよい。

マスター１０には、電気メスペダル１１と、エンドスコープモニタ１２と、が少なくとも設けられている。また、マスター１０には、執刀医が操作を行う部位であって、後述する２つのインスツルメント２１Ｒ，２１Ｌの移動や把持等の操作に用いる操作部（図示せず。）が設けられる。

電気メスペダル１１は、執刀医が操作を行う機器であって、後述する電気メスジェネレータ２５の動作を制御する機器である。本実施形態において電気メスペダル１１は、執刀医の足元に配置される機器であり、執刀医が足で踏むことにより電気メスジェネレータ２５の動作を制御する機器である場合を例に説明する。電気メスペダル１１は、執刀医が足で踏むことにより操作する構成以外の構成を有してもよい。

エンドスコープモニタ１２は、執刀医が手術を行う最に用いる表示部であって、後述するエンドスコープ３１により撮像された画像を表示する機器である。エンドスコープモニタ１２としては、一般に用いられている表示機器を用いることができ、その表示形式は特に限定されない。エンドスコープモニタ１２は、マスター１０に取り付けられて一体に構成されてもよいし、マスター１０とは別の機器に取り付けられてもよい。

スレーブ２０は、手術が行われる部屋に設置され、マスター１０を介して入力される執刀医の操作に従って手術を行うペイシェントカートである。スレーブ２０には、後述するインスツルメント２１Ｒ，２１Ｌおよびエンドスコープ３１が取り付けられる機構、インスツルメント２１Ｒ，２１Ｌおよびエンドスコープ３１を移動させる機構、及びそれらを駆動させる機構などが設けられる。

本実施形態では、空気圧を用いてインスツルメント２１Ｒ，２１Ｌおよびエンドスコープ３１を移動させる機構や、駆動させる機構が、スレーブ２０に設けられている構成を例に説明する。スレーブ２０に電動機を用いたインスツルメント２１Ｒ，２１Ｌおよびエンドスコープ３１を移動させる機構、駆動させる機構などの他の機構が設けられてもよい。

スレーブ２０には、２つのインスツルメント２１Ｒ，２１Ｌと、１つのエンドスコープ３１と、が設けられる。本実施形態ではスレーブ２０に２つのインスツルメント２１Ｒ，２１Ｌと、１つのエンドスコープ３１が取り付けられている構成を例に説明する。

スレーブ２０に取り付けることができるインスツルメントの数は１つであってもよいし、３つ以上であってもよい。また、スレーブ２０に取り付けることができるエンドスコープの数は２つ以上であってもよい。

インスツルメント２１Ｒ，２１Ｌは、スレーブ２０に取り付けられる機器であり、執刀医の操作に従って手術における種々の処置を行う術具である。図２に示すように、インスツルメント２１Ｒには、シャフト部２２Ｒと、エンドエフェクタ部２３Ｒと、が少なくとも設けられる。インスツルメント２１Ｌには、シャフト部２２Ｌと、エンドエフェクタ部２３Ｌと、が少なくとも設けられる。

シャフト部２２Ｒとシャフト部２２Ｌは、それぞれ棒状に形成された部材である。シャフト部２２Ｒの端部にはエンドエフェクタ部２３Ｒが配置され、シャフト部２２Ｒの端部には２３Ｌが配置される。本実施形態では、シャフト部２２Ｒ，２２Ｌにおけるエンドエフェクタ部２３Ｒ，２３Ｌが配置された端部が、患者の腹腔内に挿入される部材である構成を例に説明する。シャフト部２２Ｒとシャフト部２２Ｌは、径及び長さが同じ形状を有してもよいし、少なくとも一方が異なる形状を有してもよい。

本実施形態では、エンドエフェクタ部２３Ｒが患部を切断等する電気メスであり、エンドエフェクタ部２３Ｌが、患部を把持したり、癒着した患部を剥離したりする鉗子である構成を例に説明する。また、エンドエフェクタ部２３Ｒは、電気メスジェネレータ２５から電力の供給がされるように接続されている構成を例に説明する。エンドエフェクタ部２３Ｒ，２３Ｌは、患部の処置を行う電気メスや鉗子以外の他の構成を有してもよい。

電気メスジェネレータ２５は、図１に示すように、電気メスペダル１１と操作可能に接続され、エンドエフェクタ部２３Ｒに電力を供給する機器である。電気メスジェネレータ２５から供給される電力は、エンドエフェクタ部２３Ｒにより切断された患部の止血などにも用いられる。電気メスジェネレータ２５は、電気メスのエンドエフェクタ部に電力を供給する機器として一般に用いられる構成のものを用いることができる。

エンドスコープ３１は、スレーブ２０に取り付けられる機器であり、患者の体腔内に挿入され患部の撮像に用いられる機器である。エンドスコープ３１には、撮像に用いられる撮像部３５が設けられる。

撮像部３５には、エンドスコープ３１により導かれた患部の画像を電気信号に変換して撮像情報として出力する撮像素子や、患部に照射する光を発する発光素子や、撮像素子および発光素子の制御に用いられる演算素子などが設けられる。

撮像素子としては、固体撮像素子（例としてＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子として一般に用いられる素子を用いることができる。発光素子としては、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子として一般に用いられる素子を用いることができる。

本実施形態では撮像素子および発光素子がエンドスコープ３１とは異なる撮像部３５に設けられた構成を例に説明するが、撮像素子および発光素子の少なくとも一方がエンドスコープ３１に設けられた構成であってもよい。

力覚表示装置５０は、図１に示すように、スレーブ２０および撮像部３５と、エンドスコープモニタ１２との間に配置される装置である。また力覚表示装置５０は、撮像部３５から出力された撮像情報に、インスツルメント２１Ｒ，２１Ｌに働く力の大きさおよび力の方向を示す力覚表示を重畳した表示情報を生成する装置である。

力覚表示装置５０は、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するプロセッサや、マイクロコンピュータや、パーソナルコンピュータや、サーバ等の情報処理機器である。

上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、図３に示すように、少なくとも画像取得部５１、力覚取得部５２、作成部５３、検出部５４、重畳部５５、および、出力部５６として機能させる。

画像取得部５１は、撮像部３５から出力された撮像情報を取得するインタフェースである。画像取得部５１は、撮像部３５と情報通信可能に接続される。また、画像取得部５１は検出部５４および重畳部５５に、取得した撮像情報を出力可能に接続される。

力覚取得部５２は、インスツルメント２１Ｒ，２１Ｌに働く力の大きさおよび力の方向の情報を含む力覚情報を取得するインタフェースである。力覚取得部５２は、シャフトセンサ６１Ｒと、エンドエフェクタセンサ６２Ｒと、シャフトセンサ６１Ｌと、エンドエフェクタセンサ６２Ｌと情報通信可能に接続される。力覚取得部５２は、作成部５３に取得した力覚情報を出力可能に接続される。以降の説明において、インスツルメントのシャフトに働く力を第１力と、エンドエフェクタに働く力を第２力と記載する。

シャフトセンサ６１Ｒは、インスツルメント２１Ｒのシャフト部２２Ｒに働く第１力の大きさおよび第１力の方向の情報を含む力覚情報を測定するセンサである。エンドエフェクタセンサ６２Ｒは、インスツルメント２１Ｒのエンドエフェクタ部２３Ｒに働く第２力の大きさの情報を含む力覚情報を測定するセンサである。

シャフトセンサ６１Ｌは、インスツルメント２１Ｌのシャフト部２２Ｌに働く第１力の大きさおよび第１力の方向の情報を含む力覚情報を測定するセンサである。エンドエフェクタセンサ６２Ｌインスツルメント２１Ｌのエンドエフェクタ部２３Ｌに働く第２力の大きさの情報を含む力覚情報を測定するセンサである。

本実施形態では、シャフトセンサ６１Ｒ、エンドエフェクタセンサ６２Ｒ、シャフトセンサ６１Ｌおよびエンドエフェクタセンサ６２Ｌが、スレーブ２０に設けられたインスツルメント２１Ｒ、２１Ｌおよびエンドスコープ３１を移動させる機構、並びに駆動させる機構における空気圧を測定するセンサである構成を例に説明する。

シャフトセンサ６１Ｒ、エンドエフェクタセンサ６２Ｒ、シャフトセンサ６１Ｌおよびエンドエフェクタセンサ６２Ｌは、圧力センサなどの力の大きさおよび力の方向を測定する際に用いられるその他のセンサであってもよい。

作成部５３は、力覚取得部５２が取得した力覚情報に基づいて力量表示および方向表示である力覚表示を作成する演算部である。本実施形態では、作成部５３が第１力の大きさを表す第１力量表示４１Ｒ，４１Ｌ、および、第１力の方向を表す第１方向表示４２Ｒ，４２Ｌを含む第１力覚表示と、第２力の大きさを表す第２力量表示４６Ｒ，４６Ｌを含む第２力覚表示と、を作成する場合を例に説明する（図４参照。）。作成部５３は、重畳部５５に作成した第１力覚表示および第２力覚表示を出力可能に接続される。

第１力量表示４１Ｒ，４１Ｌはエンドスコープモニタ１２に表示される表示態様であって、第１力の大きさを表す表示である。第１方向表示４２Ｒ，４２Ｌはエンドスコープモニタ１２に表示される表示態様であって、第１力の方向を表す表示である。

第２力量表示４６Ｒ，４６Ｌはエンドスコープモニタ１２に表示される表示態様であって、第２力の大きさを表す表示である。第１力量表示４１Ｒ，４１Ｌ、第１方向表示４２Ｒ，４２Ｌおよび第２力量表示４６Ｒ，４６Ｌの詳細については後述する。

検出部５４は、取得した撮像情報に基づいて術具領域を検出する演算部である。術具領域は、エンドスコープモニタ１２に撮像情報が表示された際に、インスツルメント２１Ｒ，２１Ｌが表示される領域である。

図２に示すように、術具領域には、シャフト部２２Ｒ，２２Ｌが表示される領域である第１術具領域２７Ｒ，２７Ｌと、エンドエフェクタ部２３Ｒ，２３Ｌが表示される領域である第２術具領域２８Ｒ，２８Ｌと、が含まれる。検出部５４は、重畳部５５に検出した第１術具領域２７Ｒ，２７Ｌおよび第２術具領域２８Ｒ，２８Ｌに関する情報を出力可能に接続される。

本実施形態では、検出部５４が撮像情報に対して画像解析処理を行うことにより、第１術具領域２７Ｒ，２７Ｌおよび第２術具領域２８Ｒ，２８Ｌを検出する場合を例に説明する。画像解析の処理としては、撮像情報に基づいて所定の領域を検出する際に一般に用いられる処理方法を用いることができる。

重畳部５５は、検出された第１術具領域２７Ｒ，２７Ｌおよび第２術具領域２８Ｒ，２８Ｌに作成された第１力覚表示および第２力覚表示を重畳した表示情報を作成する演算部である。重畳部５５は、出力部５６に作成した表示情報を出力可能に接続される。表示情報は、エンドスコープモニタ１２に表示される画像の情報である。重畳部５５における術具領域に力覚表示を重畳させる処理は、一般に用いられている重畳処理を用いることができる。

出力部５６は、図３に示すように、エンドスコープモニタ１２へ作成された表示情報を出力するインタフェースである。出力部５６は、エンドスコープモニタ１２と情報通信可能に接続される。出力部５６の構成としては、インタフェースとして一般的な構成のものを用いることができる。

次に、上記の構成を有する力覚表示装置５０を備えた医用ロボット１において、力覚表示装置５０が力覚を表示する方法について説明する。ここでは、説明を容易にするためにインスツルメント２１Ｒのシャフト部２２Ｒとエンドエフェクタ部２３Ｒに力が働く場合の力覚を表示する際の処理について説明する。なお、インスツルメント２１Ｌのシャフト部２２Ｌと、エンドエフェクタ部２３Ｌに力が働く場合の処理も同様である。

以降において説明する図９の処理は、上述のＲＯＭ等の記憶装置に記憶されているプログラムが、力覚表示装置５０のＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて行わせるものである。

力覚表示装置５０による力覚を表示する処理が開始されると、図９に示すように、画像取得部５１が画像情報を取得する処理を行う（Ｓ１０１：画像取得ステップ）。本実施形態では、まず、図１に示すように、撮像部３５にエンドスコープ３１により導かれた患部の画像が入射される。

撮像部３５は入射された画像を電気信号である撮像情報に変換し、変換した撮像情報を出力する。出力された撮像情報は、図３に示すように、画像取得部５１に取得される。画像取得部５１は検出部５４および重畳部５５に、取得した撮像情報を出力する。

画像情報が取得されると、図９に示すように、検出部５４が術具領域を検出する処理を行う（Ｓ１０２：検出ステップ）。本実施形態において検出部５４は、図２に示すように、取得した撮像情報に基づいて第１術具領域２７Ｒと、第２術具領域２８Ｒを検出する演算処理を行う。

第１術具領域２７Ｒと、第２術具領域２８Ｒを検出する演算処理としては、画像情報に基づいて特定の領域を検出する場合に一般に用いられる検出処理を用いることができる。検出された第１術具領域２７Ｒと、第２術具領域２８Ｒは、図３に示すように、検出部５４から重畳部５５に出力される。

その一方で、図９に示すように、力覚取得部５２が力覚情報を取得する取得処理を行う（Ｓ１０３：力覚取得ステップ）。本実施形態では、図２および図３に示すように、インスツルメント２１Ｒのシャフト部２２Ｒに力が働くと、シャフトセンサ６１Ｒは、シャフト部２２Ｒに働く第１力の大きさおよび第１力の方向とを測定する。シャフトセンサ６１Ｒは第１力の大きさおよび第１力の方向の情報を含む力覚情報を出力する。

インスツルメント２１Ｒのエンドエフェクタ部２３Ｒに力が働くと、エンドエフェクタセンサ６２Ｒは、エンドエフェクタ部２３Ｒに働く第２力の大きさを測定する。エンドエフェクタセンサ６２Ｒは第２力の大きさの情報を含む力覚情報を出力する。

力覚取得部５２は、シャフトセンサ６１Ｒおよびエンドエフェクタセンサ６２Ｒから出力された力覚情報を取得する。取得された力覚情報は、力覚取得部５２から作成部５３に出力される。

力覚情報が取得されると、図９に示すように、作成部５３が第１力覚表示および第２力覚表示を作成する演算処理を行う（Ｓ１０４：作成ステップ）。本実施形態では作成部５３が、図４に示すように、入力された力覚情報に基づいて第１力量表示４１Ｒ、第１方向表示４２Ｒ、および、第２力量表示４６Ｒを作成する演算処理を行う。作成された第１力量表示４１Ｒ、第１方向表示４２Ｒ、および、第２力量表示４６Ｒは、図３に示すように、作成部５３から重畳部５５に出力される。

本実施形態では、第１力量表示４１Ｒが、第１術具領域２７Ｒの少なくとも一部の領域であって力の大きさによって色が変わる領域表示と、力の大きさを示す数値であって、力の大きさに応じてサイズが変更される表示から構成されている場合を例に説明する。より具体的には、色が変わる領域が第１術具領域２７Ｒと同じ形状の領域である場合を例に説明する。ここで数値のサイズとは、力の大きさを示す数値を表示する文字の大きさをいう。

また、第２力量表示４６Ｒが、第２術具領域２８Ｒの少なくとも一部の領域であって力の大きさによって色が変わる領域表示と、力の大きさを示す数値であって、力の大きさに応じてサイズが変更される表示から構成されている場合を例に説明する。より具体的には、色が変わる領域が第２術具領域２８Ｒと同じ形状の領域である場合を例に説明する。

本実施形態では、力の大きさによって色を変える方法が、力が大きくなるに従い緑色から黄色に変化させ、更に黄色から赤色に変化させる方法である場合を例に説明する。なお、色を変える順序や、表示される色の選択は本実施形態の例に限定されない。

力の大きさに応じて数値のサイズを変更させる方法が、表示される数値に正比例してその数値のサイズを大きく表示する方法である場合を例に説明する。なお、サイズを変化させる方法は、本実施形態の例に限定されない。

第１力量表示４１Ｒおよび第２力量表示４６Ｒのそれぞれ第１術具領域２７Ｒおよび第２術具領域２８Ｒの少なくとも一部の領域であって力の大きさによって色が変わる領域表示は、力の大きさによって色の明暗が変わる領域表示であってもよい。例えば、力の大きさに応じて暗色から明色に変わる表示であってもよい。

また、第１力量表示４１Ｒおよび第２力量表示４６Ｒのそれぞれ第１術具領域２７Ｒおよび第２術具領域２８Ｒの少なくとも一部の領域であって力の大きさによって色が変わる領域表示は、力の大きさによって透過性が変わる領域表示であってもよい。例えば、力の大きさに応じて透明から半透明を経て不透明に変化する表示であってもよい。

本実施形態では、第１方向表示４２Ｒが、力の方向を示す矢印の表示である場合を例に説明する。第１方向表示４２Ｒは、矢印以外の方向を示す際に一般に用いられるその他の表示であってもよい。

例えば、図５に示すように、第１方向表示４２Ｒ，４２Ｌが、力の方向を示す三角形の表示であってもよい。当該三角形は、２つの等辺の長さが、１つの底辺よりも長い二等辺三角形である。２つの等辺に挟まれた頂角のある方向が力の方向を表す。

図６に示すように、第１方向表示４２Ｒ，４２Ｌが、力の方向を示す３つのＬ字形状の集合体、言い換えると小型のＬ字形状、中型のＬ字形状、および、大型のＬ字形状の集合体の表示であってもよい。なお、Ｌ字形状の数は１つであっても良いし、２つであっても良いし、４つ以上であってもよい。

当該集合体は、大きさの異なるＬ字形状が大きさの順に並んでいる。Ｌ字形状の角部が指し示す方向が力の方向を表す。また、Ｌ字形状が２以上の場合には、更に小さなＬ字形状から大きなＬ字形状に並ぶ方向によっても力の方向を表す。

３つのＬ字形状の集合体は表示状態が時間に経過に関わらず一定に保たれても良いし、時間の経過に伴い変化しても良い。具体的には、時間の経過に伴い、小型のＬ字形状のみの表示から、小型および中型のＬ字形状の表示を経て、小型、中型および大型のＬ字形状の表示と変化し、再び小型のＬ字形状のみの表示に戻ることを繰り返しても良い。

図７に示すように、第１方向表示４２Ｒ，４２Ｌが、力の方向を示す４つの円弧形状の集合体の表示であってもよい。なお、円弧形状の数は１つであっても良いし、２つまたは３つであっても良いし、５つ以上であってもよい。

当該集合体は、大きさの異なる円弧形状が大きさの順に並んでいる。円弧形状の中心角の二等分線が指し示す方向が力の方向を表す。また、円弧形状が２以上の場合には、更に小さな円弧形状から大きな円弧形状に並ぶ方向によっても力の方向を表す。

４つの円弧形状の集合体は表示状態が時間に経過に関わらず一定に保たれても良いし、Ｌ字形状の集合体と同様に時間の経過に伴い変化しても良い。具体的には、時間の経過に伴い、小型の円弧形状のみの表示から、形状が大きな円弧形状を順に加えた表示へと変化し、再び小型の円弧形状のみの表示に戻ることを繰り返しても良い。

図８に示すように、第１方向表示４２Ｒ，４２Ｌが、力の方向を示す３つの円形状の集合体の表示であってもよい。なお、円形状の数は２つであっても良いし、４つ以上であってもよい。当該集合体は、大きさの異なる円形状が大きさの順に並んでいる。小さな円形状から大きな円形状に並ぶ方向によっても力の方向を表す。

３つの円形状の集合体は表示状態が時間に経過に関わらず一定に保たれても良いし、Ｌ字形状の集合体と同様に時間の経過に伴い変化しても良い。具体的には、時間の経過に伴い、小型の円形状のみの表示から、形状が大きな円形状を順に加えた表示へと変化し、再び小型の円形状のみの表示に戻ることを繰り返しても良い。

第１術具領域２７Ｒおよび第２術具領域２８Ｒが検出され、第１力覚表示および第２力覚表示が作成されると、図９に示すように、重畳部５５が表示情報を作成する演算処理を行う（Ｓ１０５：重畳ステップ）。本実施形態では、図４に示すように、重畳部５５が、第１術具領域２７Ｒに第１力量表示４１Ｒおよび第１方向表示４２Ｒを重畳して表示させる表示情報を作成する演算処理を行う。また重畳部５５が、第２術具領域２８Ｒに第２力量表示４６Ｒを重畳して表示させる表示情報を作成する演算処理を行う。

第１力量表示４１Ｒおよび第１方向表示４２Ｒは、第１術具領域２７Ｒの内部に収まるように表示されることが好ましい。第２力量表示４６Ｒは、第２術具領域２８Ｒの内部に収まるように表示されることが好ましい。

第１力量表示４１Ｒおよび第１方向表示４２Ｒは、一部が第１術具領域２７Ｒから飛び出して表示されてもよい。第２力量表示４６Ｒは、一部が第２術具領域２８Ｒから飛び出して表示されてもよい。

表示情報が作成されると、図９に示すように、出力部５６が表示情報をエンドスコープモニタ１２に出力する処理を行う（Ｓ１０６）。エンドスコープモニタ１２は、入力された表示情報に基づいて図４に示すような画像を表示する。

表示情報が出力されると、図９に示すように、力覚表示装置５０は力覚の表示を終了する入力の有無を判定する処理を行う（Ｓ１０７）。力覚の表示を終了する入力が無い場合（ＮＯの場合）には、力覚表示装置５０はＳ１０１に戻り上述の処理を繰り返し行う。力覚の表示を終了する入力がある場合（ＹＥＳの場合）には、力覚表示装置５０は力覚を表示する処理を終了する。

上記の力覚表示装置５０によれば、第１力量表示４１Ｒ、及び第１方向表示４２Ｒが第１術具領域２７Ｒに重畳して表示され、第２力量表示４６Ｒが、第２術具領域２８Ｒに重畳して表示される。第１力量表示４１Ｌ、及び第１方向表示４２Ｌが第１術具領域２７Ｌに重畳して表示され、第２力量表示４６Ｌが、第２術具領域２８Ｌに重畳して表示される。

そのため、インスツルメント２１Ｒ，２１Ｌが患部に与える力の大きさ、および、力の方向が把握されやすい。言い換えると、インスツルメント２１Ｒ，２１Ｌが患部の組織に与えるダメージを把握しやすい。その結果、組織に与えるダメージの軽減を図りやすい。

また、第１力量表示４１Ｒ、第１方向表示４２Ｒおよび第２力量表示４６Ｒが第１術具領域２７Ｒおよび第２術具領域２８Ｒに重畳して表示される。第１力量表示４１Ｌ、第１方向表示４２Ｌおよび第２力量表示４６Ｌが第１術具領域２７Ｌおよび第２術具領域２８Ｌに重畳して表示される。そのため、エンドスコープモニタ１２に表示される患部が第１力覚表示および第２力覚表示に隠されにくくなる。インスツルメント２１Ｒ，２１Ｌおよび患部が意図しない接触を起こしにくく、組織が接触によるダメージを受けにくくなる。

第１力量表示４１Ｒおよび第１方向表示４２Ｒが、第１術具領域２７Ｒに重畳して表示され、第１力量表示４１Ｌおよび第１方向表示４２Ｌが、第１術具領域２７Ｌに重畳して表示される。そのため、シャフト部２２Ｒ，２２Ｌが患部に与える力の大きさ、および、力の方向を把握しやすくなる。

第２力量表示４６Ｒが第２術具領域２８Ｒに重畳して表示され、第２力量表示４６Ｌが第２術具領域２８Ｌに重畳して表示される。そのため、エンドエフェクタ部２３Ｒ，２３Ｌが患部に与える力の大きさを把握しやすくなる。

力の大きさである第１力量表示４１Ｒおよび第２力量表示４６Ｒを色の種類を用いて表現することにより、直感的に力の大きさを把握しやすくなる。

力の大きさである第１力量表示４１Ｒおよび第２力量表示４６Ｒを数値で表現することにより、力の大きさを正確に表現することができる。

力の大きさである第１力量表示４１Ｒおよび第２力量表示４６Ｒを数値のサイズを用いて表現することにより、単に数値を用いて力の大きさを表す場合と比較して、力の大きさを正確に表現できるとともに、力の大きさを直感的に把握しやすくなる。

上述の実施形態では、力覚表示装置５０が第１力量表示４１Ｒ，４１Ｌおよび第１方向表示４２Ｒ，４２Ｌを含む第１力覚表示と、第２力量表示４６Ｒ，４６Ｌを含む第２力覚表示を重畳してエンドスコープモニタ１２に表示する構成を例に説明したが、第１力覚表示および第２力覚表示の一方のみを重畳してエンドスコープモニタ１２に表示してもよい。

また、第２力覚表示には、第２力量表示４６Ｒ，４６Ｌの他に、第２力の方向を表す第２方向表示が含まれてもよい。この場合エンドスコープモニタ１２には、第２力量表示４６Ｒ，４６Ｌおよび第２方向表示を含む第２力覚表示が重畳されて表示される。

上記実施形態では、力覚表示装置５０が医用ロボット１を用いた手術に用いられる例に適用して説明したが、力覚表示装置５０は、図１０に示すように腹腔鏡手術に適用されてもよい。

腹腔鏡手術に適用される場合、術具である２つのインスツルメント１２１Ｒ，１２１Ｌは、スレーブ２０により操作されるインスツルメント２１Ｒ，２１Ｌとは異なり、執刀医により直接操作される構成を有する。

また、インスツルメント１２１Ｒには、シャフト部２２Ｒと、エンドエフェクタ部２３Ｒと、シャフトセンサ６１Ｒと、エンドエフェクタセンサ６２Ｒと、が少なくとも設けられる。また、インスツルメント１２１Ｌには、シャフト部２２Ｌと、エンドエフェクタ部２３Ｌと、シャフトセンサ６１Ｌと、エンドエフェクタセンサ６２Ｌと、が少なくとも設けられる。

〔第１の実施形態の変形例〕
次に、本開示の第１の実施形態の変形例に係る力覚表示装置５０Ａについて図１１を参照しながら説明する。

本変形例の力覚表示装置５０Ａの基本構成は、第１の実施形態とは術具領域を検出する処理が異なっている。よって、本実施形態においては、図１１を用いて術具領域を検出する処理について説明し、その他の説明を省略する。

本変形例の力覚表示装置５０Ａは、図１１に示すように、ＣＰＵ（中央演算処理ユニット）、ＲＯＭ、ＲＡＭ、入出力インタフェース等を有するプロセッサや、マイクロコンピュータや、パーソナルコンピュータや、サーバ等の情報処理機器である。

上述のＲＯＭ等の記憶装置に記憶されているプログラムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェースを協働させて、少なくとも画像取得部５１、力覚取得部５２、作成部５３、検出部５４Ａ、重畳部５５、出力部５６、および、記憶部５７Ａとして機能させる。

記憶部５７Ａは、インスツルメント１２１Ｒ，１２１Ｌの色彩および模様の少なくとも一方を記憶する。本実施形態では、記憶部５７Ａが、シャフト部２２Ｒや、エンドエフェクタ部２３Ｒや、シャフト部２２Ｌや、エンドエフェクタ部２３Ｌに付された色彩を記憶する構成を例に説明する。なお、記憶部５７Ａは、インスツルメント１２１Ｒ，１２１Ｌの色彩と模様の組合せを記憶してもよいし、模様を記憶してもよい。

インスツルメント１２１Ｒ，１２１Ｌの色彩は、患部の色に対する補色であることが好ましい。例えば、血液の色に対する補色、例えば緑色であることが好ましい。血液の色には、動脈血の色や静脈血の色が含まれる。

インスツルメント１２１Ｒ，１２１Ｌの模様は、患部との対比が容易な幾何学模様であることが好ましい。例えば、直線的な幾何学模様や、同じ形状が繰り返し現れる模様などが好ましい。

検出部５４Ａは、取得した撮像情報および記憶されたインスツルメント１２１Ｒ，１２１Ｌの色彩の情報に基づいて術具領域を検出する演算部である。色彩の情報に基づいて術具領域を検出する画像解析の処理としては、色彩の情報に基づいて所定の領域を検出する際に一般に用いられる処理方法を用いることができる。

インスツルメント１２１Ｒの色彩と、インスツルメント１２１Ｌの色彩とが異なると、インスツルメント１２１Ｒの術具領域と、インスツルメント１２１Ｌの術具領域とを異なる領域として検出しやすい。

さらに、シャフト部２２Ｒの色彩と、エンドエフェクタ部２３Ｒの色彩とが異なると、第１術具領域２７Ｒと、第２術具領域２８Ｒとを異なる領域として検出しやすい。同様にシャフト部２２Ｌの色彩と、エンドエフェクタ部２３Ｌの色彩が異なると、第１術具領域２７Ｌと、第２術具領域２８Ｌとを異なる領域として検出しやすい。

次に、上記の構成を有する力覚表示装置５０Ａにおける力覚を表示する方法については、術具領域を検出する画像解析処理が異なる以外は、第１の実施形態における力覚を表示する方法と同様であるため、その説明を省略する。

上記の力覚表示装置５０Ａによれば、インスツルメント１２１Ｒ，１２１Ｌの色彩に基づいて第１術具領域２７Ｒと、第２術具領域２８Ｒと、第１術具領域２７Ｌと、第２術具領域２８Ｌとを検出することにより、第１術具領域２７Ｒと、第２術具領域２８Ｒと、第１術具領域２７Ｌと、第２術具領域２８Ｌとの検出が容易になる。また、第１術具領域２７Ｒと、第２術具領域２８Ｒと、第１術具領域２７Ｌと、第２術具領域２８Ｌとの検出精度を高めやすい。

なお、本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。

Claims (7)

1. 力覚表示装置であって、
   患部を撮像する撮像部から出力された前記患部の画像に関する情報である撮像情報を取得する画像取得部と、
   前記患部を処置する少なくとも１つの術具に働く力の大きさ及び力の方向の情報を含む力覚情報を取得する力覚取得部と、
   表示部に表示される表示態様であって、前記力の大きさを表す力量表示、および、前記力の方向を表す方向表示を含む力覚表示を前記力覚情報に基づいて作成する作成部と、
   前記撮像情報に基づいて、前記表示部に表示される前記撮像部が撮像した画像における前記術具が表示される術具領域を検出する検出部と、
   前記術具領域に前記力覚表示を重畳して前記表示部に表示させる表示情報を作成する重畳部と、
   が設けられ、
   前記力覚情報には、前記術具における棒状に延びるシャフト部に働く第１力の大きさ、および、第１力の方向の情報が含まれるとともに、前記シャフト部の端部に設けられ前記患部の処置に用いられるエンドエフェクタ部に加わる第２力の大きさ、および、第２力の方向の情報が含まれ、
   前記作成部は、前記第１力の大きさを表す第１力量表示、および、前記第１力の方向を表す第１方向表示を含む第１力覚表示を作成するとともに、前記第２力の大きさを表す第２力量表示、および、前記第２力の方向を表す第２方向表示を含む第２力覚表示を作成し、
   前記検出部は、前記表示部に表示される前記撮像部が撮像した画像における前記シャフト部が表示される領域を第１術具領域として検出するとともに、前記表示部に表示される前記撮像部が撮像した画像における前記エンドエフェクタ部が表示される領域を第２術具領域として検出し、
   前記重畳部は、前記第１術具領域に前記第１力覚表示を重畳して前記表示部に表示させる情報であるとともに、前記第２術具領域に前記第２力覚表示を重畳して前記表示部に表示させる情報である前記表示情報を作成する、
   力覚表示装置。
2. 前記作成部は、色の種類、色の明暗、および、透過性の少なくとも１つを用いて前記力の大きさを表現する前記力量表示を含む前記力覚表示を作成する請求項１記載の力覚表示装置。
3. 前記作成部は、数値を用いて前記力の大きさを表現する前記力量表示を含む前記力覚表示を作成する請求項１または２に記載の力覚表示装置。
4. 前記作成部は、表示される前記数値のサイズを用いて前記力の大きさを表現する前記力量表示を含む前記力覚表示を作成する請求項３記載の力覚表示装置。
5. 前記術具の色彩および模様の少なくとも一方を記憶する記憶部が更に設けられ、
   前記検出部は、前記記憶部に記憶された前記術具の色彩および模様の少なくとも一方に基づいて、前記表示部に表示される画像における前記術具領域を検出する請求項１から４のいずれか１項に記載の力覚表示装置。
6. 画像取得部と、力覚取得部と、作成部と、検出部と、重畳部とを有する力覚表示装置の表示方法であって、
   前記画像取得部が患部を撮像する撮像部から出力された前記患部の画像に関する情報である撮像情報を取得する画像取得ステップと、
   前記力覚取得部が前記患部を処置する少なくとも１つの術具に働く力の大きさ及び力の方向の情報を含む力覚情報を取得する力覚取得ステップと、
   前記作成部が、表示部に表示される表示態様であって、前記力の大きさを表す力量表示、および、前記力の方向を表す方向表示を含む力覚表示を前記力覚情報に基づいて作成する作成ステップと、
   前記検出部が、前記撮像情報に基づいて、前記表示部に表示される前記撮像部が撮像した画像における前記術具が表示される術具領域を検出する検出ステップと、
   前記重畳部が、前記術具領域に前記力覚表示を重畳して前記表示部に表示させる表示情報を作成する重畳ステップと、
   を有し、
   前記力覚情報には、前記術具における棒状に延びるシャフト部に働く第１力の大きさ、および、第１力の方向の情報が含まれるとともに、前記シャフト部の端部に設けられ前記患部の処置に用いられるエンドエフェクタ部に加わる第２力の大きさ、および、第２力の方向の情報が含まれ、
   前記作成ステップにおいて、前記作成部が、前記第１力の大きさを表す第１力量表示、および前記第１力の方向を表す第１方向表示を含む第１力覚表示を作成するとともに、前記第２力の大きさを表す第２力量表示、および、前記第２力の方向を表す第２方向表示を含む第２力覚表示を作成し、
   前記検出ステップにおいて、前記検出部が、前記表示部に表示される前記撮像部が撮像した画像における前記シャフト部が表示される領域を第１術具領域として検出するとともに、前記表示部に表示される前記撮像部が撮像した画像における前記エンドエフェクタ部が表示される領域を第２術具領域として検出し、
   前記重畳ステップにおいて、前記重畳部が、前記第１術具領域に前記第１力覚表示を重畳して前記表示部に表示させる情報であるとともに、前記第２術具領域に前記第２力覚表示を重畳して前記表示部に表示させる情報である前記表示情報を作成する、
   力覚表示方法。
7. コンピュータに、
   患部を撮像する撮像部から出力された前記患部の画像に関する情報である撮像情報を取得する画像取得機能と、
   前記患部を処置する少なくとも１つの術具に働く力の大きさ及び力の方向の情報を含む力覚情報を取得する力覚取得機能と、
   表示部に表示される表示態様であって、前記力の大きさを表す力量表示、および、前記力の方向を表す方向表示を含む力覚表示を前記力覚情報に基づいて作成する作成機能と、
   前記撮像情報に基づいて、前記表示部に表示される前記撮像部が撮像した画像における前記術具が表示される術具領域を検出する検出機能と、
   前記術具領域に前記力覚表示を重畳して前記表示部に表示させる表示情報を作成する重畳機能と、
   を実現させるためのプログラムであって、
   前記力覚情報は、前記術具における棒状に延びるシャフト部に働く第１力の大きさ、および、第１力の方向の情報を含むとともに、前記シャフト部の端部に設けられ前記患部の処置に用いられるエンドエフェクタ部に加わる第２力の大きさ、および、第２力の方向の情報を含むものであり、
   前記作成機能は、前記第１力の大きさを表す第１力量表示、および前記第１力の方向を表す第１方向表示を含む第１力覚表示を作成するとともに、前記第２力の大きさを表す第２力量表示、および、前記第２力の方向を表す第２方向表示を含む第２力覚表示を作成するものであり、
   前記検出機能は、前記表示部に表示される前記撮像部が撮像した画像における前記シャフト部が表示される領域を第１術具領域として検出するとともに、前記表示部に表示される前記撮像部が撮像した画像における前記エンドエフェクタ部が表示される領域を第２術具領域として検出するものであり、
   前記重畳機能は、前記第１術具領域に前記第１力覚表示を重畳して前記表示部に表示させる情報であるとともに、前記第２術具領域に前記第２力覚表示を重畳して前記表示部に表示させる情報である前記表示情報を作成するものである、
   プログラム。

Images