JP2020039418A - 支援装置、内視鏡システム、支援方法、及び支援プログラム - Google Patents
支援装置、内視鏡システム、支援方法、及び支援プログラム Download PDFInfo
- Publication number
- JP2020039418A JP2020039418A JP2018167096A JP2018167096A JP2020039418A JP 2020039418 A JP2020039418 A JP 2020039418A JP 2018167096 A JP2018167096 A JP 2018167096A JP 2018167096 A JP2018167096 A JP 2018167096A JP 2020039418 A JP2020039418 A JP 2020039418A
- Authority
- JP
- Japan
- Prior art keywords
- detection
- unit
- subject
- image
- detection range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Abstract
【課題】被検体に内視鏡の挿入部が挿入されているか否かに関わらず、検出装置の検出範囲を検査者に提示する。【解決手段】支援装置16は、取得部74と、表示制御部78と、を備える。支援装置16は、内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の受信コイルを含む受信コイルユニット、及び被検体の外部に設けられた筐体内に設けられた複数の送信コイルを含む送信コイルユニットによって検出された磁界を表す検出信号に基づき、検出装置により挿入部の位置及び形状の少なくとも一方を検出する場合に、取得部74が、送信コイルユニットの位置を表す位置情報を取得する。また、表示制御部78が、取得部74が取得した位置情報に基づいて、検出装置による検出が可能な検出範囲を表す検出範囲画像を、被検体の上に表示する制御を行う。【選択図】図6
Description
本開示は、支援装置、内視鏡システム、支援方法、及び支援プログラムに関する。
従来、内視鏡による被検体の体内の検査(以下、「内視鏡検査」という)において、被検体の体内に挿入された内視鏡の挿入部の形状を検出して挿入部の形状を表す形状画像を表示部に表示させる検出装置が知られている。また、この種の検出装置として、内視鏡の挿入部に沿って設けられた、磁界発生素子及び磁界検出素子の一方の複数の素子、及び被検体の外部に設けられた他方の複数の素子によって検出された磁界を表す検出信号を用いる検出装置が知られている。
この種の検出装置では、磁界発生素子の出力の強度、及び磁界検出素子の感度等の影響により、適切な検出が可能な検出範囲が定まり、この検出範囲外に位置する内視鏡の挿入部については、その形状の検出精度が低下したり、検出できなかったりする場合があった。
そのため、内視鏡の挿入部が、上記検出範囲内に位置するか否かを表す情報を検査者に提示する技術が知られている。例えば、特許文献1には、内視鏡画像に、有効検出範囲を示す情報を表示する技術が記載されている。また例えば、特許文献2には、挿入部に沿って設けられた上記一方の複数の素子が、有効検出範囲内に存在するか否かを検出手段の出力に基づいて判定し、判定結果に基づいて、内視鏡の挿入部の挿入形状を表示する表示形態を選択する技術が記載されている。
しかしながら、上記特許文献1及び特許文献2に記載の技術はいずれも、内視鏡の挿入部の形状を表す形状画像と組み合わせて、検出範囲を検査者に対して提示する技術である。そのため、特許文献1及び特許文献2に記載を内視鏡検査に適用する場合、内視鏡の挿入部が被検体に挿入された状態において検出範囲を提示することが一般的であり、内視鏡の挿入部を被検体に挿入する前に、検出範囲を検査者に対して提示するのは困難な場合があった。
本開示は、以上の事情を鑑みて成されたものであり、被検体に内視鏡の挿入部が挿入されているか否かに関わらず、検出装置の検出範囲を検査者に提示することができる、支援装置、内視鏡システム、支援方法、及び支援プログラムを提供することを目的とする。
上記目的を達成するために、本開示の第1の態様の支援装置は、内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第1素子群、及び被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第2素子群によって検出された磁界を表す検出信号に基づき、検出装置により挿入部の位置及び形状の少なくとも一方を検出する場合に、第2素子群の位置を表す位置情報を取得する取得部と、取得部が取得した位置情報に基づいて、検出装置による検出が可能な検出範囲を表す検出範囲画像を、被検体の上に表示する制御を行う表示制御部と、を備えた。
本開示の第2の態様の支援装置は、第1の態様の支援装置において、第2素子群は、外部装置内に固定的に設けられており、取得部は、位置情報として外部装置の位置を表す情報を取得する。
本開示の第3の態様の支援装置は、第2の態様の支援装置において、取得部は、位置情報として、外部装置と被検体との相対的な位置を表す情報、及び外部装置の被検体に対する姿勢を表す情報を取得する。
本開示の第4の態様の支援装置は、第3の態様の検出装置において、外部装置と被検体との相対的な位置、及び外部装置の被検体に対する姿勢を検出する第1検出部をさらに備えた。
本開示の第5の態様の支援装置は、第2の態様から第4の態様のいずれか1態様の支援装置において、検出範囲画像を投影する投影部をさらに備え、表示制御部は、投影部により、検出範囲画像を被検体の体表面に投影させる制御を行う。
本開示の第6の態様の支援装置は、第5の態様の支援装置において、取得部は、位置情報として、さらに外部装置と投影部との相対的な位置を表す情報、及び外部装置の投影部に対する姿勢を表す情報を取得する。
本開示の第7の態様の支援装置は、第6の態様の支援装置において、外部装置と投影部との相対的な位置、及び外部装置の投影部に対する姿勢を検出する第2検出部をさらに備えた。
本開示の第8の態様の支援装置は、第5の態様から第7の態様のいずれか1態様の支援装置において、取得部は、投影部が検出範囲画像を投影する被検体の形状を表す情報をさらに取得し、表示制御部は、検出範囲画像として、被検体の形状を表す情報に応じた画像を、投影部により投影させる。
本開示の第9の態様の支援装置は、第5の態様から第8の態様のいずれか1態様の支援装置において、投影部は、外部装置と一体的に構成されている。
本開示の第10の態様の支援装置は、第5の態様から第8の態様のいずれか1態様の支援装置において、投影部は、被検体の周辺を移動可能に設けられている。
本開示の第11の態様の支援装置は、第5の態様から第10の態様のいずれか1態様の支援装置において、検出範囲画像は、3次元の検出範囲を表す3次元画像である。
本開示の第12の態様の支援装置は、第1の態様または第2の態様の支援装置において、取得部は、被検体及び外部装置を撮像して撮像画像の画像データを出力する撮像部を含み、撮像画像に基づいて、位置情報を取得し、表示制御部は、撮像画像に含まれる被検体の画像に、検出範囲画像を重畳させた画像を表示部に表示させる制御を行う。
本開示の第13の態様の支援装置は、第12の態様の支援装置において、表示部は、携帯型端末装置が備える表示部、またはヘッドマウントディスプレイである。
本開示の第14の態様の内視鏡システムは、被検体に挿入する挿入部を備えた内視鏡と、内視鏡の挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第1素子群、及び被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第2素子群によって検出された磁界を表す検出信号に基づき、挿入部の位置及び形状の少なくとも一方を検出する検出装置と、検出装置による検出を支援する第1の態様から第13の態様のいずれか1態様に記載の支援装置と、を備えた。
本開示の第15の態様の支援方法は、内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第1素子群、及び被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第2素子群によって検出された磁界を表す検出信号に基づき、検出装置により挿入部の位置及び形状の少なくとも一方を検出する場合に、第2素子群と被検体の位置を表す位置情報を取得し、取得した位置情報に基づいて、検出装置による検出が可能な検出範囲を表す検出範囲画像を、被検体の上に表示する制御を行う、処理をコンピュータが実行する。
本開示の第16の態様の支援プログラムは、内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第1素子群、及び被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第2素子群によって検出された磁界を表す検出信号に基づき、検出装置により挿入部の位置及び形状の少なくとも一方を検出する場合に、第2素子群の位置を表す位置情報を取得し、取得した位置情報に基づいて、検出装置による検出が可能な検出範囲を表す検出範囲画像を、被検体の上に表示する制御を行う、処理をコンピュータに実行させるためのものである。
また、本開示の支援装置は、プロセッサを有する支援装置であって、プロセッサが、内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第1素子群、及び被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第2素子群によって検出された磁界を表す検出信号に基づき、検出装置により挿入部の位置及び形状の少なくとも一方を検出する場合に、第2素子群の位置を表す位置情報を取得し、取得した位置情報に基づいて、検出装置による検出が可能な検出範囲を表す検出範囲画像を、被検体の上に表示する制御を行う。
本開示によれば、被検体に内視鏡の挿入部が挿入されているか否かに関わらず、検出装置の検出範囲を検査者に提示することができる。
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
[第1実施形態]
まず、図1を参照して本実施形態の内視鏡システム1の全体の構成について説明する。図1には、本実施形態の内視鏡システム1の構成の一例を示す構成図が示されている。
まず、図1を参照して本実施形態の内視鏡システム1の全体の構成について説明する。図1には、本実施形態の内視鏡システム1の構成の一例を示す構成図が示されている。
内視鏡システム1は、被検体Wの体内の画像(以下、「内視鏡画像」という)を撮像する内視鏡10、内視鏡検査装置12、検出装置14、及び支援装置16を備えている。
内視鏡10は、挿入部10A及び操作部10Bを備え、内視鏡検査を行う場合、検査者は、操作部10Bを操作して、挿入部10Aを被検体Wに挿入し、被検体Wの体内の内視鏡画像を撮像する。ケーブル11により内視鏡10と接続された内視鏡検査装置12は、ビデオプロセッサ34、全体制御部40、送信部41、検出部50、及び液晶ディスプレイ等の表示部52を備える。ビデオプロセッサ34は、内視鏡10による内視鏡画像の撮像の制御を行う。全体制御部40は、内視鏡システム1の全体を制御する。検出部50は、内視鏡10の挿入部10Aの形状の検出を行う。一方、検出装置14は、内視鏡検査装置12に備えられた送信部41と、内視鏡10の内部に設けられた受信部21(図2参照)と、を備え、送信部41で発生した磁界を受信部21で受信することにより、挿入部10Aの位置を検出する。なお、図1に示すように、送信部41は、ビデオプロセッサ34、全体制御部40、検出部50、及び表示部52とは別体として構成されており、詳細を後述する筐体41A(図5参照)に収納されている。本実施形態の検出装置14及び検出部50が、本開示の検出装置の一例である。
次に、図2を参照して、内視鏡10、内視鏡検査装置12、及び検出装置14の詳細な構成について説明する。また、図2には、本実施形態の内視鏡システム1の構成の一例を示すブロック図が示されている。
図2に示すように、内視鏡10は、CCD(Charge Coupled Device)イメージセンサ、及びCMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ等の撮像素子を含む画像センサ30を備えている。内視鏡10は、ビデオプロセッサ34の制御により光源36から出射された光を伝送路(図示省略)によって伝送し、挿入部10Aの先端に設けられた出射部(図示省略)から出射し、出射した光によって被検体Wの体内を照明する。この照明光による被検体Wからの反射光が対物レンズ(図示省略)によって画像センサ30に結像し、結像した光学像である内視鏡画像に応じた画像信号が、ケーブル11を介して内視鏡検査装置12のビデオプロセッサ34に出力される。ビデオプロセッサ34により、入力された画像信号に対して予め定められた画像処理が行われ、この画像処理によって得られた内視鏡画像の画像データは、検出部50に出力される。
図2に示すように、検出装置14のうち、被検体Wの外部に設けられた送信部41は、送信制御ユニット42及び送信コイルユニット48を備える。送信コイルユニット48は、図3にも示すように、複数(本実施形態では、12個)の送信コイル49、具体的には、送信コイル491x、491Y、491Z、492x、492Y、492Z、493x、493Y、493Z、494x、494Y、及び494Zを備える。なお、本実施形態では、送信コイル49について、総称する場合は、単に「送信コイル49」といい、個々を区別する場合は、「送信コイル49」の後に個々を表す符号(1X・・・4Z)を付す。本実施形態の送信コイル49が、本開示の他方の複数の素子の一例である。また、本実施形態の送信コイルユニット48が、本開示の第2素子群の一例である。
図3に示すように、本実施形態の送信コイル49は軸が、X軸、Y軸、及びZ軸の各々の方向に向いた3つの送信コイル49を1組としており、送信コイルユニット48は、4組の送信コイル群を備える。具体的には、送信コイルユニット48は、X軸方向に向いた送信コイル491X、Y軸方向に向いた送信コイル491Y、及びZ軸方向に向いた送信コイル491Zの組と、X軸方向に向いた送信コイル492X、Y軸方向に向いた送信コイル492Y、及びZ軸方向に向いた送信コイル492Zの組と、を備える。また、送信コイルユニット48は、X軸方向に向いた送信コイル493X、Y軸方向に向いた送信コイル493Y、及びZ軸方向に向いた送信コイル493Zの組と、X軸方向に向いた送信コイル494X、Y軸方向に向いた送信コイル494Y、及びZ軸方向に向いた送信コイル494Zの組と、を備える。このように、本実施形態の送信コイルユニット48は、3軸コイルを4つ、送信コイル49として備えた状態と同等となっている。
また、送信制御ユニット42は、送信制御部44、及び送信コイル49に接続された送信回路46、具体的には、送信回路461x、461Y、461Z、462x、462Y、462Z、463x、463Y、463Z、464x、464Y、及び464Zを備える。なお、本実施形態では、送信回路46についても、送信コイル49と同様に、総称する場合は、単に「送信回路46」といい、個々を区別する場合は、「送信回路46」の後に個々を表す符号(1X・・・4Z)を付す。
送信回路46は、送信制御部44の制御に応じて、送信コイル49を駆動するための駆動信号を生成して、各々接続されている送信コイル49に出力する。各送信コイル49は駆動信号が印加されることで、磁界を伴う電磁波を周囲に放射する。なお、本実施形態の送信制御部44は、予め定められた時間間隔、例えば数十m秒間隔で、各送信回路46に駆動信号を生成させ、各送信コイル49を順次、駆動させる。
一方、図2に示すように、検出装置14のうち、内視鏡10の内部に設けられた受信部21は、受信制御部20、受信コイルユニット22、受信回路24(241〜2416)、ADC(Analog-to-Digital Converter)26(261〜2616)、及びI/F(Interface)29を備える。受信制御部20は、受信部21の全体を制御し、受信コイルユニット22の駆動を制御する。
受信コイルユニット22は、図3にも示すように、一例として16個(図3に図示したものは6個)の受信コイル23、具体的には、受信コイル231〜2316を備える。なお、本実施形態では、送信コイル49と同様に、受信コイル23、受信回路24、及びADC26の各々について、総称する場合は、単に「受信コイル23」、「受信回路24」、及び「ADC26」といい、個々を区別する場合は、「受信コイル23」、「受信回路24」、及び「ADC26」の後に個々を表す符号(1・・・16)を付す。本実施形態の受信コイル23が、本開示の一方の複数の素子の一例である。また、本実施形態の受信コイルユニット22が、本開示の第1素子群の一例である。
受信コイルユニット22の各受信コイル23は、内視鏡10の挿入部10Aに、被検体Wに挿入される方向に沿って配置されている。受信コイル23は、送信コイルユニット48の各送信コイル49で発生した磁界を検出する。各受信コイル23は、受信回路24に接続されており、検出した磁界に応じた検出信号を受信回路24に出力する。受信回路24は、LPF(Low Pass Filter)及び増幅器(いずれも図示省略)等を含み、LPFによって外乱ノイズが除去され、増幅器により増幅された検出信号をADC26に出力する。ADC26は、入力されたアナログの検出信号をデジタルの検出信号に変換して受信制御部20に出力する。受信制御部20は、各ADC26から入力された検出信号を、I/F29を介して、内視鏡検査装置12へ送信する。
内視鏡検査装置12に入力された検出信号は、I/F53を介して、検出部50に入力される。
検出部50は、入力した検出信号に基づいて、各受信コイル23の位置を検出する。すなわち、本実施形態の検出部50は、各送信コイル49で発生した磁界を受信コイル23で検出し、受信コイル23から出力された検出信号に基づいて、各受信コイル23の位置及び方向(向き)を検出する。検出部50が検出信号に基づいて受信コイル23の位置を検出する方法は、特に限定されず、例えば、特許第3432825号公報に記載されている技術を適用することができる。特許第3432825号公報に記載されている技術では、各送信コイル49によって発生された磁界の測定値、及び受信コイル23の方向の推定値から、特定の送信コイル49から受信コイル23までの距離の推定値を計算する。次に、各送信コイル49から受信コイル23までの距離の推定値と、送信コイル49の既知の位置とから受信コイル23の位置の推定値を計算する。次に、受信コイル23の推定された位置、及び受信コイル23の磁界の測定値から受信コイル23の方向の新しい推定値を計算する。そして、受信コイル23の方向の新しい推定値を用いて、上述した送信コイル49から受信コイル23までの距離の推定値の計算と、受信コイル23の位置の推定値の計算とを繰り返すことにより、受信コイル23の位置及び方向を導出する。
また、本実施形態の検出部50は、検出した各受信コイル23の位置及び方向に基づいて、内視鏡10の挿入部10Aの形状を検出する。
一例として本実施形態の検出部50は、図4に示したハードウェアを含んで構成されるマイクロコンピュータ等により実現される。図4に示すように、検出部50は、CPU(Central Processing Unit)60、ROM(Read Only Memory)62、RAM(Random Access Memory)64、及びHDD(Hard Disk Drive)、SSD(Solid State Drive)、及びフラッシュメモリ等の不揮発性の記憶部66を備えている。CPU60、ROM62、RAM64、及び記憶部66は、互いに通信が可能にバス69に、接続されている。記憶部66には、画像表示処理プログラム68が記憶されている。CPU60は、記憶部66から画像表示処理プログラム68を読み出してからRAM64に展開し、展開した画像表示処理プログラム68を実行する。CPU60が、画像表示処理プログラム68を実行することで、内視鏡画像と、検出装置14の検出結果に基づいて生成された、内視鏡10の挿入部10Aの形状を表す形状画像とが、表示部52に表示される。
なお、本実施形態の内視鏡システム1では、受信制御部20、全体制御部40、及び送信制御部44も、検出部50と同様のハードウェア(図4参照)により実現される。
一方、本実施形態の支援装置16は、内視鏡検査において、検出装置14により内視鏡10の挿入部10Aの形状を検出する場合に、検査者に対する支援を行うための装置である。詳細は後述するが、本実施形態の支援装置16は、検出装置14により、内視鏡10の挿入部10Aの形状の検出を精度良く行うことができる検出範囲を表す画像(以下、「検出範囲画像」という)を被検体Wの体表面の上に表示する。
本実施形態の支援装置16は、一例として、送信部41と一体的に構成されている。図5には、本実施形態の支援装置16及び送信部41の正面図及び側面図を示す。図5に示すように本実施形態の送信部41は、被検体Wの外部に設けられた外部装置としての筐体41A内に収納されており、送信コイルユニット48が、検出面41Bを有する筐体41A内に固定的に設けられている。筐体41Aは、軸104の一端に設けられており、2軸の直動関節108によって、軸102に接続されている。軸102の一方の端部は、基台100に固定されており、他方の端部には、固定関節110が設けられている。
一方、支援装置16は、投光面16Bを有する筐体16Aを有する。筐体16Aの投光面16Bには、検出範囲画像を表す光を投光する投影部70が設けられている。支援装置16の筐体16Aは、アーム120の一端に設けられており、アーム120の他端は、Y軸方向に延びた軸を回転軸とする回転関節118によって、アーム116の一端に接続されている。アーム116の他端は、Y軸方向に延びた軸を回転軸とする回転関節114により、アーム112の一端に接続されている。アーム112の他端は固定関節110に接続されている。本実施形態の回転関節114及び回転関節118には、ロータリーエンコーダ及びリニアエンコーダが設けられており、各関節の回転角度、及び各関節に接続されているアームの長さが検出できる。
検出装置14により内視鏡10の挿入部10Aの形状の検出を行う場合、送信部41の筐体41Aの検出面41Bが被検体Wに向けられる。また、支援装置16の筐体16Aの投光面16Bが、被検体Wに向けられる。
図6には、本実施形態の支援装置16の構成の一例の機能ブロック図を示す。図6に示すように本実施形態の支援装置16は、投影部70、第1検出部71、第2検出部72、取得部74、生成部76、及び表示制御部78を備える。
第1検出部71は、筐体41Aと被検体Wとの相対的な位置を検出する。具体例として、本実施形態の第1検出部71は、筐体41Aの検出面41Bから被検体Wの体表面までの距離を検出する。また、第1検出部71は、筐体41Aの被検体Wに対する姿勢を検出する。具体例として、本実施形態の第1検出部71は、被検体Wに対する筐体41Aの検出面41Bの向き(角度)を検出する。このような第1検出部71としては、例えば、赤外線や撮像装置等を用いた距離センサ及びロータリーエンコーダ等が挙げられる。
なお、被検体Wの体表面には、凹凸が存在するため、第1検出部71は、例えば、予め定められた位置に対する、距離及び角度の各々を検出して検出結果としてもよいし、また例えば、体表面の複数箇所について距離及び角度の各々を検出し、検出した値の平均値を導出して検出結果としてもよい。
第2検出部72は、筐体41Aと支援装置16の投影部70との相対的な位置を検出する。具体例として、本実施形態の第2検出部72は、筐体41Aにおける検出面41Bの基準点41C(図10参照)と、支援装置16の筐体16Aにおける投光面16Bの基準点16C(図10参照)とのX軸方向及びZ軸方向の距離を検出する。また、第2検出部72は、筐体41Aの、支援装置16の投影部70に対する姿勢を検出する。具体例として、本実施形態の第2検出部72は、筐体16Aの投光面16Bと、筐体41Aの検出面41Bとが成す角度を検出する。このような第2検出部72としては、例えば、回転関節114及び回転関節118に設けられたロータリーエンコーダ、及びリニアエンコーダを組み合わせたセンサ等が挙げられる。なお、具体的な導出方法については、詳細を後述する。
取得部74は、送信コイルユニット48の位置情報として、送信部41を収納する筐体41Aと被検体Wとの位置関係を表す情報を取得する。具体的には、本実施形態の取得部74は、第1検出部71から検出結果を表す情報を取得して生成部76に出力する。また、取得部74は、第2検出部72から検出結果を表す情報を取得して、生成部76に出力する。
生成部76は、取得部74から入力された第1検出部71の検出結果を表す情報と、第2検出部72の検出結果を表す情報とに基づいて、検出範囲画像の画像データを生成して、表示制御部78に出力する。
表示制御部78は、生成部76が生成した検出範囲画像の画像データに基づいて、投影部70から、検出範囲画像を表す光を投光し、被検体Wの体表面を投影面として検出範囲画像を投影することで、被検体Wの上に検出範囲画像を表示する。図7Aには、被検体Wの上に検出範囲画像200を表示した状態の一例を模式的に示す。図7Aに示すように、本実施形態の検出範囲画像200は、検出範囲領域202を含む。換言すると、本実施形態の検出範囲画像200は、検出範囲領域202の画像と、検出範囲領域202以外の領域の画像とを含む。検出範囲領域202は、検出範囲15に対応しており、検出装置14により、内視鏡10の挿入部10Aの形状の検出を精度良く行うことができる検出範囲を表している。図7Bに示したように、一例として本実施形態の検出装置14における検出範囲15は、3次元形状、具体的には、X軸方向に延びる辺15bの長さがb0、及びY軸方向に延びる辺15aの長さがa0の直方体とみなせる形状をしている。なお、具体的な検出範囲15の大きさ(辺15a及び辺15bの長さ等)は、筐体41A内に収納されている送信コイルユニット48(送信コイル49)の配置状態に応じて定まる。そのため、検出範囲画像200の検出範囲領域202は、一辺(Y軸方向に延びる辺202a)の長さがa0、及び他辺(X軸方向に延びる辺202b)の長さがb0の2辺を有する矩形状(直方形状)の範囲となる。
一例として本実施形態の支援装置16は、図8に示したハードウェアを含んで構成されるマイクロコンピュータ等により実現される。図8に示すように、支援装置16は、CPU90、ROM92、RAM94、I/F95、及びHDD、SSD、及びフラッシュメモリ等の不揮発性の記憶部96を備えている。CPU90、ROM92、RAM94、I/F95、及び記憶部96は、互いに通信が可能にバス99に、接続されている。記憶部96には、詳細を後述する支援処理を実行するための支援処理プログラム98が記憶されている。CPU90は、記憶部96から支援処理プログラム98を読み出してからRAM94に展開し、展開した支援処理プログラム98を実行する。CPU90が、支援処理プログラム98を実行することで、第1検出部71、第2検出部72、取得部74、生成部76、及び表示制御部78の各々として機能する。また、支援装置16は、I/F29を介して、内視鏡検査装置12の全体制御部40と種々の情報の送受信を行う。
次に、本実施形態の支援装置16の作用を説明する。図9は、支援装置16のCPU90によって実行される支援処理の流れの一例を示すフローチャートである。一例として、本実施形態の支援装置16では、検査者によって、支援装置16の操作部(図示省略)を介して、支援処理の実行の指示が成された場合に、CPU90が、支援処理プログラム98を実行することにより、図9に示した支援処理が実行される。なお、本支援処理は、被検体Wに内視鏡10の挿入部10Aが挿入された状態か否かに関わらず実行される。
ステップS100で第1検出部71は、被検体Wと筐体41Aとの相対的な位置及び姿勢を検出する。上述したように、本実施形態の第1検出部71は、筐体41Aの検出面41Bから被検体Wの体表面までの距離(以下、「被検体Wとの距離」という)、及び被検体Wに対する筐体41Aの検出面41Bの向き(角度)(以下、「被検体Wとの角度」という)を検出する。具体的には、例えば、第1検出部71が赤外線センサの場合、被検体Wの、内視鏡10の挿入部10Aを挿入する部位に応じた体表(例えば、腹部)と、筐体41Aの検出面41Bとの距離を検出する。また例えば、第1検出部71がウェブカメラ等の小型の撮像装置の場合、撮像装置を2台設け、2台の撮像装置各々により被検体Wを撮像して得られた撮像画像に対してステレオマッチング等を行い、被検体Wの体表面の3次元形状を取得し、取得した3次元形状に基づいて、被検体Wとの距離及び角度を検出する。
また例えば、第1検出部71を受信コイル23及び送信コイル49と同様の、磁界検出素子及び磁界発生素子とし、一方の素子を被検体Wの体表面に取り付けて、磁界検出素子から出力される検出信号に基づいて、被検体Wとの距離及び角度を検出してもよい。なお、この場合、内視鏡10の内部に設けられる方の素子(本実施形態では、受信コイル23)を被検体Wの体表面に取り付けることにより、送信部41の送信コイル49を利用して、被検体Wとの距離及び角度を検出することができる。
なお、内視鏡10の挿入部10Aを被検体Wに挿入した状態の場合、検出装置14により検出された各受信コイル23の位置情報から、受信コイル23との距離を導出し、得られた距離に、被検体Wの腹部の平均的な厚みを加算した値を被検体Wとの距離としてもよい。この場合、第1検出部71としてセンサや撮像装置を別途設ける場合に比べて、装置全体を小型化することができ、また、被検体Wとの距離を簡便に導出することができる。
次のステップS102で第2検出部72は、筐体41Aと支援装置16の投影部70との相対的な位置及び姿勢を検出する。上述したように、本実施形態の第2検出部72は、筐体41Aにおける検出面41Bの基準点41C(図10参照)と、支援装置16の筐体16Aにおける投光面16Bの基準点16C(図10参照)とのX軸方向及びZ軸方向の距離を検出する。また、第2検出部72は、筐体16Aの投光面16Bと、筐体41Aの検出面41Bとが成す角度を検出する。以下、図10を参照して、第2検出部72による具体的な検出方法の一例を説明する。
まず、第2検出部72は、距離k1及びk2を、直動関節108及び固定関節110に設けられたセンサ(エンコーダ)を用いて検出する。なお、距離k1は、検出面41Bと軸102の中心線との距離であり、距離k2は、直動関節108と固定関節110との距離である。また、第2検出部72は、距離k3、k4、及びk5を取得する。距離k3は、アーム112の長さであり、距離k4は、アーム116の長さであり、距離k5は、筐体16Aの投光面16Bと回転関節118の回転中心との距離であり、各々固定値である。本実施形態では、これらの固定値は、予め記憶部96に記憶されており、第2検出部72は、記憶部96に記憶されている各固定値を取得する。
また、第2検出部72は、角度θ1及びθ2を、回転関節114及び回転関節118の各々に設けられたセンサ(エンコーダ)を用いて検出する。なお、角度θ1は、アーム116とアーム112とが成す角度であり、角度θ2は、アーム116とアーム120とが成す角度である。
さらに、第2検出部72は、下記(1)式により、投光面16Bの基準点16Cと検出面41Bの基準点41CとのX軸方向の距離Xを導出する。また、第2検出部72は、下記(2)式により、投光面16Bの基準点16Cと検出面41Bの基準点41CとのZ軸方向の距離Zを導出する。さらに、第2検出部72は、下記(3)式により、投光面16Bと検出面41Bとが成す角度θpを導出する。なお、本実施形態では、投光面16Bの基準点16Cと検出面41Bの基準点41CとのY軸方向の位置は、同一としている。また、本実施形態において基準点16Cを、投影部70が投光に用いるレンズの中心点としている。
X=k2+k4×sinθ1−k5×sin(θ2−θ1) ・・・(1)
Z=k3+k4×cosθ1+k5×cos(θ2−θ1)−k1 ・・・(2)
θp=θ2−θ1 ・・・(3)
Z=k3+k4×cosθ1+k5×cos(θ2−θ1)−k1 ・・・(2)
θp=θ2−θ1 ・・・(3)
なお、上記ステップS100及びS102の各処理を実行する順番は、限定されず、処理の順番が逆(ステップS102が先)であってもよいし、両処理を並列に実行してもよい。
次のステップS104で取得部74は、第1検出部71の検出結果を表す情報を取得して生成部76に出力する。また、取得部74は、第2検出部72の検出結果を表す情報を取得して、生成部76に出力する。
次のステップS106で生成部76は、取得した第1検出部71の検出結果及び第2検出部72の検出結果が、前回、上記ステップS104の処理により取得した第1検出部71の検出結果及び第2検出部72の検出結果から変化したか否かを判定する。変化した場合、ステップS106の判定が肯定判定となり、ステップS108へ移行する。なお、本支援処理を開始した直後は、ステップS106の処理を省略してもよい。
ステップS108で生成部76は、第1検出部71の検出結果、及び第2検出部72の検出結果に基づいて、検出範囲画像200を生成する。本実施形態の生成部76における、検出範囲画像200の生成方法の例について、具体的に説明する。
一例として、図11Aに示すように本実施形態では、支援装置16の基準点16Cから投影面までの投影距離がL0である場合、検出範囲画像200の幅(辺200wの長さ)がw0、及び高さ(辺200hの長さ)がh0であり、検出範囲領域202の辺202aの長さがa、及び辺202bの長さがbである検出範囲画像200を基準画像としている。
被検体Wの体表面(投影面)と筐体41Aとの距離が変化した場合、投影距離が変化することになり、投影面における検出範囲画像200の大きさが、投影距離の変化に応じて変化する。一例として、投影距離がL0からL1(L0<L1)に変化した場合について、図11Bを参照して説明する。図11Bに示すように、投影距離がL1の投影面に投影される検出範囲画像200の各辺の長さは、上記の基準画像の検出範囲画像200の各辺の長さに、投影距離L1を投影距離L0で除した値(L1/L0)を乗算した長さとなる。具体的には、辺202wの長さ及び辺200hの長さは、各々下記(4)式及び下記(5)式により得られる。
辺200w:w0×L1/L0 ・・・(4)
辺200h:h0×L1/L0 ・・・(5)
辺200w:w0×L1/L0 ・・・(4)
辺200h:h0×L1/L0 ・・・(5)
上述した図11Aに示した基準画像を、そのまま投影距離がL1の投影面に投影した場合、検出範囲画像200の各辺の長さも、投影距離L1を投影距離L0で除した値(L1/L0)を乗算した長さとなる。
しかしながら、上述したように、投影面における検出範囲領域202の大きさは投影距離によらず変化しない。すなわち、検出範囲画像200の大きさが変化しても検出範囲領域202の大きさは変化せず、投影距離がL1の場合も検出範囲領域202の辺202aの長さはaであり、辺202bの長さはbである。従って、基準画像をそのまま用いると、図11Bに示した、投影距離がL1の投影面に投影した場合の検出範囲画像200よりも、検出範囲領域202の大きさが大きくなってしまう。
投影距離がL1である投影面に、図11Bに示した検出範囲画像200を投影する場合、投影距離がL0である投影面における検出範囲領域202の各辺の長さは、上記の基準画像の検出範囲領域202の各辺の長さに投影距離L0を投影距離L1で除した値(L0/L1)を乗算した長さとなる。具体的には、辺202aの長さ及び辺202bの長さは、各々下記(6)式及び下記(7)式により得られる。
辺202a:a×L0/L1 ・・・(6)
辺202b:b×L0/L1 ・・・(7)
辺202a:a×L0/L1 ・・・(6)
辺202b:b×L0/L1 ・・・(7)
従って、この場合、本実施形態の生成部76は、検出範囲領域202の大きさを上記(6)式及び(7)式の大きさとした検出範囲画像200を生成する。
さらに、図12Aを参照して、生成部76による検出範囲画像200の生成方法の具体例について説明する。図12Aに示した一例では、図5及び図7Bを参照して説明した、筐体41Aと一体的に構成された支援装置16により、投影面250に検出範囲画像200を投影する場合について説明する。図12Aに示した一例では、投影面250に、X軸方向の長さがa0(図示省略)、かつY軸方向の長さがb0の検出範囲領域202を有する検出範囲画像200が投影されるためには、支援装置16が投影する検出範囲画像200における検出範囲領域202の投影範囲は、図12Aにおいて濃いハッチングで示した投影範囲255となる。
投影範囲255と検出範囲15の上側(X軸方向上側)端部とが成す角度を角度α1とし、投影面250と筐体41Aの検出面41Bとの距離を距離Uとすると、角度α1は、下記(8)式により得られる。また、投影範囲255と検出範囲15の下側(X軸方向下側)端部とが成す角度を角度β1とした場合、角度β1は、下記(9)式により得られる。
tanα1=(X−b0/2)/(U−Z) ・・・(8)
tanβ1=(X+b0/2)/(U−Z) ・・・(9)
tanα1=(X−b0/2)/(U−Z) ・・・(8)
tanβ1=(X+b0/2)/(U−Z) ・・・(9)
また、図12Aに示すように、支援装置16の投光面16Bと平行な投影面に対する垂線Lと投影範囲255とが成す角度を、角度α2及び角度β2とした場合、角度α2及び角度β2の各々は、下記(10)式及び(11)式により得られる。
α2=θp−α1 ・・・(10)
β2=β1−θp ・・・(11)
α2=θp−α1 ・・・(10)
β2=β1−θp ・・・(11)
従って、図12Bに示すように、投影距離がL0の場合の、検出範囲画像200における検出範囲領域202の辺202bの長さは、下記(12)式により得られる。
辺202b:B1+B2=L0×(tan(θp−α1)+tan(β1−θp)) ・・・(12)
但し、B1=L0×tanα2=L0×tan(θp−α1)
B2=L0×tanβ2=L0×tan(β1−θp)
辺202b:B1+B2=L0×(tan(θp−α1)+tan(β1−θp)) ・・・(12)
但し、B1=L0×tanα2=L0×tan(θp−α1)
B2=L0×tanβ2=L0×tan(β1−θp)
従って、この場合、本実施形態の生成部76は、検出範囲領域202の大きさについて、辺202aの長さをa、辺202bの長さを上記(12)式の長さとした検出範囲画像200を生成する。
なお、位置情報として、被検体Wの体表面の凹凸を表す情報が得られた場合、生成部76は、得られた凹凸を表す情報に基づいて、検出範囲画像200に対してアフィン変換等を適用することで、被検体Wの体表面の凹凸に応じた検出範囲画像200を生成してもよい。
なお、投影部70が、3次元画像の投影が可能な装置である場合、生成部76は、3次元画像(立体画像)として検出範囲画像200を生成してもよい。この場合、例えば、検査者が、円偏光式等を適用した立体視用の眼鏡を着用することで、検出範囲画像200を立体画像として表示させることができる。
なお、支援装置16の位置、及び角度(上記角度θp)等によっては、被検体Wの体表面、検出範囲15に応じた検出範囲領域202を含む検出範囲画像200を生成部76が生成できない場合がある。例えば、角度θpが90度であり、筐体41Aの検出面41Bと被検体Wとが対向している場合、検出範囲画像200を被検体Wの体表面の上に投影することができないことがある。このように、検出範囲15を表す検出範囲領域202を欠けることなく被検体Wの体表面の上に投影できない場合、ステップS108の処理の後、支援装置16の位置や角度の調整を即すメッセージを検査者に対して出力する等、予め定められたエラー処理を行う形態としてもよい。
次のステップS110で表示制御部78は、生成部76が生成した検出範囲画像の画像データに基づいて、投影部70から、検出範囲画像200を表す光を投光し、被検体Wの体表面である投影面に、検出範囲画像200を投影する。このように被検体Wの体表面の上に検出範囲画像200を表示した後、ステップS112へ移行する。
このように、支援装置16により、被検体Wの体表面の上に検出範囲画像200が表示されると、検査者は、検出範囲画像200の検出範囲領域202を確認し、内視鏡検査を行う範囲(挿入部10Aを挿入する範囲)に対応しているか否かを判断することができる。検出範囲領域202が、内視鏡検査を行う範囲に対応していない場合、検査者は、送信部41が収納された筐体41Aの位置及び姿勢を調整したり、被検体Wの位置及び姿勢を調整したりする。
一方、上記ステップS106において前回の検出結果から変化していない場合は、否定判定となり、ステップS112へ移行する。
ステップS112で表示制御部78は、本支援処理を終了するか否かを判定する。本実施形態では、一例として、本実施形態の支援装置16では、検査者によって、支援装置16の操作部(図示省略)を介して、支援処理の実行の終了の指示が成された場合に、本支援処理を終了するために、ステップS112の判定が肯定判定となる。ステップS112の判定が肯定判定となった場合、本支援処理を終了する。一方、支援処理の実行の終了の指示が成されていない場合、ステップS112の判定が否定判定となり、ステップS100に戻り、上記ステップS102〜S110の各処理を繰り返す。
このように、本実施形態の支援装置16は、送信部41を収納する筐体41Aと被検体Wとの位置関係を表す情報に基づいて、被検体Wの体表面の上に、検出範囲15を表す検出範囲領域202を含む検出範囲画像200を表示する。
なお、本実施形態では、レンズから放射状に投光した光により、検出範囲画像200を表示する投影部70について説明したが、投影部70の構成は本実施形態に限定されない。本実施形態では、投影部70が上述の構成を有しているため、検出範囲画像200内での検出範囲領域202の位置及び大きさを変える形態とした。例えば、投影部70を、検出範囲画像200を投影するレンズの向き、位置、及び拡大率等の変更が可能な構成を有する形態としてもよい。投影部70がこの形態である場合、検出範囲画像200を検出範囲領域202のみが含まれる画像とし、レンズの向き、位置、及び拡大率等を調整することで、適切な検出範囲画像200(検出範囲領域202)を表示させる形態としてもよい。また例えば、検出範囲画像200が検出範囲領域202のみを含む場合、投光が広がる範囲を制御するフィルタや遮蔽部等の、検出範囲領域202に応じた大きさに限部を設け、投光制限部により、検出範囲画像200(検出範囲領域202)の大きさ及び位置を制御する形態としてもよい。
[第2実施形態]
以下、第2実施形態について詳細に説明する。なお、本実施形態では、上記第1実施形態で説明した構成及び作用と同一の構成及び作用については同一の符号を付し、詳細な説明を省略する。
以下、第2実施形態について詳細に説明する。なお、本実施形態では、上記第1実施形態で説明した構成及び作用と同一の構成及び作用については同一の符号を付し、詳細な説明を省略する。
本実施形態の内視鏡システム1の全体的な構成及び作用は、第1実施形態の内視鏡システム1の全体的な構成(図1参照)及び作用と同様であるため、説明を省略する。また、本実施形態の内視鏡検査装置12及び検出装置14の構成及び作用は、第1実施形態の内視鏡検査装置12及び検出装置14の構成(図1〜図4参照)及び作用と同様であるため、説明を省略する。
一方、本実施形態の支援装置16の構成及び作用は、第1実施形態の支援装置16の構成及び作用と異なる。第1実施形態の支援装置16では、被検体Wの体表面の上に、検出範囲画像200を表示した。一方、本実施形態の支援装置16では、被検体Wを撮像した撮像画像における被写体画像の上に、検出範囲画像を表示する。以下、本実施形態の支援装置16の構成及び作用について説明する。
まず、本実施形態の検出装置14の構成について説明する。図13には、本実施形態の検出装置14と、被検体Wと、送信部41を収納する筐体41Aとの関係の一例を表す図を示す。また、図14には、本実施形態の支援装置16の構成の一例の機能ブロック図を示す。図13及び図14に示すように、本実施形態の支援装置16は、撮像部75と、検出範囲画像を表示する表示部79と、を備える。本実施形態の支援装置16としては、専用の装置の他、例えば、スマートフォンやタブレット端末装置等の携帯型端末装置、及びスマートグラス等のヘッドマウントディスプレイを適用することができる。
図13に示すように、内視鏡検査を行う場合、より具体的には、内視鏡検査において検出装置14により、内視鏡10の挿入部10Aの形状の検出を行う場合、支援装置16を、被検体Wを挟んで筐体41Aと対向する位置に配置する。
図14に示すように、本実施形態の支援装置16は、取得部74、生成部76、合成部77、表示制御部78、及び表示部79を備える。取得部74は、上述した撮像部75を含む。撮像部75は、被検体W及び筐体41Aを撮像して撮像画像の画像データを出力する。取得部74は、撮像部75が撮像した撮像画像に基づいて、筐体41Aの位置を表す位置情報を取得する。
生成部76は、取得部74が取得した筐体41Aの位置を表す位置情報に基づいて、検出範囲15を表す検出範囲画像200の画像データを生成して合成部77に出力する。
合成部77は、取得部74の撮像部75が撮像した撮像画像に含まれる被検体Wを表す画像を抽出し、抽出した被検体Wを表す画像と、生成部76が生成した検出範囲画像200とを重畳させた状態に、両画像を合成した画像(以下、「合成画像」という)を生成し、生成した合成画像の画像データを表示制御部78に出力する。
表示制御部78は、撮像部75が撮像した撮像画像に含まれる被検体の画像に、検出範囲画像200を重畳(合成)した合成画像を表示部79に表示させる制御を行う。具体的には、表示制御部78は、合成部77から入力された合成画像の画像データに応じた画像を表示部79に表示させる。
本実施形態の支援装置16を実現するハードウェアの構成は、第1実施形態の支援装置16を実現するハードウェアの構成(図8参照)と同様である。CPU90が、支援処理プログラム98を実行することで、取得部74、生成部76、合成部77、及び表示制御部78の各々として機能する。
次に本実施形態の支援装置16の作用を説明する。図15は、本実施形態の支援装置16のCPU90によって実行される支援処理の流れの一例を示すフローチャートである。一例として、本実施形態の支援装置16では、検査者によって、支援装置16の操作部(図示省略)を介して、支援処理の実行の指示が成された場合に、CPU90が、支援処理プログラム98を実行することにより、図15に示した支援処理が実行される。なお、第1実施形態と同様に、本支援処理は、被検体Wに内視鏡10の挿入部10Aが挿入された状態か否かに関わらず実行される。
ステップS200で取得部74は、撮像部75により被検体Wと筐体41Aとを撮像した撮像画像を取得する。一例として本実施形態の取得部74は、被検体Wと筐体41Aとを撮像するのを促すメッセージを表示部79に表示する。図16には、支援装置16側から見た、被検体W及び筐体41Aの状態の一例を表す。検査者は、メッセージに従い、図16に示した状態の、被検体Wと筐体41Aとを撮像部75により撮像する。取得部74は、このようにメッセージに応じて撮像部75により撮像された撮像画像を取得する。図17には、撮像部75により撮像された撮像画像の一例を示す。図17に示した一例のように、撮像画像300には、被検体Wの被検体画像302と、筐体41Aの筐体画像304とが含まれる。
次のステップS202で取得部74は、撮像部75により撮像された撮像画像に基づいて、筐体41Aの位置を表す位置情報を取得する。具体的には、本実施形態の取得部74は、撮像画像300を画像解析し、例えば、顔認識技術等を適用して、筐体画像304の色、形状、及び模様等から特頂点を抽出し、筐体41Aの検出面41Bの位置、姿勢、及び大きさを検出する。なお、取得部74が、撮像画像300から筐体画像304の特徴点を検出し難いことが想定される場合、筐体41Aの検出面41Bに2次元バーコード等の特頂点として検出可能なマーカを予め設けておくとよい。
次のステップS204で生成部76は、取得部74が取得した位置情報、本実施形態では、一例として上述したように筐体41Aの検出面41Bの位置、姿勢、及び大きさが、前回、上記ステップS202の処理により取得した情報から変化したか否かを判定する。変化した場合、ステップS204の判定が肯定判定となり、ステップS206へ移行する。なお、本支援処理を開始した直後は、ステップS204の処理を省略してもよい。
ステップS206で生成部76は、取得部74が取得した位置情報に基づいて検出範囲15を表す検出範囲画像を生成した後、ステップS208へ移行する。本実施形態の生成部76における検出範囲画像の生成方法の例について説明する。
第1実施形態において上述したように、検出範囲15は、筐体41A内に収納された送信コイルユニット48(送信コイル49)の配置に応じて定まる。本実施形態では、検出範囲15の大きさと、筐体41Aの検出面41Bの大きさとの対応関係を予め得ておき、記憶部96に予め記憶させておく。また、予め基準となる大きさの検出範囲15に対応する検出範囲画像の画像データを記憶部96に記憶させておく。そして、生成部76は、記憶部96に記憶されている、この対応関係に基づいて、記憶部96に記憶されている画像データに応じた検出範囲画像に、アフィン変換等を適用して、筐体41Aの検出面41Bの位置、姿勢、及び大きさに対応する、位置、姿勢、及び大きさの検出範囲15を示す検出範囲画像を生成する。
一方、上記ステップS204において、前回の位置情報から変化していない場合は、否定判定となり、ステップS208へ移行する。
次のステップS208で合成部77は、撮像画像300の被検体画像302に、生成部76が生成した検出範囲画像を合成(重畳)させた合成画像を生成する。なお、合成部77が合成する検出範囲画像は、本ステップS208の直近に実施したステップS206において生成部76が生成した検出範囲画像である。
このように、本実施形態では、筐体41Aの位置情報に変化が有った場合、生成部76が検出範囲画像を新たに生成し、合成部77は、新たに生成した検出範囲画像を撮像画像300の被検体画像302に合成する。一方、筐体41Aの位置情報に変化が無い場合、合成部77は、前回、合成画像を生成した場合に用いた検出範囲画像を撮像画像300の被検体画像302に合成する。
図18には、合成部77により生成された合成画像308の一例を示す。図18に示すように、合成画像308では、被検体画像302の上に検出範囲画像310が表示されている。なお、このように、被検体画像302と検出範囲画像310とを重畳することにより、被検体画像302が検出範囲画像310によって隠れてしまい、被検体Wと検出範囲15との位置関係がわかり難くなるのを抑制するため、検出範囲画像310は、半透明の画像等とすることが好ましい。また、検出範囲画像310は、2次元の範囲である検出範囲15に併せ、3次元画像としてもよい。
次のステップS210で表示制御部78は、合成部77が生成した合成画像を表示部79に表示させる。このように被検体画像302に検出範囲画像310が重畳された合成画像308を表示部79に表示した後、ステップS212へ移行する。
このように、支援装置16により、合成画像308が表示されると、検査者は、合成画像308に含まれる検出範囲画像310を確認し、内視鏡検査を行う範囲(挿入部10Aを挿入する範囲)に対応しているか否かを判断することができる。検出範囲画像310が、内視鏡検査を行う範囲に対応していない場合、検査者は、送信部41が収納された筐体41Aの位置及び姿勢を調整したり、被検体Wの位置及び姿勢を調整したりする。
ステップS212で表示制御部78は、本支援処理を終了するか否かを判定する。一例として本実施形態においても、第1実施形態の支援装置16で実行される支援処理(図9参照)のステップS112と同様に、本支援処理を終了するか否かを判定する。ステップS212の判定が肯定判定となった場合、本支援処理を終了する。一方、ステップS212の判定が否定判定となった場合、ステップS200に戻り、上記ステップS202〜S210の各処理を繰り返す。
このように、本実施形態の支援装置16は、送信部41を収納する筐体41Aの位置情報に基づいて、被検体Wの被検体画像302の上に、検出範囲15を表す検出範囲画像310を重畳した合成画像308を表示する。
以上説明したように、上記各実施形態の支援装置16は、取得部74と、表示制御部78と、を備える。上記各実施形態の支援装置16は、内視鏡10における被検体Wに挿入する挿入部10Aに沿って設けられた、複数の受信コイル23を含む受信コイルユニット22、及び被検体Wの外部に設けられた筐体41A内に設けられた複数の送信コイル49を含む送信コイルユニット48によって検出された磁界を表す検出信号に基づき、検出装置14により挿入部10Aの位置及び形状の少なくとも一方を検出する場合に、取得部74が、送信コイルユニット48の位置を表す位置情報を取得する。また、表示制御部78が、取得部74が取得した位置情報に基づいて、検出装置14による検出が可能な検出範囲15を表す検出範囲画像200を、被検体Wの上に表示する制御を行う。
このように、上記各実施形態の支援装置16では、表示制御部78が、送信コイルユニット48の位置情報に基づいて、検出装置14による検出が可能な検出範囲15を表す検出範囲画像200を、被検体Wの上に表示する。送信コイルユニット48の位置情報は、被検体Wに内視鏡10の挿入部10Aが挿入されているか否かに関わらず取得することができる。従って、各実施形態の支援装置16によれば、被検体Wに内視鏡10の挿入部10Aが挿入されているか否かに関わらず、検出装置14の検出範囲15を検査者に提示することができる。
また、上記各実施形態の支援装置16は、検出範囲15を表す検出範囲画像200を、被検体Wの上に表示する。第1実施形態の支援装置16では、被検体Wの体表面の上に検出範囲画像を表示する。また、第2実施形態の支援装置16では、被検体Wの被検体画像302の上に、検出範囲画像310を重畳させて表示部79に表示する。従って、上記各実施形態の支援装置によれば、検査者は、被検体Wに対する検出範囲15の位置を、容易に把握することができる。
また、上記各実施形態では検出装置14を、内視鏡検査装置12に磁界を発生する送信コイルユニット48を含む送信部41を配置し、内視鏡10に磁界を検出する受信コイルユニット22を含む受信部21を配置した形態としたが、検出装置14は、本実施形態に限定されない。例えば、スピントルク発振素子等の送信コイルユニット48(送信コイル49)以外の磁界を発生する磁界発生素子を用いてもよい。また例えば、ホール素子やMR(Magneto Resistive)素子等の受信コイルユニット22(受信コイル23)以外の磁界を検出する磁界検出素子を用いてもよい。また、検出装置14は、内視鏡検査装置12に受信部21を配置し、内視鏡10に送信部41を配置した形態としてもよい。
また、上記第1実施形態では、支援装置16が、投影部70、第1検出部71、第2検出部72、取得部74、生成部76、及び表示制御部78の機能を備える形態について説明した。また、上記第2実施形態では、支援装置16が、取得部74、撮像部75、生成部76、合成部77、表示制御部78、及び表示部79の機能を備える形態について説明した。しかしながら、これらの機能のうち一部の機能を他の一つの装置、または複数の装置が備える形態としてもよい。例えば、第1実施形態の支援装置16では、第1検出部71及び第2検出部72の一方または両方を、支援装置16の外部の装置が備える形態としてもよい。また、第2実施形態の支援装置16では、撮像部75及び表示部79の一方または両方を支援装置16の外部の装置が備える形態としてもよい。
上記各実施形態において、例えば取得部74及び表示制御部78といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態が挙げられる。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態が挙げられる。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
また、上記各実施形態では、画像表示処理プログラム68が記憶部66に、また、支援処理プログラム98が記憶部96及びに予め記憶(インストール)されている態様を説明したが、これに限定されない。画像表示処理プログラム68及び支援処理プログラム98の各々は、CD−ROM(Compact Disk Read Only Memory)、DVD−ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像表示処理プログラム68及び支援処理プログラム98の各々は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
1 内視鏡システム
10 内視鏡、10A 挿入部、10B 操作部
11 ケーブル
12 内視鏡検査装置
14 検出装置
15 検出範囲、15a、15b 辺
16 支援装置、16A 筐体、16B 投光面、16C 基準点
20 受信制御部
21 受信部
22 受信コイルユニット
231〜2316 受信コイル
241〜2416 受信回路
261〜2616 ADC
29 I/F
30 画像センサ
34 ビデオプロセッサ
36 光源
40 全体制御部
41 送信部、41A 筐体、41B 検出面、41C 基準点
42 送信制御ユニット
44 送信制御部
461X、461Y、461Z〜464X、464Y、464Z 送信回路
48 送信コイルユニット
491X、491Y、491Z〜494X、494Y、494Z 送信コイル
50 検出部
52 表示部
53、95 I/F
60、90 CPU
62、92 ROM
64、94 RAM
66、96 記憶部
68 画像表示処理プログラム
69、99 バス
70 投影部
71 第1検出部
72 第2検出部
74 取得部
75 撮像部
76 生成部
77 合成部
78 表示制御部
79 表示部
98 支援処理プログラム
100 基台
102、104 軸
108 直動関節
110 固定関節
112、116、120 アーム
114、118 回転関節
200、310 検出範囲画像、200h、200w 辺
202 検出範囲領域、202a、202b 辺
250 投影面
255 投影範囲
300 撮像画像
302 被検体画像
304 筐体画像
308 合成画像
a0、b0 長さ
k1、k2、k3、k4、k5、U、X、Z 距離
L 垂線、L0、L1 投影距離
W 被検体
α1、α2、β1、β2、θ1、θ2、θp 角度
10 内視鏡、10A 挿入部、10B 操作部
11 ケーブル
12 内視鏡検査装置
14 検出装置
15 検出範囲、15a、15b 辺
16 支援装置、16A 筐体、16B 投光面、16C 基準点
20 受信制御部
21 受信部
22 受信コイルユニット
231〜2316 受信コイル
241〜2416 受信回路
261〜2616 ADC
29 I/F
30 画像センサ
34 ビデオプロセッサ
36 光源
40 全体制御部
41 送信部、41A 筐体、41B 検出面、41C 基準点
42 送信制御ユニット
44 送信制御部
461X、461Y、461Z〜464X、464Y、464Z 送信回路
48 送信コイルユニット
491X、491Y、491Z〜494X、494Y、494Z 送信コイル
50 検出部
52 表示部
53、95 I/F
60、90 CPU
62、92 ROM
64、94 RAM
66、96 記憶部
68 画像表示処理プログラム
69、99 バス
70 投影部
71 第1検出部
72 第2検出部
74 取得部
75 撮像部
76 生成部
77 合成部
78 表示制御部
79 表示部
98 支援処理プログラム
100 基台
102、104 軸
108 直動関節
110 固定関節
112、116、120 アーム
114、118 回転関節
200、310 検出範囲画像、200h、200w 辺
202 検出範囲領域、202a、202b 辺
250 投影面
255 投影範囲
300 撮像画像
302 被検体画像
304 筐体画像
308 合成画像
a0、b0 長さ
k1、k2、k3、k4、k5、U、X、Z 距離
L 垂線、L0、L1 投影距離
W 被検体
α1、α2、β1、β2、θ1、θ2、θp 角度
Claims (16)
- 内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第1素子群、及び前記被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第2素子群によって検出された磁界を表す検出信号に基づき、検出装置により前記挿入部の位置及び形状の少なくとも一方を検出する場合に、
前記第2素子群の位置を表す位置情報を取得する取得部と、
前記取得部が取得した前記位置情報に基づいて、前記検出装置による検出が可能な検出範囲を表す検出範囲画像を、前記被検体の上に表示する制御を行う表示制御部と、
を備えた支援装置。 - 前記第2素子群は、前記外部装置内に固定的に設けられており、
前記取得部は、前記位置情報として前記外部装置の位置を表す情報を取得する、
請求項1に記載の支援装置。 - 前記取得部は、前記位置情報として、前記外部装置と前記被検体との相対的な位置を表す情報、及び前記外部装置の前記被検体に対する姿勢を表す情報を取得する、
請求項2に記載の支援装置。 - 前記外部装置と前記被検体との相対的な位置、及び前記外部装置の前記被検体に対する姿勢を検出する第1検出部をさらに備えた、
請求項3に記載の支援装置。 - 前記検出範囲画像を投影する投影部をさらに備え、
前記表示制御部は、前記投影部により、前記検出範囲画像を前記被検体の体表面に投影させる制御を行う、
請求項2から請求項4のいずれか1項に記載の支援装置。 - 前記取得部は、前記位置情報として、さらに前記外部装置と前記投影部との相対的な位置を表す情報、及び前記外部装置の前記投影部に対する姿勢を表す情報を取得する、
請求項5に記載の支援装置。 - 前記外部装置と前記投影部との相対的な位置、及び前記外部装置の前記投影部に対する姿勢を検出する第2検出部をさらに備えた、
請求項6に記載の支援装置。 - 前記取得部は、前記投影部が前記検出範囲画像を投影する前記被検体の形状を表す情報をさらに取得し、
前記表示制御部は、前記検出範囲画像として、前記被検体の形状を表す情報に応じた画像を、前記投影部により投影させる、
請求項5から請求項7のいずれか1項に記載の支援装置。 - 前記投影部は、前記外部装置と一体的に構成されている、
請求項5から請求項8のいずれか1項に記載の支援装置。 - 前記投影部は、前記被検体の周辺を移動可能に設けられている、
請求項5から請求項8のいずれか1項に記載の支援装置。 - 前記検出範囲画像は、3次元の前記検出範囲を表す3次元画像である、
請求項5から請求項10のいずれか1項に記載の支援装置。 - 前記取得部は、前記被検体及び前記外部装置を撮像して撮像画像の画像データを出力する撮像部を含み、前記撮像画像に基づいて、前記位置情報を取得し、
前記表示制御部は、前記撮像画像に含まれる前記被検体の画像に、前記検出範囲画像を重畳させた画像を表示部に表示させる制御を行う、
請求項1または請求項2に記載の支援装置。 - 前記表示部は、携帯型端末装置が備える表示部、またはヘッドマウントディスプレイである、
請求項12に記載の支援装置。 - 被検体に挿入する挿入部を備えた内視鏡と、
前記内視鏡の前記挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第1素子群、及び前記被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第2素子群によって検出された磁界を表す検出信号に基づき、前記挿入部の位置及び形状の少なくとも一方を検出する検出装置と、
前記検出装置による検出を支援する請求項1から請求項13のいずれか1項に記載の支援装置と、
を備えた内視鏡システム。 - 内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第1素子群、及び前記被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第2素子群によって検出された磁界を表す検出信号に基づき、検出装置により前記挿入部の位置及び形状の少なくとも一方を検出する場合に、
前記第2素子群の位置を表す位置情報を取得し、
取得した前記位置情報に基づいて、前記検出装置による検出が可能な検出範囲を表す検出範囲画像を、前記被検体の上に表示する制御を行う、
処理をコンピュータが実行する支援方法。 - 内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第1素子群、及び前記被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第2素子群によって検出された磁界を表す検出信号に基づき、検出装置により前記挿入部の位置及び形状の少なくとも一方を検出する場合に、
前記第2素子群の位置を表す位置情報を取得し、
取得した前記位置情報に基づいて、前記検出装置による検出が可能な検出範囲を表す検出範囲画像を、前記被検体の上に表示する制御を行う、
処理をコンピュータに実行させるための支援プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018167096A JP2020039418A (ja) | 2018-09-06 | 2018-09-06 | 支援装置、内視鏡システム、支援方法、及び支援プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018167096A JP2020039418A (ja) | 2018-09-06 | 2018-09-06 | 支援装置、内視鏡システム、支援方法、及び支援プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020039418A true JP2020039418A (ja) | 2020-03-19 |
Family
ID=69796725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018167096A Pending JP2020039418A (ja) | 2018-09-06 | 2018-09-06 | 支援装置、内視鏡システム、支援方法、及び支援プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020039418A (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1075929A (ja) * | 1996-09-06 | 1998-03-24 | Olympus Optical Co Ltd | 内視鏡位置検出用コイル装置 |
JP2016036375A (ja) * | 2014-08-05 | 2016-03-22 | オリンパス株式会社 | 医療機器の姿勢画像表示装置 |
-
2018
- 2018-09-06 JP JP2018167096A patent/JP2020039418A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1075929A (ja) * | 1996-09-06 | 1998-03-24 | Olympus Optical Co Ltd | 内視鏡位置検出用コイル装置 |
JP2016036375A (ja) * | 2014-08-05 | 2016-03-22 | オリンパス株式会社 | 医療機器の姿勢画像表示装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113379822B (zh) | 一种基于采集设备位姿信息获取目标物3d信息的方法 | |
TWI610064B (zh) | 配光特性量測裝置以及配光特性量測方法 | |
US8134719B2 (en) | 3-D imaging using telecentric defocus | |
JP6708199B2 (ja) | 撮像装置と画像処理装置と画像処理方法 | |
JP4459155B2 (ja) | 光学式位置計測装置 | |
CN113532329B (zh) | 一种以投射光斑为标定点的标定方法 | |
JP2017528727A (ja) | 2dカメラ画像からの3d画像の生成に当たり3d計量器と併用される拡張現実カメラ | |
WO2019012770A1 (ja) | 撮像装置及びモニタリング装置 | |
JP2016516196A (ja) | 6自由度において追跡される構造化光スキャナの補正 | |
EP3318173A1 (en) | Image processing device, ranging system, and endoscope system | |
WO2014100950A1 (en) | Three-dimensional imaging system and handheld scanning device for three-dimensional imaging | |
CN111445529B (zh) | 一种基于多激光测距的标定设备及方法 | |
US20200029025A1 (en) | Imaging system and method of imaging control | |
JP6968289B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2007093412A (ja) | 3次元形状測定装置 | |
US20180098053A1 (en) | Imaging device, endoscope apparatus, and imaging method | |
JP5611875B2 (ja) | 情報表示装置、情報表示方法、及びプログラム | |
US20180092516A1 (en) | Imaging device, endoscope apparatus, and imaging method | |
Lemkens et al. | Multi RGB-D camera setup for generating large 3D point clouds | |
US11039120B2 (en) | Imaging apparatus | |
Chen et al. | Field-of-view-enlarged single-camera 3-D shape reconstruction | |
JP2011130290A (ja) | カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置 | |
JP2020039418A (ja) | 支援装置、内視鏡システム、支援方法、及び支援プログラム | |
JP5445064B2 (ja) | 画像処理装置および画像処理プログラム | |
JP7078494B2 (ja) | 表示制御装置、内視鏡システム、表示制御方法、及び表示制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210810 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220222 |