JP2020039418A - Support device, endoscope system, support method, and support program - Google Patents

Support device, endoscope system, support method, and support program Download PDF

Info

Publication number
JP2020039418A
JP2020039418A JP2018167096A JP2018167096A JP2020039418A JP 2020039418 A JP2020039418 A JP 2020039418A JP 2018167096 A JP2018167096 A JP 2018167096A JP 2018167096 A JP2018167096 A JP 2018167096A JP 2020039418 A JP2020039418 A JP 2020039418A
Authority
JP
Japan
Prior art keywords
detection
unit
subject
image
detection range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018167096A
Other languages
Japanese (ja)
Inventor
まり子 築根
Mariko Tsukune
まり子 築根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018167096A priority Critical patent/JP2020039418A/en
Publication of JP2020039418A publication Critical patent/JP2020039418A/en
Pending legal-status Critical Current

Links

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

To present a detection range of a detection device to an examiner regardless of whether or not an insertion part of an endoscope is inserted into a subject.SOLUTION: A support device 16 includes an acquisition unit 74 and a display control unit 78. When at least one of a position and a shape of an insertion part is detected by a detection device of the support device 16 on the basis of a detection signal indicating a magnetic field detected by a reception coil unit including a plurality of reception coils provided along the insertion part inserted into a subject in an endoscope and a transmission coil unit including a plurality of transmission coils disposed in a housing provided outside the subject, the acquisition unit 74 acquires position information indicating a position of the transmission coil unit. Also, on the basis of the position information acquired by the acquisition unit 74, the display control unit 78 executes control to display a detection range image indicating a detection range in which detection by the detection device is possible on the subject.SELECTED DRAWING: Figure 6

Description

本開示は、支援装置、内視鏡システム、支援方法、及び支援プログラムに関する。   The present disclosure relates to a support device, an endoscope system, a support method, and a support program.

従来、内視鏡による被検体の体内の検査（以下、「内視鏡検査」という）において、被検体の体内に挿入された内視鏡の挿入部の形状を検出して挿入部の形状を表す形状画像を表示部に表示させる検出装置が知られている。また、この種の検出装置として、内視鏡の挿入部に沿って設けられた、磁界発生素子及び磁界検出素子の一方の複数の素子、及び被検体の外部に設けられた他方の複数の素子によって検出された磁界を表す検出信号を用いる検出装置が知られている。   2. Description of the Related Art Conventionally, in an examination of the inside of a subject using an endoscope (hereinafter, referred to as “endoscopy”), the shape of the insertion section of the endoscope inserted into the body of the subject is detected to change the shape of the insertion section. 2. Description of the Related Art A detection device for displaying a shape image to be displayed on a display unit is known. Further, as this type of detection device, one of a plurality of magnetic field generation elements and a plurality of magnetic field detection elements provided along the insertion portion of the endoscope, and the other plurality of elements provided outside the subject are provided. There is known a detection device that uses a detection signal representing a magnetic field detected by the detection device.

この種の検出装置では、磁界発生素子の出力の強度、及び磁界検出素子の感度等の影響により、適切な検出が可能な検出範囲が定まり、この検出範囲外に位置する内視鏡の挿入部については、その形状の検出精度が低下したり、検出できなかったりする場合があった。   In this type of detection device, a detection range in which appropriate detection can be performed is determined by the influence of the intensity of the output of the magnetic field generation element, the sensitivity of the magnetic field detection element, and the like. Regarding the above, there are cases where the detection accuracy of the shape is reduced or not detected.

そのため、内視鏡の挿入部が、上記検出範囲内に位置するか否かを表す情報を検査者に提示する技術が知られている。例えば、特許文献１には、内視鏡画像に、有効検出範囲を示す情報を表示する技術が記載されている。また例えば、特許文献２には、挿入部に沿って設けられた上記一方の複数の素子が、有効検出範囲内に存在するか否かを検出手段の出力に基づいて判定し、判定結果に基づいて、内視鏡の挿入部の挿入形状を表示する表示形態を選択する技術が記載されている。   Therefore, there is known a technique for presenting information indicating whether or not the insertion section of the endoscope is located within the detection range to an inspector. For example, Patent Literature 1 describes a technique for displaying information indicating an effective detection range on an endoscope image. Also, for example, in Patent Document 2, it is determined whether or not one of the plurality of elements provided along the insertion portion is within an effective detection range based on an output of a detection unit, and based on a determination result. There is described a technique for selecting a display mode for displaying an insertion shape of an insertion portion of an endoscope.

特開２００１−４６３１８号公報JP 2001-46318 A 特開２００２−３２５７２１号公報JP 2002-325721 A

しかしながら、上記特許文献１及び特許文献２に記載の技術はいずれも、内視鏡の挿入部の形状を表す形状画像と組み合わせて、検出範囲を検査者に対して提示する技術である。そのため、特許文献１及び特許文献２に記載を内視鏡検査に適用する場合、内視鏡の挿入部が被検体に挿入された状態において検出範囲を提示することが一般的であり、内視鏡の挿入部を被検体に挿入する前に、検出範囲を検査者に対して提示するのは困難な場合があった。   However, the techniques described in Patent Literature 1 and Patent Literature 2 are techniques for presenting a detection range to an inspector in combination with a shape image representing a shape of an insertion portion of an endoscope. For this reason, when applying the descriptions in Patent Literature 1 and Patent Literature 2 to endoscopy, it is common to present a detection range in a state where the insertion section of the endoscope is inserted into the subject, and the endoscopic examination is performed. It is sometimes difficult to present the detection range to the examiner before inserting the insertion portion of the mirror into the subject.

本開示は、以上の事情を鑑みて成されたものであり、被検体に内視鏡の挿入部が挿入されているか否かに関わらず、検出装置の検出範囲を検査者に提示することができる、支援装置、内視鏡システム、支援方法、及び支援プログラムを提供することを目的とする。   The present disclosure has been made in view of the above circumstances, and it is possible to present a detection range of a detection device to an inspector regardless of whether an insertion section of an endoscope is inserted into a subject. It is an object of the present invention to provide a support device, an endoscope system, a support method, and a support program that can be provided.

上記目的を達成するために、本開示の第１の態様の支援装置は、内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第１素子群、及び被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第２素子群によって検出された磁界を表す検出信号に基づき、検出装置により挿入部の位置及び形状の少なくとも一方を検出する場合に、第２素子群の位置を表す位置情報を取得する取得部と、取得部が取得した位置情報に基づいて、検出装置による検出が可能な検出範囲を表す検出範囲画像を、被検体の上に表示する制御を行う表示制御部と、を備えた。   In order to achieve the above object, a support device according to a first aspect of the present disclosure includes a plurality of magnetic field generating elements and a plurality of magnetic field detecting elements provided along an insertion section of an endoscope that is inserted into a subject. A first element group including one of the plurality of elements, and a detection signal representing a magnetic field detected by the second element group including the other plurality of elements provided in an external device provided outside the subject. An acquisition unit that acquires position information representing the position of the second element group when at least one of the position and the shape of the insertion unit is detected by the detection device, based on the position information acquired by the acquisition unit; And a display control unit that controls to display a detection range image representing a detection range in which the detection is possible on the subject.

本開示の第２の態様の支援装置は、第１の態様の支援装置において、第２素子群は、外部装置内に固定的に設けられており、取得部は、位置情報として外部装置の位置を表す情報を取得する。   A support device according to a second aspect of the present disclosure is the support device according to the first aspect, wherein the second element group is fixedly provided in the external device, and the acquisition unit determines a position of the external device as position information. Get information that represents.

本開示の第３の態様の支援装置は、第２の態様の支援装置において、取得部は、位置情報として、外部装置と被検体との相対的な位置を表す情報、及び外部装置の被検体に対する姿勢を表す情報を取得する。   A support device according to a third aspect of the present disclosure is the support device according to the second aspect, wherein the acquisition unit includes, as position information, information indicating a relative position between the external device and the subject, and a subject of the external device. Acquires information indicating the attitude with respect to.

本開示の第４の態様の支援装置は、第３の態様の検出装置において、外部装置と被検体との相対的な位置、及び外部装置の被検体に対する姿勢を検出する第１検出部をさらに備えた。   The support device according to a fourth aspect of the present disclosure is the detection device according to the third aspect, further including a first detection unit that detects a relative position between the external device and the subject and a posture of the external device with respect to the subject. Equipped.

本開示の第５の態様の支援装置は、第２の態様から第４の態様のいずれか１態様の支援装置において、検出範囲画像を投影する投影部をさらに備え、表示制御部は、投影部により、検出範囲画像を被検体の体表面に投影させる制御を行う。   A support device according to a fifth aspect of the present disclosure is the support device according to any one of the second to fourth aspects, further including a projection unit that projects a detection range image, and the display control unit includes a projection unit. Controls the projection of the detection range image onto the body surface of the subject.

本開示の第６の態様の支援装置は、第５の態様の支援装置において、取得部は、位置情報として、さらに外部装置と投影部との相対的な位置を表す情報、及び外部装置の投影部に対する姿勢を表す情報を取得する。   A support device according to a sixth aspect of the present disclosure is the support device according to the fifth aspect, wherein the acquisition unit further includes, as position information, information indicating a relative position between the external device and the projection unit; Acquires information indicating the attitude to the unit.

本開示の第７の態様の支援装置は、第６の態様の支援装置において、外部装置と投影部との相対的な位置、及び外部装置の投影部に対する姿勢を検出する第２検出部をさらに備えた。   The support device according to a seventh aspect of the present disclosure is the support device according to the sixth aspect, further including a second detection unit that detects a relative position between the external device and the projection unit and a posture of the external device with respect to the projection unit. Equipped.

本開示の第８の態様の支援装置は、第５の態様から第７の態様のいずれか１態様の支援装置において、取得部は、投影部が検出範囲画像を投影する被検体の形状を表す情報をさらに取得し、表示制御部は、検出範囲画像として、被検体の形状を表す情報に応じた画像を、投影部により投影させる。   The support device according to an eighth aspect of the present disclosure is the support device according to any one of the fifth to seventh aspects, wherein the acquisition unit represents a shape of the subject on which the projection unit projects the detection range image. The information is further acquired, and the display control unit causes the projection unit to project an image corresponding to the information representing the shape of the subject as the detection range image.

本開示の第９の態様の支援装置は、第５の態様から第８の態様のいずれか１態様の支援装置において、投影部は、外部装置と一体的に構成されている。   A support device according to a ninth aspect of the present disclosure is the support device according to any one of the fifth to eighth aspects, wherein the projection unit is configured integrally with an external device.

本開示の第１０の態様の支援装置は、第５の態様から第８の態様のいずれか１態様の支援装置において、投影部は、被検体の周辺を移動可能に設けられている。   A support device according to a tenth aspect of the present disclosure is the support device according to any one of the fifth to eighth aspects, wherein the projection unit is provided movably around the subject.

本開示の第１１の態様の支援装置は、第５の態様から第１０の態様のいずれか１態様の支援装置において、検出範囲画像は、３次元の検出範囲を表す３次元画像である。   The support device according to an eleventh aspect of the present disclosure is the support device according to any one of the fifth to tenth aspects, wherein the detection range image is a three-dimensional image representing a three-dimensional detection range.

本開示の第１２の態様の支援装置は、第１の態様または第２の態様の支援装置において、取得部は、被検体及び外部装置を撮像して撮像画像の画像データを出力する撮像部を含み、撮像画像に基づいて、位置情報を取得し、表示制御部は、撮像画像に含まれる被検体の画像に、検出範囲画像を重畳させた画像を表示部に表示させる制御を行う。   A support device according to a twelfth aspect of the present disclosure is the support device according to the first aspect or the second aspect, wherein the acquisition unit includes an imaging unit that captures an image of a subject and an external device and outputs image data of a captured image. The display control unit obtains position information based on the captured image, and controls the display unit to display an image in which the detection range image is superimposed on the image of the subject included in the captured image.

本開示の第１３の態様の支援装置は、第１２の態様の支援装置において、表示部は、携帯型端末装置が備える表示部、またはヘッドマウントディスプレイである。   A support device according to a thirteenth aspect of the present disclosure is the support device according to the twelfth aspect, wherein the display unit is a display unit included in a portable terminal device or a head mounted display.

本開示の第１４の態様の内視鏡システムは、被検体に挿入する挿入部を備えた内視鏡と、内視鏡の挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第１素子群、及び被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第２素子群によって検出された磁界を表す検出信号に基づき、挿入部の位置及び形状の少なくとも一方を検出する検出装置と、検出装置による検出を支援する第１の態様から第１３の態様のいずれか１態様に記載の支援装置と、を備えた。   An endoscope system according to a fourteenth aspect of the present disclosure includes an endoscope including an insertion unit to be inserted into a subject, a plurality of magnetic field generating elements provided along the insertion unit of the endoscope, and a plurality of A magnetic field detected by a first element group including one of the plurality of magnetic field detection elements and a second element group including the other plurality of elements provided in an external device provided outside the subject. A detection device that detects at least one of the position and the shape of the insertion unit based on the detected detection signal, and the support device according to any one of the first to thirteenth modes that supports detection by the detection device, With.

本開示の第１５の態様の支援方法は、内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第１素子群、及び被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第２素子群によって検出された磁界を表す検出信号に基づき、検出装置により挿入部の位置及び形状の少なくとも一方を検出する場合に、第２素子群と被検体の位置を表す位置情報を取得し、取得した位置情報に基づいて、検出装置による検出が可能な検出範囲を表す検出範囲画像を、被検体の上に表示する制御を行う、処理をコンピュータが実行する。   A support method according to a fifteenth aspect of the present disclosure includes a plurality of one of a plurality of magnetic field generation elements and a plurality of magnetic field detection elements provided along an insertion portion of the endoscope that is inserted into a subject. Based on a detection signal representing a magnetic field detected by the first element group, and a second element group including the other plurality of elements provided in an external device provided outside the subject, the detection device detects the insertion section to determine whether the insertion section has When detecting at least one of the position and the shape, position information representing the position of the second element group and the subject is acquired, and a detection range representing a detection range that can be detected by the detection device based on the acquired position information. The computer executes a process of performing control for displaying an image on the subject.

本開示の第１６の態様の支援プログラムは、内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第１素子群、及び被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第２素子群によって検出された磁界を表す検出信号に基づき、検出装置により挿入部の位置及び形状の少なくとも一方を検出する場合に、第２素子群の位置を表す位置情報を取得し、取得した位置情報に基づいて、検出装置による検出が可能な検出範囲を表す検出範囲画像を、被検体の上に表示する制御を行う、処理をコンピュータに実行させるためのものである。   A support program according to a sixteenth aspect of the present disclosure includes a plurality of one of a plurality of magnetic field generation elements and a plurality of magnetic field detection elements provided along an insertion portion of the endoscope that is inserted into a subject. Based on a detection signal representing a magnetic field detected by the first element group, and a second element group including the other plurality of elements provided in an external device provided outside the subject, the detection device detects the insertion section to determine whether the insertion section has When detecting at least one of the position and the shape, acquiring position information representing the position of the second element group, based on the acquired position information, a detection range image representing a detection range that can be detected by the detection device, This is for causing a computer to execute processing for controlling display on the subject.

また、本開示の支援装置は、プロセッサを有する支援装置であって、プロセッサが、内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第１素子群、及び被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第２素子群によって検出された磁界を表す検出信号に基づき、検出装置により挿入部の位置及び形状の少なくとも一方を検出する場合に、第２素子群の位置を表す位置情報を取得し、取得した位置情報に基づいて、検出装置による検出が可能な検出範囲を表す検出範囲画像を、被検体の上に表示する制御を行う。   Further, an assisting device according to an embodiment of the present disclosure is an assisting device having a processor, wherein the processor is provided along an insertion unit that is inserted into a subject in an endoscope, and includes a plurality of magnetic field generating elements and a plurality of magnetic field detection devices. A detection signal representing a magnetic field detected by a first element group including one of the plurality of elements and a second element group including the other plurality of elements provided in an external device provided outside the subject. Based on the above, when at least one of the position and the shape of the insertion portion is detected by the detection device, position information representing the position of the second element group is acquired, and the detection device can detect the position information based on the acquired position information. Control is performed to display a detection range image representing the detection range on the subject.

本開示によれば、被検体に内視鏡の挿入部が挿入されているか否かに関わらず、検出装置の検出範囲を検査者に提示することができる。   According to the present disclosure, the detection range of the detection device can be presented to the examiner regardless of whether the insertion section of the endoscope is inserted into the subject.

第１実施形態の内視鏡システムの構成の一例を示す構成図である。FIG. 1 is a configuration diagram illustrating an example of a configuration of an endoscope system according to a first embodiment. 第１実施形態の内視鏡システムの構成の一例を示すブロック図である。It is a block diagram showing an example of composition of an endoscope system of a 1st embodiment. 第１実施形態の位置検出装置の受信コイルユニット及び送信コイルユニットの一例を示す構成図である。It is a lineblock diagram showing an example of a receiving coil unit and a transmitting coil unit of a position detecting device of a 1st embodiment. 第１実施形態の検出部及び各制御部のハードウェア構成の一例を示すブロック図である。FIG. 3 is a block diagram illustrating an example of a hardware configuration of a detection unit and each control unit according to the first embodiment. 第１実施形態の外部装置としての送信部の筐体、及び支援装置の構成の一例を示す正面図及び側面図である。It is a front view and a side view showing an example of the composition of a case of a transmitting part as an external device of a 1st embodiment, and a support device. 第１実施形態の支援装置の構成の一例を示す機能ブロック図である。It is a functional block diagram showing an example of composition of a support device of a 1st embodiment. 第１実施形態の検出範囲画像を被検体の上に表示した状態の一例を模式的に示す図である。It is a figure showing typically an example of the state where the detection range picture of a 1st embodiment was displayed on a subject. 第１実施形態の検出装置の検出範囲の一例を説明するための図である。It is a figure for explaining an example of a detection range of a detection device of a 1st embodiment. 第１実施形態の支援装置のハードウェア構成の一例を示すブロック図である。FIG. 2 is a block diagram illustrating an example of a hardware configuration of the support device according to the first embodiment. 第１実施形態の支援装置で実行される支援処理の一例を示すフローチャートである。5 is a flowchart illustrating an example of a support process performed by the support device according to the first embodiment. 第１実施形態の第２検出部による、送信部の筐体と支援装置の投影部との相対的な位置及び姿勢を検出する方法の一例を説明するための図である。FIG. 5 is a diagram illustrating an example of a method of detecting a relative position and orientation between a housing of a transmission unit and a projection unit of a support device by a second detection unit according to the first embodiment. 第１実施形態の生成部による検出範囲画像の生成方法の一例を説明するための図である。FIG. 6 is a diagram for explaining an example of a method of generating a detection range image by the generation unit according to the first embodiment. 第１実施形態の生成部による検出範囲画像の生成方法の一例を説明するための図である。FIG. 6 is a diagram for explaining an example of a method of generating a detection range image by the generation unit according to the first embodiment. 第１実施形態の生成部による検出範囲画像の生成方法の他の例を説明するための図である。FIG. 9 is a diagram for explaining another example of a method of generating a detection range image by the generation unit according to the first embodiment. 第１実施形態の生成部による検出範囲画像の生成方法の他の例を説明するための図である。FIG. 9 is a diagram for explaining another example of a method of generating a detection range image by the generation unit according to the first embodiment. 第２実施形態の検出装置と、被検体と、送信部を収納する筐体との関係の一例を示す図である。It is a figure showing an example of the relation between a detection device of a 2nd embodiment, a subject, and a case which stores a transmitting part. 第２実施形態の支援装置の構成の一例を示す機能ブロック図である。It is a functional block diagram showing an example of composition of a support device of a 2nd embodiment. 第２実施形態の支援装置で実行される支援処理の一例を示すフローチャートである。It is a flow chart which shows an example of support processing performed by a support device of a 2nd embodiment. 第２実施形態の支援装置側から見た、被検体及び筐体の状態の一例を表す図である。It is a figure showing an example of the state of a subject and a case seen from the support device side of a 2nd embodiment. 第２実施形態の支援装置の撮像部により撮像された撮像画像の一例を示す図である。It is a figure showing an example of the picturized image picturized by the imaging part of the support device of a 2nd embodiment. 第２実施形態の支援装置の合成部により生成された合成画像の一例を示す図である。It is a figure showing an example of the synthetic picture generated by the synthesis part of the support device of a 2nd embodiment.

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。   Hereinafter, embodiments of the technology of the present disclosure will be described in detail with reference to the drawings.

［第１実施形態］
まず、図１を参照して本実施形態の内視鏡システム１の全体の構成について説明する。図１には、本実施形態の内視鏡システム１の構成の一例を示す構成図が示されている。 [First Embodiment]
First, an overall configuration of an endoscope system 1 according to the present embodiment will be described with reference to FIG. FIG. 1 is a configuration diagram illustrating an example of a configuration of an endoscope system 1 according to the present embodiment.

内視鏡システム１は、被検体Ｗの体内の画像（以下、「内視鏡画像」という）を撮像する内視鏡１０、内視鏡検査装置１２、検出装置１４、及び支援装置１６を備えている。   The endoscope system 1 includes an endoscope 10 that captures an image of the inside of the body of the subject W (hereinafter, referred to as an “endoscope image”), an endoscope inspection device 12, a detection device 14, and a support device 16. ing.

内視鏡１０は、挿入部１０Ａ及び操作部１０Ｂを備え、内視鏡検査を行う場合、検査者は、操作部１０Ｂを操作して、挿入部１０Ａを被検体Ｗに挿入し、被検体Ｗの体内の内視鏡画像を撮像する。ケーブル１１により内視鏡１０と接続された内視鏡検査装置１２は、ビデオプロセッサ３４、全体制御部４０、送信部４１、検出部５０、及び液晶ディスプレイ等の表示部５２を備える。ビデオプロセッサ３４は、内視鏡１０による内視鏡画像の撮像の制御を行う。全体制御部４０は、内視鏡システム１の全体を制御する。検出部５０は、内視鏡１０の挿入部１０Ａの形状の検出を行う。一方、検出装置１４は、内視鏡検査装置１２に備えられた送信部４１と、内視鏡１０の内部に設けられた受信部２１（図２参照）と、を備え、送信部４１で発生した磁界を受信部２１で受信することにより、挿入部１０Ａの位置を検出する。なお、図１に示すように、送信部４１は、ビデオプロセッサ３４、全体制御部４０、検出部５０、及び表示部５２とは別体として構成されており、詳細を後述する筐体４１Ａ（図５参照）に収納されている。本実施形態の検出装置１４及び検出部５０が、本開示の検出装置の一例である。   The endoscope 10 includes an insertion section 10A and an operation section 10B. When performing an endoscope inspection, the examiner operates the operation section 10B to insert the insertion section 10A into the subject W, and An endoscopic image of the inside of the body of the subject. The endoscope inspection device 12 connected to the endoscope 10 by the cable 11 includes a video processor 34, an overall control unit 40, a transmission unit 41, a detection unit 50, and a display unit 52 such as a liquid crystal display. The video processor 34 controls the endoscope 10 to capture an endoscopic image. The overall control unit 40 controls the entire endoscope system 1. The detection section 50 detects the shape of the insertion section 10A of the endoscope 10. On the other hand, the detection device 14 includes a transmission unit 41 provided in the endoscope inspection device 12 and a reception unit 21 (see FIG. 2) provided inside the endoscope 10. The position of the insertion section 10A is detected by receiving the generated magnetic field by the reception section 21. As shown in FIG. 1, the transmission unit 41 is configured separately from the video processor 34, the overall control unit 40, the detection unit 50, and the display unit 52. 5). The detection device 14 and the detection unit 50 of the present embodiment are examples of the detection device of the present disclosure.

次に、図２を参照して、内視鏡１０、内視鏡検査装置１２、及び検出装置１４の詳細な構成について説明する。また、図２には、本実施形態の内視鏡システム１の構成の一例を示すブロック図が示されている。   Next, a detailed configuration of the endoscope 10, the endoscope inspection device 12, and the detection device 14 will be described with reference to FIG. FIG. 2 is a block diagram illustrating an example of a configuration of the endoscope system 1 according to the present embodiment.

図２に示すように、内視鏡１０は、ＣＣＤ（Charge Coupled Device）イメージセンサ、及びＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ等の撮像素子を含む画像センサ３０を備えている。内視鏡１０は、ビデオプロセッサ３４の制御により光源３６から出射された光を伝送路（図示省略）によって伝送し、挿入部１０Ａの先端に設けられた出射部（図示省略）から出射し、出射した光によって被検体Ｗの体内を照明する。この照明光による被検体Ｗからの反射光が対物レンズ（図示省略）によって画像センサ３０に結像し、結像した光学像である内視鏡画像に応じた画像信号が、ケーブル１１を介して内視鏡検査装置１２のビデオプロセッサ３４に出力される。ビデオプロセッサ３４により、入力された画像信号に対して予め定められた画像処理が行われ、この画像処理によって得られた内視鏡画像の画像データは、検出部５０に出力される。   As shown in FIG. 2, the endoscope 10 includes an image sensor 30 including an image sensor such as a charge coupled device (CCD) image sensor and a complementary metal-oxide-semiconductor (CMOS) image sensor. The endoscope 10 transmits light emitted from the light source 36 under the control of the video processor 34 through a transmission path (not shown), and emits the light from an emission unit (not shown) provided at the distal end of the insertion unit 10A. The inside of the subject W is illuminated by the light thus emitted. The reflected light from the subject W due to the illumination light forms an image on the image sensor 30 by an objective lens (not shown), and an image signal corresponding to the formed endoscope image as an optical image is transmitted via the cable 11. It is output to the video processor 34 of the endoscope inspection apparatus 12. A predetermined image processing is performed on the input image signal by the video processor 34, and the image data of the endoscope image obtained by the image processing is output to the detection unit 50.

図２に示すように、検出装置１４のうち、被検体Ｗの外部に設けられた送信部４１は、送信制御ユニット４２及び送信コイルユニット４８を備える。送信コイルユニット４８は、図３にも示すように、複数（本実施形態では、１２個）の送信コイル４９、具体的には、送信コイル４９１ｘ、４９１Ｙ、４９１Ｚ、４９２ｘ、４９２Ｙ、４９２Ｚ、４９３ｘ、４９３Ｙ、４９３Ｚ、４９４ｘ、４９４Ｙ、及び４９４Ｚを備える。なお、本実施形態では、送信コイル４９について、総称する場合は、単に「送信コイル４９」といい、個々を区別する場合は、「送信コイル４９」の後に個々を表す符号（１Ｘ・・・４Ｚ）を付す。本実施形態の送信コイル４９が、本開示の他方の複数の素子の一例である。また、本実施形態の送信コイルユニット４８が、本開示の第２素子群の一例である。 As shown in FIG. 2, in the detection device 14, the transmission unit 41 provided outside the subject W includes a transmission control unit 42 and a transmission coil unit 48. As shown in FIG. 3, the transmission coil unit 48 includes a plurality (12 in the present embodiment) of transmission coils 49, specifically, transmission coils 49 1x , 49 1Y , 49 1Z , 49 2x , and 49 2Y. , 49 2Z , 493x , 493Y , 493Z , 494x , 494Y , and 494Z . In the present embodiment, the transmission coil 49, may be collectively simply referred to as "transmission coil 49", to distinguish individually, codes representing individual after "transmission coil 49 '(1X · · · 4Z ). The transmission coil 49 of the present embodiment is an example of the other plurality of elements of the present disclosure. Further, the transmission coil unit 48 of the present embodiment is an example of the second element group of the present disclosure.

図３に示すように、本実施形態の送信コイル４９は軸が、Ｘ軸、Ｙ軸、及びＺ軸の各々の方向に向いた３つの送信コイル４９を１組としており、送信コイルユニット４８は、４組の送信コイル群を備える。具体的には、送信コイルユニット４８は、Ｘ軸方向に向いた送信コイル４９１Ｘ、Ｙ軸方向に向いた送信コイル４９１Ｙ、及びＺ軸方向に向いた送信コイル４９１Ｚの組と、Ｘ軸方向に向いた送信コイル４９２Ｘ、Ｙ軸方向に向いた送信コイル４９２Ｙ、及びＺ軸方向に向いた送信コイル４９２Ｚの組と、を備える。また、送信コイルユニット４８は、Ｘ軸方向に向いた送信コイル４９３Ｘ、Ｙ軸方向に向いた送信コイル４９３Ｙ、及びＺ軸方向に向いた送信コイル４９３Ｚの組と、Ｘ軸方向に向いた送信コイル４９４Ｘ、Ｙ軸方向に向いた送信コイル４９４Ｙ、及びＺ軸方向に向いた送信コイル４９４Ｚの組と、を備える。このように、本実施形態の送信コイルユニット４８は、３軸コイルを４つ、送信コイル４９として備えた状態と同等となっている。 As shown in FIG. 3, the transmission coil 49 of the present embodiment has a set of three transmission coils 49 whose axes are oriented in the respective directions of the X axis, the Y axis, and the Z axis. , Four transmission coil groups. Specifically, the transmission coil unit 48 includes a set of a transmission coil 49 1X oriented in the X-axis direction, a transmission coil 49 1Y oriented in the Y-axis direction, and a transmission coil 49 1Z oriented in the Z-axis direction; A transmission coil 49 2X oriented in the direction, a transmission coil 49 2Y oriented in the Y-axis direction, and a transmission coil 49 2Z oriented in the Z-axis direction. The transmission coil unit 48 includes a set of a transmission coil 49 3X oriented in the X-axis direction, a transmission coil 49 3Y oriented in the Y-axis direction, and a transmission coil 49 3Z oriented in the Z-axis direction. A transmission coil 494X , a transmission coil 494Y oriented in the Y-axis direction, and a transmission coil 494Z oriented in the Z-axis direction. Thus, the transmission coil unit 48 of the present embodiment is equivalent to a state in which four triaxial coils are provided as the transmission coil 49.

また、送信制御ユニット４２は、送信制御部４４、及び送信コイル４９に接続された送信回路４６、具体的には、送信回路４６１ｘ、４６１Ｙ、４６１Ｚ、４６２ｘ、４６２Ｙ、４６２Ｚ、４６３ｘ、４６３Ｙ、４６３Ｚ、４６４ｘ、４６４Ｙ、及び４６４Ｚを備える。なお、本実施形態では、送信回路４６についても、送信コイル４９と同様に、総称する場合は、単に「送信回路４６」といい、個々を区別する場合は、「送信回路４６」の後に個々を表す符号（１Ｘ・・・４Ｚ）を付す。 The transmission control unit 42 also includes a transmission circuit 46 connected to the transmission control unit 44 and the transmission coil 49, specifically, the transmission circuits 46 1x , 46 1Y , 46 1Z , 46 2x , 46 2Y , 46 2Z , 46 3x , 46 3Y , 46 3Z , 46 4x , 46 4Y , and 46 4Z . In the present embodiment, the transmission circuit 46 is simply referred to as the “transmission circuit 46” as in the case of the transmission coil 49 when collectively referred to. Symbols ( 1X ... 4Z ) are given.

送信回路４６は、送信制御部４４の制御に応じて、送信コイル４９を駆動するための駆動信号を生成して、各々接続されている送信コイル４９に出力する。各送信コイル４９は駆動信号が印加されることで、磁界を伴う電磁波を周囲に放射する。なお、本実施形態の送信制御部４４は、予め定められた時間間隔、例えば数十ｍ秒間隔で、各送信回路４６に駆動信号を生成させ、各送信コイル４９を順次、駆動させる。   The transmission circuit 46 generates a drive signal for driving the transmission coil 49 under the control of the transmission control unit 44 and outputs the drive signal to the transmission coil 49 connected to each. Each transmission coil 49 emits an electromagnetic wave accompanied by a magnetic field to the surroundings when a drive signal is applied. Note that the transmission control unit 44 of the present embodiment causes each transmission circuit 46 to generate a drive signal at predetermined time intervals, for example, at intervals of several tens of milliseconds, and drives each transmission coil 49 sequentially.

一方、図２に示すように、検出装置１４のうち、内視鏡１０の内部に設けられた受信部２１は、受信制御部２０、受信コイルユニット２２、受信回路２４（２４１〜２４１６）、ＡＤＣ（Analog-to-Digital Converter）２６（２６１〜２６１６）、及びＩ／Ｆ（Interface）２９を備える。受信制御部２０は、受信部２１の全体を制御し、受信コイルユニット２２の駆動を制御する。 On the other hand, as shown in FIG. 2, of the detection device 14, the reception unit 21 provided inside the endoscope 10 includes a reception control unit 20, a reception coil unit 22, and a reception circuit 24 (24 1 to 24 16 ). comprises ADC (Analog-to-Digital Converter ) 26 (26 1 ~26 16), and I / F (Interface) 29. The reception control unit 20 controls the entire reception unit 21 and controls the driving of the reception coil unit 22.

受信コイルユニット２２は、図３にも示すように、一例として１６個（図３に図示したものは６個）の受信コイル２３、具体的には、受信コイル２３１〜２３１６を備える。なお、本実施形態では、送信コイル４９と同様に、受信コイル２３、受信回路２４、及びＡＤＣ２６の各々について、総称する場合は、単に「受信コイル２３」、「受信回路２４」、及び「ＡＤＣ２６」といい、個々を区別する場合は、「受信コイル２３」、「受信回路２４」、及び「ＡＤＣ２６」の後に個々を表す符号（１・・・１６）を付す。本実施形態の受信コイル２３が、本開示の一方の複数の素子の一例である。また、本実施形態の受信コイルユニット２２が、本開示の第１素子群の一例である。 Receiver coil unit 22, as shown in FIG. 3, the receiving coil 23 of the 16 as an example (as shown in FIG. 3 6), specifically includes a receiving coil 23 1-23 16. In the present embodiment, similarly to the transmission coil 49, each of the reception coil 23, the reception circuit 24, and the ADC 26 is simply referred to as “the reception coil 23”, “the reception circuit 24”, and “the ADC 26”. In order to distinguish the individual units, reference numerals ( 1 ... 16 ) representing the individual units are given after the "receiving coil 23", the "receiving circuit 24", and the "ADC 26". The receiving coil 23 of the present embodiment is an example of one of the plurality of elements of the present disclosure. The receiving coil unit 22 of the present embodiment is an example of a first element group of the present disclosure.

受信コイルユニット２２の各受信コイル２３は、内視鏡１０の挿入部１０Ａに、被検体Ｗに挿入される方向に沿って配置されている。受信コイル２３は、送信コイルユニット４８の各送信コイル４９で発生した磁界を検出する。各受信コイル２３は、受信回路２４に接続されており、検出した磁界に応じた検出信号を受信回路２４に出力する。受信回路２４は、ＬＰＦ（Low Pass Filter）及び増幅器（いずれも図示省略）等を含み、ＬＰＦによって外乱ノイズが除去され、増幅器により増幅された検出信号をＡＤＣ２６に出力する。ＡＤＣ２６は、入力されたアナログの検出信号をデジタルの検出信号に変換して受信制御部２０に出力する。受信制御部２０は、各ＡＤＣ２６から入力された検出信号を、Ｉ／Ｆ２９を介して、内視鏡検査装置１２へ送信する。   Each receiving coil 23 of the receiving coil unit 22 is arranged in the insertion section 10A of the endoscope 10 along the direction in which the receiving coil 23 is inserted into the subject W. The receiving coil 23 detects a magnetic field generated by each transmitting coil 49 of the transmitting coil unit 48. Each receiving coil 23 is connected to a receiving circuit 24, and outputs a detection signal corresponding to the detected magnetic field to the receiving circuit 24. The receiving circuit 24 includes an LPF (Low Pass Filter), an amplifier (both not shown), and the like. The LPF removes disturbance noise, and outputs a detection signal amplified by the amplifier to the ADC 26. The ADC 26 converts the input analog detection signal into a digital detection signal and outputs the digital detection signal to the reception control unit 20. The reception control unit 20 transmits the detection signal input from each ADC 26 to the endoscope inspection device 12 via the I / F 29.

内視鏡検査装置１２に入力された検出信号は、Ｉ／Ｆ５３を介して、検出部５０に入力される。   The detection signal input to the endoscope inspection device 12 is input to the detection unit 50 via the I / F 53.

検出部５０は、入力した検出信号に基づいて、各受信コイル２３の位置を検出する。すなわち、本実施形態の検出部５０は、各送信コイル４９で発生した磁界を受信コイル２３で検出し、受信コイル２３から出力された検出信号に基づいて、各受信コイル２３の位置及び方向（向き）を検出する。検出部５０が検出信号に基づいて受信コイル２３の位置を検出する方法は、特に限定されず、例えば、特許第３４３２８２５号公報に記載されている技術を適用することができる。特許第３４３２８２５号公報に記載されている技術では、各送信コイル４９によって発生された磁界の測定値、及び受信コイル２３の方向の推定値から、特定の送信コイル４９から受信コイル２３までの距離の推定値を計算する。次に、各送信コイル４９から受信コイル２３までの距離の推定値と、送信コイル４９の既知の位置とから受信コイル２３の位置の推定値を計算する。次に、受信コイル２３の推定された位置、及び受信コイル２３の磁界の測定値から受信コイル２３の方向の新しい推定値を計算する。そして、受信コイル２３の方向の新しい推定値を用いて、上述した送信コイル４９から受信コイル２３までの距離の推定値の計算と、受信コイル２３の位置の推定値の計算とを繰り返すことにより、受信コイル２３の位置及び方向を導出する。   The detecting unit 50 detects the position of each receiving coil 23 based on the input detection signal. That is, the detection unit 50 of the present embodiment detects the magnetic field generated by each transmission coil 49 with the reception coil 23, and based on the detection signal output from the reception coil 23, the position and direction (direction) of each reception coil 23. ) Is detected. The method by which the detection unit 50 detects the position of the receiving coil 23 based on the detection signal is not particularly limited, and for example, a technique described in Japanese Patent No. 3432825 can be applied. According to the technology described in Japanese Patent No. 3432825, the distance between a specific transmission coil 49 and the reception coil 23 is determined from the measured value of the magnetic field generated by each transmission coil 49 and the estimated value of the direction of the reception coil 23. Calculate the estimate. Next, the estimated value of the position of the receiving coil 23 is calculated from the estimated value of the distance from each transmitting coil 49 to the receiving coil 23 and the known position of the transmitting coil 49. Next, a new estimated value of the direction of the receiving coil 23 is calculated from the estimated position of the receiving coil 23 and the measured value of the magnetic field of the receiving coil 23. Then, by using the new estimated value of the direction of the receiving coil 23 to repeat the calculation of the estimated value of the distance from the transmitting coil 49 to the receiving coil 23 and the calculation of the estimated value of the position of the receiving coil 23, The position and direction of the receiving coil 23 are derived.

また、本実施形態の検出部５０は、検出した各受信コイル２３の位置及び方向に基づいて、内視鏡１０の挿入部１０Ａの形状を検出する。   In addition, the detection unit 50 of the present embodiment detects the shape of the insertion unit 10A of the endoscope 10 based on the detected position and direction of each reception coil 23.

一例として本実施形態の検出部５０は、図４に示したハードウェアを含んで構成されるマイクロコンピュータ等により実現される。図４に示すように、検出部５０は、ＣＰＵ（Central Processing Unit）６０、ＲＯＭ（Read Only Memory）６２、ＲＡＭ（Random Access Memory）６４、及びＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等の不揮発性の記憶部６６を備えている。ＣＰＵ６０、ＲＯＭ６２、ＲＡＭ６４、及び記憶部６６は、互いに通信が可能にバス６９に、接続されている。記憶部６６には、画像表示処理プログラム６８が記憶されている。ＣＰＵ６０は、記憶部６６から画像表示処理プログラム６８を読み出してからＲＡＭ６４に展開し、展開した画像表示処理プログラム６８を実行する。ＣＰＵ６０が、画像表示処理プログラム６８を実行することで、内視鏡画像と、検出装置１４の検出結果に基づいて生成された、内視鏡１０の挿入部１０Ａの形状を表す形状画像とが、表示部５２に表示される。   As an example, the detection unit 50 of the present embodiment is realized by a microcomputer or the like including the hardware shown in FIG. As shown in FIG. 4, the detection unit 50 includes a CPU (Central Processing Unit) 60, a ROM (Read Only Memory) 62, a RAM (Random Access Memory) 64, a HDD (Hard Disk Drive), and an SSD (Solid State Drive). , And a nonvolatile storage unit 66 such as a flash memory. The CPU 60, the ROM 62, the RAM 64, and the storage unit 66 are connected to a bus 69 so that they can communicate with each other. The storage unit 66 stores an image display processing program 68. The CPU 60 reads out the image display processing program 68 from the storage unit 66, expands it in the RAM 64, and executes the expanded image display processing program 68. When the CPU 60 executes the image display processing program 68, the endoscope image and the shape image that is generated based on the detection result of the detection device 14 and that represents the shape of the insertion unit 10A of the endoscope 10 are: It is displayed on the display unit 52.

なお、本実施形態の内視鏡システム１では、受信制御部２０、全体制御部４０、及び送信制御部４４も、検出部５０と同様のハードウェア（図４参照）により実現される。   In the endoscope system 1 of the present embodiment, the reception control unit 20, the overall control unit 40, and the transmission control unit 44 are also realized by the same hardware as the detection unit 50 (see FIG. 4).

一方、本実施形態の支援装置１６は、内視鏡検査において、検出装置１４により内視鏡１０の挿入部１０Ａの形状を検出する場合に、検査者に対する支援を行うための装置である。詳細は後述するが、本実施形態の支援装置１６は、検出装置１４により、内視鏡１０の挿入部１０Ａの形状の検出を精度良く行うことができる検出範囲を表す画像（以下、「検出範囲画像」という）を被検体Ｗの体表面の上に表示する。   On the other hand, the support device 16 of the present embodiment is a device for providing support to the examiner when the detection device 14 detects the shape of the insertion section 10A of the endoscope 10 in the endoscope inspection. Although details will be described later, the support device 16 of the present embodiment uses the detection device 14 to detect the shape of the insertion section 10A of the endoscope 10 with high accuracy by using an image representing a detection range (hereinafter, “detection range”). Image ”) is displayed on the body surface of the subject W.

本実施形態の支援装置１６は、一例として、送信部４１と一体的に構成されている。図５には、本実施形態の支援装置１６及び送信部４１の正面図及び側面図を示す。図５に示すように本実施形態の送信部４１は、被検体Ｗの外部に設けられた外部装置としての筐体４１Ａ内に収納されており、送信コイルユニット４８が、検出面４１Ｂを有する筐体４１Ａ内に固定的に設けられている。筐体４１Ａは、軸１０４の一端に設けられており、２軸の直動関節１０８によって、軸１０２に接続されている。軸１０２の一方の端部は、基台１００に固定されており、他方の端部には、固定関節１１０が設けられている。   The support device 16 of the present embodiment is configured integrally with the transmission unit 41, for example. FIG. 5 shows a front view and a side view of the support device 16 and the transmission unit 41 of the present embodiment. As shown in FIG. 5, the transmission unit 41 of the present embodiment is housed in a housing 41A as an external device provided outside the subject W, and the transmission coil unit 48 is provided with a housing having a detection surface 41B. It is fixedly provided in the body 41A. The housing 41A is provided at one end of the shaft 104, and is connected to the shaft 102 by a biaxial linear joint 108. One end of the shaft 102 is fixed to the base 100, and a fixed joint 110 is provided at the other end.

一方、支援装置１６は、投光面１６Ｂを有する筐体１６Ａを有する。筐体１６Ａの投光面１６Ｂには、検出範囲画像を表す光を投光する投影部７０が設けられている。支援装置１６の筐体１６Ａは、アーム１２０の一端に設けられており、アーム１２０の他端は、Ｙ軸方向に延びた軸を回転軸とする回転関節１１８によって、アーム１１６の一端に接続されている。アーム１１６の他端は、Ｙ軸方向に延びた軸を回転軸とする回転関節１１４により、アーム１１２の一端に接続されている。アーム１１２の他端は固定関節１１０に接続されている。本実施形態の回転関節１１４及び回転関節１１８には、ロータリーエンコーダ及びリニアエンコーダが設けられており、各関節の回転角度、及び各関節に接続されているアームの長さが検出できる。   On the other hand, the support device 16 has a housing 16A having a light emitting surface 16B. A projection unit 70 that projects light representing a detection range image is provided on the light projection surface 16B of the housing 16A. The housing 16A of the support device 16 is provided at one end of the arm 120, and the other end of the arm 120 is connected to one end of the arm 116 by a rotary joint 118 having a rotation axis extending in the Y-axis direction as a rotation axis. ing. The other end of the arm 116 is connected to one end of the arm 112 by a rotary joint 114 whose axis is a shaft extending in the Y-axis direction. The other end of the arm 112 is connected to the fixed joint 110. The rotary joint 114 and the rotary joint 118 of this embodiment are provided with a rotary encoder and a linear encoder, and can detect the rotation angle of each joint and the length of the arm connected to each joint.

検出装置１４により内視鏡１０の挿入部１０Ａの形状の検出を行う場合、送信部４１の筐体４１Ａの検出面４１Ｂが被検体Ｗに向けられる。また、支援装置１６の筐体１６Ａの投光面１６Ｂが、被検体Ｗに向けられる。   When the shape of the insertion section 10A of the endoscope 10 is detected by the detection device 14, the detection surface 41B of the housing 41A of the transmission section 41 is turned to the subject W. The light projecting surface 16B of the housing 16A of the support device 16 is directed toward the subject W.

図６には、本実施形態の支援装置１６の構成の一例の機能ブロック図を示す。図６に示すように本実施形態の支援装置１６は、投影部７０、第１検出部７１、第２検出部７２、取得部７４、生成部７６、及び表示制御部７８を備える。   FIG. 6 shows a functional block diagram of an example of the configuration of the support device 16 of the present embodiment. As illustrated in FIG. 6, the support device 16 of the present embodiment includes a projection unit 70, a first detection unit 71, a second detection unit 72, an acquisition unit 74, a generation unit 76, and a display control unit 78.

第１検出部７１は、筐体４１Ａと被検体Ｗとの相対的な位置を検出する。具体例として、本実施形態の第１検出部７１は、筐体４１Ａの検出面４１Ｂから被検体Ｗの体表面までの距離を検出する。また、第１検出部７１は、筐体４１Ａの被検体Ｗに対する姿勢を検出する。具体例として、本実施形態の第１検出部７１は、被検体Ｗに対する筐体４１Ａの検出面４１Ｂの向き（角度）を検出する。このような第１検出部７１としては、例えば、赤外線や撮像装置等を用いた距離センサ及びロータリーエンコーダ等が挙げられる。   The first detector 71 detects a relative position between the housing 41A and the subject W. As a specific example, the first detection unit 71 of the present embodiment detects the distance from the detection surface 41B of the housing 41A to the body surface of the subject W. Further, the first detection unit 71 detects the attitude of the housing 41A with respect to the subject W. As a specific example, the first detection unit 71 of the present embodiment detects the direction (angle) of the detection surface 41B of the housing 41A with respect to the subject W. Examples of such a first detection unit 71 include a distance sensor using an infrared ray, an imaging device, and the like, a rotary encoder, and the like.

なお、被検体Ｗの体表面には、凹凸が存在するため、第１検出部７１は、例えば、予め定められた位置に対する、距離及び角度の各々を検出して検出結果としてもよいし、また例えば、体表面の複数箇所について距離及び角度の各々を検出し、検出した値の平均値を導出して検出結果としてもよい。   Since the body surface of the subject W has irregularities, the first detection unit 71 may detect, for example, each of a distance and an angle with respect to a predetermined position and obtain a detection result. For example, each of the distance and the angle may be detected at a plurality of locations on the body surface, and an average value of the detected values may be derived as a detection result.

第２検出部７２は、筐体４１Ａと支援装置１６の投影部７０との相対的な位置を検出する。具体例として、本実施形態の第２検出部７２は、筐体４１Ａにおける検出面４１Ｂの基準点４１Ｃ（図１０参照）と、支援装置１６の筐体１６Ａにおける投光面１６Ｂの基準点１６Ｃ（図１０参照）とのＸ軸方向及びＺ軸方向の距離を検出する。また、第２検出部７２は、筐体４１Ａの、支援装置１６の投影部７０に対する姿勢を検出する。具体例として、本実施形態の第２検出部７２は、筐体１６Ａの投光面１６Ｂと、筐体４１Ａの検出面４１Ｂとが成す角度を検出する。このような第２検出部７２としては、例えば、回転関節１１４及び回転関節１１８に設けられたロータリーエンコーダ、及びリニアエンコーダを組み合わせたセンサ等が挙げられる。なお、具体的な導出方法については、詳細を後述する。   The second detection unit 72 detects a relative position between the housing 41A and the projection unit 70 of the support device 16. As a specific example, the second detection unit 72 of the present embodiment includes a reference point 41C of the detection surface 41B of the housing 41A (see FIG. 10) and a reference point 16C of the light emitting surface 16B of the housing 16A of the support device 16 (see FIG. (See FIG. 10) in the X-axis direction and the Z-axis direction. Further, the second detection unit 72 detects the attitude of the housing 41A with respect to the projection unit 70 of the support device 16. As a specific example, the second detection unit 72 of the present embodiment detects an angle formed between the light emitting surface 16B of the housing 16A and the detection surface 41B of the housing 41A. Examples of such a second detection unit 72 include, for example, a sensor that combines a rotary encoder provided on the rotating joint 114 and the rotating joint 118 and a linear encoder. The specific derivation method will be described later in detail.

取得部７４は、送信コイルユニット４８の位置情報として、送信部４１を収納する筐体４１Ａと被検体Ｗとの位置関係を表す情報を取得する。具体的には、本実施形態の取得部７４は、第１検出部７１から検出結果を表す情報を取得して生成部７６に出力する。また、取得部７４は、第２検出部７２から検出結果を表す情報を取得して、生成部７６に出力する。   The acquisition unit 74 acquires, as the position information of the transmission coil unit 48, information indicating the positional relationship between the case 41A that houses the transmission unit 41 and the subject W. Specifically, the acquisition unit 74 of the present embodiment acquires information representing a detection result from the first detection unit 71 and outputs the information to the generation unit 76. The acquiring unit 74 acquires information representing a detection result from the second detecting unit 72 and outputs the information to the generating unit 76.

生成部７６は、取得部７４から入力された第１検出部７１の検出結果を表す情報と、第２検出部７２の検出結果を表す情報とに基づいて、検出範囲画像の画像データを生成して、表示制御部７８に出力する。   The generation unit 76 generates image data of a detection range image based on the information indicating the detection result of the first detection unit 71 input from the acquisition unit 74 and the information indicating the detection result of the second detection unit 72. And outputs it to the display control unit 78.

表示制御部７８は、生成部７６が生成した検出範囲画像の画像データに基づいて、投影部７０から、検出範囲画像を表す光を投光し、被検体Ｗの体表面を投影面として検出範囲画像を投影することで、被検体Ｗの上に検出範囲画像を表示する。図７Ａには、被検体Ｗの上に検出範囲画像２００を表示した状態の一例を模式的に示す。図７Ａに示すように、本実施形態の検出範囲画像２００は、検出範囲領域２０２を含む。換言すると、本実施形態の検出範囲画像２００は、検出範囲領域２０２の画像と、検出範囲領域２０２以外の領域の画像とを含む。検出範囲領域２０２は、検出範囲１５に対応しており、検出装置１４により、内視鏡１０の挿入部１０Ａの形状の検出を精度良く行うことができる検出範囲を表している。図７Ｂに示したように、一例として本実施形態の検出装置１４における検出範囲１５は、３次元形状、具体的には、Ｘ軸方向に延びる辺１５ｂの長さがｂ０、及びＹ軸方向に延びる辺１５ａの長さがａ０の直方体とみなせる形状をしている。なお、具体的な検出範囲１５の大きさ（辺１５ａ及び辺１５ｂの長さ等）は、筐体４１Ａ内に収納されている送信コイルユニット４８（送信コイル４９）の配置状態に応じて定まる。そのため、検出範囲画像２００の検出範囲領域２０２は、一辺（Ｙ軸方向に延びる辺２０２ａ）の長さがａ０、及び他辺（Ｘ軸方向に延びる辺２０２ｂ）の長さがｂ０の２辺を有する矩形状（直方形状）の範囲となる。   The display control unit 78 projects light representing the detection range image from the projection unit 70 based on the image data of the detection range image generated by the generation unit 76, and uses the body surface of the subject W as a projection plane The detection range image is displayed on the subject W by projecting the image. FIG. 7A schematically illustrates an example of a state where the detection range image 200 is displayed on the subject W. As shown in FIG. 7A, the detection range image 200 of the present embodiment includes a detection range region 202. In other words, the detection range image 200 of the present embodiment includes an image of the detection range area 202 and an image of an area other than the detection range area 202. The detection range area 202 corresponds to the detection range 15 and represents a detection range in which the detection device 14 can accurately detect the shape of the insertion section 10A of the endoscope 10. As shown in FIG. 7B, as an example, the detection range 15 in the detection device 14 of the present embodiment has a three-dimensional shape, specifically, the length of a side 15b extending in the X-axis direction is b0, and the detection range 15 is in the Y-axis direction. The shape is such that the length of the extending side 15a can be regarded as a rectangular parallelepiped of a0. The specific size of the detection range 15 (the length of the side 15a and the side 15b, etc.) is determined according to the arrangement state of the transmission coil unit 48 (transmission coil 49) housed in the housing 41A. Therefore, the detection range area 202 of the detection range image 200 has two sides each having a length a0 (a side 202a extending in the Y-axis direction) and a length b0 in another side (a side 202b extending in the X-axis direction). Has a rectangular (rectangular) shape.

一例として本実施形態の支援装置１６は、図８に示したハードウェアを含んで構成されるマイクロコンピュータ等により実現される。図８に示すように、支援装置１６は、ＣＰＵ９０、ＲＯＭ９２、ＲＡＭ９４、Ｉ／Ｆ９５、及びＨＤＤ、ＳＳＤ、及びフラッシュメモリ等の不揮発性の記憶部９６を備えている。ＣＰＵ９０、ＲＯＭ９２、ＲＡＭ９４、Ｉ／Ｆ９５、及び記憶部９６は、互いに通信が可能にバス９９に、接続されている。記憶部９６には、詳細を後述する支援処理を実行するための支援処理プログラム９８が記憶されている。ＣＰＵ９０は、記憶部９６から支援処理プログラム９８を読み出してからＲＡＭ９４に展開し、展開した支援処理プログラム９８を実行する。ＣＰＵ９０が、支援処理プログラム９８を実行することで、第１検出部７１、第２検出部７２、取得部７４、生成部７６、及び表示制御部７８の各々として機能する。また、支援装置１６は、Ｉ／Ｆ２９を介して、内視鏡検査装置１２の全体制御部４０と種々の情報の送受信を行う。   As an example, the support device 16 of the present embodiment is realized by a microcomputer or the like including the hardware shown in FIG. As shown in FIG. 8, the support device 16 includes a CPU 90, a ROM 92, a RAM 94, an I / F 95, and a nonvolatile storage unit 96 such as an HDD, an SSD, and a flash memory. The CPU 90, the ROM 92, the RAM 94, the I / F 95, and the storage unit 96 are connected to a bus 99 so that they can communicate with each other. The storage unit 96 stores a support processing program 98 for executing a support process described in detail later. The CPU 90 reads out the support processing program 98 from the storage unit 96, expands it in the RAM 94, and executes the expanded support processing program 98. The CPU 90 functions as the first detection unit 71, the second detection unit 72, the acquisition unit 74, the generation unit 76, and the display control unit 78 by executing the support processing program 98. The support device 16 transmits and receives various information to and from the overall control unit 40 of the endoscope inspection device 12 via the I / F 29.

次に、本実施形態の支援装置１６の作用を説明する。図９は、支援装置１６のＣＰＵ９０によって実行される支援処理の流れの一例を示すフローチャートである。一例として、本実施形態の支援装置１６では、検査者によって、支援装置１６の操作部（図示省略）を介して、支援処理の実行の指示が成された場合に、ＣＰＵ９０が、支援処理プログラム９８を実行することにより、図９に示した支援処理が実行される。なお、本支援処理は、被検体Ｗに内視鏡１０の挿入部１０Ａが挿入された状態か否かに関わらず実行される。   Next, the operation of the support device 16 of the present embodiment will be described. FIG. 9 is a flowchart illustrating an example of the flow of a support process performed by the CPU 90 of the support device 16. As an example, in the support device 16 of the present embodiment, when the examiner gives an instruction to execute the support process via the operation unit (not shown) of the support device 16, the CPU 90 executes the support process program 98. Is executed, the support processing shown in FIG. 9 is executed. The present support process is executed regardless of whether the insertion section 10A of the endoscope 10 is inserted into the subject W.

ステップＳ１００で第１検出部７１は、被検体Ｗと筐体４１Ａとの相対的な位置及び姿勢を検出する。上述したように、本実施形態の第１検出部７１は、筐体４１Ａの検出面４１Ｂから被検体Ｗの体表面までの距離（以下、「被検体Ｗとの距離」という）、及び被検体Ｗに対する筐体４１Ａの検出面４１Ｂの向き（角度）（以下、「被検体Ｗとの角度」という）を検出する。具体的には、例えば、第１検出部７１が赤外線センサの場合、被検体Ｗの、内視鏡１０の挿入部１０Ａを挿入する部位に応じた体表（例えば、腹部）と、筐体４１Ａの検出面４１Ｂとの距離を検出する。また例えば、第１検出部７１がウェブカメラ等の小型の撮像装置の場合、撮像装置を２台設け、２台の撮像装置各々により被検体Ｗを撮像して得られた撮像画像に対してステレオマッチング等を行い、被検体Ｗの体表面の３次元形状を取得し、取得した３次元形状に基づいて、被検体Ｗとの距離及び角度を検出する。   In step S100, the first detection unit 71 detects the relative position and posture between the subject W and the housing 41A. As described above, the first detection unit 71 of the present embodiment includes the distance from the detection surface 41B of the housing 41A to the body surface of the subject W (hereinafter, referred to as “distance to the subject W”), and the The direction (angle) of the detection surface 41B of the housing 41A with respect to W (hereinafter, referred to as “angle with the subject W”) is detected. Specifically, for example, when the first detection unit 71 is an infrared sensor, a body surface (for example, an abdomen) of the subject W according to a part into which the insertion unit 10A of the endoscope 10 is inserted, and the housing 41A Is detected with respect to the detection surface 41B. Further, for example, when the first detection unit 71 is a small imaging device such as a web camera, two imaging devices are provided, and a stereoscopic image is obtained for an imaging image obtained by imaging the subject W by each of the two imaging devices. By performing matching or the like, a three-dimensional shape of the body surface of the subject W is acquired, and a distance and an angle to the subject W are detected based on the acquired three-dimensional shape.

また例えば、第１検出部７１を受信コイル２３及び送信コイル４９と同様の、磁界検出素子及び磁界発生素子とし、一方の素子を被検体Ｗの体表面に取り付けて、磁界検出素子から出力される検出信号に基づいて、被検体Ｗとの距離及び角度を検出してもよい。なお、この場合、内視鏡１０の内部に設けられる方の素子（本実施形態では、受信コイル２３）を被検体Ｗの体表面に取り付けることにより、送信部４１の送信コイル４９を利用して、被検体Ｗとの距離及び角度を検出することができる。   Further, for example, the first detection unit 71 is a magnetic field detection element and a magnetic field generation element similar to the reception coil 23 and the transmission coil 49, and one element is attached to the body surface of the subject W and output from the magnetic field detection element. The distance and angle to the subject W may be detected based on the detection signal. In this case, by attaching the element (the receiving coil 23 in the present embodiment) provided inside the endoscope 10 to the body surface of the subject W, the transmitting coil 49 of the transmitting unit 41 is used. , And the distance and angle to the subject W can be detected.

なお、内視鏡１０の挿入部１０Ａを被検体Ｗに挿入した状態の場合、検出装置１４により検出された各受信コイル２３の位置情報から、受信コイル２３との距離を導出し、得られた距離に、被検体Ｗの腹部の平均的な厚みを加算した値を被検体Ｗとの距離としてもよい。この場合、第１検出部７１としてセンサや撮像装置を別途設ける場合に比べて、装置全体を小型化することができ、また、被検体Ｗとの距離を簡便に導出することができる。   In the case where the insertion section 10A of the endoscope 10 is inserted into the subject W, the distance to the reception coil 23 is derived from the position information of each reception coil 23 detected by the detection device 14 and obtained. A value obtained by adding the average thickness of the abdomen of the subject W to the distance may be used as the distance to the subject W. In this case, as compared with the case where a sensor or an imaging device is separately provided as the first detection unit 71, the entire device can be reduced in size, and the distance to the subject W can be easily derived.

次のステップＳ１０２で第２検出部７２は、筐体４１Ａと支援装置１６の投影部７０との相対的な位置及び姿勢を検出する。上述したように、本実施形態の第２検出部７２は、筐体４１Ａにおける検出面４１Ｂの基準点４１Ｃ（図１０参照）と、支援装置１６の筐体１６Ａにおける投光面１６Ｂの基準点１６Ｃ（図１０参照）とのＸ軸方向及びＺ軸方向の距離を検出する。また、第２検出部７２は、筐体１６Ａの投光面１６Ｂと、筐体４１Ａの検出面４１Ｂとが成す角度を検出する。以下、図１０を参照して、第２検出部７２による具体的な検出方法の一例を説明する。   In the next step S102, the second detection unit 72 detects the relative position and orientation between the housing 41A and the projection unit 70 of the support device 16. As described above, the second detection unit 72 of the present embodiment includes the reference point 41C of the detection surface 41B in the housing 41A (see FIG. 10) and the reference point 16C of the light emitting surface 16B in the housing 16A of the support device 16. (See FIG. 10) in the X-axis direction and the Z-axis direction. Further, the second detection unit 72 detects an angle formed between the light emitting surface 16B of the housing 16A and the detection surface 41B of the housing 41A. Hereinafter, an example of a specific detection method by the second detection unit 72 will be described with reference to FIG.

まず、第２検出部７２は、距離ｋ１及びｋ２を、直動関節１０８及び固定関節１１０に設けられたセンサ（エンコーダ）を用いて検出する。なお、距離ｋ１は、検出面４１Ｂと軸１０２の中心線との距離であり、距離ｋ２は、直動関節１０８と固定関節１１０との距離である。また、第２検出部７２は、距離ｋ３、ｋ４、及びｋ５を取得する。距離ｋ３は、アーム１１２の長さであり、距離ｋ４は、アーム１１６の長さであり、距離ｋ５は、筐体１６Ａの投光面１６Ｂと回転関節１１８の回転中心との距離であり、各々固定値である。本実施形態では、これらの固定値は、予め記憶部９６に記憶されており、第２検出部７２は、記憶部９６に記憶されている各固定値を取得する。   First, the second detection unit 72 detects the distances k1 and k2 by using sensors (encoders) provided on the translation joint 108 and the fixed joint 110. Note that the distance k1 is the distance between the detection surface 41B and the center line of the shaft 102, and the distance k2 is the distance between the translation joint 108 and the fixed joint 110. In addition, the second detection unit 72 acquires the distances k3, k4, and k5. The distance k3 is the length of the arm 112, the distance k4 is the length of the arm 116, and the distance k5 is the distance between the light projecting surface 16B of the housing 16A and the rotation center of the rotary joint 118. It is a fixed value. In the present embodiment, these fixed values are stored in the storage unit 96 in advance, and the second detection unit 72 acquires each fixed value stored in the storage unit 96.

また、第２検出部７２は、角度θ１及びθ２を、回転関節１１４及び回転関節１１８の各々に設けられたセンサ（エンコーダ）を用いて検出する。なお、角度θ１は、アーム１１６とアーム１１２とが成す角度であり、角度θ２は、アーム１１６とアーム１２０とが成す角度である。   In addition, the second detection unit 72 detects the angles θ1 and θ2 using sensors (encoders) provided in each of the rotating joint 114 and the rotating joint 118. The angle θ1 is an angle formed between the arm 116 and the arm 112, and the angle θ2 is an angle formed between the arm 116 and the arm 120.

さらに、第２検出部７２は、下記（１）式により、投光面１６Ｂの基準点１６Ｃと検出面４１Ｂの基準点４１ＣとのＸ軸方向の距離Ｘを導出する。また、第２検出部７２は、下記（２）式により、投光面１６Ｂの基準点１６Ｃと検出面４１Ｂの基準点４１ＣとのＺ軸方向の距離Ｚを導出する。さらに、第２検出部７２は、下記（３）式により、投光面１６Ｂと検出面４１Ｂとが成す角度θｐを導出する。なお、本実施形態では、投光面１６Ｂの基準点１６Ｃと検出面４１Ｂの基準点４１ＣとのＹ軸方向の位置は、同一としている。また、本実施形態において基準点１６Ｃを、投影部７０が投光に用いるレンズの中心点としている。   Further, the second detection unit 72 derives a distance X in the X-axis direction between the reference point 16C of the light projecting surface 16B and the reference point 41C of the detection surface 41B by the following equation (1). Further, the second detection unit 72 derives a distance Z in the Z-axis direction between the reference point 16C of the light projecting surface 16B and the reference point 41C of the detection surface 41B by the following equation (2). Further, the second detection unit 72 derives an angle θp formed by the light projecting surface 16B and the detection surface 41B by the following equation (3). In the present embodiment, the position in the Y-axis direction of the reference point 16C of the light projecting surface 16B and the reference point 41C of the detection surface 41B are the same. In the present embodiment, the reference point 16C is the center point of the lens used by the projection unit 70 for projecting light.

Ｘ＝ｋ２＋ｋ４×ｓｉｎθ１−ｋ５×ｓｉｎ（θ２−θ１） ・・・（１）
Ｚ＝ｋ３＋ｋ４×ｃｏｓθ１＋ｋ５×ｃｏｓ（θ２−θ１）−ｋ１ ・・・（２）
θｐ＝θ２−θ１ ・・・（３） X = k2 + k4 × sin θ1−k5 × sin (θ2−θ1) (1)
Z = k3 + k4 × cos θ1 + k5 × cos (θ2-θ1) -k1 (2)
θp = θ2−θ1 (3)

なお、上記ステップＳ１００及びＳ１０２の各処理を実行する順番は、限定されず、処理の順番が逆（ステップＳ１０２が先）であってもよいし、両処理を並列に実行してもよい。   The order in which the processes in steps S100 and S102 are executed is not limited, and the order of the processes may be reversed (step S102 is first), or both processes may be executed in parallel.

次のステップＳ１０４で取得部７４は、第１検出部７１の検出結果を表す情報を取得して生成部７６に出力する。また、取得部７４は、第２検出部７２の検出結果を表す情報を取得して、生成部７６に出力する。   In the next step S104, the acquisition unit 74 acquires information indicating the detection result of the first detection unit 71 and outputs the information to the generation unit 76. Further, the obtaining unit 74 obtains information indicating the detection result of the second detecting unit 72 and outputs the information to the generating unit 76.

次のステップＳ１０６で生成部７６は、取得した第１検出部７１の検出結果及び第２検出部７２の検出結果が、前回、上記ステップＳ１０４の処理により取得した第１検出部７１の検出結果及び第２検出部７２の検出結果から変化したか否かを判定する。変化した場合、ステップＳ１０６の判定が肯定判定となり、ステップＳ１０８へ移行する。なお、本支援処理を開始した直後は、ステップＳ１０６の処理を省略してもよい。   In the next step S106, the generation unit 76 determines whether the obtained detection result of the first detection unit 71 and the detection result of the second detection unit 72 are the same as the detection result of the first detection unit 71 obtained in the previous step S104. It is determined from the detection result of the second detection unit 72 whether or not a change has occurred. If it has changed, the determination in step S106 is affirmative, and the process proceeds to step S108. Immediately after starting the support processing, the processing in step S106 may be omitted.

ステップＳ１０８で生成部７６は、第１検出部７１の検出結果、及び第２検出部７２の検出結果に基づいて、検出範囲画像２００を生成する。本実施形態の生成部７６における、検出範囲画像２００の生成方法の例について、具体的に説明する。   In step S108, the generation unit 76 generates the detection range image 200 based on the detection result of the first detection unit 71 and the detection result of the second detection unit 72. An example of a method of generating the detection range image 200 in the generation unit 76 of the present embodiment will be specifically described.

一例として、図１１Ａに示すように本実施形態では、支援装置１６の基準点１６Ｃから投影面までの投影距離がＬ０である場合、検出範囲画像２００の幅（辺２００ｗの長さ）がｗ０、及び高さ（辺２００ｈの長さ）がｈ０であり、検出範囲領域２０２の辺２０２ａの長さがａ、及び辺２０２ｂの長さがｂである検出範囲画像２００を基準画像としている。   As an example, as shown in FIG. 11A, in the present embodiment, when the projection distance from the reference point 16C of the support device 16 to the projection plane is L0, the width (length of the side 200w) of the detection range image 200 is w0, And the height (length of the side 200h) is h0, and the detection range image 200 in which the length of the side 202a of the detection range area 202 is a and the length of the side 202b is b is set as the reference image.

被検体Ｗの体表面（投影面）と筐体４１Ａとの距離が変化した場合、投影距離が変化することになり、投影面における検出範囲画像２００の大きさが、投影距離の変化に応じて変化する。一例として、投影距離がＬ０からＬ１（Ｌ０＜Ｌ１）に変化した場合について、図１１Ｂを参照して説明する。図１１Ｂに示すように、投影距離がＬ１の投影面に投影される検出範囲画像２００の各辺の長さは、上記の基準画像の検出範囲画像２００の各辺の長さに、投影距離Ｌ１を投影距離Ｌ０で除した値（Ｌ１／Ｌ０）を乗算した長さとなる。具体的には、辺２０２ｗの長さ及び辺２００ｈの長さは、各々下記（４）式及び下記（５）式により得られる。
辺２００ｗ：ｗ０×Ｌ１／Ｌ０ ・・・（４）
辺２００ｈ：ｈ０×Ｌ１／Ｌ０ ・・・（５） When the distance between the body surface (projection plane) of the subject W and the housing 41A changes, the projection distance changes, and the size of the detection range image 200 on the projection plane changes according to the change in the projection distance. Change. As an example, a case where the projection distance changes from L0 to L1 (L0 <L1) will be described with reference to FIG. 11B. As shown in FIG. 11B, the length of each side of the detection range image 200 projected on the projection plane having the projection distance L1 is equal to the length of each side of the detection range image 200 of the reference image, and the projection distance L1 Is divided by the projection distance L0 (L1 / L0). Specifically, the length of the side 202w and the length of the side 200h are obtained by the following equations (4) and (5), respectively.
Side 200w: w0 × L1 / L0 (4)
Side 200h: h0 × L1 / L0 (5)

上述した図１１Ａに示した基準画像を、そのまま投影距離がＬ１の投影面に投影した場合、検出範囲画像２００の各辺の長さも、投影距離Ｌ１を投影距離Ｌ０で除した値（Ｌ１／Ｌ０）を乗算した長さとなる。   When the above-described reference image shown in FIG. 11A is directly projected onto a projection plane having a projection distance of L1, the length of each side of the detection range image 200 is also calculated by dividing the projection distance L1 by the projection distance L0 (L1 / L0). ).

しかしながら、上述したように、投影面における検出範囲領域２０２の大きさは投影距離によらず変化しない。すなわち、検出範囲画像２００の大きさが変化しても検出範囲領域２０２の大きさは変化せず、投影距離がＬ１の場合も検出範囲領域２０２の辺２０２ａの長さはａであり、辺２０２ｂの長さはｂである。従って、基準画像をそのまま用いると、図１１Ｂに示した、投影距離がＬ１の投影面に投影した場合の検出範囲画像２００よりも、検出範囲領域２０２の大きさが大きくなってしまう。   However, as described above, the size of the detection range area 202 on the projection plane does not change regardless of the projection distance. That is, even if the size of the detection range image 200 changes, the size of the detection range region 202 does not change. Even when the projection distance is L1, the length of the side 202a of the detection range region 202 is a, and the side 202b Is b in length. Therefore, if the reference image is used as it is, the size of the detection range area 202 will be larger than the detection range image 200 shown in FIG. 11B when projected onto the projection plane with the projection distance L1.

投影距離がＬ１である投影面に、図１１Ｂに示した検出範囲画像２００を投影する場合、投影距離がＬ０である投影面における検出範囲領域２０２の各辺の長さは、上記の基準画像の検出範囲領域２０２の各辺の長さに投影距離Ｌ０を投影距離Ｌ１で除した値（Ｌ０／Ｌ１）を乗算した長さとなる。具体的には、辺２０２ａの長さ及び辺２０２ｂの長さは、各々下記（６）式及び下記（７）式により得られる。
辺２０２ａ：ａ×Ｌ０／Ｌ１ ・・・（６）
辺２０２ｂ：ｂ×Ｌ０／Ｌ１ ・・・（７） When projecting the detection range image 200 shown in FIG. 11B onto the projection plane whose projection distance is L1, the length of each side of the detection range area 202 on the projection plane whose projection distance is L0 is the length of the above-described reference image. The length is obtained by multiplying the length of each side of the detection range area 202 by a value (L0 / L1) obtained by dividing the projection distance L0 by the projection distance L1. Specifically, the length of the side 202a and the length of the side 202b are obtained by the following equations (6) and (7), respectively.
Side 202a: a × L0 / L1 (6)
Side 202b: b × L0 / L1 (7)

従って、この場合、本実施形態の生成部７６は、検出範囲領域２０２の大きさを上記（６）式及び（７）式の大きさとした検出範囲画像２００を生成する。   Therefore, in this case, the generation unit 76 of the present embodiment generates the detection range image 200 in which the size of the detection range area 202 is set to the size of the above formulas (6) and (7).

さらに、図１２Ａを参照して、生成部７６による検出範囲画像２００の生成方法の具体例について説明する。図１２Ａに示した一例では、図５及び図７Ｂを参照して説明した、筐体４１Ａと一体的に構成された支援装置１６により、投影面２５０に検出範囲画像２００を投影する場合について説明する。図１２Ａに示した一例では、投影面２５０に、Ｘ軸方向の長さがａ０（図示省略）、かつＹ軸方向の長さがｂ０の検出範囲領域２０２を有する検出範囲画像２００が投影されるためには、支援装置１６が投影する検出範囲画像２００における検出範囲領域２０２の投影範囲は、図１２Ａにおいて濃いハッチングで示した投影範囲２５５となる。   Further, a specific example of a method of generating the detection range image 200 by the generation unit 76 will be described with reference to FIG. 12A. In the example illustrated in FIG. 12A, a case will be described in which the detection range image 200 is projected on the projection plane 250 by the support device 16 configured integrally with the housing 41 </ b> A described with reference to FIGS. 5 and 7B. . In the example shown in FIG. 12A, a detection range image 200 having a detection range region 202 whose length in the X-axis direction is a0 (not shown) and whose length in the Y-axis direction is b0 is projected on the projection plane 250. For this purpose, the projection range of the detection range area 202 in the detection range image 200 projected by the support device 16 is a projection range 255 indicated by dark hatching in FIG. 12A.

投影範囲２５５と検出範囲１５の上側（Ｘ軸方向上側）端部とが成す角度を角度α１とし、投影面２５０と筐体４１Ａの検出面４１Ｂとの距離を距離Ｕとすると、角度α１は、下記（８）式により得られる。また、投影範囲２５５と検出範囲１５の下側（Ｘ軸方向下側）端部とが成す角度を角度β１とした場合、角度β１は、下記（９）式により得られる。
ｔａｎα１＝（Ｘ−ｂ０／２）／（Ｕ−Ｚ） ・・・（８）
ｔａｎβ１＝（Ｘ＋ｂ０／２）／（Ｕ−Ｚ） ・・・（９） Assuming that the angle formed between the projection range 255 and the upper end (upper side in the X-axis direction) of the detection range 15 is an angle α1, and the distance between the projection surface 250 and the detection surface 41B of the housing 41A is a distance U, the angle α1 is It is obtained by the following equation (8). When the angle formed by the projection range 255 and the lower end (lower side in the X-axis direction) of the detection range 15 is an angle β1, the angle β1 is obtained by the following equation (9).
tan α1 = (X−b0 / 2) / (U−Z) (8)
tanβ1 = (X + b0 / 2) / (U−Z) (9)

また、図１２Ａに示すように、支援装置１６の投光面１６Ｂと平行な投影面に対する垂線Ｌと投影範囲２５５とが成す角度を、角度α２及び角度β２とした場合、角度α２及び角度β２の各々は、下記（１０）式及び（１１）式により得られる。
α２＝θｐ−α１ ・・・（１０）
β２＝β１−θｐ ・・・（１１） Further, as shown in FIG. 12A, when angles formed by a perpendicular L to the projection plane parallel to the light projection surface 16B of the support device 16 and the projection range 255 are angles α2 and β2, the angles α2 and β2 Each is obtained by the following equations (10) and (11).
α2 = θp-α1 (10)
β2 = β1−θp (11)

従って、図１２Ｂに示すように、投影距離がＬ０の場合の、検出範囲画像２００における検出範囲領域２０２の辺２０２ｂの長さは、下記（１２）式により得られる。
辺２０２ｂ：Ｂ１＋Ｂ２＝Ｌ０×（ｔａｎ（θｐ−α１）＋ｔａｎ（β１−θｐ）） ・・・（１２）
但し、Ｂ１＝Ｌ０×ｔａｎα２＝Ｌ０×ｔａｎ（θｐ−α１）
Ｂ２＝Ｌ０×ｔａｎβ２＝Ｌ０×ｔａｎ（β１−θｐ） Therefore, as shown in FIG. 12B, the length of the side 202b of the detection range area 202 in the detection range image 200 when the projection distance is L0 is obtained by the following equation (12).
Side 202b: B1 + B2 = L0 × (tan (θp−α1) + tan (β1−θp)) (12)
Here, B1 = L0 × tan α2 = L0 × tan (θp−α1)
B2 = L0 × tan β2 = L0 × tan (β1-θp)

従って、この場合、本実施形態の生成部７６は、検出範囲領域２０２の大きさについて、辺２０２ａの長さをａ、辺２０２ｂの長さを上記（１２）式の長さとした検出範囲画像２００を生成する。   Therefore, in this case, the generation unit 76 of the present embodiment sets the detection range image 200 in which the length of the side 202a is a and the length of the side 202b is the length of the above equation (12) for the size of the detection range area 202. Generate

なお、位置情報として、被検体Ｗの体表面の凹凸を表す情報が得られた場合、生成部７６は、得られた凹凸を表す情報に基づいて、検出範囲画像２００に対してアフィン変換等を適用することで、被検体Ｗの体表面の凹凸に応じた検出範囲画像２００を生成してもよい。   When information representing the unevenness of the body surface of the subject W is obtained as the position information, the generation unit 76 performs affine transformation or the like on the detection range image 200 based on the obtained information indicating the unevenness. By applying the detection range image, a detection range image 200 corresponding to the unevenness of the body surface of the subject W may be generated.

なお、投影部７０が、３次元画像の投影が可能な装置である場合、生成部７６は、３次元画像（立体画像）として検出範囲画像２００を生成してもよい。この場合、例えば、検査者が、円偏光式等を適用した立体視用の眼鏡を着用することで、検出範囲画像２００を立体画像として表示させることができる。   When the projection unit 70 is a device that can project a three-dimensional image, the generation unit 76 may generate the detection range image 200 as a three-dimensional image (stereo image). In this case, the detection range image 200 can be displayed as a stereoscopic image by, for example, the examiner wearing glasses for stereoscopic vision to which a circular polarization method or the like is applied.

なお、支援装置１６の位置、及び角度（上記角度θｐ）等によっては、被検体Ｗの体表面、検出範囲１５に応じた検出範囲領域２０２を含む検出範囲画像２００を生成部７６が生成できない場合がある。例えば、角度θｐが９０度であり、筐体４１Ａの検出面４１Ｂと被検体Ｗとが対向している場合、検出範囲画像２００を被検体Ｗの体表面の上に投影することができないことがある。このように、検出範囲１５を表す検出範囲領域２０２を欠けることなく被検体Ｗの体表面の上に投影できない場合、ステップＳ１０８の処理の後、支援装置１６の位置や角度の調整を即すメッセージを検査者に対して出力する等、予め定められたエラー処理を行う形態としてもよい。   Note that the generation unit 76 cannot generate the detection range image 200 including the detection range region 202 corresponding to the body surface of the subject W and the detection range 15 depending on the position, the angle (the above angle θp), and the like of the support device 16. There is. For example, when the angle θp is 90 degrees and the detection surface 41B of the housing 41A faces the subject W, the detection range image 200 cannot be projected on the body surface of the subject W. is there. As described above, when it is not possible to project onto the body surface of the subject W without missing the detection range area 202 representing the detection range 15, after the processing in step S108, a message prompting the adjustment of the position and angle of the support device 16 May be performed to the inspector, and a predetermined error process may be performed.

次のステップＳ１１０で表示制御部７８は、生成部７６が生成した検出範囲画像の画像データに基づいて、投影部７０から、検出範囲画像２００を表す光を投光し、被検体Ｗの体表面である投影面に、検出範囲画像２００を投影する。このように被検体Ｗの体表面の上に検出範囲画像２００を表示した後、ステップＳ１１２へ移行する。   In the next step S110, the display control unit 78 projects light representing the detection range image 200 from the projection unit 70 based on the image data of the detection range image generated by the generation unit 76, and The detection range image 200 is projected on the projection plane of. After displaying the detection range image 200 on the body surface of the subject W as described above, the process proceeds to step S112.

このように、支援装置１６により、被検体Ｗの体表面の上に検出範囲画像２００が表示されると、検査者は、検出範囲画像２００の検出範囲領域２０２を確認し、内視鏡検査を行う範囲（挿入部１０Ａを挿入する範囲）に対応しているか否かを判断することができる。検出範囲領域２０２が、内視鏡検査を行う範囲に対応していない場合、検査者は、送信部４１が収納された筐体４１Ａの位置及び姿勢を調整したり、被検体Ｗの位置及び姿勢を調整したりする。   As described above, when the detection range image 200 is displayed on the body surface of the subject W by the support device 16, the examiner checks the detection range region 202 of the detection range image 200, and performs the endoscopic examination. It can be determined whether or not it corresponds to the range to be performed (the range in which the insertion section 10A is inserted). When the detection range area 202 does not correspond to the range in which the endoscopic examination is performed, the examiner adjusts the position and orientation of the housing 41A in which the transmission unit 41 is stored, and adjusts the position and orientation of the subject W. Or to adjust.

一方、上記ステップＳ１０６において前回の検出結果から変化していない場合は、否定判定となり、ステップＳ１１２へ移行する。   On the other hand, if there is no change from the previous detection result in step S106, a negative determination is made, and the process proceeds to step S112.

ステップＳ１１２で表示制御部７８は、本支援処理を終了するか否かを判定する。本実施形態では、一例として、本実施形態の支援装置１６では、検査者によって、支援装置１６の操作部（図示省略）を介して、支援処理の実行の終了の指示が成された場合に、本支援処理を終了するために、ステップＳ１１２の判定が肯定判定となる。ステップＳ１１２の判定が肯定判定となった場合、本支援処理を終了する。一方、支援処理の実行の終了の指示が成されていない場合、ステップＳ１１２の判定が否定判定となり、ステップＳ１００に戻り、上記ステップＳ１０２〜Ｓ１１０の各処理を繰り返す。   In step S112, the display control unit 78 determines whether to end the support processing. In the present embodiment, as an example, in the support device 16 of the present embodiment, when the inspector gives an instruction to end the execution of the support process via the operation unit (not shown) of the support device 16, In order to end the present support processing, the determination in step S112 is affirmative. When the determination in step S112 is affirmative, the present support process ends. On the other hand, if the instruction to end the execution of the support process has not been issued, the determination in step S112 is negative, the process returns to step S100, and the processes in steps S102 to S110 are repeated.

このように、本実施形態の支援装置１６は、送信部４１を収納する筐体４１Ａと被検体Ｗとの位置関係を表す情報に基づいて、被検体Ｗの体表面の上に、検出範囲１５を表す検出範囲領域２０２を含む検出範囲画像２００を表示する。   As described above, the support device 16 of the present embodiment places the detection range 15 on the body surface of the subject W based on the information indicating the positional relationship between the case 41A that houses the transmission unit 41 and the subject W. The detection range image 200 including the detection range region 202 representing the image is displayed.

なお、本実施形態では、レンズから放射状に投光した光により、検出範囲画像２００を表示する投影部７０について説明したが、投影部７０の構成は本実施形態に限定されない。本実施形態では、投影部７０が上述の構成を有しているため、検出範囲画像２００内での検出範囲領域２０２の位置及び大きさを変える形態とした。例えば、投影部７０を、検出範囲画像２００を投影するレンズの向き、位置、及び拡大率等の変更が可能な構成を有する形態としてもよい。投影部７０がこの形態である場合、検出範囲画像２００を検出範囲領域２０２のみが含まれる画像とし、レンズの向き、位置、及び拡大率等を調整することで、適切な検出範囲画像２００（検出範囲領域２０２）を表示させる形態としてもよい。また例えば、検出範囲画像２００が検出範囲領域２０２のみを含む場合、投光が広がる範囲を制御するフィルタや遮蔽部等の、検出範囲領域２０２に応じた大きさに限部を設け、投光制限部により、検出範囲画像２００（検出範囲領域２０２）の大きさ及び位置を制御する形態としてもよい。   In the present embodiment, the projection unit 70 that displays the detection range image 200 using light radially projected from the lens has been described. However, the configuration of the projection unit 70 is not limited to this embodiment. In the present embodiment, since the projection unit 70 has the above-described configuration, the position and the size of the detection range area 202 in the detection range image 200 are changed. For example, the projection unit 70 may be configured to have a configuration in which the direction, position, enlargement ratio, and the like of the lens that projects the detection range image 200 can be changed. When the projection unit 70 is in this mode, the detection range image 200 is an image including only the detection range region 202, and the direction, the position, the magnification, and the like of the lens are adjusted, so that the appropriate detection range image 200 (detection The range area 202) may be displayed. Also, for example, when the detection range image 200 includes only the detection range region 202, a limited portion having a size corresponding to the detection range region 202, such as a filter or a shielding portion for controlling a range in which light is projected, is provided. The size and the position of the detection range image 200 (the detection range region 202) may be controlled by a unit.

［第２実施形態］
以下、第２実施形態について詳細に説明する。なお、本実施形態では、上記第１実施形態で説明した構成及び作用と同一の構成及び作用については同一の符号を付し、詳細な説明を省略する。 [Second embodiment]
Hereinafter, the second embodiment will be described in detail. In the present embodiment, the same components and operations as those described in the first embodiment are denoted by the same reference numerals, and detailed description is omitted.

本実施形態の内視鏡システム１の全体的な構成及び作用は、第１実施形態の内視鏡システム１の全体的な構成（図１参照）及び作用と同様であるため、説明を省略する。また、本実施形態の内視鏡検査装置１２及び検出装置１４の構成及び作用は、第１実施形態の内視鏡検査装置１２及び検出装置１４の構成（図１〜図４参照）及び作用と同様であるため、説明を省略する。   The overall configuration and operation of the endoscope system 1 according to the present embodiment are the same as the overall configuration (see FIG. 1) and operation of the endoscope system 1 according to the first embodiment, and a description thereof will be omitted. . The configuration and operation of the endoscope inspection device 12 and the detection device 14 of the present embodiment are the same as the configuration (see FIGS. 1 to 4) and operation of the endoscope inspection device 12 and the detection device 14 of the first embodiment. The description is omitted because it is the same.

一方、本実施形態の支援装置１６の構成及び作用は、第１実施形態の支援装置１６の構成及び作用と異なる。第１実施形態の支援装置１６では、被検体Ｗの体表面の上に、検出範囲画像２００を表示した。一方、本実施形態の支援装置１６では、被検体Ｗを撮像した撮像画像における被写体画像の上に、検出範囲画像を表示する。以下、本実施形態の支援装置１６の構成及び作用について説明する。   On the other hand, the configuration and operation of the support device 16 of the present embodiment are different from the configuration and operation of the support device 16 of the first embodiment. In the support device 16 of the first embodiment, the detection range image 200 is displayed on the body surface of the subject W. On the other hand, the support device 16 of the present embodiment displays the detection range image on the subject image in the captured image of the subject W. Hereinafter, the configuration and operation of the support device 16 of the present embodiment will be described.

まず、本実施形態の検出装置１４の構成について説明する。図１３には、本実施形態の検出装置１４と、被検体Ｗと、送信部４１を収納する筐体４１Ａとの関係の一例を表す図を示す。また、図１４には、本実施形態の支援装置１６の構成の一例の機能ブロック図を示す。図１３及び図１４に示すように、本実施形態の支援装置１６は、撮像部７５と、検出範囲画像を表示する表示部７９と、を備える。本実施形態の支援装置１６としては、専用の装置の他、例えば、スマートフォンやタブレット端末装置等の携帯型端末装置、及びスマートグラス等のヘッドマウントディスプレイを適用することができる。   First, the configuration of the detection device 14 of the present embodiment will be described. FIG. 13 is a diagram illustrating an example of the relationship between the detection device 14 of the present embodiment, the subject W, and the housing 41A that houses the transmission unit 41. FIG. 14 is a functional block diagram illustrating an example of the configuration of the support device 16 according to the present embodiment. As shown in FIGS. 13 and 14, the support device 16 of the present embodiment includes an imaging unit 75 and a display unit 79 that displays a detection range image. As the support device 16 of the present embodiment, in addition to a dedicated device, for example, a portable terminal device such as a smartphone or a tablet terminal device, and a head-mounted display such as a smart glass can be applied.

図１３に示すように、内視鏡検査を行う場合、より具体的には、内視鏡検査において検出装置１４により、内視鏡１０の挿入部１０Ａの形状の検出を行う場合、支援装置１６を、被検体Ｗを挟んで筐体４１Ａと対向する位置に配置する。   As shown in FIG. 13, when performing the endoscopic examination, more specifically, when detecting the shape of the insertion portion 10 </ b> A of the endoscope 10 by the detection device 14 in the endoscopic examination, the support device 16 is used. Is disposed at a position facing the housing 41A with the subject W interposed therebetween.

図１４に示すように、本実施形態の支援装置１６は、取得部７４、生成部７６、合成部７７、表示制御部７８、及び表示部７９を備える。取得部７４は、上述した撮像部７５を含む。撮像部７５は、被検体Ｗ及び筐体４１Ａを撮像して撮像画像の画像データを出力する。取得部７４は、撮像部７５が撮像した撮像画像に基づいて、筐体４１Ａの位置を表す位置情報を取得する。   As illustrated in FIG. 14, the support device 16 of the present embodiment includes an acquisition unit 74, a generation unit 76, a synthesis unit 77, a display control unit 78, and a display unit 79. The acquisition unit 74 includes the above-described imaging unit 75. The imaging unit 75 images the subject W and the housing 41A, and outputs image data of a captured image. The acquisition unit 74 acquires position information indicating the position of the housing 41A based on the captured image captured by the imaging unit 75.

生成部７６は、取得部７４が取得した筐体４１Ａの位置を表す位置情報に基づいて、検出範囲１５を表す検出範囲画像２００の画像データを生成して合成部７７に出力する。   The generation unit 76 generates image data of the detection range image 200 indicating the detection range 15 based on the position information indicating the position of the housing 41A acquired by the acquisition unit 74, and outputs the image data to the synthesis unit 77.

合成部７７は、取得部７４の撮像部７５が撮像した撮像画像に含まれる被検体Ｗを表す画像を抽出し、抽出した被検体Ｗを表す画像と、生成部７６が生成した検出範囲画像２００とを重畳させた状態に、両画像を合成した画像（以下、「合成画像」という）を生成し、生成した合成画像の画像データを表示制御部７８に出力する。   The synthesis unit 77 extracts an image representing the subject W included in the captured image captured by the imaging unit 75 of the acquisition unit 74, and extracts the extracted image representing the subject W and the detection range image 200 generated by the generation unit 76. Then, an image in which both images are combined (hereinafter, referred to as a “synthesized image”) is generated in a state where the images are superimposed, and image data of the generated synthesized image is output to the display control unit 78.

表示制御部７８は、撮像部７５が撮像した撮像画像に含まれる被検体の画像に、検出範囲画像２００を重畳（合成）した合成画像を表示部７９に表示させる制御を行う。具体的には、表示制御部７８は、合成部７７から入力された合成画像の画像データに応じた画像を表示部７９に表示させる。   The display control unit 78 controls the display unit 79 to display a composite image obtained by superimposing (synthesizing) the detection range image 200 on the image of the subject included in the captured image captured by the imaging unit 75. Specifically, the display control unit 78 causes the display unit 79 to display an image corresponding to the image data of the composite image input from the composite unit 77.

本実施形態の支援装置１６を実現するハードウェアの構成は、第１実施形態の支援装置１６を実現するハードウェアの構成（図８参照）と同様である。ＣＰＵ９０が、支援処理プログラム９８を実行することで、取得部７４、生成部７６、合成部７７、及び表示制御部７８の各々として機能する。   The configuration of the hardware that implements the support device 16 of the present embodiment is the same as the configuration of the hardware that implements the support device 16 of the first embodiment (see FIG. 8). By executing the support processing program 98, the CPU 90 functions as each of the obtaining unit 74, the generating unit 76, the synthesizing unit 77, and the display control unit 78.

次に本実施形態の支援装置１６の作用を説明する。図１５は、本実施形態の支援装置１６のＣＰＵ９０によって実行される支援処理の流れの一例を示すフローチャートである。一例として、本実施形態の支援装置１６では、検査者によって、支援装置１６の操作部（図示省略）を介して、支援処理の実行の指示が成された場合に、ＣＰＵ９０が、支援処理プログラム９８を実行することにより、図１５に示した支援処理が実行される。なお、第１実施形態と同様に、本支援処理は、被検体Ｗに内視鏡１０の挿入部１０Ａが挿入された状態か否かに関わらず実行される。   Next, the operation of the support device 16 of the present embodiment will be described. FIG. 15 is a flowchart illustrating an example of the flow of a support process performed by the CPU 90 of the support device 16 of the present embodiment. As an example, in the support device 16 of the present embodiment, when the examiner gives an instruction to execute the support process via the operation unit (not shown) of the support device 16, the CPU 90 executes the support process program 98. Is executed, the support processing shown in FIG. 15 is executed. Note that, similar to the first embodiment, this support processing is executed regardless of whether the insertion section 10A of the endoscope 10 is inserted into the subject W.

ステップＳ２００で取得部７４は、撮像部７５により被検体Ｗと筐体４１Ａとを撮像した撮像画像を取得する。一例として本実施形態の取得部７４は、被検体Ｗと筐体４１Ａとを撮像するのを促すメッセージを表示部７９に表示する。図１６には、支援装置１６側から見た、被検体Ｗ及び筐体４１Ａの状態の一例を表す。検査者は、メッセージに従い、図１６に示した状態の、被検体Ｗと筐体４１Ａとを撮像部７５により撮像する。取得部７４は、このようにメッセージに応じて撮像部７５により撮像された撮像画像を取得する。図１７には、撮像部７５により撮像された撮像画像の一例を示す。図１７に示した一例のように、撮像画像３００には、被検体Ｗの被検体画像３０２と、筐体４１Ａの筐体画像３０４とが含まれる。   In step S200, the acquisition unit 74 acquires a captured image of the subject W and the housing 41A captured by the imaging unit 75. As an example, the acquisition unit 74 of the present embodiment displays a message prompting to image the subject W and the housing 41A on the display unit 79. FIG. 16 illustrates an example of the state of the subject W and the housing 41A as viewed from the support device 16 side. The examiner takes an image of the subject W and the housing 41A in the state shown in FIG. The acquiring unit 74 acquires the captured image captured by the image capturing unit 75 in response to the message. FIG. 17 illustrates an example of a captured image captured by the imaging unit 75. As in the example shown in FIG. 17, the captured image 300 includes a subject image 302 of the subject W and a housing image 304 of the housing 41A.

次のステップＳ２０２で取得部７４は、撮像部７５により撮像された撮像画像に基づいて、筐体４１Ａの位置を表す位置情報を取得する。具体的には、本実施形態の取得部７４は、撮像画像３００を画像解析し、例えば、顔認識技術等を適用して、筐体画像３０４の色、形状、及び模様等から特頂点を抽出し、筐体４１Ａの検出面４１Ｂの位置、姿勢、及び大きさを検出する。なお、取得部７４が、撮像画像３００から筐体画像３０４の特徴点を検出し難いことが想定される場合、筐体４１Ａの検出面４１Ｂに２次元バーコード等の特頂点として検出可能なマーカを予め設けておくとよい。   In the next step S202, the obtaining unit 74 obtains position information indicating the position of the housing 41A based on the image captured by the image capturing unit 75. Specifically, the acquisition unit 74 of the present embodiment performs image analysis on the captured image 300, and extracts a special vertex from the color, shape, pattern, and the like of the housing image 304 by applying, for example, a face recognition technique. Then, the position, posture, and size of the detection surface 41B of the housing 41A are detected. When it is assumed that it is difficult for the acquisition unit 74 to detect the characteristic points of the housing image 304 from the captured image 300, a marker that can be detected as a special vertex such as a two-dimensional barcode is provided on the detection surface 41B of the housing 41A. May be provided in advance.

次のステップＳ２０４で生成部７６は、取得部７４が取得した位置情報、本実施形態では、一例として上述したように筐体４１Ａの検出面４１Ｂの位置、姿勢、及び大きさが、前回、上記ステップＳ２０２の処理により取得した情報から変化したか否かを判定する。変化した場合、ステップＳ２０４の判定が肯定判定となり、ステップＳ２０６へ移行する。なお、本支援処理を開始した直後は、ステップＳ２０４の処理を省略してもよい。   In the next step S204, the generation unit 76 determines the position information acquired by the acquisition unit 74, and in this embodiment, the position, orientation, and size of the detection surface 41B of the housing 41A as described above as an example. It is determined whether or not the information obtained by the processing in step S202 has changed. If it has changed, the determination in step S204 is affirmative, and the process proceeds to step S206. Immediately after the start of the support processing, the processing of step S204 may be omitted.

ステップＳ２０６で生成部７６は、取得部７４が取得した位置情報に基づいて検出範囲１５を表す検出範囲画像を生成した後、ステップＳ２０８へ移行する。本実施形態の生成部７６における検出範囲画像の生成方法の例について説明する。   In step S206, the generation unit 76 generates a detection range image representing the detection range 15 based on the position information acquired by the acquisition unit 74, and then proceeds to step S208. An example of a method of generating a detection range image in the generation unit 76 of the present embodiment will be described.

第１実施形態において上述したように、検出範囲１５は、筐体４１Ａ内に収納された送信コイルユニット４８（送信コイル４９）の配置に応じて定まる。本実施形態では、検出範囲１５の大きさと、筐体４１Ａの検出面４１Ｂの大きさとの対応関係を予め得ておき、記憶部９６に予め記憶させておく。また、予め基準となる大きさの検出範囲１５に対応する検出範囲画像の画像データを記憶部９６に記憶させておく。そして、生成部７６は、記憶部９６に記憶されている、この対応関係に基づいて、記憶部９６に記憶されている画像データに応じた検出範囲画像に、アフィン変換等を適用して、筐体４１Ａの検出面４１Ｂの位置、姿勢、及び大きさに対応する、位置、姿勢、及び大きさの検出範囲１５を示す検出範囲画像を生成する。   As described above in the first embodiment, the detection range 15 is determined according to the arrangement of the transmission coil unit 48 (transmission coil 49) housed in the housing 41A. In the present embodiment, the correspondence between the size of the detection range 15 and the size of the detection surface 41B of the housing 41A is obtained in advance and stored in the storage unit 96 in advance. The image data of the detection range image corresponding to the detection range 15 having the reference size is stored in the storage unit 96 in advance. Then, the generation unit 76 applies affine transformation or the like to the detection range image corresponding to the image data stored in the storage unit 96 based on this correspondence stored in the storage unit 96, and A detection range image indicating the detection range 15 of the position, posture, and size corresponding to the position, posture, and size of the detection surface 41B of the body 41A is generated.

一方、上記ステップＳ２０４において、前回の位置情報から変化していない場合は、否定判定となり、ステップＳ２０８へ移行する。   On the other hand, if the position information has not changed from the previous position information in step S204, a negative determination is made, and the process proceeds to step S208.

次のステップＳ２０８で合成部７７は、撮像画像３００の被検体画像３０２に、生成部７６が生成した検出範囲画像を合成（重畳）させた合成画像を生成する。なお、合成部７７が合成する検出範囲画像は、本ステップＳ２０８の直近に実施したステップＳ２０６において生成部７６が生成した検出範囲画像である。   In the next step S208, the synthesizing unit 77 generates a synthesized image obtained by synthesizing (superimposing) the detection range image generated by the generation unit 76 on the subject image 302 of the captured image 300. Note that the detection range image synthesized by the synthesis unit 77 is the detection range image generated by the generation unit 76 in step S206 immediately before step S208.

このように、本実施形態では、筐体４１Ａの位置情報に変化が有った場合、生成部７６が検出範囲画像を新たに生成し、合成部７７は、新たに生成した検出範囲画像を撮像画像３００の被検体画像３０２に合成する。一方、筐体４１Ａの位置情報に変化が無い場合、合成部７７は、前回、合成画像を生成した場合に用いた検出範囲画像を撮像画像３００の被検体画像３０２に合成する。   As described above, in the present embodiment, when there is a change in the position information of the housing 41A, the generation unit 76 newly generates a detection range image, and the synthesis unit 77 captures the newly generated detection range image. This is combined with the subject image 302 of the image 300. On the other hand, when there is no change in the position information of the housing 41A, the combining unit 77 combines the detection range image used when the previous combined image was generated, with the subject image 302 of the captured image 300.

図１８には、合成部７７により生成された合成画像３０８の一例を示す。図１８に示すように、合成画像３０８では、被検体画像３０２の上に検出範囲画像３１０が表示されている。なお、このように、被検体画像３０２と検出範囲画像３１０とを重畳することにより、被検体画像３０２が検出範囲画像３１０によって隠れてしまい、被検体Ｗと検出範囲１５との位置関係がわかり難くなるのを抑制するため、検出範囲画像３１０は、半透明の画像等とすることが好ましい。また、検出範囲画像３１０は、２次元の範囲である検出範囲１５に併せ、３次元画像としてもよい。   FIG. 18 illustrates an example of the composite image 308 generated by the composite unit 77. As shown in FIG. 18, in the composite image 308, a detection range image 310 is displayed on the subject image 302. In this way, by superimposing the subject image 302 and the detection range image 310, the subject image 302 is hidden by the detection range image 310, and the positional relationship between the subject W and the detection range 15 is difficult to understand. In order to prevent such a situation, the detection range image 310 is preferably a translucent image or the like. The detection range image 310 may be a three-dimensional image in addition to the detection range 15 which is a two-dimensional range.

次のステップＳ２１０で表示制御部７８は、合成部７７が生成した合成画像を表示部７９に表示させる。このように被検体画像３０２に検出範囲画像３１０が重畳された合成画像３０８を表示部７９に表示した後、ステップＳ２１２へ移行する。   In the next step S210, the display control section 78 causes the display section 79 to display the composite image generated by the composite section 77. After the composite image 308 in which the detection range image 310 is superimposed on the subject image 302 is displayed on the display unit 79, the process proceeds to step S212.

このように、支援装置１６により、合成画像３０８が表示されると、検査者は、合成画像３０８に含まれる検出範囲画像３１０を確認し、内視鏡検査を行う範囲（挿入部１０Ａを挿入する範囲）に対応しているか否かを判断することができる。検出範囲画像３１０が、内視鏡検査を行う範囲に対応していない場合、検査者は、送信部４１が収納された筐体４１Ａの位置及び姿勢を調整したり、被検体Ｗの位置及び姿勢を調整したりする。   As described above, when the composite image 308 is displayed by the support device 16, the examiner checks the detection range image 310 included in the composite image 308 and inserts the range in which the endoscopic inspection is performed (the insertion unit 10 </ b> A is inserted). Range) can be determined. When the detection range image 310 does not correspond to the range in which the endoscopic examination is performed, the examiner adjusts the position and the posture of the housing 41A in which the transmission unit 41 is stored, and adjusts the position and the posture of the subject W. Or to adjust.

ステップＳ２１２で表示制御部７８は、本支援処理を終了するか否かを判定する。一例として本実施形態においても、第１実施形態の支援装置１６で実行される支援処理（図９参照）のステップＳ１１２と同様に、本支援処理を終了するか否かを判定する。ステップＳ２１２の判定が肯定判定となった場合、本支援処理を終了する。一方、ステップＳ２１２の判定が否定判定となった場合、ステップＳ２００に戻り、上記ステップＳ２０２〜Ｓ２１０の各処理を繰り返す。   In step S212, the display control unit 78 determines whether to end the support processing. As an example, in the present embodiment, as in step S112 of the support process (see FIG. 9) executed by the support device 16 of the first embodiment, it is determined whether to end the support process. If the determination in step S212 is affirmative, the present support process ends. On the other hand, if the determination in step S212 is negative, the process returns to step S200, and the processes in steps S202 to S210 are repeated.

このように、本実施形態の支援装置１６は、送信部４１を収納する筐体４１Ａの位置情報に基づいて、被検体Ｗの被検体画像３０２の上に、検出範囲１５を表す検出範囲画像３１０を重畳した合成画像３０８を表示する。   As described above, the support device 16 according to the present embodiment includes the detection range image 310 representing the detection range 15 on the subject image 302 of the subject W based on the positional information of the housing 41A that houses the transmission unit 41. Are superimposed on the composite image 308.

以上説明したように、上記各実施形態の支援装置１６は、取得部７４と、表示制御部７８と、を備える。上記各実施形態の支援装置１６は、内視鏡１０における被検体Ｗに挿入する挿入部１０Ａに沿って設けられた、複数の受信コイル２３を含む受信コイルユニット２２、及び被検体Ｗの外部に設けられた筐体４１Ａ内に設けられた複数の送信コイル４９を含む送信コイルユニット４８によって検出された磁界を表す検出信号に基づき、検出装置１４により挿入部１０Ａの位置及び形状の少なくとも一方を検出する場合に、取得部７４が、送信コイルユニット４８の位置を表す位置情報を取得する。また、表示制御部７８が、取得部７４が取得した位置情報に基づいて、検出装置１４による検出が可能な検出範囲１５を表す検出範囲画像２００を、被検体Ｗの上に表示する制御を行う。   As described above, the support device 16 of each of the above embodiments includes the acquisition unit 74 and the display control unit 78. The support device 16 of each of the above-described embodiments includes a receiving coil unit 22 including a plurality of receiving coils 23 provided along the insertion portion 10A of the endoscope 10 that is inserted into the subject W, and an external portion of the subject W. At least one of the position and the shape of the insertion portion 10A is detected by the detection device 14 based on a detection signal representing a magnetic field detected by the transmission coil unit 48 including the plurality of transmission coils 49 provided in the provided housing 41A. In this case, the acquisition unit 74 acquires position information indicating the position of the transmission coil unit 48. The display control unit 78 performs control to display a detection range image 200 representing the detection range 15 that can be detected by the detection device 14 on the subject W based on the position information acquired by the acquisition unit 74. .

このように、上記各実施形態の支援装置１６では、表示制御部７８が、送信コイルユニット４８の位置情報に基づいて、検出装置１４による検出が可能な検出範囲１５を表す検出範囲画像２００を、被検体Ｗの上に表示する。送信コイルユニット４８の位置情報は、被検体Ｗに内視鏡１０の挿入部１０Ａが挿入されているか否かに関わらず取得することができる。従って、各実施形態の支援装置１６によれば、被検体Ｗに内視鏡１０の挿入部１０Ａが挿入されているか否かに関わらず、検出装置１４の検出範囲１５を検査者に提示することができる。   As described above, in the support device 16 of each of the above embodiments, the display control unit 78 generates the detection range image 200 representing the detection range 15 that can be detected by the detection device 14 based on the position information of the transmission coil unit 48. It is displayed on the subject W. The position information of the transmission coil unit 48 can be obtained regardless of whether the insertion section 10A of the endoscope 10 is inserted into the subject W. Therefore, according to the support device 16 of each embodiment, regardless of whether the insertion section 10A of the endoscope 10 is inserted into the subject W, the detection range 15 of the detection device 14 is presented to the examiner. Can be.

また、上記各実施形態の支援装置１６は、検出範囲１５を表す検出範囲画像２００を、被検体Ｗの上に表示する。第１実施形態の支援装置１６では、被検体Ｗの体表面の上に検出範囲画像を表示する。また、第２実施形態の支援装置１６では、被検体Ｗの被検体画像３０２の上に、検出範囲画像３１０を重畳させて表示部７９に表示する。従って、上記各実施形態の支援装置によれば、検査者は、被検体Ｗに対する検出範囲１５の位置を、容易に把握することができる。   Further, the support device 16 of each of the above embodiments displays a detection range image 200 representing the detection range 15 on the subject W. In the support device 16 of the first embodiment, a detection range image is displayed on the body surface of the subject W. In the support device 16 according to the second embodiment, the detection range image 310 is superimposed on the subject image 302 of the subject W and displayed on the display unit 79. Therefore, according to the support devices of the above embodiments, the examiner can easily grasp the position of the detection range 15 with respect to the subject W.

また、上記各実施形態では検出装置１４を、内視鏡検査装置１２に磁界を発生する送信コイルユニット４８を含む送信部４１を配置し、内視鏡１０に磁界を検出する受信コイルユニット２２を含む受信部２１を配置した形態としたが、検出装置１４は、本実施形態に限定されない。例えば、スピントルク発振素子等の送信コイルユニット４８（送信コイル４９）以外の磁界を発生する磁界発生素子を用いてもよい。また例えば、ホール素子やＭＲ（Magneto Resistive）素子等の受信コイルユニット２２（受信コイル２３）以外の磁界を検出する磁界検出素子を用いてもよい。また、検出装置１４は、内視鏡検査装置１２に受信部２１を配置し、内視鏡１０に送信部４１を配置した形態としてもよい。   In each of the above embodiments, the detecting device 14 is provided, the transmitting unit 41 including the transmitting coil unit 48 for generating a magnetic field is disposed in the endoscope inspection device 12, and the receiving coil unit 22 for detecting the magnetic field is provided in the endoscope 10. Although the receiving unit 21 including the receiving unit 21 is arranged, the detecting device 14 is not limited to this embodiment. For example, a magnetic field generating element that generates a magnetic field other than the transmission coil unit 48 (transmission coil 49) such as a spin torque oscillation element may be used. Further, for example, a magnetic field detecting element for detecting a magnetic field other than the receiving coil unit 22 (receiving coil 23) such as a Hall element or an MR (Magneto Resistive) element may be used. Further, the detection device 14 may be configured such that the reception unit 21 is disposed in the endoscope inspection device 12 and the transmission unit 41 is disposed in the endoscope 10.

また、上記第１実施形態では、支援装置１６が、投影部７０、第１検出部７１、第２検出部７２、取得部７４、生成部７６、及び表示制御部７８の機能を備える形態について説明した。また、上記第２実施形態では、支援装置１６が、取得部７４、撮像部７５、生成部７６、合成部７７、表示制御部７８、及び表示部７９の機能を備える形態について説明した。しかしながら、これらの機能のうち一部の機能を他の一つの装置、または複数の装置が備える形態としてもよい。例えば、第１実施形態の支援装置１６では、第１検出部７１及び第２検出部７２の一方または両方を、支援装置１６の外部の装置が備える形態としてもよい。また、第２実施形態の支援装置１６では、撮像部７５及び表示部７９の一方または両方を支援装置１６の外部の装置が備える形態としてもよい。   Further, in the first embodiment, a form in which the support device 16 has the functions of the projection unit 70, the first detection unit 71, the second detection unit 72, the acquisition unit 74, the generation unit 76, and the display control unit 78 will be described. did. Further, in the second embodiment, the mode in which the support device 16 includes the functions of the acquisition unit 74, the imaging unit 75, the generation unit 76, the synthesis unit 77, the display control unit 78, and the display unit 79 has been described. However, some of these functions may be provided in another device or a plurality of devices. For example, in the support device 16 of the first embodiment, one or both of the first detection unit 71 and the second detection unit 72 may be provided in a device external to the support device 16. Further, in the support device 16 of the second embodiment, one or both of the imaging unit 75 and the display unit 79 may be provided in a device external to the support device 16.

上記各実施形態において、例えば取得部７４及び表示制御部７８といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device ：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。   In each of the above embodiments, as a hardware structure of a processing unit that executes various processes, such as the acquisition unit 74 and the display control unit 78, the following various processors may be used. it can. As described above, in addition to the CPU, which is a general-purpose processor that executes software (programs) and functions as various processing units, the above-described various processors include a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like. Dedicated electricity, which is a processor having a circuit configuration specifically designed to execute a specific process such as a programmable logic device (PLD) or an ASIC (Application Specific Integrated Circuit) which is a processor whose configuration can be changed. Circuit etc. are included.

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。   One processing unit may be configured by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). Combination). Further, a plurality of processing units may be configured by one processor.

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態が挙げられる。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態が挙げられる。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。   As an example of configuring a plurality of processing units with one processor, first, as represented by computers such as a client and a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units. Second, as represented by a system-on-chip (System On Chip: SoC) or the like, a form in which a processor that realizes the functions of the entire system including a plurality of processing units with one integrated circuit (IC) chip is used. No. As described above, the various processing units are configured using one or more of the above various processors as a hardware structure.

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。   Further, as a hardware structure of these various processors, more specifically, an electric circuit (circuitry) combining circuit elements such as semiconductor elements can be used.

また、上記各実施形態では、画像表示処理プログラム６８が記憶部６６に、また、支援処理プログラム９８が記憶部９６及びに予め記憶（インストール）されている態様を説明したが、これに限定されない。画像表示処理プログラム６８及び支援処理プログラム９８の各々は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像表示処理プログラム６８及び支援処理プログラム９８の各々は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。   In each of the above embodiments, the image display processing program 68 is stored in the storage unit 66 and the support processing program 98 is stored (installed) in the storage unit 96 in advance. However, the present invention is not limited to this. Each of the image display processing program 68 and the support processing program 98 is stored in a recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), and a USB (Universal Serial Bus) memory. It may be provided in recorded form. Further, each of the image display processing program 68 and the support processing program 98 may be configured to be downloaded from an external device via a network.

１ 内視鏡システム
１０ 内視鏡、１０Ａ 挿入部、１０Ｂ 操作部
１１ ケーブル
１２ 内視鏡検査装置
１４ 検出装置
１５ 検出範囲、１５ａ、１５ｂ 辺
１６ 支援装置、１６Ａ 筐体、１６Ｂ 投光面、１６Ｃ 基準点
２０ 受信制御部
２１ 受信部
２２ 受信コイルユニット
２３１〜２３１６ 受信コイル
２４１〜２４１６ 受信回路
２６１〜２６１６ ＡＤＣ
２９ Ｉ／Ｆ
３０ 画像センサ
３４ ビデオプロセッサ
３６ 光源
４０ 全体制御部
４１ 送信部、４１Ａ 筐体、４１Ｂ 検出面、４１Ｃ 基準点
４２ 送信制御ユニット
４４ 送信制御部
４６１Ｘ、４６１Ｙ、４６１Ｚ〜４６４Ｘ、４６４Ｙ、４６４Ｚ 送信回路
４８ 送信コイルユニット
４９１Ｘ、４９１Ｙ、４９１Ｚ〜４９４Ｘ、４９４Ｙ、４９４Ｚ 送信コイル
５０ 検出部
５２ 表示部
５３、９５ Ｉ／Ｆ
６０、９０ ＣＰＵ
６２、９２ ＲＯＭ
６４、９４ ＲＡＭ
６６、９６ 記憶部
６８ 画像表示処理プログラム
６９、９９ バス
７０ 投影部
７１ 第１検出部
７２ 第２検出部
７４ 取得部
７５ 撮像部
７６ 生成部
７７ 合成部
７８ 表示制御部
７９ 表示部
９８ 支援処理プログラム
１００ 基台
１０２、１０４ 軸
１０８ 直動関節
１１０ 固定関節
１１２、１１６、１２０ アーム
１１４、１１８ 回転関節
２００、３１０ 検出範囲画像、２００ｈ、２００ｗ 辺
２０２ 検出範囲領域、２０２ａ、２０２ｂ 辺
２５０ 投影面
２５５ 投影範囲
３００ 撮像画像
３０２ 被検体画像
３０４ 筐体画像
３０８ 合成画像
ａ０、ｂ０ 長さ
ｋ１、ｋ２、ｋ３、ｋ４、ｋ５、Ｕ、Ｘ、Ｚ 距離
Ｌ 垂線、Ｌ０、Ｌ１ 投影距離
Ｗ 被検体
α１、α２、β１、β２、θ１、θ２、θｐ 角度 DESCRIPTION OF SYMBOLS 1 Endoscope system 10 Endoscope, 10A insertion part, 10B operation part 11 Cable 12 Endoscope inspection device 14 Detection device 15 Detection range, 15a, 15b Side 16 support device, 16A housing, 16B Projection surface, 16C Reference point 20 Receiving control unit 21 Receiving unit 22 Receiving coil units 23 1 to 23 16 Receiving coils 24 1 to 24 16 Receiving circuits 26 1 to 26 16 ADC
29 I / F
30 image sensor 34 video processor 36 light source 40 overall control unit 41 transmission unit, 41A housing, 41B detection surface, 41C reference point 42 transmission control unit 44 transmission control unit 46 1X , 46 1Y , 46 1Z to 46 4X , 46 4Y , 46 4Z transmitting circuit 48 transmitting coil units 49 1X , 49 1Y , 49 1Z to 49 4X , 49 4Y , 49 4Z transmitting coil 50 detecting unit 52 display unit 53, 95 I / F
60, 90 CPU
62, 92 ROM
64, 94 RAM
66, 96 Storage unit 68 Image display processing program 69, 99 Bus 70 Projection unit 71 First detection unit 72 Second detection unit 74 Acquisition unit 75 Imaging unit 76 Generation unit 77 Synthesis unit 78 Display control unit 79 Display unit 98 Support processing program 100 Base 102, 104 Axis 108 Linear motion joint 110 Fixed joint 112, 116, 120 Arm 114, 118 Rotating joint 200, 310 Detection range image, 200h, 200w Side 202 Detection range area, 202a, 202b Side 250 Projection plane 255 Projection Range 300 Captured image 302 Subject image 304 Case image 308 Composite image a0, b0 Length k1, k2, k3, k4, k5, U, X, Z Distance L Perpendicular, L0, L1 Projection distance W Subject α1, α2 , Β1, β2, θ1, θ2, θp Angle

Claims (16)

内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第１素子群、及び前記被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第２素子群によって検出された磁界を表す検出信号に基づき、検出装置により前記挿入部の位置及び形状の少なくとも一方を検出する場合に、
前記第２素子群の位置を表す位置情報を取得する取得部と、
前記取得部が取得した前記位置情報に基づいて、前記検出装置による検出が可能な検出範囲を表す検出範囲画像を、前記被検体の上に表示する制御を行う表示制御部と、
を備えた支援装置。 A first element group including one of a plurality of magnetic field generating elements and a plurality of magnetic field detecting elements, which is provided along an insertion portion to be inserted into a subject in the endoscope, and outside the subject. A case where at least one of the position and the shape of the insertion portion is detected by the detection device based on a detection signal representing a magnetic field detected by a second element group including the other plurality of elements provided in the provided external device. To
An acquisition unit configured to acquire position information indicating a position of the second element group;
Based on the position information acquired by the acquisition unit, a display control unit that performs control to display a detection range image representing a detection range that can be detected by the detection device on the subject,
A support device provided with. 前記第２素子群は、前記外部装置内に固定的に設けられており、
前記取得部は、前記位置情報として前記外部装置の位置を表す情報を取得する、
請求項１に記載の支援装置。 The second element group is fixedly provided in the external device,
The acquisition unit acquires information representing a position of the external device as the position information,
The support device according to claim 1. 前記取得部は、前記位置情報として、前記外部装置と前記被検体との相対的な位置を表す情報、及び前記外部装置の前記被検体に対する姿勢を表す情報を取得する、
請求項２に記載の支援装置。 The acquisition unit acquires, as the position information, information indicating a relative position between the external device and the subject, and information indicating a posture of the external device with respect to the subject,
The support device according to claim 2. 前記外部装置と前記被検体との相対的な位置、及び前記外部装置の前記被検体に対する姿勢を検出する第１検出部をさらに備えた、
請求項３に記載の支援装置。 A relative position between the external device and the subject, and a first detection unit that detects a posture of the external device with respect to the subject,
The support device according to claim 3. 前記検出範囲画像を投影する投影部をさらに備え、
前記表示制御部は、前記投影部により、前記検出範囲画像を前記被検体の体表面に投影させる制御を行う、
請求項２から請求項４のいずれか１項に記載の支援装置。 A projection unit configured to project the detection range image,
The display control unit controls the projection unit to project the detection range image on the body surface of the subject.
The support device according to any one of claims 2 to 4. 前記取得部は、前記位置情報として、さらに前記外部装置と前記投影部との相対的な位置を表す情報、及び前記外部装置の前記投影部に対する姿勢を表す情報を取得する、
請求項５に記載の支援装置。 The acquisition unit acquires, as the position information, information indicating a relative position between the external device and the projection unit, and information indicating a posture of the external device with respect to the projection unit.
The support device according to claim 5. 前記外部装置と前記投影部との相対的な位置、及び前記外部装置の前記投影部に対する姿勢を検出する第２検出部をさらに備えた、
請求項６に記載の支援装置。 A relative position between the external device and the projection unit, and a second detection unit that detects a posture of the external device with respect to the projection unit,
The support device according to claim 6. 前記取得部は、前記投影部が前記検出範囲画像を投影する前記被検体の形状を表す情報をさらに取得し、
前記表示制御部は、前記検出範囲画像として、前記被検体の形状を表す情報に応じた画像を、前記投影部により投影させる、
請求項５から請求項７のいずれか１項に記載の支援装置。 The acquisition unit further acquires information representing the shape of the subject on which the projection unit projects the detection range image,
The display control unit, as the detection range image, an image corresponding to information representing the shape of the subject, the projection unit, the projection unit,
The support device according to any one of claims 5 to 7. 前記投影部は、前記外部装置と一体的に構成されている、
請求項５から請求項８のいずれか１項に記載の支援装置。 The projection unit is configured integrally with the external device,
The support device according to any one of claims 5 to 8. 前記投影部は、前記被検体の周辺を移動可能に設けられている、
請求項５から請求項８のいずれか１項に記載の支援装置。 The projection unit is provided movably around the subject,
The support device according to any one of claims 5 to 8. 前記検出範囲画像は、３次元の前記検出範囲を表す３次元画像である、
請求項５から請求項１０のいずれか１項に記載の支援装置。 The detection range image is a three-dimensional image representing the three-dimensional detection range,
The support device according to any one of claims 5 to 10. 前記取得部は、前記被検体及び前記外部装置を撮像して撮像画像の画像データを出力する撮像部を含み、前記撮像画像に基づいて、前記位置情報を取得し、
前記表示制御部は、前記撮像画像に含まれる前記被検体の画像に、前記検出範囲画像を重畳させた画像を表示部に表示させる制御を行う、
請求項１または請求項２に記載の支援装置。 The acquisition unit includes an imaging unit that captures the subject and the external device and outputs image data of a captured image, and acquires the position information based on the captured image,
The display control unit performs control to display an image in which the detection range image is superimposed on the image of the subject included in the captured image on a display unit,
The support device according to claim 1 or 2. 前記表示部は、携帯型端末装置が備える表示部、またはヘッドマウントディスプレイである、
請求項１２に記載の支援装置。 The display unit is a display unit included in a portable terminal device, or a head-mounted display,
The support device according to claim 12. 被検体に挿入する挿入部を備えた内視鏡と、
前記内視鏡の前記挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第１素子群、及び前記被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第２素子群によって検出された磁界を表す検出信号に基づき、前記挿入部の位置及び形状の少なくとも一方を検出する検出装置と、
前記検出装置による検出を支援する請求項１から請求項１３のいずれか１項に記載の支援装置と、
を備えた内視鏡システム。 An endoscope having an insertion portion to be inserted into the subject;
A plurality of magnetic field generating elements provided along the insertion portion of the endoscope, a first element group including one of the plurality of magnetic field detecting elements, and a first element group provided outside the subject. Based on a detection signal representing a magnetic field detected by a second element group including the other plurality of elements provided in the external device, a detection device that detects at least one of the position and the shape of the insertion portion,
The support device according to any one of claims 1 to 13, which supports detection by the detection device,
Endoscope system equipped with 内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第１素子群、及び前記被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第２素子群によって検出された磁界を表す検出信号に基づき、検出装置により前記挿入部の位置及び形状の少なくとも一方を検出する場合に、
前記第２素子群の位置を表す位置情報を取得し、
取得した前記位置情報に基づいて、前記検出装置による検出が可能な検出範囲を表す検出範囲画像を、前記被検体の上に表示する制御を行う、
処理をコンピュータが実行する支援方法。 A first element group including one of a plurality of magnetic field generating elements and a plurality of magnetic field detecting elements, which is provided along an insertion portion to be inserted into a subject in the endoscope, and outside the subject. A case where at least one of the position and the shape of the insertion portion is detected by the detection device based on a detection signal representing a magnetic field detected by a second element group including the other plurality of elements provided in the provided external device. To
Acquiring position information representing the position of the second element group,
Based on the acquired position information, a detection range image representing a detection range that can be detected by the detection device is controlled to be displayed on the subject,
A method of supporting computer processing. 内視鏡における被検体に挿入する挿入部に沿って設けられた、複数の磁界発生素子、及び複数の磁界検出素子の一方の複数の素子を含む第１素子群、及び前記被検体の外部に設けられた外部装置内に設けられた他方の複数の素子を含む第２素子群によって検出された磁界を表す検出信号に基づき、検出装置により前記挿入部の位置及び形状の少なくとも一方を検出する場合に、
前記第２素子群の位置を表す位置情報を取得し、
取得した前記位置情報に基づいて、前記検出装置による検出が可能な検出範囲を表す検出範囲画像を、前記被検体の上に表示する制御を行う、
処理をコンピュータに実行させるための支援プログラム。 A first element group including one of a plurality of magnetic field generating elements and a plurality of magnetic field detecting elements, which is provided along an insertion portion to be inserted into a subject in the endoscope, and outside the subject. A case where at least one of the position and the shape of the insertion portion is detected by the detection device based on a detection signal representing a magnetic field detected by a second element group including the other plurality of elements provided in the provided external device. To
Acquiring position information representing the position of the second element group,
Based on the acquired position information, a detection range image representing a detection range that can be detected by the detection device is controlled to be displayed on the subject,
A support program that causes a computer to execute processing.
JP2018167096A 2018-09-06 2018-09-06 Support device, endoscope system, support method, and support program Pending JP2020039418A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018167096A JP2020039418A (en) 2018-09-06 2018-09-06 Support device, endoscope system, support method, and support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018167096A JP2020039418A (en) 2018-09-06 2018-09-06 Support device, endoscope system, support method, and support program

Publications (1)

Publication Number Publication Date
JP2020039418A true JP2020039418A (en) 2020-03-19

Family

ID=69796725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018167096A Pending JP2020039418A (en) 2018-09-06 2018-09-06 Support device, endoscope system, support method, and support program

Country Status (1)

Country Link
JP (1) JP2020039418A (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1075929A (en) * 1996-09-06 1998-03-24 Olympus Optical Co Ltd Coil device for detecting endoscope position
JP2016036375A (en) * 2014-08-05 2016-03-22 オリンパス株式会社 Posture image display device of medical equipment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1075929A (en) * 1996-09-06 1998-03-24 Olympus Optical Co Ltd Coil device for detecting endoscope position
JP2016036375A (en) * 2014-08-05 2016-03-22 オリンパス株式会社 Posture image display device of medical equipment

Similar Documents

Publication Publication Date Title
CN113379822B (en) Method for acquiring 3D information of target object based on pose information of acquisition equipment
TWI610064B (en) Light distribution characteristic measurement apparatus and light distribution characteristic measurement method
US8134719B2 (en) 3-D imaging using telecentric defocus
JP4459155B2 (en) Optical position measuring device
CN113532329B (en) Calibration method with projected light spot as calibration point
JP2017528727A (en) Augmented reality camera used in combination with a 3D meter to generate a 3D image from a 2D camera image
WO2019012770A1 (en) Imaging device and monitoring device
JP2016516196A (en) Structured optical scanner correction tracked in 6 degrees of freedom
EP3318173A1 (en) Image processing device, ranging system, and endoscope system
WO2014100950A1 (en) Three-dimensional imaging system and handheld scanning device for three-dimensional imaging
CN111445529B (en) Calibration equipment and method based on multi-laser ranging
US20200029025A1 (en) Imaging system and method of imaging control
JP6968289B2 (en) Image processing device, image processing method, and image processing program
JP2007093412A (en) Three-dimensional shape measuring device
US20180098053A1 (en) Imaging device, endoscope apparatus, and imaging method
JP5611875B2 (en) Information display device, information display method, and program
US20180092516A1 (en) Imaging device, endoscope apparatus, and imaging method
Lemkens et al. Multi RGB-D camera setup for generating large 3D point clouds
US11039120B2 (en) Imaging apparatus
JP2011130290A (en) Method of correcting camera image, camera device, and coordinate transformation parameter determining device
Chen et al. Field-of-view-enlarged single-camera 3-D shape reconstruction
JP2020039418A (en) Support device, endoscope system, support method, and support program
JP5445064B2 (en) Image processing apparatus and image processing program
JP7078494B2 (en) Display control device, endoscope system, display control method, and display control program
CN204831192U (en) Three -dimensional scanning device with gyroscope

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220222