WO2018235185A1 - 挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置 - Google Patents
挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置 Download PDFInfo
- Publication number
- WO2018235185A1 WO2018235185A1 PCT/JP2017/022830 JP2017022830W WO2018235185A1 WO 2018235185 A1 WO2018235185 A1 WO 2018235185A1 JP 2017022830 W JP2017022830 W JP 2017022830W WO 2018235185 A1 WO2018235185 A1 WO 2018235185A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- endoscope
- auxiliary information
- situation
- information
- unit
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00112—Connection or coupling means
- A61B1/00119—Tubes or pipes in or with an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/0051—Flexible endoscopes with controlled bending of insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
Definitions
- the present invention relates to an insertion support device that supports insertion of an endoscope, an insertion support method, and an endoscope device that includes the insertion support device.
- Japanese Patent No. 4885388 and Japanese Patent No. 5685753 detect an endoscope insertion direction by detecting a lumen direction as an endoscope insertion direction by analyzing an endoscopic image, and an endoscope insertion direction detection An apparatus is disclosed.
- Japanese Patent No. 5687583 discloses an endoscope insertion direction detection device provided with a display unit for displaying the detected endoscope insertion direction.
- Japanese Patent No. 4855902 causes the display unit to display insertion auxiliary information for supporting the insertion operation based on the display period control value calculated from the latest analysis data in the insertion state and the analysis data in the past.
- a system is disclosed that includes a display control unit that determines whether or not it is.
- Japanese Patent No. 4855912 discloses an endoscope insertion shape analysis system capable of performing a smooth insertion operation of the insertion portion by detecting hyperextension or the like of the large intestine.
- the above-described system and method are capable of providing support information that addresses individual problems for various difficult events that occur in the colonoscope insertion procedure. However, it has not been taken into consideration when and what problems arise in the entire endoscopy and what support information the operator needs.
- the support system for the colonoscopy insertion procedure detects the type of problem at appropriate timing and provides appropriate support information, for example, so that the expert can give appropriate advice while observing the situation of the non-expert. Is desirable. Therefore, in the support system, it is necessary for the non-expert to recognize what kind of situation it is and to select and provide appropriate support information if the situation is a problem.
- an object of the present invention is to provide an insertion support apparatus, an insertion support method, and an endoscope apparatus including the insertion support apparatus, which presents appropriate support information according to the insertion state of the endoscope.
- the auxiliary information presentation for presenting at least one auxiliary information out of a plurality of auxiliary information prepared in association with the endoscope insertion procedure based on the situation determination unit that determines the condition and the determination result by the situation determination unit
- an insertion support device comprising:
- a situation in endoscope insertion based on inputting a plurality of endoscope images generated in time series and the plurality of endoscope images input An insertion support method including determining, and presenting at least one auxiliary information from among a plurality of auxiliary information prepared in association with an endoscope insertion procedure based on a determination result by the situation determination unit Is provided.
- an insertion assisting device as described above, a bending portion which is actively curved, and a passively curved flexible tube portion connected to the proximal side of the bending portion.
- An endoscope apparatus comprising: an endoscope having an insertion portion provided therein.
- an insertion support apparatus an insertion support method, and an endoscope apparatus including the insertion support apparatus, which presents appropriate support information according to the insertion state of the endoscope.
- FIG. 1 is a block diagram showing an example of an endoscope apparatus according to an embodiment of the present invention.
- FIG. 2 is a view showing an example of an endoscope and an insertion shape observation apparatus according to an embodiment of the present invention.
- FIG. 3 is a view showing an example of a loop formation pattern of the insertion portion.
- FIG. 4 is a diagram showing an example of the insertion support flow.
- FIG. 5 is a diagram showing an example of the insertion status, the insertion difficulty judgment, and the auxiliary information.
- FIG. 6 shows an example of non-loop insertion.
- FIG. 1 is a block diagram showing an example of an endoscope apparatus 1 according to an embodiment of the present invention.
- the endoscope apparatus 1 includes an endoscope 10, which is a colonoscope here, an insertion shape observation apparatus 20, a light source apparatus 30, an endoscope control apparatus 40, an input apparatus 50, and a display apparatus 60. , And the insertion support control device 100.
- FIG. 2 is a view showing an example of the endoscope 10 and the insertion shape observation device 20.
- the endoscope 10 has a tubular insertion portion 11 to be inserted into a body to be inserted (here, a large intestine), and an operation portion 15 provided on the proximal end side of the insertion portion 11.
- the insertion portion 11 has a distal end hard portion 12, a curved portion 13 connected to the proximal end side of the distal end hard portion 12, and a flexible tube portion 14 connected to the proximal end side of the curved portion 13.
- the distal end rigid portion 12 includes an illumination lens and an objective lens (not shown), the imaging device 19 shown in FIG.
- the bending portion 13 is a portion which is bent by the operation of the operation portion 15, and the bending shape can be actively changed.
- the flexible tube portion 14 is a flexible elongated tubular portion which is passively curved.
- the operation unit 15 is provided with an angle knob 16 used for bending operation of the bending portion 13 and one or more buttons 17 used for various operations including air supply / water supply / suction operation. When the operator operates the angle knob 16, the bending portion 13 bends in any direction. Further, the operation unit 15 is provided with one or more switches 18 to which functions such as stillness / recording of an endoscopic image, focus switching, and the like are assigned by setting of the endoscope control device 40.
- the endoscope 10 is connected to the light source device 30.
- the light source device 30 includes a light source such as a laser light source, an LED light source, a xenon lamp, and a halogen lamp.
- the light source device 30 has a function of supplying illumination light to the illumination lens of the endoscope 10.
- the light source device 30 may have a function of supplying air / water to the body cavity via the endoscope 10.
- the light source device 30 includes, for example, an air supply pump for supplying air to the endoscope 10.
- the operator operates the button 17 of the operation unit 15 of the endoscope 10 to supply air from a nozzle (not shown) at the end of the endoscope or pressurize a water tank connected to the endoscope 10 Water from the nozzle at the tip of the endoscope.
- the endoscope device 1 includes an insertion shape observation device 20.
- FIG. 1 and FIG. 2 show an insertion shape observing device 20 of the magnetic sensor type as an example.
- the insertion shape observation device 20 includes, for example, a control unit 21, a reception unit 22, and a transmission unit 23 in the observation device main body 24. Further, the plurality of source coils 25 provided in the insertion portion 11 of the endoscope 10 and the antenna 26 separate from the observation apparatus main body 24 also constitute the insertion shape observation apparatus 20.
- the insertion portion 11 is provided with a plurality of source coils 25.
- the source coil 25 is a magnetic field generating element that generates a magnetic field.
- the respective source coils 25 are disposed on the curved portion 13 and the flexible tube portion 14 at intervals in the longitudinal direction in order to detect the curved shape in the longitudinal direction (axial direction) of the insertion portion 11.
- FIG. 2 shows a mode in which the source coil 25 is incorporated in the insertion portion 11 in advance, a probe in which the source coil is incorporated is inserted into a channel extending in the longitudinal direction in the insertion portion 11 It is also good.
- the source coil 25 may be disposed only on the entire flexible tube portion 14 or a part thereof.
- the antenna 26 is configured to detect the magnetic field generated by the source coil 25.
- the antenna 26 is a separate body from the observation apparatus main body 24 and the endoscope 10, and is disposed around the inserted body into which the insertion portion 11 of the endoscope 10 is inserted by a stand or the like (not shown).
- the control unit 21 of the insertion shape observation device 20 is a control circuit that executes various operations and the like in the insertion shape observation device 20 and controls the display of the display device 60.
- the receiving unit 22 is a receiving circuit that receives a magnetic field detection signal from the antenna 26.
- the transmission unit 23 is a transmission circuit that transmits a drive signal to the source coil 25.
- the control unit 21 performs arithmetic processing by a position estimation algorithm based on the magnetic field detection signal from the antenna 26.
- the insertion shape observation apparatus 20 is not limited to this.
- the insertion shape observation device 20 may be any device capable of detecting the bending state of the insertion portion 11, and, for example, a change in light intensity (light intensity) or a change in optical characteristics propagating through a light guide member such as an optical fiber is used.
- Sensing fiber sensor
- sensing using electromagnetic waves electromagnetic sensor
- sensing using ultrasonic waves ultrasonic waves
- strain strain sensor
- the flexible tube portion 14 of the endoscope 10 is provided with a flexible tube characteristic change unit 70 capable of partially changing the bending rigidity of the flexible tube portion 14 at the location where it is provided.
- the flexible tube characteristic change unit 70 may be, for example, a stiffness variable actuator whose hardness changes in accordance with a voltage applied thereto from the endoscope control device 40.
- one flexible tube characteristic change part 70 is shown in FIG. 2, the number of the flexible tube characteristic change parts 70 is not limited to this. That is, a plurality of flexible tube characteristic change units 70 may be provided along the longitudinal direction of the flexible tube portion 14.
- the endoscope control device 40 includes a control unit 41, a drive unit 42, and an image processing unit 43. Further, the insertion support control device 100 includes an insertion state input unit 111, an image input unit 112, a situation determination unit 113, and an auxiliary information presentation unit 114.
- the endoscope control device 40 and the insertion support control device 100 may be configured by a processor such as a CPU. That is, in the endoscope control device 40 and the insertion support control device 100, the above-described units may be configured by a processor such as a CPU.
- each unit of the control devices 40 and 100 may be configured by a hardware circuit including an application specific integrated circuit (ASIC), a field-programmable gate array (FPGA), and the like.
- ASIC application specific integrated circuit
- FPGA field-programmable gate array
- the above-described units of the insertion support control device 100 are endoscope video image processors
- the endoscope support device 40 is included in the insertion support control device 100 which is separate from the endoscope control device 40.
- the processor or hardware circuit that functions as the above-described units of the insertion support control device 100 may be included in one case or included in a plurality of cases as long as the functions of the units can be performed. It may be Of course, it may be included in the endoscope control device 40.
- control unit 41 is a control circuit that controls various operations of the endoscope 10.
- the drive unit 42 is a drive circuit that sends out a signal for driving the imaging device 19 of the endoscope 10.
- the image processing unit 43 is an image signal processing circuit that converts an electrical signal converted from an optical signal by the imaging device 19 into a video signal.
- the control unit 41 also performs light control of the light source device 30.
- the insertion state input unit 111 receives, as the insertion state of the insertion portion 11, the curved shape information (bending angle, amount of curvature, curvature or radius of curvature, etc.) from the insertion shape observation device 20. .
- Endoscope image information is input to the image input unit 112 from the endoscope control device 40.
- the situation determination unit 113 determines the insertion situation of the insertion unit 11 based on the information from the insertion state input unit 111 and the image input unit 112.
- the auxiliary information presentation unit 114 generates insertion auxiliary information based on the determination by the status determination unit 113 and causes the display device 60 to display the insertion auxiliary information.
- the input device 50 is a general input device such as a keyboard. Various commands and the like for operating the endoscope apparatus 1 are input to the input device 50.
- the input device 50 may be an operation panel provided in the endoscope control device 40 or a touch panel displayed on a display screen.
- the observation device main body 24 of the insertion shape observation device 20 and the insertion support control device 100 are also provided with an input unit such as an operation panel or a touch panel.
- the display device 60 is a general monitor such as a liquid crystal display.
- the display device 60 displays an endoscope image subjected to image processing by the image processing unit 43 under display control by the control unit 41 of the endoscope control device 40.
- the display device 60 performs three-dimensional images, text information, and the like on the curved shape of the insertion portion 11 based on the curved shape information from the inserted shape observation device 20 by display control by the control unit 21 of the inserted shape observation device 20. May be displayed.
- the display device 60 displays the insertion assistance information generated by the auxiliary information presentation unit 114 of the insertion assistance control device 100 under display control by the insertion assistance control device 100.
- the display device on which the endoscopic image is displayed, the display device on which the curved shape or the like is displayed, and the display device on which the insertion assistance information is displayed may be the same or different. That is, the insertion assistance information may be displayed on a display device different from the display device 60.
- the insertion portion 11 of the endoscope 10 is inserted by the operator from the anus to the rectum and the colon.
- the endoscope 10 converts light from an object in the intestinal tract into an electrical signal by the imaging element 19 of the distal end hard portion 12.
- the electrical signal is transmitted to the endoscope control device 40.
- the image processing unit 43 of the endoscope control device 40 acquires the electrical signal, and converts the acquired electrical signal into a video signal.
- the control unit 41 causes the display device 60 to display an endoscopic image based on the video signal.
- the control unit 21 of the insertion shape observation apparatus 20 causes the transmission unit 23 to supply drive signals of different frequencies to the source coil 25.
- each source coil 25 generates a weak alternating magnetic field around it. That is, information on the position is output from each source coil 25.
- the antenna 26 detects the magnetic field generated by the source coil 25, and sends the detection signal to the receiving unit 22.
- the control unit 21 calculates the position coordinates of each source coil 25 based on the magnetic field detection signal received by the receiving unit 22, and generates, for example, a three-dimensional image of the insertion unit 11 corresponding to the calculated position coordinates. Display on.
- the colonoscopy insertion procedure is difficult and takes time to learn. For example, the operator is required to have 1000 cases of experience before the cecal penetration rate of the insertion tip exceeds 90%.
- time constraints are required for the expert physician.
- the sigmoid colon is a movable intestinal tract that is not fixed in the abdomen, in particular, a force is applied from the insertion portion 11 to the flexion, ie, the top of the sigmoid colon (so-called S-top). And may cause pain to the patient.
- a technique in which the intestinal tract of the insertion portion 11 is concentrically shortened, straightened and inserted while being folded.
- This method is called Right turn shortening.
- shaft holding shortening method and Hooking the fold are the same methods.
- the insertion portion 11 is rectilinearly advanced from the rectum to the S-top, and becomes a stick shape when folded back beyond the S-top.
- the linear portion of the insertion portion 11 in the stick shape is referred to as a rotation axis.
- the S-top is shortened by combining the operation of pulling out the insertion portion 11 to the hand side and the operation of twisting the rotation axis clockwise, and the sigmoid colon is straightened while being folded.
- loop formation patterns in the intestinal tract 200 at insertion include an ⁇ loop, an N loop, a ⁇ loop, and the like. It is the N loop of the right rotation axis that is the basis for inserting the sigmoid colon in the above-mentioned Right turn shortening. From this state, when the tip of the insertion portion flows to the left rotation axis, an ⁇ loop is formed, and when flowing to the right rotation axis, a ⁇ loop (inverse ⁇ loop) is formed. Even if an alpha loop and a gamma loop are formed, it is possible to cancel the loop formation by Right turn shortening and proceed with the insertion while folding the sigmoid colon.
- a reverse N loop may be formed in which the N loop is inverted. From this state, when the tip of the insertion portion flows to the left rotation axis, a back ⁇ loop is formed, and when it flows to the right rotation axis, a back ⁇ loop is formed.
- the loop formation is released by combining the operation of pulling out the insertion portion 11 to the hand side and the operation of twisting the rotation shaft counterclockwise. Therefore, in the case of the back loop, after loop formation is performed by Left turn & Right turn shortening, that is, counterclockwise rotation, insertion is advanced while convoluting the sigmoid colon by clockwise rotation.
- the colonoscope insertion procedure differs depending on the loop formation pattern. Also, loops may occur not only in the sigmoid colon but also in different sites such as the transverse colon. For this reason, the colonoscope insertion procedure is various. Under such circumstances, there is a demand for shortening the time required for acquiring a colonoscopy insertion procedure for non-experts, making the procedure more efficient, and safer endoscopy.
- the insertion support by the insertion support control device 100 is provided.
- FIG. 4 is a diagram showing an example of the insertion support flow according to the present embodiment.
- step S101 the insertion support control device 100 determines whether or not the insertion support is to be ended, that is, whether or not an insertion support end instruction has been input.
- the end of the insertion support is determined based on, for example, a termination instruction (input from the outside) based on the arrival of the insertion tip at the cecum.
- a termination instruction input from the outside
- An end instruction may be input from an input unit (not shown) of the insertion support control device 100 or the like. If it is determined that the insertion support is to be ended (Yes), the process ends. If it is determined that the insertion support is not ended (No), the process proceeds to step S102.
- step S102 a situation determination regarding the insertion situation of the insertion unit 11 is performed.
- a plurality of endoscope images generated in time series are input from the endoscope control device 40 to the image input unit 112 of the insertion support control device 100.
- the endoscope 10 captures an endoscope image at 30 fps, and the endoscope image is input from the endoscope control device 40 to the image input unit 112.
- the endoscopic image to be input is not limited to this, and may be less than 30 frames per second by sampling.
- the input image is stored in a predetermined number, for example, 300 frames or more, in an internal memory (or external memory) (not shown) in the image input unit 112 or the condition determination unit 113 or in the insertion support control apparatus 100.
- the situation determination unit 113 performs the situation determination in endoscope insertion based on the endoscopic image input and stored in the image input unit 112. For example, the situation determination unit 113 performs the situation determination using an image of 10 seconds before the current point, that is, 300 frames.
- information on the insertion state of the endoscope 10 may be input from the insertion shape observation device 20 to the insertion state input unit 111 of the insertion support control device 100.
- the situation determination unit 113 performs situation determination in endoscope insertion based on the information on the insertion state input to the insertion state input unit 111 in addition to the endoscopic image input to and stored in the image input unit 112. You may
- the situation determination unit 113 determines which situation has occurred based on the endoscopic image or the endoscopic image and the information on the insertion state. For example, the situation determination unit 113 performs the situation determination in endoscope insertion based on the above-described 300 frames of endoscopic images.
- the situation determination unit 113 has a slight change in the image of a plurality of endoscopic images input to the image input unit 112, although the advancing direction of the lumen etc. is visible (the degree to which the direction of the tip of the insertion unit has changed somewhat) Or, when it is detected that the image hardly changes, it is determined that the moving direction of the lumen or the like is visible but the visual field is not changed (determination result 2).
- the situation determination unit 113 changes (displacement amount) the distal end side of the insertion portion 11 with respect to the operation on the proximal side of the insertion portion 11 (push operation or withdrawal operation).
- the situation determination unit 113 detects, for example, that a plurality of endoscopic images input to the image input unit 112 have passed a predetermined time (for example, 10 seconds) while in the mucus hyperadhesion state or the red ball state, that is, for example When it is detected that the above-mentioned 300 frame image is in the red ball state, it is determined that the excessively close state continues (determination result 3).
- the red-ball state is a state in which the tip of the insertion portion is in contact with the mucous membrane and the whole image becomes reddish due to the blood flow of the submucosal layer.
- Collapse of the intestinal tract does not show the direction of progress of the lumen etc. and does not change the visual field
- the situation determination unit 113 recognizes the collapse of the intestinal tract in the plurality of endoscopic images input to the image input unit 112, and the change in the image is minute (the direction of the tip of the insertion unit is slightly changed), or When it is detected that the image hardly changes, it is determined that the advancing direction of the lumen and the like is not seen and the visual field is not changed by the crushing of the intestinal tract (determination result 5).
- the situation determination unit 113 determines that the determination result is 6. This is true when it is impossible to determine, or when the insertion support target is not included.
- the determination results 1 and 2 are the determination results based on the endoscope image input to the image input unit 112, and the information on the insertion state input to the insertion state input unit 111.
- the determination result based on the above or the combination of these may be used, and the determination results 3 to 6 are the determination results based on the endoscopic image input to the image input unit 112. Higher accuracy recognition is possible by using information on the insertion state for the situation determination.
- the situation determination by the situation determination unit 113 includes, for example, detection of a variation based on correlation between endoscopic images, scene recognition of each image, or a combination thereof Technology is available.
- the situation determination unit 113 performs the situation determination by recognizing the presence or absence of an important structure such as a lumen or a brow continuously and repeatedly in the same scene.
- the situation determination unit 113 may use, for example, a learning result using a deep neural network technique such as Recurrent Neural Network or 3D-CNN.
- a deep neural network technique such as Recurrent Neural Network or 3D-CNN.
- the situation determination unit 113 uses, for example, situation recognition (application of motion recognition) for a plurality of frame images using Recurrent Neural Network or the like.
- the determination may be performed using categorization (5).
- Noriki Nishida, Hideki Nakayama “Multimodal recognition using multi-stream recurrent neural network”, Pacific-Rim Symposium on Image and Video Technology (PSIVT), 2015, or Convolutional-Recurrent Neural Network by Kamiya Ryuji et al. It may be the technology disclosed in the self-motion identification by the image sensing, image sensing symposium 2016.
- step S 102 the situation determination unit 113 inputs to the insertion state input unit 111 based on or based on the plurality of endoscope images generated in time series input to the image input unit 112. Based on the information regarding the inserted insertion state, it is determined which of the determination results 1 to 6 the situation in the endoscope insertion is.
- step S103 the situation determination unit 113 is faced with a situation where insertion is difficult based on the situation determination results (determination results 1 to 6) in step S102, that is, whether or not the assistant should be presented auxiliary information. Determine if In the middle column of FIG. 5, the determination result (Yes / No) of the insertion difficulty in step S103 is shown. If the judgment result is 1, the insertion is not difficult because the insertion is possible without any major problem. Further, also in the case of the judgment result 6, it is assumed that the insertion difficult situation is not the same. Therefore, in the case of determination results 1) and 6), the situation determination unit 113 determines that the situation is not the insertion difficult situation (No) in step S103, and returns to step S101. If the judgment result is one of the judgment results 2 to 5, the situation judgment unit 113 judges that the insertion difficult situation in which the insertion unit 11 of the endoscope 10 is not successfully inserted even if the insertion is continued (Yes) The process proceeds to step S104.
- the auxiliary information presentation unit 114 In step S104, the auxiliary information presentation unit 114 generates auxiliary information corresponding to the situation determination result in step S102.
- the auxiliary information presentation unit 114 includes, for example, a database in which information (for example, character information, image information, or a combination thereof) presented to the determination result of the situation determination unit 113 is associated, and presentation information based on the determination result Choose That is, the auxiliary information presentation unit 114 presents at least one auxiliary information out of a plurality of auxiliary information prepared in association with the endoscope insertion procedure based on the determination result by the situation determination unit 113. Then, in step S105, the auxiliary information presenting unit 114 causes the display device 60 to display the generated auxiliary information.
- information for example, character information, image information, or a combination thereof
- the auxiliary information presenting unit 114 generates auxiliary information that urges the stiffness change operation so that the bending stiffness of the flexible tube portion 14 is increased by the flexible tube property changing unit 70.
- the bending rigidity of the flexible tube portion 14 is increased, the flexible tube portion 14 is less likely to be bent, so that the force by which the operator presses the insertion portion 11 from the proximal side is easily transmitted to the distal end of the insertion portion. Therefore, the tip of the insertion portion can be easily advanced.
- the auxiliary information presentation unit 114 generates auxiliary information that promotes linearization of the scope.
- the auxiliary information for promoting the linearization of the scope may be a PULL operation in which the operator pulls back the insertion unit 11 from the proximal side, or a loop release operation as described with reference to FIG. Based on such auxiliary information, the operator who has performed the PUSH operation of pushing the insertion unit 11 from the proximal side switches the pushing operation to the pullback operation or the loop release operation. This can improve the insertion situation.
- the auxiliary information presentation unit 114 sets the bending portion 13 in an angle or the insertion portion, since it is conceivable that the distal end of the insertion portion is not properly directed in the lumen direction even if the advancing direction of the lumen is visible.
- the direction of twisting 11 is derived, and the derived direction is used as auxiliary information. Based on such auxiliary information, the operator applies an angle to the bending portion 13 in the derived direction or twists the insertion portion 11 from the proximal side. This can improve the insertion situation.
- the expert physician pulls back the insertion portion 11 from the proximal side once by performing a pull operation based on experience.
- the lumen direction is searched for by the angle operation of the bending portion 13 by operating the angle knob 16 of the operation portion 15 or the operation of twisting the insertion portion 11 clockwise from the hand side (clockwise).
- a non-expert may fear that the inserted insertion part 11 may come off, and an appropriate pull back operation can not be performed.
- the auxiliary information presentation unit 114 generates auxiliary information that prompts a PULL operation. The insertion situation can be improved by the operator performing the PULL operation based on such auxiliary information.
- a non-loop method of advancing the insertion portion 11 without bending the intestine 200 without forming a loop of the insertion portion 11 is known.
- the bending portion 11a of the insertion portion 11 transmits torque to the intestinal tract by twisting the insertion portion 11 clockwise from the hand side.
- the angle of the bending portion 13 is released without hitting the mucous membrane while changing the running of the intestine bent in a crank shape.
- the auxiliary information presentation unit 114 may present auxiliary information for smoothly proceeding such insertion by the non-loop method.
- the auxiliary information presentation unit 114 generates auxiliary information that urges the rigidity change operation so that, for example, the flexible pipe characteristic change unit 70 increases the bending rigidity of the flexible pipe unit 14.
- the flexible tube portion 14 hardly bends, and the force by which the operator presses the insertion portion 11 from the proximal side is transmitted to the distal end of the insertion portion, and the distal end of the insertion portion is easily advanced.
- the auxiliary information presentation unit 114 generates auxiliary information that urges linearization of the scope (such as a pullback operation or a loop release operation). When the operator performs an operation based on such auxiliary information, the insertion situation is improved.
- the auxiliary information presentation unit 114 generates auxiliary information prompting to try an operation for shortening and straightening the intestine after inserting the insertion unit 11 deeper, or shortening or straightening
- the auxiliary information is generated that urges the user to give up on the switch operation and switch to PUSH insertion.
- the auxiliary information presenting unit 114 widens the lumen by air supply, and then, when the appropriate air supply amount is reached and the lumen becomes recognizable, the air supply is performed. Generate auxiliary information that prompts you to cancel. By the operator performing the operation based on such auxiliary information, the collapsed condition of the lumen is improved. It is also useful to promote the degassing of excess air after the lumen has expanded and the insertion portion 11 has passed.
- the auxiliary information presentation unit 114 may generate auxiliary information that promotes degassing after the passage. Thereby, it is possible to make the insertion easier to proceed after the collapsed condition of the lumen is improved.
- the auxiliary information generated or selected by the auxiliary information presentation unit 114 in each of the determination results 2 to 5 is not limited to one.
- the auxiliary information presentation unit 114 may generate or select a plurality of auxiliary information.
- the plurality of pieces of auxiliary information may be simultaneously presented to the display device 60 or sequentially presented.
- step S105 the process returns to step S101, and the insertion assistance control device 100 determines whether or not the insertion assistance is ended. If it is determined that the insertion support is to be ended (Yes), the process ends. If it is determined that the insertion support is not ended (No), the process repeats step S102 and subsequent steps.
- the auxiliary information presentation unit 114 selects at least one of the plurality of auxiliary information items prepared in association with the colonoscope insertion procedure based on the determination result by the situation determination unit 113.
- Present auxiliary information In the colonoscope insertion procedure, the method (so-called loop insertion method) of advancing the tip of the insertion part mainly by PUSH operation along the bending shape of the intestine (so-called loop insertion method) or shortening the intestine while holding the longitudinal axis of the insertion part
- axis holding shortening method the above-mentioned Right turn shortening is a category of this method
- the auxiliary information presenting unit 114 responds to the determination result of the insertion status. It is possible to select and present appropriate auxiliary information from among a plurality of auxiliary information prepared in association with these procedures.
- the present embodiment when the operator encounters a difficult situation in endoscope insertion, it is possible to timely present support information according to the content of the difficulty. Therefore, by providing the operator with support information according to the situation even without the attending doctor, it is possible to obtain an auxiliary effect on the execution of the endoscopic examination more smoothly and the skill for the insertion of the endoscope.
- a movable intestinal tract such as the sigmoid colon moves easily, and a bender such as S-top is provided, so that a less experienced operator is likely to be in a insertion difficult situation.
- various difficult events assumed in colonoscopy insertion and their coping methods are associated with each other and prepared in the database of the auxiliary information presentation unit 114 as support information. It is possible to provide timely assistance and assistance when a difficult event occurs.
- the operator performs a colonoscopy with appropriate assistance and support reduction in patient pain due to excessive force applied from the insertion portion 11 to the intestinal tract or shortening of examination time is realized .
- the situation determination unit 113 makes a determination based on a plurality of endoscopic images input in time to the image input unit 112, and based on this and information on the insertion state input to the insertion state input unit 111.
- a sensor that detects the amount of movement by the PUSH operation or PULL operation of the insertion portion 11 a sensor that detects the amount of clockwise or counterclockwise rotation of the insertion portion 11, or the bending portion 13 by the angle operation of the angle knob 16.
- Situation determination may be performed using detection information detected by various sensors such as a sensor that detects the amount of bending and a sensor that detects the amount of force applied to the insertion unit 11. As a result, the situation determination with higher accuracy can be performed, and accurate support information can be provided.
- the situation determination unit 113 In addition to the above, it is possible to use the amount of force detected by each sensor for determination. With such a determination, in the case of determination result 2 (the advancing direction of the lumen or the like is visible but the visual field does not change), it can be more accurately determined whether this is due to loop formation.
- auxiliary information presented by the auxiliary information presentation unit 114 is not limited to visual ones, but may be auditory auxiliary information such as sound emitted by a speaker (not shown) or visual auxiliary information and auditory assistance It may be a combination with information.
- the situation determined by the situation determination unit 113 is not limited to the situation in which insertion is difficult.
- the situation determination unit 113 may detect and determine, for example, the pressing operation or the angle operation that is too fast using the above-described sensor or the like.
- the auxiliary information presented by the auxiliary information presentation unit 114 is information for suppressing such an operation.
- the present invention is not limited to this.
- the concept of the present invention is also applicable to the lower digestive tract endoscope other than the colonoscope or the upper digestive tract endoscope.
- the concept of the present invention is also applicable to an endoscope apparatus other than an endoscope apparatus provided with a medical endoscope, or a flexible tube insertion apparatus.
- the present invention is not limited to the above embodiment, and can be variously modified in the implementation stage without departing from the scope of the invention.
- the embodiments may be implemented in combination as appropriate as possible, in which case the combined effect is obtained.
- the above embodiments include inventions of various stages, and various inventions can be extracted by appropriate combinations of a plurality of disclosed configuration requirements.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Endoscopes (AREA)
Abstract
本発明の一実施形態は、内視鏡の挿入状況に応じて的確な支援情報、すなわち補助情報を提示する挿入支援装置(100)を提供する。挿入支援装置は、時系列的に生成された複数の内視鏡画像が入力される画像入力部(112)と、複数の内視鏡画像に基づいて内視鏡挿入における状況を判定する状況判定部(113)と、状況判定部による判定結果に基づいて、内視鏡挿入手技に関連付けて用意された複数の補助情報の中から少なくとも1つの補助情報を提示するための補助情報提示部(114)とを有している。また、挿入支援方法、及び挿入支援装置を含む内視鏡装置(1)が提供される。
Description
本発明は、内視鏡の挿入を支援する挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置に関する。
大腸内視鏡挿入において、挿入支援を行うためのシステムや方法が提案されている。例えば、日本国特許第4885388号及び日本国特許第5687583号は、内視鏡画像の解析により管腔方向を内視鏡挿入方向として検出する内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置を開示している。特に、日本国特許第5687583号は、検出した内視鏡挿入方向を表示する表示部を備えた内視鏡挿入方向検出装置を開示している。
例えば、日本国特許第4855902号は、挿入状態の最新の解析データと過去の解析データとから算出した表示期間制御値に基づいて、挿入操作を支援するための挿入補助情報を表示部に表示させるか否かを判定する表示制御部を備えたシステムを開示している。
例えば、日本国特許第4855912号は、大腸の過伸展などを検出して挿入部のスムーズな挿入操作を行うことができる内視鏡挿入形状解析システムを開示している。
上述のシステムや方法は、大腸内視鏡挿入手技において生じる種々の困難事象に対し、個々の問題に対処する支援情報を提供することが可能となっている。しかしながら、内視鏡検査全体においていつどのような問題が生じ、術者がどのような支援情報を必要としているかについては考慮されていない。
大腸内視鏡挿入手技に対する支援システムは、例えば熟練医が非熟練医の状況を観察しながら適切な助言を与えるごとく、適切なタイミングで問題の種類を検出し、適切な支援情報を提供することが望ましい。したがって、支援システムにおいては、非熟練医がどのような状況にあるかを認識し、その状況が問題であれば適切な支援情報を選択して提供することが必要となる。
そこで、本発明は、内視鏡の挿入状況に応じて的確な支援情報を提示する挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置を提供することを目的とする。
本発明の一実施形態によれば、時系列的に生成された複数の内視鏡画像を入力する画像入力部と、入力された前記複数の内視鏡画像に基づいて内視鏡挿入における状況を判定する状況判定部と、前記状況判定部による判定結果に基づいて、内視鏡挿入手技に関連付けて用意された複数の補助情報の中から少なくとも1つの補助情報を提示するための補助情報提示部と、を具備する挿入支援装置が提供される。
本発明の他の実施形態によれば、時系列的に生成された複数の内視鏡画像を入力することと、入力された前記複数の内視鏡画像に基づいて内視鏡挿入における状況を判定することと、前記状況判定部による判定結果に基づいて、内視鏡挿入手技に関連付けて用意された複数の補助情報の中から少なくとも1つの補助情報を提示することと、を含む挿入支援方法が提供される。
本発明のさらなる実施形態によれば、上述の挿入支援装置と、能動的に湾曲される湾曲部と、前記湾曲部の基端側に連結され、受動的に湾曲される可撓管部とを備えた挿入部とを有する内視鏡と、を具備する内視鏡装置が提供される。
本発明によれば、内視鏡の挿入状況に応じて的確な支援情報を提示する挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置を提供することができる。
以下、本発明の実施形態について図面を参照して説明する。以下では、大腸内視鏡を含む内視鏡装置を例に挙げて説明する。
図1は、本発明の一実施形態における内視鏡装置1の一例を示すブロック図である。内視鏡装置1は、ここでは大腸内視鏡である内視鏡10と、挿入形状観測装置20と、光源装置30と、内視鏡制御装置40と、入力装置50と、表示装置60と、挿入支援制御装置100とを有している。
図2は、内視鏡10及び挿入形状観測装置20の一例を示す図である。内視鏡10は、被挿入体(ここでは大腸)に挿入される管状の挿入部11と、挿入部11の基端側に設けられた操作部15とを有している。挿入部11は、先端硬質部12と、先端硬質部12の基端側に連結された湾曲部13と、湾曲部13の基端側に連結された可撓管部14とを有している。先端硬質部12は、不図示の照明レンズ及び対物レンズ、図1に示される撮像素子19等を含む。湾曲部13は、操作部15の操作により湾曲する部分であり、その湾曲形状を能動的に変更可能である。可撓管部14は、可撓性を有する細長い管状部分であり、受動的に湾曲する。操作部15には、湾曲部13の湾曲操作のために用いられるアングルノブ16と、送気・送水・吸引操作を含む各種操作のために用いられる1以上のボタン17とが設けられている。術者がアングルノブ16を操作することにより、湾曲部13は任意の方向に湾曲する。また、操作部15には、内視鏡制御装置40の設定により内視鏡画像の静止・記録、フォーカス切り替えなどの機能が割り当てられる1以上のスイッチ18が設けられている。
内視鏡10は、光源装置30に接続されている。光源装置30は、レーザ光源、LED光源、キセノンランプ、ハロゲンランプなどの光源を含む。光源装置30は、内視鏡10の照明レンズに照明光を供給する機能を有している。また、光源装置30は、内視鏡10を介して体腔内に送気・送水をする機能を有してよい。光源装置30は、例えば、内視鏡10に空気を供給するための送気用ポンプを含む。術者は、内視鏡10の操作部15のボタン17を操作することにより、内視鏡先端のノズル(図示されない)から送気したり、内視鏡10に接続された送水タンクを加圧して内視鏡先端のノズルから送水したりする。
内視鏡装置1は、挿入形状観測装置20を含む。図1並びに図2には、一例として、磁気センサタイプの挿入形状観測装置20が示される。挿入形状観測装置20は、例えば観測装置本体24に、制御部21と、受信部22と、送信部23とを含む。また、内視鏡10の挿入部11に設けられた複数のソースコイル25及び観測装置本体24とは別体のアンテナ26も挿入形状観測装置20を構成している。
図2に示されるように、挿入部11には、複数のソースコイル25が設けられている。ソースコイル25は、磁界を発生する磁界発生素子である。各ソースコイル25は、挿入部11の長手方向(軸方向)にわたる湾曲形状の検出のために、長手方向に間隔を空けて湾曲部13及び可撓管部14に配置されている。なお、図2にはソースコイル25が挿入部11に予め組み込まれた形態が示されているが、ソースコイルが内蔵されたプローブが挿入部11内を長手方向に延びたチャンネル内に挿通されてもよい。また、可撓管部14全体又はその一部にのみソースコイル25が配置されてもよい。
アンテナ26は、ソースコイル25が発生した磁界を検出するように構成されている。アンテナ26は、観測装置本体24及び内視鏡10とは別体であり、不図示のスタンド等により、内視鏡10の挿入部11が挿入される被挿入体の周囲に配置されている。
挿入形状観測装置20の制御部21は、挿入形状観測装置20における各種演算等の実行や表示装置60の表示制御をする制御回路である。受信部22は、アンテナ26から磁界検出信号を受信する受信回路である。送信部23は、ソースコイル25に駆動信号を送出する送信回路である。特に、制御部21は、アンテナ26からの磁界検出信号に基づいて位置推定アルゴリズムによる演算処理を行う。
なお、挿入形状観測装置20は、これに限定されない。挿入形状観測装置20は、挿入部11の湾曲状態を検出可能なものであればよく、例えば、光ファイバなどの導光部材を伝搬する光量(光強度)の変化あるいは光学特性の変化を利用したセンシング(ファイバセンサ)、電磁波を利用したセンシング(電磁センサ)、超音波を利用したセンシング(超音波センサ)、歪みを利用したセンシング(歪みセンサ)あるいはX線吸収材料を利用したセンシングのいずれか1つ又はこれらの組合せによって構成されてよい。
内視鏡10の可撓管部14には、それが設けられた箇所における可撓管部14の曲げ剛性を部分的に変更可能な可撓管特性変更部70が設けられている。可撓管特性変更部70は、例えば、内視鏡制御装置40からそれに印加される電圧に応じてその硬度が変化する剛性可変アクチュエータであってよい。なお、図2では、1つの可撓管特性変更部70が示されているが、可撓管特性変更部70の数はこれに限定されない。すなわち、可撓管部14の長手方向にわたって配置された複数の可撓管特性変更部70が設けられてもよい。
内視鏡制御装置40は、制御部41と、駆動部42と、画像処理部43とを含む。また、挿入支援制御装置100は、挿入状態入力部111と、画像入力部112と、状況判定部113と、補助情報提示部114とを含む。内視鏡制御装置40及び挿入支援制御装置100は、CPUなどのプロセッサで構成されてよい。すなわち、内視鏡制御装置40及び挿入支援制御装置100は、の上述の各部は、CPUなどのプロセッサで構成されてよい。この場合、例えば、プロセッサを各部として機能させるための各種プログラムを不図示の内部メモリあるいは外部メモリに準備しておき、そのプログラムをプロセッサが実行することで、プロセッサが制御装置40、100の各部としての機能を実施する。あるいは、制御装置40、100の各部は、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などを含むハードウエア回路によって構成されてよい。
本実施形態では、挿入支援制御装置100の上述の各部、すなわち、挿入状態入力部111と、画像入力部112と、状況判定部113と、補助情報提示部114とは、内視鏡ビデオ画像プロセッサである内視鏡制御装置40とは別体の挿入支援制御装置100に含まれている。しかしながら、これに限定されない。すなわち、挿入支援制御装置100の上述の各部として機能するプロセッサあるいはハードウエア回路は、各部としての機能を実施可能である限り、1つの筐体に含まれてもよいし、複数の筐体に含まれてもよい。もちろん、内視鏡制御装置40に含まれてもよい。
内視鏡制御装置40において、制御部41は、内視鏡10の各種動作を制御する制御回路である。また、駆動部42は、内視鏡10の撮像素子19を駆動する信号を送出する駆動回路である。また、画像処理部43は、撮像素子19で光信号から変換された電気信号をビデオ信号に変換処理する画像信号処理回路である。なお、制御部41は、光源装置30の調光制御もする。
挿入支援制御装置100において、挿入状態入力部111には、挿入形状観測装置20から、挿入部11の挿入状態としてその湾曲形状情報(湾曲角度、湾曲量、曲率あるいは曲率半径など)が入力される。画像入力部112には、内視鏡制御装置40から内視鏡画像情報が入力される。状況判定部113は、挿入状態入力部111及び画像入力部112からの情報に基づいて、挿入部11の挿入状況を判定する。補助情報提示部114は、状況判定部113による判定に基づいて、挿入補助情報を生成して表示装置60に表示させる。
入力装置50は、キーボードなどの一般的な入力用機器である。入力装置50には、内視鏡装置1を動作させるための各種指令などが入力される。入力装置50は、内視鏡制御装置40に設けられた操作パネルあるいは表示画面に表示されたタッチパネルであってもよい。なお、図示されないが、挿入形状観測装置20の観測装置本体24及び挿入支援制御装置100にも、操作パネルやタッチパネルなどの入力部が設けられている。
表示装置60は、液晶ディスプレイなどの一般的なモニタである。表示装置60は、内視鏡制御装置40の制御部41による表示制御により、画像処理部43で画像処理された内視鏡画像を表示する。また、表示装置60は、挿入形状観測装置20の制御部21による表示制御により、挿入形状観測装置20からの湾曲形状情報に基づいて、挿入部11の湾曲形状に関する3次元画像や文字情報などを表示してよい。また、表示装置60は、挿入支援制御装置100による表示制御により、挿入支援制御装置100の補助情報提示部114で生成された挿入補助情報を表示する。なお、内視鏡画像が表示される表示装置、湾曲形状などが表示される表示装置、及び挿入補助情報が表示される表示装置は、同じであってもよいし別々であってもよい。すなわち、表示装置60とは異なる表示装置に挿入補助情報が表示されてもよい。
次に、内視鏡装置1の一般的な大腸内視鏡挿入動作について説明する。
内視鏡装置1において、内視鏡10の挿入部11は、術者により肛門から直腸、結腸へと挿入される。内視鏡10は、先端硬質部12の撮像素子19により腸管内の被写体からの光を電気信号に変換する。そして、電気信号が内視鏡制御装置40に伝達される。内視鏡制御装置40の画像処理部43は、その電気信号を取得して、取得した電気信号をビデオ信号に変換処理する。そして、制御部41が、ビデオ信号に基づく内視鏡画像を表示装置60に表示させる。
内視鏡装置1において、内視鏡10の挿入部11は、術者により肛門から直腸、結腸へと挿入される。内視鏡10は、先端硬質部12の撮像素子19により腸管内の被写体からの光を電気信号に変換する。そして、電気信号が内視鏡制御装置40に伝達される。内視鏡制御装置40の画像処理部43は、その電気信号を取得して、取得した電気信号をビデオ信号に変換処理する。そして、制御部41が、ビデオ信号に基づく内視鏡画像を表示装置60に表示させる。
挿入中、挿入形状観測装置20の制御部21が、送信部23からソースコイル25にそれぞれ異なる周波数の駆動信号を供給させる。これにより、各ソースコイル25はその周囲に微弱な交流磁界を生成する。すなわち、各ソースコイル25からその位置に関する情報が出力される。アンテナ26は、ソースコイル25が発生した磁界を検出して、その検出信号を受信部22に送出する。制御部21は、受信部22で受信した磁界検出信号に基づいて各ソースコイル25の位置座標を算出し、算出した位置座標に対応した挿入部11の例えば3次元画像を生成して表示装置60に表示させる。
大腸内視鏡挿入手技は難易度が高く、習得に時間がかかる。例えば、挿入部先端の盲腸到達率が90%を超えるまでに術者は1000症例の経験を要するとされる。また、手技の教育においては一般的に非熟練医の検査に熟練医(あるいは指導医)が立会い、個別に指導をする必要がある。非熟練医は内視鏡検査に時間を要し、時には患者に苦痛を与えることもある。また、熟練医に対する時間的な拘束が必要となる。さらには、指導が可能な熟練医が必ずしも在籍していない病院も多々ある。
また、大腸内視鏡挿入においては、種々の挿入困難事象が生じる。例えば、術者は、挿入すべき管腔方向を見失うと管腔方向を再度見つけることが必要になるが、非熟練医にとってこれは容易ではない。また、体腔内に挿入した挿入部11に撓みや種々のループ形成が生じることにより、術者が手元側から挿入部11を押し込んでも挿入部先端が進まない、あるいは挿入部11から腸壁に力が加わって伸展させることにより患者に疼痛を感じさせることがある。例えば、S状結腸は腹部内に固定されていない可動腸管であるため、特に、その屈曲部であるS状結腸頂上部(いわゆるS-top)に挿入部11から力が加わって過伸展されると、患者に苦痛を与える可能性がある。
このような状況では、挿入部11の撓みの解消やループ形状の解除(例えば“スコープの直線化”と呼ばれる)が有効である。しかしながら、非熟練医である術者が状況を的確に判断して適切なタイミングで適切な操作を行うことは難しい。
例えば、大腸内視鏡挿入手技において、挿入部11の腸管を畳み込みながら同心円状に短縮・直線化して挿入していく手法が知られている。この手法は、Right turn shorteningと称される。なお、軸保持短縮法、Hooking the foldも同様の手法である。この手法において、挿入部11は、直腸からS-topまでは直線的に進められ、S-topを越えて折り返すときにステッキ形状となる。ステッキ形状のときの挿入部11の直線的な部分を回転軸と称する。Right turn shorteningでは、挿入部11を手元側に引き抜く操作と回転軸を右回りに捻る操作とを組み合わせてS-topを短縮していき、S状結腸を畳み込みながら直線化していく。
図3に示されるように、挿入時の腸管200、例えばS状結腸におけるループ形成パターンには、αループ、Nループ、γループ等がある。S状結腸を上述のRight turn shorteningで挿入していくために基本となるのは、右回転軸のNループである。この状態から、挿入部先端が左回転軸へと流れるとαループが形成され、右回転軸へと流れるとγループ(逆αループ)が形成される。αループ及びγループが形成されても、Right turn shorteningによりループ形成を解除してS状結腸を畳み込みながら挿入を進めていくことが可能である。また、Nループが反転した裏Nループが形成されることもある。この状態から、挿入部先端が左回転軸へと流れると裏γループが形成され、右回転軸へと流れると裏αループが形成される。裏ループの場合には、挿入部11を手元側に引き抜く操作と回転軸を左回りに捻る操作とを組み合わせることでループ形成を解除する。したがって、裏ループの場合には、Left turn & Right turn shortening、すなわち、左回りの回転でループ形成解除をした後、右回りの回転でS状結腸を畳み込みながら挿入を進めていくこととなる。
このように、大腸内視鏡挿入手技はループ形成パターンに応じて異なる。また、S状結腸のみならず、横行結腸等の異なる部位にループが生じることもある。このため、大腸内視鏡挿入手技は多様である。このような背景において、非熟練医に対する大腸内視鏡挿入手技習得に要する時間の短縮、効率化、及びより安全な内視鏡検査の実現が望まれている。これに関して、本実施形態では、挿入支援制御装置100による挿入支援を提供する。
以下、本実施形態による内視鏡挿入支援の一例について説明する。図4は、本実施形態による挿入支援フローの一例を示す図である。
ステップS101において、挿入支援制御装置100は、挿入支援を終了するか否か、すなわち、挿入支援終了指示が入力されたか否かを判定する。挿入支援の終了は、例えば挿入部先端の盲腸到達に基づく終了指示(外部からの入力)に基づいて判定される。術者は、内視鏡10で取得した内視鏡画像、挿入形状観測装置20で取得した挿入部11の湾曲形状、あるいは術者の手の感覚などに基づいて、挿入支援を終了したい場合に挿入支援制御装置100の不図示の入力部などから終了指示を入力してよい。挿入支援を終了すると判定された場合(Yes)には、処理は終了する。挿入支援を終了しないと判定された場合(No)には、処理はステップS102に進む。
ステップS102において、挿入部11の挿入状況に関する状況判定が行われる。挿入支援制御装置100の画像入力部112には、内視鏡制御装置40から、時系列的に生成された複数の内視鏡画像が入力される。例えば、内視鏡10は、30fpsで内視鏡画像を撮像し、その内視鏡画像が内視鏡制御装置40から画像入力部112に入力される。もちろん、入力される内視鏡画像はこれに限定されるものではなく、サンプリングにより1秒間に30フレームよりも少なくしてもよい。入力された画像は、画像入力部112又は状況判定部113内の、又は、挿入支援制御装置100に設けた不図示の内部メモリ(あるいは外部メモリ)に所定数、例えば300フレーム以上保存される。状況判定部113は、画像入力部112に入力され保存された内視鏡画像に基づいて、内視鏡挿入における状況判定を実行する。例えば、状況判定部113は、現時点から前10秒分、すなわち300フレームの画像を用いて状況判定を行う。
また、挿入支援制御装置100の挿入状態入力部111には、挿入形状観測装置20から、内視鏡10の挿入状態に関する情報が入力されてよい。状況判定部113は、画像入力部112に入力され保存された内視鏡画像に加えて、挿入状態入力部111に入力された挿入状態に関する情報に基づいて、内視鏡挿入における状況判定を実行してよい。
例えば、大腸内視鏡検査の(観察、処置・治療等の他の行為を除く)挿入手技においては、図5の左の列に示されるような状況が生じうる。状況判定部113は、内視鏡画像、あるいは内視鏡画像及び挿入状態に関する情報に基づいて、どの状況が生じているかを判定する。例えば、状況判定部113は、上述の300フレームの内視鏡画像に基づいて、内視鏡挿入における状況判定を実行する。
1)大きな問題なく挿入中
状況判定部113は、画像入力部112に入力された複数の内視鏡画像(撮像シーン)が所定時間にわたって継続的に変化していることを検出したとき、挿入部11が大きな問題なく挿入されていると判定する(判定結果1)。これは、挿入部11が腸管をスムーズに進行している状況である。あるいは、状況判定部113は、これに加えて、内視鏡10の挿入状態に関する情報から、挿入部11の挿入形状や挿入長が所定時間にわたって継続的に変化していることを検出したときも、判定結果1としてよい。
状況判定部113は、画像入力部112に入力された複数の内視鏡画像(撮像シーン)が所定時間にわたって継続的に変化していることを検出したとき、挿入部11が大きな問題なく挿入されていると判定する(判定結果1)。これは、挿入部11が腸管をスムーズに進行している状況である。あるいは、状況判定部113は、これに加えて、内視鏡10の挿入状態に関する情報から、挿入部11の挿入形状や挿入長が所定時間にわたって継続的に変化していることを検出したときも、判定結果1としてよい。
2)管腔等の進行方向が見えているが視野が変わらない
状況判定部113は、画像入力部112に入力された複数の内視鏡画像に管腔等の進行方向が見えているものの画像の変化が微小である(挿入部先端の向きが多少変わった程度)、もしくは画像がほとんど変化していないことを検出したとき、管腔等の進行方向が見えているが視野が変わらないと判定する(判定結果2)。あるいは、状況判定部113は、内視鏡10の挿入状態に関する情報から、挿入部11の手元側の操作(押し込み操作又は引き抜き操作)に対して挿入部11の先端側の変化(移動量)が小さいことを検出したときも、判定結果2としてよい。手元側の押し込み操作又は引抜き操作に対して挿入部11の先端側の変化が小さい場合、挿入部11が撓んでいる、あるいは、ループが形成されていることが考えられる。また、状況判定部113は、内視鏡10の挿入状態に関する情報から、撓み箇所自体あるいはループ自体を検出したときも、判定結果2としてよい。
状況判定部113は、画像入力部112に入力された複数の内視鏡画像に管腔等の進行方向が見えているものの画像の変化が微小である(挿入部先端の向きが多少変わった程度)、もしくは画像がほとんど変化していないことを検出したとき、管腔等の進行方向が見えているが視野が変わらないと判定する(判定結果2)。あるいは、状況判定部113は、内視鏡10の挿入状態に関する情報から、挿入部11の手元側の操作(押し込み操作又は引き抜き操作)に対して挿入部11の先端側の変化(移動量)が小さいことを検出したときも、判定結果2としてよい。手元側の押し込み操作又は引抜き操作に対して挿入部11の先端側の変化が小さい場合、挿入部11が撓んでいる、あるいは、ループが形成されていることが考えられる。また、状況判定部113は、内視鏡10の挿入状態に関する情報から、撓み箇所自体あるいはループ自体を検出したときも、判定結果2としてよい。
3)過剰に近接した状態が続いている
状況判定部113は、画像入力部112に入力された複数の内視鏡画像が粘膜過近接あるいは赤玉状態のままで所定時間(例えば10秒)経過していることを検出したとき、すなわち、例えば上述の300フレームの画像が赤玉状態であることを検出したとき、過剰に近接した状態が続いていると判定する(判定結果3)。なお、赤玉状態とは、挿入部先端が粘膜に接触していて粘膜下層の血流により画像全体が赤っぽい色になる状態のことである。
状況判定部113は、画像入力部112に入力された複数の内視鏡画像が粘膜過近接あるいは赤玉状態のままで所定時間(例えば10秒)経過していることを検出したとき、すなわち、例えば上述の300フレームの画像が赤玉状態であることを検出したとき、過剰に近接した状態が続いていると判定する(判定結果3)。なお、赤玉状態とは、挿入部先端が粘膜に接触していて粘膜下層の血流により画像全体が赤っぽい色になる状態のことである。
4)同じ範囲(シーン)の進行/退行を繰り返している
状況判定部113は、画像入力部112に入力された時系列的な複数の内視鏡画像において、時刻tと略同一の画像が時刻t+αに撮像されたことを検出したとき、同じ範囲(シーン)の進行/退行を繰り返していると判定する(判定結果4)。これは、挿入部11が抜け等により時刻tの位置や状況に戻ってしまっている状態である。例えば、あるシーンが過去Nフレーム内に撮像された画像とほぼ一致する場合に、状況判定部113は、判定結果4であると判定する。
状況判定部113は、画像入力部112に入力された時系列的な複数の内視鏡画像において、時刻tと略同一の画像が時刻t+αに撮像されたことを検出したとき、同じ範囲(シーン)の進行/退行を繰り返していると判定する(判定結果4)。これは、挿入部11が抜け等により時刻tの位置や状況に戻ってしまっている状態である。例えば、あるシーンが過去Nフレーム内に撮像された画像とほぼ一致する場合に、状況判定部113は、判定結果4であると判定する。
5)腸管のつぶれにより管腔等の進行方向が見えておらず視野も変わらない
状況判定部113は、画像入力部112に入力された複数の内視鏡画像において腸管のつぶれを認識し、かつ画像の変化が微小である(挿入部先端の向きが多少変わった程度)、もしくは画像がほとんど変化していないことを検出したとき、腸管のつぶれにより管腔等の進行方向が見えておらず視野も変わらないと判定する(判定結果5)。
状況判定部113は、画像入力部112に入力された複数の内視鏡画像において腸管のつぶれを認識し、かつ画像の変化が微小である(挿入部先端の向きが多少変わった程度)、もしくは画像がほとんど変化していないことを検出したとき、腸管のつぶれにより管腔等の進行方向が見えておらず視野も変わらないと判定する(判定結果5)。
6)その他(判定不能、挿入支援対象外等)
上記判定結果1~5のいずれにも当てはまらない場合、状況判定部113は、判定結果6と判定する。これは、判定不能、あるいは挿入支援対象外等であるときに当てはまる。
上記判定結果1~5のいずれにも当てはまらない場合、状況判定部113は、判定結果6と判定する。これは、判定不能、あるいは挿入支援対象外等であるときに当てはまる。
このように、判定結果1~6のうち、判定結果1、2は、画像入力部112に入力された内視鏡画像に基づいた判定結果、挿入状態入力部111に入力された挿入状態に関する情報に基づいた判定結果、あるいはこれらの組合せによる判定結果であってよく、また、判定結果3~6は、画像入力部112に入力された内視鏡画像に基づいた判定結果である。状況判定に挿入状態に関する情報も用いることにより、より高精度の認識が可能となる。
内視鏡画像に基づいた上述の状況判定に関して、状況判定部113による状況判定には、例えば、各内視鏡画像間の相関に基づく変化量の検出、各画像のシーン認識、あるいはこれらの組合せ技術が利用可能である。状況判定部113は、同じシーンの連続、繰り返し、管腔や襞等の重要構造の有無等を認識することにより、状況判定を行う。
また、状況判定部113は、例えば、Recurrent Neural Network、3D-CNN等のディープニューラルネットワーク技術を用いた学習結果の利用をしてよい。これにより、各内視鏡画像間の相関に基づく変化量の検出、各画像のシーン認識などの内容を学習により認識することが可能となる。状況判定部113は、例えば、Recurrent Neural Network等を用いた複数のフレーム画像に対する状況認識(動作認識の応用)を用いる。状況判定部113は、複数のフレーム(例えば、30フレーム×5秒=150フレーム、あるいは、数フレーム間隔でサンプリングしてもよい)の画像列と、状況をカテゴリとした学習による認識(判定結果1~5のカテゴリ化)とを用いて判定を行ってよい。これは、例えば、Noriki Nishida, Hideki Nakayama, "Multimodal gesture recognition using multi-stream recurrent neural network", Pacific-Rim Symposium on Image and Video Technology (PSIVT), 2015、あるいは、神谷龍司らによるConvolutional-Recurrent Neural Network による自己運動識別、画像センシングシンポジウム、2016に開示される技術であってよい。
このように、ステップS102において、状況判定部113は、画像入力部112に入力された、時系列的に生成された複数の内視鏡画像に基づいて、あるいはこれと挿入状態入力部111に入力された挿入状態に関する情報とに基づいて、内視鏡挿入における状況が上記判定結果1~6のいずれであるかを判定する。
続くステップS103において、状況判定部113は、ステップS102による状況判定結果(判定結果1~6)に基づいて、挿入困難な状況に直面しているか、すなわち、術者に補助情報を提示すべきか否かを判定する。図5の中央の列には、ステップS103における挿入困難の判定結果(Yes/No)が示されている。判定結果1である場合には、大きな問題なく挿入できているため、挿入困難状況ではない。また、判定結果6である場合も同様に挿入困難状況ではないとする。したがって、判定結果1)、6)の場合には、状況判定部113は、ステップS103において挿入困難状況ではない(No)と判定し、ステップS101に戻る。判定結果2~5のいずれかである場合には、状況判定部113は、このまま挿入を続けても内視鏡10の挿入部11がうまく挿入されない挿入困難状況であると判定し(Yes)、ステップS104に進む。
ステップS104において、補助情報提示部114は、ステップS102における状況判定結果に対応する補助情報を生成する。補助情報提示部114は、例えば、状況判定部113の判定結果に対して提示する情報(例えば、文字情報、画像情報、あるいはこれらの組合せ)を対応付けたデータベースを備え、判定結果に基づく提示情報を選択する。すなわち、補助情報提示部114は、状況判定部113による判定結果に基づいて、内視鏡挿入手技に関連付けて用意された複数の補助情報の中から少なくとも1つの補助情報を提示する。そして、ステップS105において、補助情報提示部114は、生成した補助情報を表示装置60に表示させる。
本実施形態では、判定結果2~5は、大腸内視鏡挿入操作において何らかの問題が生じており、術者が何らの支援なしにこのまま挿入を続けるのは難しいと考えられる状況である。判定結果2~5の各々について、代表的な問題及びそれらの解決に有効となる補助情報、すなわち支援情報を以下に説明する。この支援情報は、例えば、大腸内視鏡検査の経験豊富な術者が挿入困難状況に直面したときに経験に基づいて行う操作に対応するものである。図5の右の列には、判定結果2~5における補助情報の一例が示されている。
判定結果2における補助情報
管腔等の進行方向が見えているが視野が変わらない場合には、術者が挿入部11を手元側から押し込む操作をしても挿入部先端にその押し込み力が伝達されない状況が考えられる。したがって、補助情報提示部114は、例えば、可撓管特性変更部70により可撓管部14の曲げ剛性を高くするように、剛性変更操作を促す補助情報を生成する。可撓管部14の曲げ剛性を高くすると、可撓管部14が撓みにくくなるため、術者が挿入部11を手元側から押し込む力が挿入部先端に伝達されやすくなる。したがって、挿入部先端が進みやすくなる。
管腔等の進行方向が見えているが視野が変わらない場合には、術者が挿入部11を手元側から押し込む操作をしても挿入部先端にその押し込み力が伝達されない状況が考えられる。したがって、補助情報提示部114は、例えば、可撓管特性変更部70により可撓管部14の曲げ剛性を高くするように、剛性変更操作を促す補助情報を生成する。可撓管部14の曲げ剛性を高くすると、可撓管部14が撓みにくくなるため、術者が挿入部11を手元側から押し込む力が挿入部先端に伝達されやすくなる。したがって、挿入部先端が進みやすくなる。
あるいは、補助情報提示部114は、スコープの直線化を促す補助情報を生成する。スコープの直線化を促す補助情報とは、術者が挿入部11を手元側から引き戻すPULL操作、あるいは、図3を参照して説明したようなループ解除操作であってよい。このような補助情報により、挿入部11を手元側から押し込むPUSH操作を行っていた術者は、押し込み操作を引き戻し操作やループ解除操作に切り替える。これにより、挿入状況を改善することができる。
また、管腔等の進行方向が見えていても挿入部先端を管腔方向にうまく向けられていない状況が考えられるため、補助情報提示部114は、湾曲部13にアングルをかける方向あるいは挿入部11を捻る方向を導出し、導出した方向を補助情報とする。このような補助情報により、術者は、導出された方向に湾曲部13にアングルをかけるか挿入部11を手元側から捻る。これにより、挿入状況を改善することができる。
判定結果3における補助情報
挿入部先端が粘膜面に対して過剰に近接している場合には、熟練医は、経験に基づいて、挿入部11を手元側から一旦引き戻すPULL操作をすることにより挿入部先端と粘膜面との距離をとり、操作部15のアングルノブ16を操作することによる湾曲部13のアングル操作、あるいは挿入部11を手元側から右回り(時計回り)に捻る操作により管腔方向を探す。一方、非熟練医は、挿入済みの挿入部11が抜けてくることを恐れ、適切な引き戻し操作ができないことがある。実際には多少の抜けが生じても、一度挿入できた部位までは大腸の形状も挿入部11に合わせて比較的整っていることから再挿入は容易であることが多い。したがって、判定結果3の場合には、支援情報として、挿入部11を引き戻すPULL操作を明確に促すことが有用となる。補助情報提示部114は、PULL操作を促す補助情報を生成する。このような補助情報に基づいて術者がPULL操作を行うことにより、挿入状況を改善することができる。
挿入部先端が粘膜面に対して過剰に近接している場合には、熟練医は、経験に基づいて、挿入部11を手元側から一旦引き戻すPULL操作をすることにより挿入部先端と粘膜面との距離をとり、操作部15のアングルノブ16を操作することによる湾曲部13のアングル操作、あるいは挿入部11を手元側から右回り(時計回り)に捻る操作により管腔方向を探す。一方、非熟練医は、挿入済みの挿入部11が抜けてくることを恐れ、適切な引き戻し操作ができないことがある。実際には多少の抜けが生じても、一度挿入できた部位までは大腸の形状も挿入部11に合わせて比較的整っていることから再挿入は容易であることが多い。したがって、判定結果3の場合には、支援情報として、挿入部11を引き戻すPULL操作を明確に促すことが有用となる。補助情報提示部114は、PULL操作を促す補助情報を生成する。このような補助情報に基づいて術者がPULL操作を行うことにより、挿入状況を改善することができる。
図6に示されるように、大腸内視鏡挿入法の1つとして、例えば、挿入部11のループを形成せず、腸管200を撓ませずに挿入部11を進めるNon-loop法が知られている。この手法では、挿入部11を手元側から右回りに捻ることで挿入部11の屈曲部分11aが腸管にトルクを伝達する。そして、挿入部11を手元側に少し引き抜くことでクランク状に屈曲した腸管の走行を変えながら、粘膜にぶつかることなく湾曲部13のアングルを解除する。そして、腸管が回転してきたら、挿入部11が抜けないようにアングルを解除していくと、腸管を直線化することが可能である。判定結果3の場合には、補助情報提示部114は、例えば、このようなNon-loop法による挿入を円滑に進めるための補助情報を提示してよい。
判定結果4における補助情報
同じ範囲(シーン)の進行/退行を繰り返している場合には、判定結果2と同様に、挿入部11を手元側から押し込んだ力が挿入部先端に十分に伝達されないことが考えられる。したがって、曲げ剛性変更やスコープの直線化を促すことが有用である。補助情報提示部114は、例えば、可撓管特性変更部70により可撓管部14の曲げ剛性を高くするように、剛性変更操作を促す補助情報を生成する。これにより、可撓管部14が撓みにくくなり、術者が挿入部11を手元側から押し込む力が挿入部先端に伝達されて挿入部先端が進みやすくなる。あるいは、補助情報提示部114は、スコープの直線化(引き戻し操作やループ解除操作等)を促す補助情報を生成する。このような補助情報に基づいて術者が操作を行うことにより、挿入状況が改善される。
同じ範囲(シーン)の進行/退行を繰り返している場合には、判定結果2と同様に、挿入部11を手元側から押し込んだ力が挿入部先端に十分に伝達されないことが考えられる。したがって、曲げ剛性変更やスコープの直線化を促すことが有用である。補助情報提示部114は、例えば、可撓管特性変更部70により可撓管部14の曲げ剛性を高くするように、剛性変更操作を促す補助情報を生成する。これにより、可撓管部14が撓みにくくなり、術者が挿入部11を手元側から押し込む力が挿入部先端に伝達されて挿入部先端が進みやすくなる。あるいは、補助情報提示部114は、スコープの直線化(引き戻し操作やループ解除操作等)を促す補助情報を生成する。このような補助情報に基づいて術者が操作を行うことにより、挿入状況が改善される。
例えば、上述のようなRight turn shorteningによる挿入において、腸管を短縮・直線化するための操作を実施しつつうまくいかず同様の同じ範囲(シーン)の進行/退行が繰り返されていることがある。これもまた、判定結果4に該当する。この場合には、補助情報提示部114は、例えば、挿入部11をより深く挿入してから腸管を短縮・直線化するための操作を試みることを促す補助情報を生成する、あるいは、短縮・直線化の操作をあきらめてPUSH操作による挿入に切り替えることを促す補助情報を生成する。このような補助情報に基づいて術者が操作を行うことにより、挿入状況が改善される。
判定結果5における補助情報
管腔がつぶれている状況では、内視鏡10への送気(又は送水)により管腔を適度に広げる操作が必要となる場合がある。一方で、過剰な送気により腸管を膨張させると以後の挿入がさらに難しくなってしまうことが知られている。したがって、送気により管腔を広げることを促すとともに、適切な送気量に達して管腔が認識可能となった時点で送気中止することが望ましい。
管腔がつぶれている状況では、内視鏡10への送気(又は送水)により管腔を適度に広げる操作が必要となる場合がある。一方で、過剰な送気により腸管を膨張させると以後の挿入がさらに難しくなってしまうことが知られている。したがって、送気により管腔を広げることを促すとともに、適切な送気量に達して管腔が認識可能となった時点で送気中止することが望ましい。
そこで、判定結果5の場合には、補助情報提示部114は、例えば、送気により管腔を広げて、その後、適切な送気量に達し管腔が認識可能となった時点で送気を中止することを促す補助情報を生成する。このような補助情報に基づいて術者が操作を行うことにより、管腔のつぶれた状況が改善される。また、管腔が拡がって挿入部11が通過した後は余剰となった空気の脱気を促すことも有用である。補助情報提示部114は、通過後の脱気を促す補助情報を生成してよい。これにより、管腔のつぶれた状況が改善された後により挿入が進めやすい状況とすることが可能である。
判定結果5で顕著であるように、各判定結果2~5において補助情報提示部114によって生成あるいは選択される補助情報は、1つに限られない。補助情報提示部114は、複数の補助情報を生成あるいは選択してよい。複数の補助情報は、表示装置60に同時に提示されてもよいし、順次提示されてもよい。
ステップS105の後、ステップS101に戻り、挿入支援制御装置100は、挿入支援終了か否かを判定する。挿入支援を終了すると判定された場合(Yes)には、処理は終了する。挿入支援を終了しないと判定された場合(No)には、処理はステップS102以下を繰り返す。
以上説明したように、本実施形態では、補助情報提示部114は、状況判定部113による判定結果に基づいて、大腸内視鏡挿入手技に関連付けて用意された複数の補助情報の中から少なくとも1つの補助情報を提示する。大腸内視鏡挿入手技には、腸管の屈曲形状に沿って主にPUSH操作で挿入部先端を進めていく手法(いわゆるループ挿入法)、あるいは、挿入部の長手軸を保持しながら腸管を短縮して挿入する手法(いわゆる軸保持短縮法、上述のRight turn shorteningはこの手法の部類である)などがあるが、本実施形態では、補助情報提示部114は、挿入状況の判定結果に応じて、これら手技に関連付けて用意された複数の補助情報の中から適切な補助情報を選択して提示することが可能である。
本実施形態によれば、内視鏡挿入において術者が困難な状況に直面した際に、困難の内容に応じた支援情報を適時提示することが可能となる。したがって、指導医がいない状況下においてもそれに準じた支援情報を術者に提供することで、よりスムーズな内視鏡検査の実施及び内視鏡挿入への熟練に対する補助効果を得ることができる。
特に、大腸内視鏡挿入において、S状結腸などの可動腸管は容易に動き、また、S-topなどの屈曲部を有するため、経験の少ない術者は挿入困難状況に陥りやすい。これに対して、本実施形態では、大腸内視鏡挿入において想定される種々の困難事象及びその対処方法を互いに関連付け、支援情報として補助情報提示部114のデータベースに予め用意しているため、想定される困難事象が生じた際に適時の補助や支援を提供することが可能である。適切な補助や支援を受けて術者が大腸内視鏡検査を行うことにより、挿入部11から腸管に過度の力が加わることによる患者の苦痛の低減、あるいは、検査時間の短縮が実現される。
なお、状況判定部113は、画像入力部112に入力された時系列的な複数の内視鏡画像に基づいた判定、これと挿入状態入力部111に入力された挿入状態に関する情報とに基づいた判定の他、挿入部11のPUSH操作又はPULL操作による移動量を検出するセンサ、挿入部11の右回り又は左回りの回転量を検出するセンサ、あるいはアングルノブ16のアングル操作による湾曲部13の湾曲量を検出するセンサ、挿入部11に加わった力量を検出するセンサなどの各種センサが検出した検出情報を利用して状況判定を行ってもよい。これにより、より高精度な状況判定が可能となり、的確な支援情報を提供することが可能となる。
例えば、挿入部11の長手方向に沿って、挿入部11が外部(例えば腸管)から受ける力量を検出する複数のセンサが配置されている場合には、状況判定部113は、内視鏡画像情報に加えて、各センサが検出した力量を判定に使用することが可能である。このような判定により、判定結果2(管腔等の進行方向が見えているが視野が変わらない)の場合において、これがループ形成によるものであるか否かをより正確に判定することができる。
また、補助情報提示部114により提示される補助情報は、視覚的なものに限らず、不図示のスピーカー等により発せられる音声など聴覚的な補助情報、あるいは視覚的な補助情報と聴覚的な補助情報との組合せであってよい。
また、状況判定部113が判定する状況は、挿入に難儀する状態に限らない。状況判定部113は、例えば、速すぎる押し込み操作やアングル操作等を上述のセンサ等により検出して判定してもよい。この場合、補助情報提示部114により提示される補助情報は、そのような操作を抑制させるための情報である。
なお、ここまで、大腸内視鏡を含む内視鏡装置を挙げて説明してきたが、本発明は、これに限定されない。大腸内視鏡以外の下部消化管内視鏡、あるいは上部消化管内視鏡においても本発明の概念が適用可能である。また、本発明の概念は、医療用の内視鏡を備えた内視鏡装置以外の内視鏡装置、あるいは可撓管挿入装置にも適用可能である。
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出されうる。
Claims (13)
- 時系列的に生成された複数の内視鏡画像が入力される画像入力部と、
入力された前記複数の内視鏡画像に基づいて内視鏡挿入における状況を判定する状況判定部と、
前記状況判定部による判定結果に基づいて、内視鏡挿入手技に関連付けて用意された複数の補助情報の中から少なくとも1つの補助情報を提示するための補助情報提示部と、
を具備する挿入支援装置。 - 前記状況判定部は、前記複数の内視鏡画像における画像の変化情報に基づいて内視鏡挿入における状況を判定する、請求項1に記載の挿入支援装置。
- 前記複数の内視鏡画像は、大腸内視鏡検査により生成された内視鏡画像であり、
前記状況判定部は、前記大腸内視鏡検査における挿入状況を判定する、請求項1又は2に記載の挿入支援装置。 - 前記状況判定部による判定結果は、内視鏡挿入において挿入困難事象が生じているか否かの判定結果を含み、
前記補助情報提示部は、前記状況判定部が挿入困難事象が生じていると判定したときに前記挿入困難事象に対応した少なくとも1つの補助情報を提示する、請求項1乃至3のいずれか1に記載の挿入支援装置。 - 前記補助情報提示部は、前記補助情報として少なくとも内視鏡の操作に関する情報と内視鏡を挿入すべき方向に関する情報との少なくとも一方を提示する、請求項1乃至4のいずれか1項に記載の挿入支援装置。
- 内視鏡の挿入状態に関する情報が入力される挿入状態入力部をさらに具備し、
前記補助情報提示部は、前記複数の内視鏡画像に加えて、前記挿入状態に関する情報に基づいて内視鏡挿入における状況を判定する、請求項1乃至5のいずれか1項に記載の挿入支援装置。 - 前記挿入状態に関する情報は、内視鏡の挿入部の挿入形状に関する情報と内視鏡の挿入部の挿入長に関する情報との少なくとも一方を含む、請求項6に記載の挿入支援装置。
- 前記状況判定部が、進行方向が見えているが視野が変わらないと判定したとき、前記補助情報提示部は、前記補助情報として、内視鏡の挿入部の剛性変更操作、直線化操作、アングル操作あるいは捻り操作を促す提示をする、請求項1乃至7のいずれか1項に記載の挿入支援装置。
- 前記状況判定部が、過剰に近接した状態が続いていると判定したとき、前記補助情報提示部は、前記補助情報として、内視鏡の挿入部の引き戻し操作、アングル操作あるいは捻り操作を促す提示をする、請求項1乃至7のいずれか1項に記載の挿入支援装置。
- 前記状況判定部が、同じ範囲の進行と後退とを繰り返していると判定したとき、前記補助情報提示部は、前記補助情報として、内視鏡の挿入部の剛性変更操作、直線化操作、アングル操作あるいは捻り操作を促す提示をする、請求項1乃至7のいずれか1項に記載の挿入支援装置。
- 前記状況判定部が、管腔の進行方向が見えておらず視野も変わらないと判定したとき、前記補助情報提示部は、前記補助情報として、内視鏡の送気操作あるいは脱気操作を促す提示をする、請求項1乃至7のいずれか1項に記載の挿入支援装置。
- 時系列的に生成された複数の内視鏡画像を入力することと、
入力された前記複数の内視鏡画像に基づいて内視鏡挿入における状況を判定することと、
前記状況の判定に基づいて、内視鏡挿入手技に関連付けて用意された複数の補助情報の中から少なくとも1つの補助情報を提示することと、
を含む挿入支援方法。 - 請求項1乃至11のいずれか1に記載の挿入支援装置と、
能動的に湾曲される湾曲部と、前記湾曲部の基端側に連結され、受動的に湾曲される可撓管部とを備えた挿入部とを有する内視鏡と、
を具備する内視鏡装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201780092301.3A CN110769737B (zh) | 2017-06-21 | 2017-06-21 | ***辅助装置、工作方法和包括***辅助装置的内窥镜装置 |
PCT/JP2017/022830 WO2018235185A1 (ja) | 2017-06-21 | 2017-06-21 | 挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置 |
US16/720,110 US20200138269A1 (en) | 2017-06-21 | 2019-12-19 | Insertion support device, insertion support method, and endoscope apparatus including insertion support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/022830 WO2018235185A1 (ja) | 2017-06-21 | 2017-06-21 | 挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/720,110 Continuation US20200138269A1 (en) | 2017-06-21 | 2019-12-19 | Insertion support device, insertion support method, and endoscope apparatus including insertion support device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018235185A1 true WO2018235185A1 (ja) | 2018-12-27 |
Family
ID=64736907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/022830 WO2018235185A1 (ja) | 2017-06-21 | 2017-06-21 | 挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200138269A1 (ja) |
CN (1) | CN110769737B (ja) |
WO (1) | WO2018235185A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6632020B1 (ja) * | 2019-09-20 | 2020-01-15 | 株式会社Micotoテクノロジー | 内視鏡画像処理システム |
WO2020194472A1 (ja) * | 2019-03-25 | 2020-10-01 | オリンパス株式会社 | 移動支援システム、移動支援方法、および移動支援プログラム |
JPWO2021049475A1 (ja) * | 2019-09-10 | 2021-03-18 | ||
WO2021149112A1 (ja) * | 2020-01-20 | 2021-07-29 | オリンパス株式会社 | 内視鏡検査支援装置、内視鏡検査支援装置の作動方法及びプログラム |
WO2022085106A1 (ja) | 2020-10-21 | 2022-04-28 | 日本電気株式会社 | 内視鏡操作支援装置、制御方法、コンピュータ可読媒体、及びプログラム |
WO2022244265A1 (ja) * | 2021-05-21 | 2022-11-24 | オリンパス株式会社 | 検査ガイドサービスサーバおよび検査ガイド方法 |
DE102023129751A1 (de) | 2022-10-31 | 2024-05-02 | Fujifilm Corporation | Verarbeitungsvorrichtung, endoskopvorrichtung, und verarbeitungsverfahren |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7048628B2 (ja) | 2016-11-28 | 2022-04-05 | アダプティブエンドウ エルエルシー | 分離可能使い捨てシャフト付き内視鏡 |
USD1018844S1 (en) | 2020-01-09 | 2024-03-19 | Adaptivendo Llc | Endoscope handle |
USD1031035S1 (en) * | 2021-04-29 | 2024-06-11 | Adaptivendo Llc | Endoscope handle |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06304127A (ja) * | 1993-04-27 | 1994-11-01 | Olympus Optical Co Ltd | 内視鏡挿入補助装置 |
JP2006288752A (ja) * | 2005-04-11 | 2006-10-26 | Olympus Medical Systems Corp | 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法 |
JP2011235177A (ja) * | 2011-08-15 | 2011-11-24 | Olympus Corp | 内視鏡挿入方向検出方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3903877A (en) * | 1973-06-13 | 1975-09-09 | Olympus Optical Co | Endoscope |
JPH10286222A (ja) * | 1997-04-16 | 1998-10-27 | Olympus Optical Co Ltd | 内視鏡挿入補助装置 |
JP2000175861A (ja) * | 1998-12-17 | 2000-06-27 | Olympus Optical Co Ltd | 内視鏡形状検出装置 |
JP3290153B2 (ja) * | 1998-12-17 | 2002-06-10 | オリンパス光学工業株式会社 | 内視鏡挿入形状検出装置 |
JP4885388B2 (ja) * | 2001-09-25 | 2012-02-29 | オリンパス株式会社 | 内視鏡挿入方向検出方法 |
US20050272971A1 (en) * | 2002-08-30 | 2005-12-08 | Olympus Corporation | Medical treatment system, endoscope system, endoscope insert operation program, and endoscope device |
JP4365630B2 (ja) * | 2003-07-01 | 2009-11-18 | オリンパス株式会社 | 手術支援装置 |
US7901348B2 (en) * | 2003-12-12 | 2011-03-08 | University Of Washington | Catheterscope 3D guidance and interface system |
JP4373262B2 (ja) * | 2004-04-05 | 2009-11-25 | オリンパス株式会社 | 内視鏡挿入補助装置 |
JP3922284B2 (ja) * | 2004-03-31 | 2007-05-30 | 有限会社エスアールジェイ | 保持装置 |
JP2006192088A (ja) * | 2005-01-14 | 2006-07-27 | Pentax Corp | 大腸挿入用内視鏡の先端部 |
JP2006314711A (ja) * | 2005-05-16 | 2006-11-24 | Olympus Corp | 用手圧迫支援システム |
EP1917901B1 (en) * | 2005-08-25 | 2019-04-17 | Olympus Corporation | Endoscope insertion shape analysis apparatus and endoscope insertion shape analysis system |
JP4789545B2 (ja) * | 2005-08-25 | 2011-10-12 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入形状解析装置 |
JP5030514B2 (ja) * | 2006-09-15 | 2012-09-19 | オリンパスメディカルシステムズ株式会社 | 内視鏡及び内視鏡システム |
CN102078194B (zh) * | 2006-11-13 | 2012-11-14 | 奥林巴斯医疗株式会社 | 内窥镜***形状分析*** |
JP2011030735A (ja) * | 2009-07-31 | 2011-02-17 | Fujifilm Corp | 内視鏡形状検出装置及び内視鏡システム |
JP5687583B2 (ja) * | 2011-08-15 | 2015-03-18 | オリンパス株式会社 | 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置 |
EP2727514B1 (en) * | 2012-03-21 | 2017-05-10 | Olympus Corporation | Image processing device |
JP5628261B2 (ja) * | 2012-09-28 | 2014-11-19 | 富士フイルム株式会社 | 医療用駆動装置 |
JP6205125B2 (ja) * | 2012-12-11 | 2017-09-27 | オリンパス株式会社 | 内視鏡装置の挿入支援情報検出システム及び内視鏡装置 |
EP2962618A4 (en) * | 2013-02-27 | 2016-11-02 | Olympus Corp | FORWARD / REVERSE MOTION AIDING DEVICE FOR ENDOSCOPIC TREATMENT INSTRUMENT |
JP6431678B2 (ja) * | 2014-03-20 | 2018-11-28 | オリンパス株式会社 | 挿入形状検出装置 |
JP6053995B2 (ja) * | 2014-12-12 | 2016-12-27 | オリンパス株式会社 | 内視鏡検査業務支援システム |
-
2017
- 2017-06-21 WO PCT/JP2017/022830 patent/WO2018235185A1/ja active Application Filing
- 2017-06-21 CN CN201780092301.3A patent/CN110769737B/zh active Active
-
2019
- 2019-12-19 US US16/720,110 patent/US20200138269A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06304127A (ja) * | 1993-04-27 | 1994-11-01 | Olympus Optical Co Ltd | 内視鏡挿入補助装置 |
JP2006288752A (ja) * | 2005-04-11 | 2006-10-26 | Olympus Medical Systems Corp | 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法 |
JP2011235177A (ja) * | 2011-08-15 | 2011-11-24 | Olympus Corp | 内視鏡挿入方向検出方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113518576A (zh) * | 2019-03-25 | 2021-10-19 | 奥林巴斯株式会社 | 移动辅助***、移动辅助方法以及移动辅助程序 |
WO2020194472A1 (ja) * | 2019-03-25 | 2020-10-01 | オリンパス株式会社 | 移動支援システム、移動支援方法、および移動支援プログラム |
JPWO2021049475A1 (ja) * | 2019-09-10 | 2021-03-18 | ||
WO2021049475A1 (ja) * | 2019-09-10 | 2021-03-18 | オリンパス株式会社 | 内視鏡制御装置、内視鏡制御方法及びプログラム |
WO2021054419A1 (ja) * | 2019-09-20 | 2021-03-25 | 株式会社Micotoテクノロジー | 内視鏡画像処理システム及び内視鏡画像処理方法 |
JP2021048927A (ja) * | 2019-09-20 | 2021-04-01 | 株式会社Micotoテクノロジー | 内視鏡画像処理システム |
JP6632020B1 (ja) * | 2019-09-20 | 2020-01-15 | 株式会社Micotoテクノロジー | 内視鏡画像処理システム |
WO2021149112A1 (ja) * | 2020-01-20 | 2021-07-29 | オリンパス株式会社 | 内視鏡検査支援装置、内視鏡検査支援装置の作動方法及びプログラム |
JPWO2021149112A1 (ja) * | 2020-01-20 | 2021-07-29 | ||
JP7323647B2 (ja) | 2020-01-20 | 2023-08-08 | オリンパス株式会社 | 内視鏡検査支援装置、内視鏡検査支援装置の作動方法及びプログラム |
WO2022085106A1 (ja) | 2020-10-21 | 2022-04-28 | 日本電気株式会社 | 内視鏡操作支援装置、制御方法、コンピュータ可読媒体、及びプログラム |
WO2022244265A1 (ja) * | 2021-05-21 | 2022-11-24 | オリンパス株式会社 | 検査ガイドサービスサーバおよび検査ガイド方法 |
DE102023129751A1 (de) | 2022-10-31 | 2024-05-02 | Fujifilm Corporation | Verarbeitungsvorrichtung, endoskopvorrichtung, und verarbeitungsverfahren |
Also Published As
Publication number | Publication date |
---|---|
US20200138269A1 (en) | 2020-05-07 |
CN110769737B (zh) | 2022-03-29 |
CN110769737A (zh) | 2020-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018235185A1 (ja) | 挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置 | |
JP4153963B2 (ja) | 内視鏡挿入形状検出装置 | |
JP4274854B2 (ja) | 内視鏡挿入形状解析装置 | |
CN107405045B (zh) | 挠性管***装置 | |
JP6957645B2 (ja) | 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示システムの作動方法 | |
JP6749020B2 (ja) | 内視鏡ナビゲーション装置 | |
JP6450859B2 (ja) | 可撓管挿入装置 | |
JP7292376B2 (ja) | 制御装置、学習済みモデル、および内視鏡の移動支援システムの作動方法 | |
JP7323647B2 (ja) | 内視鏡検査支援装置、内視鏡検査支援装置の作動方法及びプログラム | |
US20200121163A1 (en) | Flexible tube insertion apparatus, insertion control apparatus, and flexible tube insertion support method | |
JP7038845B2 (ja) | 内視鏡挿入形状観測装置及び内視鏡形状観測装置の作動方法 | |
WO2018216142A1 (ja) | 可撓管挿入装置及び挿入制御装置 | |
US12035881B2 (en) | Systems and methods for responsive insertion and retraction of robotic endoscope | |
JP6001217B1 (ja) | 内視鏡挿入形状観測装置 | |
US10517461B2 (en) | Flexible tube insertion apparatus | |
WO2021181918A1 (ja) | 内視鏡用プロセッサ、内視鏡、内視鏡システム、情報処理方法、プログラム及び学習モデルの生成方法 | |
US11375878B2 (en) | Information presentation system including a flexible tubular insertion portion | |
CN113677251A (zh) | 监视***和内窥镜的***操作的评价方法 | |
JP2021194268A (ja) | 血管観察システムおよび血管観察方法 | |
WO2022195745A1 (ja) | 医療支援システム、内視鏡システム及び医療支援方法 | |
WO2022195746A1 (ja) | 挿入支援システム、内視鏡システム及び挿入支援方法 | |
JP7221787B2 (ja) | 血管径測定システム | |
US20230148849A1 (en) | Medical system and cannulation method | |
CN117241720A (zh) | 控制装置、内窥镜***以及控制方法 | |
JP2021194267A (ja) | 血管観察システムおよび血管観察方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17914601 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17914601 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |