WO2019035206A1 - 医療システムおよび画像生成方法 - Google Patents

医療システムおよび画像生成方法 Download PDF

Info

Publication number
WO2019035206A1
WO2019035206A1 PCT/JP2017/029614 JP2017029614W WO2019035206A1 WO 2019035206 A1 WO2019035206 A1 WO 2019035206A1 JP 2017029614 W JP2017029614 W JP 2017029614W WO 2019035206 A1 WO2019035206 A1 WO 2019035206A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display image
virtual image
medical device
display
Prior art date
Application number
PCT/JP2017/029614
Other languages
English (en)
French (fr)
Inventor
井上　慎太郎
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/029614 priority Critical patent/WO2019035206A1/ja
Publication of WO2019035206A1 publication Critical patent/WO2019035206A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to a medical system and an image generation method using the medical system.
  • the appropriate type of medical device is selected in accordance with the procedure, and the selected medical device is inserted into the abdominal cavity.
  • the operator needs to select a mesh with the optimal size necessary and sufficient to close the hernia gate, and insert the selected mesh into the abdominal cavity is there.
  • the operator confirms the image captured by the endoscope, estimates the length and area of the contour of the tissue in the three-dimensional space, and selects a mesh of an optimal size. If the selected mesh is inserted into the abdominal cavity and the size of the mesh is found to be small relative to the hernia gate, the operator needs to remove the mesh from the abdominal cavity and reinsert the reselected mesh into the abdominal cavity . Depending on the experience and technique of the operator, there is a problem that it takes time for trial and error of mesh selection.
  • Patent Document 1 describes a telesurgery robot system capable of measuring the length and area of a contour of a tissue in a three-dimensional space from an endoscopic image of the tissue acquired by the endoscope.
  • the telesurgical robot system can measure, for example, the distance between measurement points designated by a treatment tool, and superimpose the measured distance information on an endoscopic image for display.
  • the operator who uses the telesurgical robot system can grasp the dimensions and the like in the three-dimensional space of the tissue shown in the endoscopic image.
  • Patent Document 1 requires procedures such as designation of measurement points in order to perform measurement in a three-dimensional space, and it is possible to rapidly measure dimensions etc. in the three-dimensional space. It was not. In addition, it has been difficult for the operator to intuitively determine the most appropriate type of medical device from the measurement results of dimensions and the like in the three-dimensional space.
  • the present invention aims to provide a medical system capable of supporting selection of an appropriate type of medical device and an image generation method using the medical system.
  • a medical system includes a treatment tool, an endoscope having an imaging unit, a control device that generates a display image from a captured image acquired by the imaging unit, a display device that displays the display image, and medical treatment
  • An input device for selecting a device the control device measures a relative position from the endoscope to the treatment tool, and the control device reflects the display image based on the relative position
  • a virtual image of the medical device at a relative position to the treatment tool and having a relative size is superimposed on the display image.
  • the image generation method is a medical system in which a display image is generated from a captured image acquired by an imaging unit of an endoscope, and a medical device selecting step of selecting a medical device using an input device;
  • the medical device having a relative size relative to the treatment tool shown in the display image based on the relative position measuring step of measuring the relative position to the treatment tool and the relative position And a virtual image superimposing step of superimposing the virtual image on the display image.
  • selection of an appropriate type of medical device can be assisted.
  • the display image on which the virtual image of the selected mesh A is superimposed is shown.
  • the display image on which the virtual image of the selected mesh B is superimposed is shown.
  • the display image on which the virtual image of the selected stapler A is superimposed is shown.
  • the display image on which the virtual image of the selected stapler B is superimposed is shown. It is a figure which shows the whole structure of the modification of the medical system. It is a figure which shows the whole structure of the modification of the medical system.
  • the endoscope of the medical system concerning a third embodiment of the present invention is shown. In the medical system, the display image on which the virtual image of the selected snare A is superimposed is shown. In the medical system, the display image on which the virtual image of the selected snare B is superimposed is shown.
  • FIG. 1 is a diagram showing an entire configuration of a medical system 100 according to the present embodiment.
  • the medical system 100 includes a treatment tool 1, an endoscope 2, a control device 3, a display device 4, and an input device 5.
  • the medical system 100 is a system that supports a treatment to be performed by inserting the treatment instrument 1 or the endoscope 2 or the like from separate holes (openings) opened in an abdominal wall in laparoscopic surgery.
  • the treatment tool 1 has an elongated insertion portion 10 that can be inserted into the abdominal cavity of a patient, and an operation portion 11 provided on the proximal end side of the insertion portion 10.
  • the operator passes the insertion portion 10 through the trocar T which is punctured in the abdomen B of the patient and introduces the insertion portion 10 into the abdominal cavity.
  • the operator may introduce a plurality of treatment tools 1 into the abdominal cavity.
  • the insertion portion 10 has a treatment portion 12 at the tip end for treating an affected area of a patient.
  • the treatment unit 12 is a gripping mechanism configured by a pair of gripping members 12 a.
  • the operation unit 11 is a member for operating the pair of gripping members 12a.
  • the operation unit 11 has a handle, and moves the handle relative to the other portion of the operation unit 11 to open and close the pair of holding members 12 a of the treatment unit 12.
  • the operator can operate the treatment unit 12 by holding the operation unit 11 with one hand.
  • FIG. 2 is a hardware configuration diagram of the medical system 100 excluding the treatment tool 1.
  • the endoscope 2 has an elongated rigid insertion portion 20 which can be inserted into the abdominal cavity of a patient, and a handle portion 21.
  • the operator passes the insertion portion 20 through the trocar T which is punctured in the abdomen B of the patient and introduces the insertion portion 20 into the abdominal cavity.
  • the insertion unit 20 is provided at the tip thereof with an imaging unit 22 having a lens for imaging a situation in the abdomen of a patient and an imaging element.
  • the insertion unit 20 introduced into the abdominal cavity is disposed at a position where the imaging unit 22 can photograph an affected area in the abdomen that is a treatment target.
  • the imaging unit 22 may have an optical zoom or electronic zoom function.
  • the operator can change the position and the orientation of the imaging unit 22 of the endoscope 2 by holding the holding unit 21 and moving the endoscope 2.
  • the insertion portion 20 may further include an active bending portion that actively bends. By bending the active bending portion provided in a part of the insertion portion 20, the position and the orientation of the imaging unit 22 can be changed.
  • a control signal line for controlling the imaging unit 22, a transmission signal for transferring a captured image captured by the imaging unit 22, and the like are wired inside the hand holding unit 21.
  • the control device 3 has a control unit 33, as shown in FIG.
  • the control device 3 receives the captured image captured by the imaging unit 22 of the endoscope 2 and transfers it to the display device 4 as a display image.
  • the control unit 33 is configured by a device (computer) provided with hardware capable of executing programs such as a CPU (Central Processing Unit) and a memory.
  • the function of the control unit 33 can be realized as a function of software by the control unit 33 reading and executing a program for controlling the CPU.
  • at least a part of the control unit 33 may be configured by a dedicated logic circuit or the like.
  • the same function can be realized by connecting at least a part of hardware configuring the control unit 33 with a communication line.
  • FIG. 3A shows an example of the overall configuration of the control unit 33.
  • the control unit 33 includes a CPU 34, a memory 35 capable of reading a program, a storage unit 36, and an input / output control unit 37.
  • a program provided to the control unit 33 for controlling the operation of the control unit 33 is read into the memory 35 and executed by the CPU 34.
  • the storage unit 36 is a non-volatile storage medium storing the above-described program and necessary data.
  • the storage unit 36 is configured of, for example, a ROM, a hard disk or the like.
  • the program recorded in the storage unit 36 is read into the memory 35 and executed by the CPU 34.
  • the storage unit 36 executes, for example, virtual images or virtual images of “types” of medical devices introduced into the abdominal cavity, such as forceps, electric scalpel, stapler, snare, mesh, etc., and “types” of medical devices. And shape data for virtual image that can be generated. Further, with regard to medical devices having variations in size, virtual image shape data capable of generating a virtual image for each “size” or a virtual image for each “size” is also stored in the storage unit 36. In the following description, virtual image or virtual image shape data is referred to as "virtual image data", and virtual image data for each "type" and "size” of a medical device is referred to as "medical device information”. Name.
  • the input / output control unit 37 receives input data from the endoscope 2 and transfers the input data to the CPU 34 or the like.
  • the input / output control unit 37 also generates data, control signals, and the like for the endoscope 2 and the display device 4 based on an instruction of the CPU 34.
  • the control unit 33 receives a captured image as input data from the endoscope 2 and reads the captured image into the memory 35. Based on the program read into the memory 35, the CPU 34 performs image processing on the captured image. The captured image subjected to the image processing is transferred to the display device 4 as a display image.
  • the control unit 33 has at least two types of image processing operation modes of a normal mode and a virtual image superposition mode.
  • the operating mode is controlled by the program.
  • the control unit 33 operating in the normal mode performs image processing such as image format conversion, contrast adjustment, and resizing processing on the captured image to generate a display image.
  • the control unit 33 operating in the virtual image superposition mode performs an image processing of superimposing a virtual image of a medical device described later on a display image.
  • control unit 33 is not limited to the device provided in one piece of hardware.
  • the control unit 33 is configured by separating the CPU 34, the memory 35, the storage unit 36, and the input / output control unit 37 as separate pieces of hardware, and then connecting the hardware through a communication line. You may Alternatively, the control unit 33 may realize the control unit 33 as a cloud system by separating the storage unit 36 and similarly connecting through the communication line.
  • the control unit 33 is other than the CPU 34, the memory 35, the storage unit 36, and the input / output control unit 37 shown in FIG. 3A, and further, those necessary to control the operation of the control device 3 are further included. You may have.
  • the control unit 33 may further include an image operation unit 38 that performs part or all of the image processing and image recognition processing performed by the CPU 34.
  • the control unit 33 can execute specific image processing and image recognition processing at high speed. Further, it may further include an image transfer unit for transferring the display image from the memory 35 to the display device 4.
  • the display device 4 is a device that displays the display image transferred by the control device 3.
  • the display device 4 has a known monitor 41 such as an LCD display.
  • the display device 4 may have a plurality of monitors 41.
  • the display device 4 may include a head mounted display or a projector instead of the monitor 41.
  • the monitor 41 can also display a GUI (Graphical User Interface) image generated by the control device 3 as a GUI.
  • GUI Graphic User Interface
  • the monitor 41 can display a control information display of the medical system 100 and an alert display on the GUI for the operator.
  • the display device 4 can also display a message prompting the user to input information from the input device 5 or a GUI display necessary for the information input.
  • the input device 5 is a device by which an operator inputs an instruction or the like to the control unit 33.
  • the input device 5 has an input unit 51 as shown in FIG.
  • the input unit 51 is a device that selects an operation mode of image processing of the control unit 33, and selects a medical device to be superimposed and displayed as a virtual image on a display image.
  • the input unit 51 may be configured by a switch or may be configured by a touch panel.
  • the touch panel may be integrated with the monitor 41.
  • the input unit 51 may be configured by a keyboard or a mouse.
  • the control unit 33 displays a list of operation modes and a list of medical devices on the monitor 41 as a GUI, and from the list displayed on the monitor 41, the operator inputs desired operation modes and operation of medical devices to the keyboard and mouse. It may be selected by The control device 3 acquires, from the input unit 51, selection information input by the operator.
  • the operator can use the input unit 51 to select the “type” of the medical device to be introduced into the abdominal cavity, such as forceps, electric scalpel, stapler, snare or mesh, from the medical device list. Also, for medical devices that have variations in size, "size" can also be selected.
  • FIG. 4 is a view showing laparoscopic surgery using the medical system 100. As shown in FIG.
  • the operator provides a plurality of holes (openings) for placing the trocar T in the abdomen B of the patient, and punctures the trocar T in the holes.
  • the operator passes the insertion portion 10 of the treatment tool 1 of the medical system 100 and the insertion portion 20 of the endoscope 2 through the trocar T punctured in the abdomen B of the patient, Introduce into the abdominal cavity.
  • the operator holds the handle 21 and moves the endoscope 2 so that the hernia gate H to be treated is included in the display image D as shown in FIG. Change the position or orientation of If the imaging unit 22 has an optical zoom or electronic zoom function, the function is adjusted.
  • the treatment unit 12 of the insertion unit 10 of the treatment tool 1 is imaged. Since the operation mode of the image processing of the control unit 33 is initially set to the “normal mode”, the virtual image of the medical device is not superimposed on the display image D.
  • the control unit 33 in which the operation mode is set to the “virtual image superposition mode” displays on the monitor 41 a medical device list and a message prompting the user to select the “type” and “size” of the medical device from the input unit 51
  • the control unit 33 in which the operation mode is set to the “virtual image superposition mode” measures the three-dimensional relative position from the imaging unit 22 of the endoscope 2 to the treatment unit 12 of the treatment instrument (relative position measurement step).
  • the measurement of the three-dimensional relative position can be performed by a method appropriately selected from known methods. For example, methods such as position measurement by image processing (case 1), position measurement by stereo camera (case 2), position measurement by laser etc (case 3), position measurement by sensing (case 4), etc. can be used.
  • the three-dimensional relative position to the treatment unit 12 can be measured using the captured image captured by the imaging unit 22 (case 1). For example, the moving treatment unit 12 can be photographed, and the three-dimensional relative position can be measured from the movement amount of the image feature. If the dimensions of the treatment section 12 are known, the three-dimensional relative position can also be measured based on the dimensions. In addition, by providing a mark such as an optical marker on the treatment unit 12, the three-dimensional relative position can be easily measured.
  • Laser, light, ultrasonic waves and the like are emitted from the imaging unit 22, and the three-dimensional relative position from the imaging unit 22 to the treatment unit 12 can be measured from the feedback information (case 3).
  • the three-dimensional relative position to the treatment unit 12 may be measured by performing pattern projection from the imaging unit 22 and analyzing the pattern projection result.
  • a magnetic sensor or the like may be installed in the treatment unit 12 or the imaging unit 22, and the three-dimensional relative position from the imaging unit 22 to the treatment unit 12 may be measured from position information such as a magnetic sensor received by an external antenna. Yes (case 4).
  • control part 33 may parallelly implement a medical device selection process and a relative-position measurement process, and may implement either one first.
  • FIG. 5A shows a display image D in which the virtual image VM1 of “mesh A” selected as the medical device is superimposed on the position where the treatment unit 12 appears.
  • FIG. 5 (b) shows a display image D when the treatment tool 1 is moved.
  • the control unit 33 can set the transparency in the process of superimposing the virtual image VM1 on the display image D.
  • the control unit 33 can set the transparency in the process of superimposing the virtual image VM1 on the display image D.
  • the control unit 33 is a selected medical device having a relative size to the treatment unit 12 shown in the display image D based on the relative distance from the imaging unit 22 to the treatment unit 12.
  • To generate a virtual image VM1 of The medical device information stored in the storage unit 36 is used to generate the virtual image VM1.
  • the display image D on which the virtual image VM1 is superimposed is displayed on the monitor 41. As shown in FIG. 5 (a), the operator can virtually see the situation where the treatment section 12 is holding "mesh A".
  • the virtual image VM1 of the mesh A is superimposed on the position relative to the treatment unit 12 shown in the display image D Therefore, the position where the virtual image VM1 of the mesh A is superimposed is also changed. That is, the position where the virtual image VM1 of the mesh A is superimposed follows the position of the treatment unit 12 in the display image D.
  • the operator can move the treatment tool 1 to change the position of the virtual image VM1 of the mesh A in the display image D.
  • the operator superimposes the virtual image VM1 of the selected mesh A in the vicinity of the hernia gate H by moving the treatment portion 12 to the vicinity of the hernia gate H formed in the abdominal wall, as shown in FIG. 5 (b). Can.
  • the virtual image VM1 of the mesh A is superimposed on the display image D so as to have a relative size with respect to the treatment unit 12 shown in the display image D. Therefore, the size of the virtual image VM1 of the mesh A superimposed on the display image D is substantially the same size as the real image of the mesh A in the display image in which the actual mesh A actually exists in the three-dimensional space. That is, the size of the virtual image VM1 of the mesh A follows the size of the treatment unit 12 in the display image D. For example, when the treatment unit 12 is at a position far from the imaging unit 22, the virtual image VM ⁇ b> 1 of the mesh A is small and superimposed as compared to the case where the treatment unit 12 is at a position near to the imaging unit 22.
  • the operator looks at the virtual image VM1 of the mesh A shown in the display image D, determines whether the selected mesh A has a size sufficient for closing the hernia gate H, the size etc. in the three-dimensional space It can be intuitively grasped without actually measuring it.
  • the three-dimensional relative attitude can be used in the virtual image superposition process.
  • the virtual image VM1 of the mesh A is superimposed on the display image D so as to have a posture relative to the treatment unit 12 shown in the display image D.
  • the mesh virtual image VM1 is generated and superimposed as an image rotated about an axis parallel to the longitudinal axis of the treatment tool 1 .
  • FIG. 6A shows a display image D on which the virtual image VM2 of “mesh B” is superimposed when “mesh B” smaller in size than “mesh A” is selected as the medical device.
  • FIG. 5 (b) shows a display image D when the treatment tool 1 is moved.
  • the operator moves the treatment section 12 to the vicinity of the hernia gate H formed on the abdominal wall to display the virtual image VM2 of the selected mesh B superimposed on the vicinity of the hernia gate H, as shown in FIG. 6B. be able to.
  • the operator can intuitively grasp that the selected mesh B does not have a necessary and sufficient size for closing the hernia gate H by looking at the virtual image VM2 of the mesh B shown in the display image D. it can.
  • FIG. 7 is a view showing laparoscopic surgery in which a large intestine is detached using the medical system 100. As shown in FIG.
  • the operator holds the holding portion 21 and moves the endoscope 2 so that the display image D includes the cutaway portion P of the large intestine to be treated, as shown in FIG.
  • the position and the orientation of the imaging unit 22 are changed.
  • the treatment portion 12 of the insertion portion 10 of the treatment tool 1 is imaged in the display image D shown in FIG. 7. Since the operation mode of the image processing of the control unit 33 is initially set to the “normal mode”, the virtual image of the medical device is not superimposed on the display image D.
  • the operator examines the size of the stapler necessary and sufficient for separating the separated portion P of the large intestine before introducing the stapler for separating the separated portion P of the large intestine into the abdominal cavity. .
  • the operator sets the operation mode of the image processing of the control unit 33 to the “virtual image superposition mode”.
  • the operator selects a stapler as the type of medical device, and further selects “stapler A” which is estimated to be the optimum size.
  • the virtual image superimposing step based on the three-dimensional relative position from the imaging portion 22 of the endoscope 2 to the treatment portion 12 of the treatment instrument, which is measured in the relative position measuring step.
  • the virtual image VS1 of "stapler A" is superimposed on the display image D.
  • the operator looks at the virtual image VS1 of the stapler A shown in the display image D, and instincts that the selected stapler A does not have the necessary and sufficient size to cut off the separated portion P of the large intestine. Can be grasped.
  • the operator reselects the "stapler B" which is larger than the stapler A.
  • the control unit 33 superimposes the virtual image VS2 of the "stapler B" on the display image D as shown in FIG. 9 in the virtual image superposition step.
  • the operator looks at the virtual image VS2 of the stapler B shown in the display image D, and instincts that the selected stapler B has a necessary and sufficient size to cut off the separated portion P of the large intestine. Can be grasped.
  • the operator looks at the virtual image of the medical device shown in the display image D and determines whether the selected medical device has a necessary and sufficient size in the three-dimensional space. Can be intuitively grasped without actually measuring dimensions and the like. The time taken for trial and error in the selection of medical devices can be reduced, and the selection of appropriate types of medical devices can be supported.
  • the virtual image of the medical device is superimposed on the position where the treatment unit 12 appears in the display image D, but the superimposed position of the virtual image on the display image is not limited to the aspect of the above embodiment.
  • the virtual image may be superimposed on the position where the tip or side portion of the treatment unit is located.
  • the superimposition of the virtual image on the display image is performed in the control unit 33, but the mode of the superimposition of the virtual image on the display image is not limited to the aspect of the above embodiment.
  • superimposition of a virtual image on a display image may be performed on a display device.
  • the control unit 33 calculates information such as the superposition position and size necessary for superposition display, and the display device performs superposition on the display image of the virtual image based on the calculation result, and then the display image is displayed on the monitor 41. You may display it.
  • the display device 4 shown in the above embodiment is configured by the monitor 41
  • the display device 4 may be configured by a projector.
  • a projector may be incorporated into the imaging unit 22 of the endoscope 2 and projection (projection mapping) of an image of a virtual image of a medical device may be performed by the projector in a real three-dimensional space. The operator can more intuitively select the most appropriate medical device.
  • the projector is incorporated into the imaging unit 22 of the endoscope 2, infrared pattern light may be irradiated from the projector to measure the three-dimensional relative position with the treatment unit or the like.
  • the endoscope 2 shown in the above embodiment is operated by the operator holding it directly, the form of the endoscope is not limited to the endoscope 2 of the above embodiment.
  • the endoscope 2B in a medical system 100B which is a modification of the medical system 100 shown in FIG. 10, the endoscope 2B includes an articulated robot arm 21B having a plurality of joints 23.
  • the three-dimensional position of the imaging unit 22 at the tip of the endoscope 2B can be calculated from control information of the articulated robot arm 21B.
  • the treatment tool 1 shown in the above embodiment is held by the operator directly and operated, the form of the treatment tool is not limited to the treatment tool 1 of the above embodiment.
  • the treatment tool 1B includes an articulated robot arm 11B having a plurality of joints 13.
  • the three-dimensional position of the treatment section 12 at the tip of the treatment tool 1B can be calculated from control information of the articulated robot arm 11B.
  • FIGS. 12-15 A second embodiment of the present invention will be described with reference to FIGS. 12-15.
  • the present embodiment is different from the first embodiment in that depth measurement in a three-dimensional space shown in a display image is performed.
  • the same reference numerals are assigned to components common to those described above, and redundant description will be omitted.
  • the control unit 33 of the medical system 200 adds to the three-dimensional relative position from the imaging unit 22 of the endoscope 2 to the treatment unit 12 of the treatment instrument, from the imaging unit 22 of the endoscope 2 The difference is that the "three-dimensional relative depth" to a tissue or the like (object) present in the three-dimensional space shown in the display image is also measured.
  • the virtual image shape data is always stored in the storage unit 36 of the control unit 33 of the medical system 200.
  • FIGS. 12 to 15 an operation of the medical system 200 and an image generation method using the medical system 200 will be described with reference to FIGS. 12 to 15 by taking laparoscopic surgery in which a hernia gate formed in the abdominal wall is closed with a mesh as an example. . Only differences from the medical system 100 of the first embodiment will be described.
  • the operator sets the operation mode of the image processing of the control unit 33 to the “virtual image superposition mode”.
  • the operator operates the input unit 51 to select “mesh A” which is estimated to be the optimum size (medical device selection step).
  • the control unit 33 whose operation mode is set to the “virtual image superposition mode” measures the three-dimensional relative position from the imaging unit 22 of the endoscope 2 to the treatment unit 12 of the treatment tool as in the first embodiment (relative Position measurement process).
  • the relative position measurement step the “three-dimensional relative depth” from the imaging unit 22 of the endoscope 2 to the tissue or the like present in the three-dimensional space shown in the display image is also measured.
  • the measurement of the three-dimensional relative depth can be performed by a method appropriately selected from known methods.
  • methods such as passive depth measurement by image processing (case P), active depth measurement by projection of a pattern or the like (case A), and the like can be used.
  • the three-dimensional relative depth to the treatment unit 12 can be measured using the captured image captured by the imaging unit 22 (case P). For example, the moving treatment unit 12 can be photographed, and the three-dimensional relative depth can be measured from the movement amount of the image feature.
  • the imaging unit 22 is configured by a stereo camera, it is possible to measure a three-dimensional relative depth from the imaging unit 22 to a tissue or the like by using a parallax image of the stereo camera.
  • Laser, light, ultrasonic waves and the like are emitted from the imaging unit 22, and the three-dimensional relative depth from the imaging unit 22 to the tissue and the like can be measured from the feedback information (case A).
  • the three-dimensional relative depth to the tissue or the like may be measured by performing pattern projection of a striped pattern or a random pattern from the imaging unit 22 and analyzing the pattern projection result.
  • the control unit 33 superimposes the virtual image of the selected medical device on the display image D based on the measurement results of the three-dimensional relative position and the three-dimensional relative depth (virtual image superposition step).
  • 12 to 14 show the display image D on which the virtual image VM1 of "mesh A" selected as the medical device is superimposed.
  • the control unit 33 sets the display image D to a wire frame F indicating unevenness of a tissue or the like present in the three-dimensional space shown in the display image D based on the measurement result of the three-dimensional relative depth.
  • the operator can easily grasp the unevenness of the tissue or the like present in the three-dimensional space shown in the display image D by the display image D on which the wire frame F is superimposed.
  • the control unit 33 controls the “three-dimensional relative position” from the imaging unit 22 to the treatment unit 12 and the “three-dimensional relative position” from the imaging unit 22 to the tissue etc. existing in the three-dimensional space shown in the display image Depth is measured in real time. Further, regarding the medical device on which the virtual image is superimposed, shape data for virtual image is stored in the storage unit 36. Therefore, when the medical device on which the virtual image is superimposed is a real medical device, the control unit 33 determines whether the tissue or the like present in the three-dimensional space shown in the display image is touched (contact determination )It can be performed.
  • the control unit 33 determines that the tissue or the like existing in the dimensional space is in contact, as shown in FIG. 13, the control unit 33 superimposes a display indicating that the contact occurs on the display image D.
  • the operator sees the virtual image VM1 of the mesh A in the display image D and intuitively grasps whether the selected mesh A can block the hernia gate H without being obstructed by the obstacle. Can.
  • the control unit 33 causes the virtual image of the mesh A to contact a tissue or the like existing in a three-dimensional space when the treatment unit 12 approaches the vicinity of the hernia gate H formed in the abdominal wall as shown in FIG. It may be deformed and superimposed. The operator can more intuitively understand whether the selected mesh A can close the hernia gate H by looking at the virtual image VM1 of the mesh A deformed along the tissue or the like.
  • FIG. 15 shows a display image D on which the virtual image VS2 of the stapler B selected to perform the separation of the large intestine in the medical system 200 is superimposed.
  • the control unit 33 determines the tissue positioned on the right. It is determined that the touch image is touched, and a display indicating that the touch occurs is superimposed on the display image D.
  • the control unit 33 determines the tissue located on the left. It is determined that the touch image is touched, and a display indicating that the touch occurs is superimposed on the display image D. The display indicating that the contact occurs is superimposed on the place where it is determined that the contact occurs.
  • the operator looks at the virtual image VS2 of the stapler B shown in the display image D, and intuitively determines whether the selected stapler B can disconnect the large intestine without being obstructed by the obstacle around it. It can be grasped.
  • the operator looks at the virtual image of the medical device shown in the display image D and intuitively determines whether the selected medical device is obstructed by the obstacle. It can be grasped. The time taken for trial and error in the selection of medical devices can be reduced, and the selection of appropriate types of medical devices can be supported.
  • the whole structure of the medical system 300 which concerns on this embodiment is the same as the medical system 100 which concerns on 1st embodiment.
  • the difference is that the endoscope 2C has a flexible insertion portion.
  • FIG. 16 shows an endoscope 2C of the medical system 300.
  • a treatment tool to which the local injection needle 12b is attached as the treatment unit 12 is inserted through the lumen provided in the endoscope 2C.
  • the operator inserts the local injection material into the submucosa layer slowly by piercing the local injection needle 12b at the peripheral edge beyond the lesion to lift the lesion.
  • the treatment tool to which the snare 12c is attached as the treatment unit 12 is inserted through the lumen provided in the endoscope 2C.
  • the operator uses the snare 12c to separate the lesion.
  • the operator needs to select the snare 12c of the optimum size and shape in accordance with the size and shape of the lesion. Depending on the experience and skill of the caster, trial and error of the selection of the snare takes time.
  • the operator sets the operation mode of the image processing of the control unit 33 to the “virtual image superposition mode” when introducing the treatment tool to which the local injection needle 12b is attached as the treatment unit 12 into the body.
  • the operator operates the input unit 51 to select “Snare A” which is estimated to be the optimum size (medical device selection step).
  • FIG. 17 shows a display image D in which the virtual image VW1 of the selected snare A is superimposed on the position where the local injection needle 12b appears in the medical system 300.
  • the operator intuitively grasps the virtual image VM1 of the snare A shown in the display image D and that the selected snare A has a necessary and sufficient size for the separation of the lesion. Can.
  • FIG. 18 shows a display image in which the snare B smaller in size than the snare A is selected in the medical system 300 and the virtual image VW2 of the snare B is superimposed.
  • the operator should intuitively understand that the selected snare B does not have a necessary and sufficient size for dissection of the lesion by looking at the virtual image VM2 of the snare B shown in the display image D. Can.
  • the present embodiment is different from the first embodiment to the third embodiment in that the medical device selection process is linked with the stock management system of the medical device.
  • the same reference numerals are assigned to components common to those described above, and redundant description will be omitted.
  • the whole structure of the medical system 400 which concerns on this embodiment is the same as the medical system 100 which concerns on 1st embodiment.
  • the control unit 33 in which the operation mode is set to the “virtual image superposition mode” displays on the monitor 41 a medical device list and a message prompting the user to select the “type” and “size” of the medical device from the input unit 51
  • the control unit 33 is connected to an in-hospital inventory management system of medical devices, and can display the inventory status of each medical device according to the displayed medical device list.
  • the operator can select the medical device to be displayed as a virtual image after confirming the presence or absence of the stock. If you select a medical device that does not have an actual inventory, you can not actually use the medical device immediately, even if the selected medical device is the optimal size. If it is possible to display the stock status of medical devices, medical devices can be selected from the medical devices that can actually be used, reducing the time taken for trial and error in the selection of medical devices, and of appropriate types of medical devices. Can support selection.
  • the present invention can be applied to a medical system provided with an endoscope.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

医療システムは、処置具と、撮像部を有する内視鏡と、前記撮像部が取得した撮像画像から表示画像を生成する制御装置と、前記表示画像を表示する表示装置と、医療機器を選択する入力装置と、を備え、前記制御装置は、前記内視鏡から前記処置具までの相対位置を計測し、前記制御装置は、前記相対位置に基づいて、前記表示画像に映る前記処置具に対して相対的な位置にあって相対的な大きさを有する前記医療機器の仮想画像を、前記表示画像に重畳する。

Description

医療システムおよび画像生成方法
　本発明は、医療システムおよび医療システムを用いた画像生成方法に関する。
　腹腔鏡下手術では、患者の腹部などに複数の穴を開け、内視鏡、鉗子、電気メスといった各種医療機器を挿入し、内視鏡で撮像された映像を確認することで、患部の観察および施術が行われる。この腹腔鏡下手術は、切開領域が少なくて済むため、患者に対する負担を軽減することが可能である。
　腹腔鏡下手術では、処置に合わせて適切な種類の医療機器が選択され、選択された医療機器が腹腔内に挿入される。例えば、腹壁に形成されたヘルニア門をメッシュで塞ぐ腹壁ヘルニア手術においては、術者はヘルニア門を塞ぐために必要十分な最適なサイズのメッシュを選択し、選択したメッシュを腹腔内に挿入する必要がある。
　術者は、内視鏡で撮像された映像を確認して、３次元空間内における組織の輪郭の長さや面積を推測し、最適なサイズのメッシュを選択する。選択したメッシュを腹腔内に挿入し、メッシュのサイズがヘルニア門に対して小さいことが判明した場合、術者はメッシュを腹腔内から取り出し、再選択したメッシュを再び腹腔内に挿入する必要がある。術者の経験や技術によっては、メッシュ選択の試行錯誤に時間がかかるという課題がある。
　特許文献１には、内視鏡が取得した組織の内視鏡画像から、３次元空間内における組織の輪郭の長さや面積を計測することができる遠隔手術ロボットシステムが記載されている。遠隔手術ロボットシステムは、例えば、処置具で指定された計測点の間の距離を計測し、計測した距離情報を内視鏡画像に重畳して表示することができる。遠隔手術ロボットシステムを使用する術者は、内視鏡画像に映る組織の３次元空間内における寸法等を把握することができる。
米国特許９１５５５９２号明細書
　しかしながら、特許文献１に記載の遠隔手術ロボットシステムは、３次元空間の計測を実施するためには測定点の指定等の手続きが必要で、３次元空間内における寸法等を迅速に計測できるものではなかった。また、術者は、３次元空間内における寸法等の計測結果から、最適な種類の医療機器を直感的に判断することは難しかった。
　上記事情を踏まえ、本発明は、適切な種類の医療機器の選択を支援可能な医療システムおよび医療システムを用いた画像生成方法を提供することを目的とする。
　上記課題を解決するために、この発明は以下の手段を提案している。
　本発明に係る医療システムは、処置具と、撮像部を有する内視鏡と、前記撮像部が取得した撮像画像から表示画像を生成する制御装置と、前記表示画像を表示する表示装置と、医療機器を選択する入力装置と、を備え、前記制御装置は、前記内視鏡から前記処置具までの相対位置を計測し、前記制御装置は、前記相対位置に基づいて、前記表示画像に映る前記処置具に対して相対的な位置にあって相対的な大きさを有する前記医療機器の仮想画像を、前記表示画像に重畳する。
　本発明に係る画像生成方法は、内視鏡の撮像部が取得した撮像画像から表示画像を生成する医療システムにおいて、入力装置を用いて医療機器を選択させる医療機器選択工程と、内視鏡から処置具までの相対位置を計測する相対位置計測工程と、前記相対位置に基づいて、前記表示画像に映る前記処置具に対して相対的な位置にあって相対的な大きさを有する前記医療機器の仮想画像を、前記表示画像に重畳する仮想画像重畳工程と、を備える。
　本発明の医療システムおよび画像生成方法によれば、適切な種類の医療機器の選択を支援することができる。
本発明の第一実施形態に係る医療システムの全体構成を示す図である。 同医療システムのハードウェア構成図である。 同医療システムの制御部の全体構成例を示す図である。 同医療システムを用いた腹腔鏡下手術の様子を示す図である。 同医療システムにおいて、選択されたメッシュＡの仮想画像が重畳された表示画像を示している。 同医療システムにおいて、選択されたメッシュＢの仮想画像が重畳された表示画像を示している。 同医療システムを用いて大腸切離を行う腹腔鏡下手術の様子を示す図である。 同医療システムにおいて、選択されたステープラＡの仮想画像が重畳された表示画像を示している。 同医療システムにおいて、選択されたステープラＢの仮想画像が重畳された表示画像を示している。 同医療システムの変形例の全体構成を示す図である。 同医療システムの変形例の全体構成を示す図である。 本発明の第二実施形態に係る医療システムにおいて、選択されたメッシュＡの仮想画像が重畳された表示画像を示している。 同医療システムにおいて、選択されたメッシュＡの仮想画像が重畳された表示画像を示している。 同医療システムにおいて、選択されたメッシュＡの仮想画像が重畳された表示画像を示している。 同医療システムにおいて、選択されたステープラＢの仮想画像が重畳された表示画像を示している。 本発明の第三実施形態に係る医療システムの内視鏡を示している。 同医療システムにおいて、選択されたスネアＡの仮想画像が重畳された表示画像を示している。 同医療システムにおいて、選択されたスネアＢの仮想画像が重畳された表示画像を示している。
（第一実施形態）
　本発明の第一実施形態について、図１から図１１を参照して説明する。なお、図面を見やすくするため、各構成要素の寸法等は適宜調整されている。
　図１は、本実施形態に係る医療システム１００の全体構成を示す図である。
　医療システム１００は、図１に示すように、処置具１と、内視鏡２と、制御装置３と、表示装置４と、入力装置５と、を備えている。医療システム１００は、腹腔鏡下手術において、腹壁に開けた別々の孔（開口）から処置具１や内視鏡２などを挿入して行う処置を支援するシステムである。
　処置具１は、図１に示すように、患者の腹腔内に挿入可能な長尺の挿入部１０と、挿入部１０の基端側に設けられた操作部１１と、を有する。術者は、患者の腹部Ｂに穿刺したトロッカＴに挿入部１０を通し、挿入部１０を腹腔内に導入する。処置の種類や患部の状況により、術者は複数の処置具１を腹腔内に導入する場合もある。
　挿入部１０は、図１に示すように、先端に患者の患部を処置する処置部１２を有する。本実施形態において処置部１２は、一対の把持部材１２ａで構成された把持機構である。
　操作部１１は、一対の把持部材１２ａを操作する部材である。操作部１１はハンドルを有しており、ハンドルを操作部１１の他の部分に対して相対移動させることで、処置部１２の一対の把持部材１２ａを開閉させる。術者は、片手で操作部１１を保持して、処置部１２を操作することができる。
　図２は、処置具１を除く医療システム１００のハードウェア構成図である。
　内視鏡２は、図１および図２に示すように、患者の腹腔内に挿入可能な長尺で硬性の挿入部２０と、持手部２１と、を有する。術者は、図１に示すように、患者の腹部Ｂに穿刺したトロッカＴに挿入部２０を通し、挿入部２０を腹腔内に導入する。
　図１に示すように、挿入部２０は先端に、患者の腹部内の様子を撮影するためのレンズや撮像素子を有する撮像部２２が設けられている。腹腔内に導入された挿入部２０は、撮像部２２が腹部内の処置対象の患部を撮影可能な位置に配置される。撮像部２２は、光学ズームもしくは電子ズームの機能を有していてもよい。
　術者は、持手部２１を持って内視鏡２を移動させることで、内視鏡２の撮像部２２の位置や向きを変更することができる。
　なお、挿入部２０は、能動的に湾曲する能動湾曲部をさらに有してもよい。挿入部２０の一部に設けられた能動湾曲部を湾曲させることで、撮像部２２の位置や向きを変更することができる。
　持手部２１の内部には、撮像部２２を制御する制御信号線や、撮像部２２が撮像した撮像画像を転送する伝送信号等が配線されている。
　制御装置３は、図２に示すように、制御部３３を有している。制御装置３は、内視鏡２の撮像部２２が撮像した撮像画像を受信し、表示画像として表示装置４に転送する。
　制御部３３は、ＣＰＵ（Central Processing Unit）やメモリ等のプログラム実行可能なハードウェアを備えた装置（コンピュータ）によって構成される。制御部３３の機能は、ＣＰＵを制御するプログラムを制御部３３が読み込んで実行することにより、ソフトウェアの機能として実現可能である。
　なお、制御部３３の少なくとも一部を専用の論理回路等によって構成してもよい。
　さらには、制御部３３を構成する少なくとも一部のハードウェアを通信回線で結ぶことでも同様の機能を実現可能である。
　図３（ａ）は、制御部３３の全体構成例を示す図である。
　制御部３３は、図３（ａ）に示すように、ＣＰＵ３４と、プログラムを読み込み可能なメモリ３５と、記憶部３６と、入出力制御部３７と、を有している。制御部３３に提供された、制御部３３の動作を制御するためのプログラムがメモリ３５に読み込まれ、ＣＰＵ３４によって実行される。
　記憶部３６は、上述したプログラムや必要なデータを記憶する不揮発性の記録媒体である。記憶部３６は、例えばＲＯＭやハードディスク等で構成される。記憶部３６に記録されたプログラムは、メモリ３５に読み込まれ、ＣＰＵ３４によって実行される。
　記憶部３６には、例えば、鉗子、電気メス、ステープラ、スネア、メッシュ等の腹腔内に導入される医療機器の「種別」と、医療機器の「種別」ごとの仮想画像または仮想画像をプログラム実行により生成可能な仮想画像用形状データと、が保存されている。また、サイズのバリエーションがある医療機器に関しては、「サイズ」ごとの仮想画像または「サイズ」ごとの仮想画像を生成することができる仮想画像用形状データも記憶部３６に保存される。
　以降の説明において、仮想画像または仮想画像用形状データのことを、「仮想画像データ」と称し、医療機器の「種別」と「サイズ」ごとの仮想画像データのことを、「医療機器情報」と称す。
　入出力制御部３７は、内視鏡２からの入力データを受け取り、その入力データをＣＰＵ３４等に転送する。また、入出力制御部３７は、ＣＰＵ３４の指示に基づき、内視鏡２や表示装置４に対するデータや制御信号等を生成する。
　制御部３３は、内視鏡２から入力データとして撮像画像を受け取り、その撮像画像をメモリ３５に読み込む。メモリ３５に読み込まれたプログラムに基づき、ＣＰＵ３４は撮像画像に対して画像処理を行う。画像処理が実施された撮像画像は、表示画像として表示装置４に転送される。
　制御部３３は、通常モードと仮想画像重畳モードの少なくとも二種類の画像処理の動作モードを有している。動作モードは、プログラムによって制御される。
　通常モードで動作する制御部３３は、撮像画像に対して画像フォーマット変換やコントラスト調整やリサイズ処理などの画像処理を行って表示画像を生成する。
　仮想画像重畳モードで動作する制御部３３は、通常モードにおける画像処理に加えて、後述する医療機器の仮想画像を、表示画像に重畳する画像処理を行う。
　ここで、制御部３３は、１つのハードウェアに備わる装置に限られない。例えば、制御部３３は、ＣＰＵ３４と、メモリ３５と、記憶部３６と、入出力制御部３７とをそれぞれ別体のハードウェアとして分離した上で、ハードウェア同士を通信回線で接続することで構成してもよい。あるいは、制御部３３は、記憶部３６を分離して、同様に通信回線で接続することで、制御部３３をクラウドシステムとして実現してもよい。
　なお、制御部３３は、図３（ａ）に示すＣＰＵ３４、メモリ３５、記憶部３６、および入出力制御部３７以外のもので、制御装置３の動作を制御するために必要なものを、さらに有してもよい。例えば、図３（ｂ）に示すように、制御部３３は、ＣＰＵ３４が行っていた画像処理や画像認識処理の一部もしくは全部を行う画像演算部３８をさらに有してもよい。画像演算部３８をさらに有することで、制御部３３は、特定の画像処理や画像認識処理を高速に実行することができる。また、上記の表示画像のメモリ３５から表示装置４への転送を行う画像転送部をさらに有してもよい。
　表示装置４は、制御装置３が転送した表示画像を表示する装置である。表示装置４は、ＬＣＤディスプレイ等の公知のモニタ４１を有している。表示装置４は、モニタ４１を複数有してもよい。表示装置４は、モニタ４１の代わりに、ヘッドマウントディスプレイやプロジェクタを備えていてもよい。
　モニタ４１は、制御装置３が生成したＧＵＩ(Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ)画像をＧＵＩ表示することもできる。例えば、モニタ４１は、術者に対して医療システム１００の制御情報表示や注意喚起表示をＧＵＩ表示することができる。
また、制御部３３が術者からの情報入力を必要とする場合、入力装置５から情報を入力することを促すメッセージや情報入力に必要なＧＵＩ表示を、表示装置４は表示することもできる。
　入力装置５は、術者が制御部３３に対しての指示等を入力する装置である。入力装置５は、図２に示すように、入力部５１を有する。
　入力部５１は、制御部３３の画像処理の動作モードを選択し、また、表示画像に仮想画像として重畳表示する医療機器を選択する装置である。入力部５１は、スイッチにより構成されていてもよいし、タッチパネルにより構成されていてもよい。タッチパネルはモニタ４１と一体化されていてもよい。
　入力部５１は、キーボードやマウスにより構成されていてもよい。この場合、制御部３３は、動作モード一覧や医療機器一覧をモニタ４１にＧＵＩ表示し、モニタ４１に表示される一覧から、術者は所望の動作モードや医療機器をキーボードやマウスへの操作入力によって選択してもよい。制御装置３は、入力部５１から術者が入力した選択情報を取得する。
　術者は、入力部５１を用いて、医療機器一覧から、例えば、鉗子、電気メス、ステープラ、スネア、メッシュ等の腹腔内に導入される医療機器の「種別」を選択することができる。また、サイズのバリエーションがある医療機器に関しては「サイズ」も選択することができる。
　次に、腹壁に形成されたヘルニア門をメッシュで塞ぐ腹腔鏡下手術を例として、医療システム１００の動作および医療システム１００を用いた画像生成方法を、図４および図５を参照して説明する。図４は、医療システム１００を用いた腹腔鏡下手術の様子を示す図である。
　術者は、患者の腹部ＢにトロッカＴを設置するための孔（開口）を複数設け、孔にトロッカＴを穿刺する。次に術者は、図４に示すように、医療システム１００の処置具１の挿入部１０と内視鏡２の挿入部２０とを、患者の腹部Ｂに穿刺されたトロッカＴに通して、腹腔内に導入する。
　術者は、図４に示すように、表示画像Ｄに処置対象のヘルニア門Ｈが含まれるように、持手部２１を持って内視鏡２を移動させて、内視鏡の撮像部２２の位置や向きを変更する。撮像部２２が光学ズームもしくは電子ズームの機能を有している場合は、その機能を調整する。図４に示す表示画像Ｄには、処置具１の挿入部１０の処置部１２が撮像されている。制御部３３の画像処理の動作モードは「通常モード」に初期設定されているため、医療機器の仮想画像は表示画像Ｄには重畳されていない。
　次に、術者は、ヘルニア門Ｈを塞ぐためのメッシュを腹腔内に導入する前に、ヘルニア門Ｈを塞ぐために必要十分な最適なメッシュのサイズを検討する。術者は制御部３３の画像処理の動作モードを「仮想画像重畳モード」に設定する。
　動作モードが「仮想画像重畳モード」に設定された制御部３３は、医療機器一覧と、入力部５１から医療機器の「種別」と「サイズ」を選択することを促すメッセージとをモニタ４１に表示させる。
　術者は、入力部５１を操作し、最適なサイズであると推測した「メッシュＡ」を選択する（医療機器選択工程）。
　動作モードが「仮想画像重畳モード」に設定された制御部３３は、内視鏡２の撮像部２２から処置具の処置部１２までの３次元相対位置を計測する（相対位置計測工程）。
　３次元相対位置の計測は公知の方法から適宜選択した方法により実施することができる。例えば、画像処理による位置計測（ケース１）、ステレオカメラによる位置計測（ケース２）、レーザ等による位置計測（ケース３）、センシングによる位置測定（ケース４）などの方法を使用することができる。
　撮像部２２が撮像した撮像画像を用いて、処置部１２までの３次元相対位置を計測することができる（ケース１）。例えば、移動する処置部１２を撮影し、画像特徴の移動量から３次元相対位置を計測することができる。また、処置部１２の寸法が既知である場合は、その寸法に基づいて３次元相対位置を計測することもできる。また、処置部１２に光学マーカ等の目印を設けることで、３次元相対位置を容易に計測することができる。
　撮像部２２をステレオカメラで構成することで、ステレオカメラの視差画像を用いて、撮像部２２から処置部１２までの３次元相対位置を計測することができる（ケース２）。
　レーザ、光、超音波等を撮像部２２から発し、そのフィードバック情報から、撮像部２２から処置部１２までの３次元相対位置を計測することができる（ケース３）。撮像部２２からパターン投影を行って、パターン投影結果を解析することで、処置部１２までの３次元相対位置を計測してもよい。
　また、処置部１２や撮像部２２に、磁気センサ等を設置し、外部のアンテナが受信した磁気センサ等の位置情報から、撮像部２２から処置部１２までの３次元相対位置を計測することができる（ケース４）。
　ここで、ケース１からケース４に示した３次元相対位置の計測方法において、処置部１２の３次元相対位置に加えて、処置部１２の３次元相対姿勢を計測できる方法が望ましい。
　なお、医療機器選択工程と相対位置計測工程とは、制御部３３が並列に実施してもよいし、いずれかを先に実施してもよい。
　次に、制御部３３は、３次元相対位置の計測結果に基づいて、選択された医療機器の仮想画像を表示画像Ｄに重畳する（仮想画像重畳工程）。図５（ａ）は、医療機器として選択された「メッシュＡ」の仮想画像ＶＭ１が、処置部１２が映る位置に重畳された表示画像Ｄを示している。図５（ｂ）は、処置具１を移動させた場合の表示画像Ｄを示している。
　制御部３３は、仮想画像ＶＭ１の表示画像Ｄへの重畳処理において、透明度を設定することができる。仮想画像ＶＭ１が半透明となるように表示画像Ｄに重畳することで、仮想画像ＶＭ１によって重畳された部分に予め表示されていた表示内容も確認することができる。
　制御部３３は、撮像部２２から処置部１２までの相対距離に基づいて、表示画像Ｄに映る処置部１２に対して相対的な位置にあって相対的な大きさを有する選択された医療機器の仮想画像ＶＭ１を生成する。仮想画像ＶＭ１の生成には、記憶部３６に保存されている医療機器情報を用いる。
　仮想画像ＶＭ１が重畳された表示画像Ｄは、モニタ４１に表示される。術者は、図５（ａ）に示すように、仮に「メッシュＡ」を処置部１２が保持している場合の様子を仮想的に見ることができる。
　術者が処置具１を移動させ、表示画像Ｄ内の処置部１２の位置が変更された場合、メッシュＡの仮想画像ＶＭ１は表示画像Ｄに映る処置部１２に対して相対的な位置に重畳されるため、メッシュＡの仮想画像ＶＭ１が重畳される位置も変更される。すなわち、メッシュＡの仮想画像ＶＭ１が重畳される位置は、表示画像Ｄ内の処置部１２の位置に追従する。
　術者は、処置具１を移動させ、メッシュＡの仮想画像ＶＭ１の表示画像Ｄ内における位置を変更することができる。術者は、図５（ｂ）に示すように、腹壁に形成されたヘルニア門Ｈ付近に処置部１２を移動させることで、選択したメッシュＡの仮想画像ＶＭ１をヘルニア門Ｈ付近に重畳させることができる。
　メッシュＡの仮想画像ＶＭ１は、表示画像Ｄに映る処置部１２に対して相対的な大きさを有するように、表示画像Ｄに重畳される。そのため、表示画像Ｄに重畳されたメッシュＡの仮想画像ＶＭ１の大きさは、３次元空間内に現実のメッシュＡが実際に存在する表示画像におけるメッシュＡの現実画像と、ほぼ同じ大きさとなる。すなわち、メッシュＡの仮想画像ＶＭ１の大きさは、表示画像Ｄ内の処置部１２の大きさに追従する。例えば、処置部１２が撮像部２２から遠い位置にある場合は、処置部１２が撮像部２２から近い位置にある場合と比較して、メッシュＡの仮想画像ＶＭ１は小さく重畳される。
　術者は、表示画像Ｄに映るメッシュＡの仮想画像ＶＭ１を見て、選択したメッシュＡがヘルニア門Ｈを塞ぐために必要十分な大きさを有しているかを、３次元空間内における寸法等を実際に計測することなく、直感的に把握することができる。
相対位置計測工程において、３次元相対位置に加えて、処置部１２の３次元相対姿勢を計測できる場合、仮想画像重畳工程において、３次元相対姿勢を使用することができる。メッシュＡの仮想画像ＶＭ１は、表示画像Ｄに映る処置部１２に対して相対的な姿勢を有するように、表示画像Ｄに重畳される。例えば、術者が処置具１を長手軸を中心に回転させた場合、メッシュの仮想画像ＶＭ１は、処置具１の長手軸と平行な軸を中心軸として回転した画像として生成されて重畳される。メッシュの仮想画像ＶＭ１を回転させることで、より直感的に、３次元空間内における寸法等を把握することができる。
　図６（ａ）は、医療機器として「メッシュＡ」よりもサイズの小さな「メッシュＢ」を選択した場合における、「メッシュＢ」の仮想画像ＶＭ２が重畳された表示画像Ｄを示している。図５（ｂ）は、処置具１を移動させた場合の表示画像Ｄを示している。
　術者は、図６（ｂ）に示すように、腹壁に形成されたヘルニア門Ｈ付近に処置部１２を移動させることで、選択したメッシュＢの仮想画像ＶＭ２をヘルニア門Ｈ付近に重畳表示させることができる。
　術者は、表示画像Ｄに映るメッシュＢの仮想画像ＶＭ２を見て、選択したメッシュＢがヘルニア門Ｈを塞ぐために必要十分な大きさを有していないことを、直感的に把握することができる。
　次に、ステープラを用いて大腸の切離を行う腹腔鏡下手術を例として、医療システム１００の動作および医療システム１００を用いた画像生成方法を、図７から図９を参照して説明する。図７は医療システム１００を用いて大腸切離を行う腹腔鏡下手術の様子を示す図である。
　術者は、図７に示すように、表示画像Ｄに処置対象の大腸の切離部分Ｐが含まれるように、持手部２１を持って内視鏡２を移動させて、内視鏡２の撮像部２２の位置や向きを変更する。図７に示す表示画像Ｄには、処置具１の挿入部１０の処置部１２が撮像されている。制御部３３の画像処理の動作モードは「通常モード」に初期設定されているため、医療機器の仮想画像は表示画像Ｄには重畳されていない。
　次に、術者は、大腸の切離部分Ｐを切離するためのステープラを腹腔内に導入する前に、大腸の切離部分Ｐを切離するために必要十分なステープラのサイズを検討する。術者は制御部３３の画像処理の動作モードを「仮想画像重畳モード」に設定する。
　術者は、医療機器選択工程において、医療機器の種別としてステープラを選択し、さらに最適なサイズであると推測した「ステープラＡ」を選択する。
　制御部３３は、相対位置計測工程において計測した、内視鏡２の撮像部２２から処置具の処置部１２までの３次元相対位置に基づいて、仮想画像重畳工程において、図８に示すように「ステープラＡ」の仮想画像ＶＳ１を表示画像Ｄに重畳する。
　術者は、表示画像Ｄに映るステープラＡの仮想画像ＶＳ１を見て、選択したステープラＡが大腸の切離部分Ｐを切離するために必要十分な大きさを有していないことを、直感的に把握することができる。
　術者は、医療機器選択工程において、ステープラＡよりもサイズが大きい「ステープラＢ」を選択し直す。制御部３３は、仮想画像重畳工程において、図９に示すように「ステープラＢ」の仮想画像ＶＳ２を表示画像Ｄに重畳する。
　術者は、表示画像Ｄに映るステープラＢの仮想画像ＶＳ２を見て、選択したステープラＢが大腸の切離部分Ｐを切離するために必要十分な大きさを有していることを、直感的に把握することができる。
（第一実施形態の効果）
　本実施形態の医療システム１００によれば、術者は、表示画像Ｄに映る医療機器の仮想画像を見て、選択した医療機器が必要十分な大きさを有しているかを、３次元空間内における寸法等を実際に計測することなく、直感的に把握することができる。医療機器の選択の試行錯誤にかかる時間を削減し、適切な種類の医療機器の選択を支援することができる。
（変形例）
　以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の第一実施形態および以下で示す変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
　例えば、上記実施形態では、医療機器の仮想画像は、表示画像Ｄにおいて処置部１２が映る位置に重畳されたが、仮想画像の表示画像への重畳位置は、上記実施形態の態様に限定されない。電気メス等の他の処置部を用いる場合において、処置部の先端や側部等が位置する場所に仮想画像を重畳してもよい。
　例えば、上記実施形態では、仮想画像の表示画像への重畳は、制御部３３において実施されていたが、仮想画像の表示画像への重畳の態様は、上記実施形態の態様に限定されない。例えば、仮想画像の表示画像への重畳は、表示装置において行われてもよい。制御部３３は、重畳表示に必要な重畳位置やサイズなどの情報を算出し、その算出結果を基に表示装置が仮想画像の表示画像への重畳を行ったうえで、モニタ４１に表示画像を表示してもよい。
　例えば、上記実施形態において示した表示装置４は、モニタ４１で構成されていたが、表示装置４はプロジェクタで構成されていてもよい。プロジェクタを内視鏡２の撮像部２２に組みこみ、現実の３次元空間にプロジェクタで医療機器の仮想画像の映像の投影（プロジェクションマッピング）を行ってもよい。術者は、より直感的に最適な医療機器の選択を行うことができる。プロジェクタを内視鏡２の撮像部２２に組みこむ場合、プロジェクタから赤外のパターン光を対象に照射して、処置部等との３次元相対位置の計測を行ってもよい。
　例えば、上記実施形態において示した内視鏡２は、術者が直接手に持って操作するものであったが、内視鏡の形態は上記実施形態の内視鏡２に限定されない。例えば、図１０に示す医療システム１００の変形例である医療システム１００Ｂにおいては、内視鏡２Ｂは関節２３を複数有する多関節ロボットアーム２１Ｂを有している。
　医療システム１００Ｂにおいては、内視鏡２Ｂの先端の撮像部２２の３次元位置は、多関節ロボットアーム２１Ｂの制御情報から算出することができる。
　例えば、上記実施形態においては示した処置具１は、術者が直接手に持って操作するものであったが、処置具の形態は上記実施形態の処置具１に限定されない。例えば、図１１に示す医療システム１００の変形例である医療システム１００Ｃにおいては、処置具１Ｂは関節１３を複数有する多関節ロボットアーム１１Ｂを有している。
　医療システム１００Ｃにおいては、処置具１Ｂの先端の処置部１２の３次元位置は、多関節ロボットアーム１１Ｂの制御情報から算出することができる。
（第二実施形態）
　本発明の第二実施形態について、図１２から図１５を参照して説明する。本実施形態は、表示画像に映る３次元空間の深度計測が行われる点が第一実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
　本実施形態に係る医療システム２００の全体構成は、第一実施形態に係る医療システム１００と同じである。医療システム２００の制御部３３は、相対位置計測工程において、内視鏡２の撮像部２２から処置具の処置部１２までの３次元相対位置に加えて、内視鏡２の撮像部２２から、表示画像に映る３次元空間に存在する組織等（物体）までの「３次元相対深度」も計測する点が異なっている。
　本実施形態においては、医療システム２００の制御部３３の記憶部３６には、仮想画像用形状データが必ず保存されている。
　次に、腹壁に形成されたヘルニア門をメッシュで塞ぐ腹腔鏡下手術を例として、医療システム２００の動作および医療システム２００を用いた画像生成方法を、図１２から図１５を参照して説明する。第一実施形態の医療システム１００と異なる部分についてのみ説明を行う。
　術者は制御部３３の画像処理の動作モードを「仮想画像重畳モード」に設定する。
　術者は、入力部５１を操作し、最適なサイズであると推測した「メッシュＡ」を選択する（医療機器選択工程）。
　動作モードが「仮想画像重畳モード」に設定された制御部３３は、第一実施形態同様、内視鏡２の撮像部２２から処置具の処置部１２までの３次元相対位置を計測する（相対位置計測工程）。相対位置計測工程では、内視鏡２の撮像部２２から、表示画像に映る３次元空間に存在する組織等までの「３次元相対深度」も計測する。
　３次元相対深度の計測は公知の方法から適宜選択した方法により実施することができる。例えば、画像処理によるパッシブ型の深度計測（ケースＰ）、パターン等の投影によるアクティブ型の深度計測（ケースＡ）、などの方法を使用することができる。
　撮像部２２が撮像した撮像画像を用いて、処置部１２までの３次元相対深度を計測することができる（ケースＰ）。例えば、移動する処置部１２を撮影し、画像特徴の移動量から３次元相対深度を計測することができる。撮像部２２がステレオカメラで構成されている場合、ステレオカメラの視差画像を用いて、撮像部２２から組織等までの３次元相対深度を計測することができる。
　レーザ、光、超音波等を撮像部２２から発し、そのフィードバック情報から、撮像部２２から組織等までの３次元相対深度を計測することができる（ケースＡ）。撮像部２２から縞模様やランダムパターンのパターン投影を行って、パターン投影結果を解析することで、組織等までの３次元相対深度を計測してもよい。
　次に、制御部３３は、３次元相対位置および３次元相対深度の計測結果に基づいて、選択された医療機器の仮想画像を表示画像Ｄに重畳する（仮想画像重畳工程）。図１２から図１４は、医療機器として選択された「メッシュＡ」の仮想画像ＶＭ１が重畳された表示画像Ｄを示している。
　また、制御部３３は、３次元相対深度の計測結果に基づいて、図１２に示すように、表示画像Ｄに映る３次元空間に存在する組織等の凹凸を示すワイヤフレームＦを表示画像Ｄに重畳する。術者は、ワイヤフレームＦが重畳された表示画像Ｄにより、表示画像Ｄに映る３次元空間に存在する組織等の凹凸を容易に把握することができる。
　制御部３３は、仮想画像重畳工程において、撮像部２２から処置部１２までの「３次元相対位置」と、撮像部２２から表示画像に映る３次元空間に存在する組織等までの「３次元相対深度」を、リアルタイムに計測する。また、仮想画像が重畳されている医療機器に関しては、記憶部３６に仮想画像用形状データが保存されている。
　そのため、制御部３３は、仮想画像が重畳されている医療機器が、仮に現実の医療機器であった場合、表示画像に映る３次元空間に存在する組織等に接触するかどうかの判定（接触判定）を行うことができる。
　術者が腹壁に形成されたヘルニア門Ｈ付近に処置部１２を移動させた際、仮想画像が重畳されているメッシュＡが、仮に同じ３次元位置に実際に存在した場合、表示画像に映る３次元空間に存在する組織等に接触すると制御部３３が判定すると、図１３に示すように、制御部３３は接触が発生することを示す表示を表示画像Ｄに重畳する。
　術者は、表示画像Ｄに映るメッシュＡの仮想画像ＶＭ１を見て、選択したメッシュＡが、障害物に妨害されることなくヘルニア門Ｈを塞ぐことが可能かを、直感的に把握することができる。
　制御部３３は、図１４に示すように、腹壁に形成されたヘルニア門Ｈ付近に処置部１２が接近した場合、メッシュＡの仮想画像を、３次元空間に存在する組織等に接触するように変形させて重畳させてもよい。術者は、組織等に沿って変形したメッシュＡの仮想画像ＶＭ１を見て、選択したメッシュＡがヘルニア門Ｈを塞ぐことが可能かを、より直感的に把握することができる。
　図１５は、医療システム２００において、大腸の切離を行うために選択されたステープラＢの仮想画像ＶＳ２が重畳された表示画像Ｄを示している。
　術者が処置部１２を表示画面Ｄにおいて右側に移動させた場合、図１５（ａ）に示すように、制御部３３はステープラＢが仮に現実の医療機器であった場合、右側に位置する組織に接触すると判定し、接触が発生することを示す表示を表示画像Ｄに重畳する。
　術者が処置部１２を表示画面Ｄにおいて左側に移動させた場合、図１５（ｂ）に示すように、制御部３３はステープラＢが仮に現実の医療機器であった場合、左側に位置する組織に接触すると判定し、接触が発生することを示す表示を表示画像Ｄに重畳する。接触が発生することを示す表示は、接触が発生すると判定した場所に重畳表示される。
　術者は、表示画像Ｄに映るステープラＢの仮想画像ＶＳ２を見て、選択したステープラＢが、周囲にある障害物に妨害されることなく大腸を切離することが可能かを、直感的に把握することができる。
（第二実施形態の効果）
　本実施形態の医療システム２００によれば、術者は、表示画像Ｄに映る医療機器の仮想画像を見て、選択した医療機器が、障害物に妨害されることがないかを、直感的に把握することができる。医療機器の選択の試行錯誤にかかる時間を削減し、適切な種類の医療機器の選択を支援することができる。
（第三実施形態）
　本発明の第三実施形態について、図１６から図１８を参照して説明する。本実施形態は、内視鏡が硬性でなく軟性である点が第一実施形態および第二実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
　本実施形態に係る医療システム３００の全体構成は、第一実施形態に係る医療システム１００と同じである。内視鏡２Ｃが軟性の挿入部を有している点が異なっている。
　次に、ＥＭＲ手術を例として、医療システム３００の動作および医療システム３００を用いた画像生成方法を、図１６から図１８を参照して説明する。
　図１６は医療システム３００の内視鏡２Ｃを示している。
　医療システム３００において、図１６（ａ）に示すように、処置部１２として局注針１２ｂが取り付けられた処置具が、内視鏡２Ｃに設けられたルーメンに挿通される。術者は、病変の向こう側の辺縁部に局注針１２ｂを刺して、粘膜下層にゆっくり局注材を入れ、病変を持ち上げる。その後、図１６（ｂ）に示すように、処置部１２としてスネア１２ｃが取り付けられた処置具が、内視鏡２Ｃに設けられたルーメンに挿通される。術者はスネア１２ｃを用いて、病変の切離を行う。
　術者は、病変の大きさや形状に合わせて、最適な大きさと形状のスネア１２ｃを選択する必要がある。術者の経験や技術によっては、スネアの選択の試行錯誤に時間がかかる。
　そこで術者は、処置部１２として局注針１２ｂが取り付けられた処置具を体内に導入している際に、制御部３３の画像処理の動作モードを「仮想画像重畳モード」に設定する。術者は、入力部５１を操作し、最適なサイズであると推測した「スネアＡ」を選択する（医療機器選択工程）。
　図１７は、医療システム３００において、選択されたスネアＡの仮想画像ＶＷ１が、局注針１２ｂが映る位置に重畳された表示画像Ｄを示している。
　術者は、表示画像Ｄに映るスネアＡの仮想画像ＶＭ１を見て、選択したスネアＡが病変の切離のために必要十分な大きさを有していることを、直感的に把握することができる。
　図１８は、医療システム３００において、スネアＡよりもサイズが小さいスネアＢが選択され、スネアＢの仮想画像ＶＷ２が重畳された表示画像を示している。
　術者は、表示画像Ｄに映るスネアＢの仮想画像ＶＭ２を見て、選択したスネアＢが病変の切離のために必要十分な大きさを有していないことを、直感的に把握することができる。
（第三実施形態の効果）
　本実施形態の医療システム３００によれば、軟性の内視鏡を用いる場合であっても、術者は、表示画像Ｄに映る医療機器の仮想画像を見て、選択した医療機器が必要十分な大きさを有しているかを、３次元空間内における寸法等を実際に計測することなく、直感的に把握することができる。医療機器の選択の試行錯誤にかかる時間を削減し、適切な種類の医療機器の選択を支援することができる。
（第四実施形態）
　本発明の第四実施形態について説明する。本実施形態は、医療機器選択工程が医療機器の在庫管理システムと連携している点が第一実施形態から第三実施形態と異なっている。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
　本実施形態に係る医療システム４００の全体構成は、第一実施形態に係る医療システム１００と同じである。
　動作モードが「仮想画像重畳モード」に設定された制御部３３は、医療機器一覧と、入力部５１から医療機器の「種別」と「サイズ」を選択することを促すメッセージとをモニタ４１に表示させる。
　制御部３３は院内の医療機器の在庫管理システムと接続されており、表示される医療機器一覧に合わせて、各医療機器の在庫状況を表示することができる。
　術者は、在庫の有無を確認したうえで、仮想画像として表示する医療機器を選択することができる。実際の在庫がない医療機器を選択した場合、選択した医療機器が最適なサイズであったとしても、その医療機器を実際にすぐに使用することはできない。医療機器の在庫状況を表示することができれば、実際に使用できる医療機器から、医療機器を選択することができ、医療機器の選択の試行錯誤にかかる時間を削減し、適切な種類の医療機器の選択を支援することができる。
　本発明は、内視鏡を備える医療システムに適用することができる。
１００，１００Ｂ、１００Ｃ、２００，３００，４００　医療システム
１、１Ｂ　処置具
１０　　　挿入部
１１　　　操作部
１２　　　処置部
１２ａ　　把持部材
１２ｂ　　局注針
１２ｃ　　スネア
２、２Ｂ、２Ｃ　内視鏡
２０　　　挿入部
２１　　　持手部
２２　　　撮像部
３　　　　制御装置
３３　　　制御部
３５　　　メモリ
３６　　　記憶部
３７　　　入出力制御部
３８　　　画像演算部
４　　　　表示装置
４１　　　モニタ
５　　　　入力装置
５１　　　入力部

Claims (12)

  1. 　処置具と、
    　撮像部を有する内視鏡と、
    　前記撮像部が取得した撮像画像から表示画像を生成する制御装置と、
    　前記表示画像を表示する表示装置と、
    　医療機器を選択する入力装置と、を備え、
    　前記制御装置は、前記内視鏡から前記処置具までの相対位置を計測し、
    　前記制御装置は、前記相対位置に基づいて、前記表示画像に映る前記処置具に対して相対的な位置にあって相対的な大きさを有する前記医療機器の仮想画像を、前記表示画像に重畳する、
    　医療システム。
  2. 　前記制御装置は、前記内視鏡に対する前記処置具の相対姿勢を計測し、
    　前記制御装置は、前記相対姿勢に基づいて、前記表示画像に映る前記処置具に対して相対的な姿勢となる前記医療機器の仮想画像を、前記表示画像に重畳する、
    　請求項１に記載の医療システム。
  3. 　前記制御装置は、通常モードと仮想画像重畳モードの少なくとも二種類の動作モードを有し、
    　前記制御装置は、前記動作モードが前記通常モードに設定されている場合、前記仮想画像を重畳しない前記表示画像を生成し、
    　前記制御装置は、前記動作モードが前記仮想画像重畳モードに設定されている場合、前記仮想画像を重畳した前記表示画像を生成する、
    　請求項１に記載の医療システム。
  4. 　前記制御装置は、前記表示画像に映る物体までの相対深度を測定し、
    　前記制御装置は、前記相対位置および前記相対深度に基づいて、前記仮想画像が前記表示画像に重畳されている前記医療機器が、仮に現実の医療機器であった場合、前記表示画像に映る物体に接触するかどうかの判定を行う、
    　請求項１から請求項３のいずれか一項に記載の医療システム。
  5. 　前記制御装置は、前記相対深度に基づいて、前記表示画像に映る物体の凹凸を示すワイヤフレームを前記表示画像に重畳する、
    　請求項４に記載の医療システム。
  6. 　前記制御装置は、選択可能な前記医療機器の医療機器情報を記憶しており、前記医療機器情報に基づき、前記表示装置に選択可能な前記医療機器を表示する、
    　請求項１から請求項３のいずれか一項に記載の医療システム。
  7. 　前記医療機器情報には、院内の前記医療機器の在庫情報が含まれる、
    　請求項６に記載の医療システム。
  8. 　前記制御装置は、前記医療機器の前記仮想画像を、前記医療機器の前記仮想画像が半透明となるように、前記表示画像に重畳する、
    　請求項１から請求項７のいずれか一項に記載の医療システム。
  9. 　内視鏡の撮像部が取得した撮像画像から表示画像を生成する医療システムにおいて、
    　入力装置を用いて医療機器を選択させる医療機器選択工程と、
    　内視鏡から処置具までの相対位置を計測する相対位置計測工程と、
    　前記相対位置に基づいて、前記表示画像に映る前記処置具に対して相対的な位置にあって相対的な大きさを有する前記医療機器の仮想画像を、前記表示画像に重畳する仮想画像重畳工程と、を備える、
    　画像生成方法。
  10. 　前記相対位置計測工程は、前記相対位置に加えて、前記内視鏡に対する前記処置具の相対姿勢を計測し、
    　前記仮想画像重畳工程は、前記相対姿勢に基づいて、前記表示画像に映る前記処置具に対して相対的な姿勢となる前記医療機器の仮想画像を、前記表示画像に重畳する、
    　請求項９に記載の画像生成方法。
  11. 　通常モードと仮想画像重畳モードの少なくとも二種類の動作モードを有し、
    　前記動作モードが前記仮想画像重畳モードに設定されている場合のみ、医療機器選択工程と、相対位置計測工程と、仮想画像重畳工程と、を実施する、
    　請求項９に記載の画像生成方法。
  12. 　前記相対位置計測工程は、前記表示画像に映る物体までの相対深度を測定し、
    　前記仮想画像重畳工程は、前記相対位置および前記相対深度に基づいて、仮想画像が前記表示画像に重畳されている前記医療機器が、仮に現実の医療機器であった場合、前記表示画像に映る物体に接触するかどうかの判定を行い、前記接触が発生すると判断した場合は、接触を示す表示を、前記表示画像に重畳する、
    　請求項９に記載の画像生成方法。
PCT/JP2017/029614 2017-08-18 2017-08-18 医療システムおよび画像生成方法 WO2019035206A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/029614 WO2019035206A1 (ja) 2017-08-18 2017-08-18 医療システムおよび画像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/029614 WO2019035206A1 (ja) 2017-08-18 2017-08-18 医療システムおよび画像生成方法

Publications (1)

Publication Number Publication Date
WO2019035206A1 true WO2019035206A1 (ja) 2019-02-21

Family

ID=65362425

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/029614 WO2019035206A1 (ja) 2017-08-18 2017-08-18 医療システムおよび画像生成方法

Country Status (1)

Country Link
WO (1) WO2019035206A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05337118A (ja) * 1992-06-04 1993-12-21 Olympus Optical Co Ltd スコープ保持装置
JPH08332169A (ja) * 1995-06-08 1996-12-17 Olympus Optical Co Ltd 体腔内観察装置
JPH0938030A (ja) * 1995-07-28 1997-02-10 Shimadzu Corp 内視鏡装置
JP2002238844A (ja) * 2001-02-16 2002-08-27 Olympus Optical Co Ltd 内視鏡装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05337118A (ja) * 1992-06-04 1993-12-21 Olympus Optical Co Ltd スコープ保持装置
JPH08332169A (ja) * 1995-06-08 1996-12-17 Olympus Optical Co Ltd 体腔内観察装置
JPH0938030A (ja) * 1995-07-28 1997-02-10 Shimadzu Corp 内視鏡装置
JP2002238844A (ja) * 2001-02-16 2002-08-27 Olympus Optical Co Ltd 内視鏡装置

Similar Documents

Publication Publication Date Title
JP7080945B2 (ja) 遠隔操作医療システムにおける器具の画面上での識別のためのシステム及び方法
JP7275204B2 (ja) 遠隔操作医療システムにおけるオンスクリーンメニューのためのシステム及び方法
KR102501099B1 (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법
CN109890311B (zh) 在计算机辅助远程操作外科手术中的可重新配置的显示器
KR102117273B1 (ko) 수술 로봇 시스템 및 그 제어 방법
US10849709B2 (en) Systems and methods for removing occluding objects in surgical images and/or video
EP1937176B1 (en) Auxiliary image display and manipulation on a computer display in a medical robotic system
KR101038417B1 (ko) 수술 로봇 시스템 및 그 제어 방법
US20220249193A1 (en) Systems and methods for presenting augmented reality in a display of a teleoperational system
CN111867438A (zh) 手术辅助设备、手术方法、非暂时性计算机可读介质和手术辅助***
JP2013188574A (ja) コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標
KR100962472B1 (ko) 수술 로봇 시스템 및 그 제어 방법
KR101683057B1 (ko) 수술 로봇 시스템 및 그 동작 제한 방법
JP7495242B2 (ja) 医用画像診断装置、手術支援ロボット装置、手術支援ロボット用制御装置及び制御プログラム
WO2019035206A1 (ja) 医療システムおよび画像生成方法
US20210251706A1 (en) Robotic Surgical System and Method for Providing a Stadium View with Arm Set-Up Guidance
KR101715026B1 (ko) 수술 로봇 시스템 및 그 동작 제한 방법
US11850004B2 (en) Systems and methods for determining an arrangement of explanted tissue and for displaying tissue information
US20240070875A1 (en) Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system
WO2024145341A1 (en) Systems and methods for generating 3d navigation interfaces for medical procedures
WO2023055723A1 (en) Navigation assistance for an instrument
JP2024514640A (ja) 画面上及び画面外で発生する混合された要素及びアクションを表示するレンダリングされた要素で直接視覚化される混合
WO2023018685A1 (en) Systems and methods for a differentiated interaction environment
CN117355862A (zh) 包含用于连接表示解剖通路的模型结构的指令的***、方法及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17921626

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17921626

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP