WO2019163906A1 - 医療システムおよび医療システムの作動方法 - Google Patents
医療システムおよび医療システムの作動方法 Download PDFInfo
- Publication number
- WO2019163906A1 WO2019163906A1 PCT/JP2019/006601 JP2019006601W WO2019163906A1 WO 2019163906 A1 WO2019163906 A1 WO 2019163906A1 JP 2019006601 W JP2019006601 W JP 2019006601W WO 2019163906 A1 WO2019163906 A1 WO 2019163906A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- endoscope
- coordinate system
- display image
- model
- region
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/0016—Holding or positioning arrangements using motor drive units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
Definitions
- the present invention relates to a medical system that performs treatment through a hole formed in an abdominal wall or the like, and an operating method of the medical system.
- the scopist places the distal end of the endoscope into the target organ so that the region of interest of the operator is included in the image captured by the endoscope. It is necessary to move quickly to the vicinity of the region of interest.
- a medical system has been devised that supports the insertion operation of the distal end of the endoscope insertion portion by a scopist using a model (shape data or image) of a target organ or the like created by preoperative planning using a CT image.
- Patent Document 1 describes an endoscope system having a function of supporting an insertion operation at the distal end of an insertion portion of an endoscope.
- the endoscope system described in Patent Literature 1 generates complicated 3D shape data of bronchi from CT images in advance, and presents candidate position information based on the 3D shape data to the user.
- the operation of inserting the distal end of the endoscope inserted into the bronchus to the vicinity of the region of interest is supported.
- the present invention provides a medical system that supports the operation of inserting the distal end of the insertion portion of an endoscope from an arbitrary initial position to a target position using a model created by preoperative planning, and a method for operating the medical system.
- the purpose is to provide.
- the medical system which concerns on the 1st aspect of this invention has an imaging part, and operates the endoscope driven electrically and operates the said endoscope, A display image is produced
- a display device for displaying the display image the control device records a model of a target organ created in a preoperative plan, extracts a plurality of feature points in the model, and displays the display Extracting a plurality of corresponding points corresponding to the plurality of feature points in the image, and displaying the first coordinate system of the model and the display image based on the plurality of feature points and the plurality of corresponding points Associate with the second coordinate system of the space.
- the medical system operating method includes an imaging unit, an endoscope that is electrically driven to operate, and the endoscope that operates, and a captured image of the imaging unit
- An operation method of a medical system comprising a control device that generates a display image from the display device and a display device that displays the display image, the model recording step of recording a model of a target organ created in a preoperative plan, A feature point extracting step for extracting a plurality of feature points in the model; a corresponding point extracting step for extracting a plurality of corresponding points corresponding to the plurality of feature points in the display image; and the plurality of feature points and the plurality of correspondences.
- the medical system and the operation method of the medical system of the present invention it is possible to support the operation of inserting the distal end of the insertion portion of the endoscope from an arbitrary initial position to a target position using a model created by preoperative planning.
- FIG. 1 is a diagram illustrating an overall configuration of a medical system 100 according to the present embodiment.
- the medical system 100 includes a treatment instrument 1, an endoscope 2, a control device 3, a display device 4, and an input device 5.
- the medical system 100 is a system that supports a treatment performed by inserting the treatment instrument 1, the endoscope 2, and the like through separate holes (openings) opened in the abdominal wall in laparoscopic surgery.
- the treatment instrument 1 has a long insertion portion 10 that can be inserted into the abdominal cavity of a patient, and an operation portion 11 provided at a proximal end portion of the insertion portion 10.
- the operator passes the insertion portion 10 through a trocar punctured in the abdomen of the patient, and introduces the insertion portion 10 into the abdominal cavity.
- the operator may introduce a plurality of treatment tools 1 into the abdominal cavity.
- the insertion part 10 has a treatment part 12 for treating the affected part of the patient at the distal end part.
- the treatment section 12 is a gripping mechanism configured by a pair of gripping members 12a.
- the operation unit 11 is a member that operates the pair of gripping members 12a.
- the operation unit 11 has a handle, and the pair of gripping members 12 a of the treatment unit 12 is opened and closed by moving the handle relative to other parts of the operation unit 11. The surgeon can operate the treatment section 12 while holding the operation section 11 with one hand.
- FIG. 2 is a hardware configuration diagram of the medical system 100 excluding the treatment instrument 1.
- the endoscope 2 includes a long insertion portion 20 that can be inserted into the abdominal cavity of a patient, and an arm 21. The operator passes the insertion portion 20 through a trocar punctured in the abdomen of the patient, and introduces the insertion portion 20 into the abdominal cavity.
- the insertion unit 20 is provided with an imaging unit 22 having a lens and an imaging device for imaging a state inside the abdomen of the patient at the distal end.
- the insertion unit 20 introduced into the abdominal cavity is disposed at a position where the imaging unit 22 can image the affected area to be treated in the abdomen.
- the imaging unit 22 may have an optical zoom function or an electronic zoom function.
- the insertion part 20 may further have an active bending part that bends actively. By curving the active bending portion provided in a part of the insertion portion 20, the orientation of the lens of the imaging portion 22 and the imaging element can be changed.
- the arm 21 is an electrically driven robot arm having at least one joint 23 as shown in FIG.
- the distal end of the arm 21 is connected to the proximal end portion of the insertion portion 20 of the endoscope, and the arm 21 can move the insertion portion 20.
- the joint 23 is a part that bends around a rotation axis, and may be actively bent by a motor or the like, or passively bent by a forward / backward movement of a connected wire or the like. There may be.
- control signal lines and wires for controlling the bending operation of the joint 23 are wired.
- a control signal line for controlling the imaging unit 22 and a transmission signal for transferring a captured image captured by the imaging unit 22 are also wired inside the arm 21.
- the control device 3 includes a drive unit 31, an image processing unit 32, and a control unit 33.
- the control device 3 controls the arm 21 and the like based on the input from the input device 5.
- the control device 3 generates a display image from the captured image captured by the imaging unit 22 of the endoscope 2 and transfers it to the display device 4.
- the driving unit 31 drives the joint 23 and the insertion unit 20 of the arm 21.
- the control unit 33 When the joint 23 actively bends, the control unit 33 generates a control signal to the drive unit 31 in order to operate the joint 23. As a result, the joint 23 can be bent by the drive unit 31.
- the control part 33 when the insertion part 20 has an active bending part, the control part 33 produces
- the drive unit 31 generates power for operating the active bending unit according to the generated control signal. As a result, the active bending portion can be bent by the power transmitted via the arm 21.
- the drive unit 31 can change the visual field of the endoscope 2 by driving at least one of the arm 21 and the insertion unit 20.
- the image processing unit 32 is connected to a transmission signal of a captured image captured by the imaging unit 22, and acquires a captured image via the transmission signal.
- the image processing unit 32 generates a display image for display from the captured image.
- the image processing unit 32 may perform image processing such as image format conversion and contrast adjustment on the captured image as necessary.
- the generated display image is transferred to the display device 4 at a predetermined transfer timing.
- the image processing unit 32 can generate a display image by replacing an image such as a figure or a character generated by the control unit 33 with a captured image or superimposing the captured image on the captured image.
- the image processing unit 32 can generate a display image by superimposing a character image related to a warning to the surgeon or operation support on the captured image.
- the image processing unit 32 not the control unit 33, may generate images such as graphics and characters based on instructions from the control unit 33.
- the control unit 33 uses the operation of the input device 5 and the image acquired by the image processing unit 32 as inputs, and controls the drive unit 31 and the image processing unit 32 based on those inputs.
- the control unit 33 has two types of operation modes, a manual mode and an automatic mode.
- the control unit 33 controls the drive unit 31 and the image processing unit 32 based on one operation mode selected from the two operation modes.
- the manual mode is an operation mode in which the scopist operates the input device 5 to directly operate the joint 23 and the like of the arm 21 of the endoscope 2.
- the automatic mode based on the image acquired by the image processing unit 32, the joint 23 of the arm 21 of the endoscope 2 is automatically operated by the control unit 33, and the visual field of the endoscope 2 is automatically adjusted. It is an operation mode.
- FIG. 3 and 4 are diagrams illustrating an example of the overall configuration of the control unit 33.
- the control unit 33 includes a CPU (Central Processing Unit) 34, a memory 35 that can read a program, a storage unit 36, and an input / output control unit 37 that can execute a program ( Computer).
- the function of the control unit 33 is realized by the CPU 34 executing a program provided to the control unit 33. Note that at least some of the functions of the control unit 33 may be configured by a dedicated logic circuit or the like.
- the storage unit 36 is a non-volatile recording medium that stores the above-described program and necessary data.
- the storage unit 36 is composed of, for example, a ROM or a hard disk.
- the program recorded in the storage unit 36 is read into the memory 35 and executed by the CPU 34.
- the input / output control unit 37 receives input data from the input device 5 and the image processing unit 32, and performs transfer to the CPU 34 and the like. Further, when the CPU 34 controls the drive unit 31 and the image processing unit 32, the input / output control unit 37 generates a control signal for the drive unit 31 and the image processing unit 32 based on an instruction from the CPU 34.
- control unit 33 is not limited to a device provided in one piece of hardware.
- the control unit 33 is configured by separating the CPU 34, the memory 35, the storage unit 36, and the input / output control unit 37 as separate hardware and connecting the hardware to each other via a communication line. May be.
- the control part 33 may implement
- the memory 35 of the control unit 33 may be used to store temporary data being processed. Further, the CPU 34 of the control unit 33 may execute part or all of the captured image processing performed by the image processing unit 32 by executing a program.
- control unit 33 may further include components other than the CPU 34, the memory 35, the storage unit 36, and the input / output control unit 37 illustrated in FIG. .
- control unit 33 may further include an image calculation unit 38 that performs part or all of specific image processing and image recognition processing. By further including the image calculation unit 38, the control unit 33 can execute specific image processing and image recognition processing at high speed.
- the display device 4 is a device that displays the display image generated by the image processing unit 32.
- a known display device such as an LCD display can be used.
- the display device 4 may be a head mounted display or a projector.
- the input device 5 includes an operation input unit 51 and a mode selection unit 52 as shown in FIG.
- the input device 5 is a device that inputs information necessary for the operation of the medical system 100.
- the operation input unit 51 is a device that inputs an operation of the joint 23 of the arm 21 of the endoscope 2.
- the operation input unit 51 can also operate the zoom function when the imaging unit 22 has a zoom function. Further, the scopist can operate the operation input unit 51 to operate the joint 23 of the arm 21 and the like.
- the operation input unit 51 may be configured with a joystick or a touch panel.
- An arm-shaped operation input device similar to the arm 21 may be used.
- the display device 4 of the LCD display and the operation input unit 51 of the touch panel may be configured integrally.
- the operation content is transferred to the control unit 33 by operating the operation input unit 51.
- the control unit 33 calculates the movement amount of the joint 23 of the arm corresponding to the operation content.
- the control unit 33 controls the drive unit 31 so that the joint 23 operates with the calculated operation amount.
- the joint 23 of the arm 21 of the endoscope 2 is directly operated by the operation of the operation input unit 51.
- the operation mode of the control unit 33 is the automatic mode
- the operation of the operation input unit 51 is invalidated by the control unit 33 and the joint 23 of the arm 21 of the endoscope 2 cannot be operated.
- the joint 23 of the arm 21 of the endoscope 2 is operated by the control unit 33.
- the mode selection unit 52 is a device that selects which operation mode the control unit 33 operates from among the two operation modes of the control unit 33.
- the mode selection unit 52 may be configured by a switch or a touch panel.
- the mode selection unit 52 may be configured integrally with the operation input unit 51. The operation mode selection of the control unit 33 by the mode selection unit 52 can be performed at any time.
- the target organ is the gallbladder G.
- the surgeon or the like performs a preoperative plan for creating a model (shape data or image) of the target organ using a known method before laparoscopic surgery. For example, the surgeon creates three-dimensional shape data of the target organ from a plurality of CT images.
- the three-dimensional coordinate system of the three-dimensional shape data generated in the preoperative plan is referred to as “model coordinate system (first coordinate system) C1”.
- FIG. 5 is a model M of the target organ (gallbladder G) and peripheral organs (liver L, pancreas P, stomach S) created in the preoperative plan.
- the model M is associated with three-dimensional coordinates (X1, Y1, and Z1 coordinates) in the model coordinate system C1, and the position of each part of the model M is specified by the three-dimensional coordinates in the model coordinate system C1. Can do.
- the imaging center point O shown in FIG. 5 is the imaging center point of the virtual imaging unit V installed in the model coordinate system C1.
- 6 is a perspective view when the model M is imaged from the virtual imaging unit V shown in FIG.
- the operator or the like sets a region to be treated or observed in laparoscopic surgery as a “region of interest R” in the model M in the preoperative plan.
- the region of interest R is set to a part of the target organ (gallbladder G) as shown in FIG.
- the target organ model M created in the preoperative plan is recorded in the storage unit 36 of the control unit 33 of the control device 3 (model recording step).
- the range and position of the region of interest R set in the model M are also recorded in the storage unit 36.
- FIG. 7 shows a plurality of feature points F extracted from the model M.
- the control device 3 extracts and stores a plurality of feature points F in the model M (feature point extraction step).
- the plurality of feature points F are extracted using a known feature point extraction method.
- the plurality of feature points F are specified together with the feature amount calculated according to a predetermined standard suitable for representing the feature, and the three-dimensional coordinates in the model coordinate system C1 are also specified and stored in the storage unit 36.
- the extraction and recording of the plurality of feature points F may be performed before or during the operation.
- the plurality of feature points F may form a graph in which adjacent feature points F are connected as shown in FIG.
- the control device 3 sets “0” to the feature point closest to the region of interest R in the target organ (gallbladder G). On the basis of the feature point F with the number “0”, a distance on the graph (“1”, “2”, “3”, etc.) is set for each feature point F based on the three-dimensional information of the model M.
- the operator provides a plurality of holes (openings) for installing the trocar in the abdomen of the patient, and punctures the trocar into the hole.
- the operator passes the insertion part 10 of the treatment instrument 1 through a trocar punctured in the abdomen of the patient, and introduces the insertion part 10 into the abdominal cavity.
- the scopist operates the mode selection unit 52 to set the operation mode of the control unit 33 to the manual mode.
- the scopist operates the operation input unit 51 to operate the endoscope 2 so that the insertion unit 20 of the endoscope 2 is passed through the trocar punctured into the abdomen of the patient, and the insertion unit 20 is introduced into the abdominal cavity. .
- FIG. 8 is a diagram showing the insertion portion 20 and the target organ T of the endoscope 2 inserted into the abdominal cavity.
- FIG. 9 is a display image generated by the control device 3 from the captured image captured by the imaging unit 22.
- the region of interest R of the target organ T is not displayed in the display image shown in FIG.
- the three-dimensional coordinate system of the display space in which the display image is displayed is referred to as “display coordinate system (second coordinate system) C2”.
- the surgeon wants to operate the endoscope 2 so that the region of interest R is displayed on the display screen. Therefore, an operator, a scoopist or the like operates the mode selection unit 52 to change the operation mode of the control unit 33 to the automatic mode.
- the operation of the operation input unit 51 is invalidated by the control unit 33, and a scopist or the like cannot operate the joint 23 or the like of the arm 21 of the endoscope 2.
- description will be given along the control flowchart in the automatic mode shown in FIG.
- step S10 when the operation mode of the control unit 33 is set to the automatic mode, the control unit 33 starts the control of the automatic mode (step S10). Next, the control part 33 performs step S11.
- step S11 the control unit 33 extracts a plurality of corresponding points A corresponding to the plurality of feature points F in the display image (corresponding point extraction step).
- the control unit 33 extracts a plurality of corresponding points A in the display image based on the feature amounts of the plurality of feature points F stored in the storage unit 36 in advance.
- a method appropriately selected from known template matching methods and the like is used.
- the control unit 33 includes the image calculation unit 38 that performs part or all of the image matching processing at high speed, the above-described matching processing can be executed at high speed.
- the control part 33 performs step S12.
- step S12 the control unit 33 associates the model coordinate system C1 of the model M with the display coordinate system C2 of the display space displayed by the display image based on the plurality of feature points F and the plurality of corresponding points A ( Association step).
- Association step For the associating process, a method appropriately selected from known coordinate conversion methods or the like is used.
- the association step is completed, the coordinate position that can be reached in the first coordinate system C1 of the model M can be converted into the display coordinate system C2 in the display space.
- the control part 33 performs step S13.
- step S13 the control unit 33 calculates the position of the region of interest R in the display coordinate system C2 from the position of the region of interest R set in the model M in the model coordinate system C1 (relative position calculation step). Next, the control part 33 performs step S14.
- step S14 the control unit 33 operates the endoscope 2 so that the region of interest R is included in the display image (endoscope operation step).
- the control unit 33 uses the position of the region of interest R in the display coordinate system C2 obtained in step S13 so that the position of the region of interest R and the imaging center point O of the display coordinate system C2 approach each other.
- the arm 21 is operated.
- the control unit 33 can bring the position of the region of interest R close to the imaging center point O of the display coordinate system C2 by the shortest path.
- the control unit 33 executes step S15.
- step S15 the control unit 33 again extracts a plurality of corresponding points A corresponding to the plurality of feature points F in the updated display image, and based on the plurality of feature points F and the plurality of corresponding points A, the model It is determined whether there is a shift in the association between the coordinate system C1 and the display coordinate system C2. If it is determined that there is a deviation, the control unit 33 next executes step S12 again. If it is determined that there is no deviation, the control unit 33 next executes step S16.
- step S16 the control unit 33 determines whether the position of the region of interest R is sufficiently close to the imaging center point O of the display coordinate system C2, and the region of interest R is included in the display image. When it determines with not being included, the control part 33 performs step S14 again next. When it determines with being contained, the control part 33 performs step S17 next, and complete
- FIG. 11 is a diagram illustrating the insertion unit 20 and the target organ T of the endoscope 2 after the automatic mode is completed.
- FIG. 12 is a display image after the automatic mode is completed. After the control in the automatic mode is completed, the region of interest R set in the model M created by the preoperative plan is displayed on the display image.
- the distal end of the insertion portion 20 of the endoscope 2 inserted from an arbitrary hole opened in the abdominal wall using the model M created by the preoperative plan is set to an arbitrary initial position.
- To the target position where the region of interest R is displayed on the display image can be supported.
- the medical system 100 can quickly secure the visual field during the operation, and can reduce the burden on the surgeon and the scoopist.
- the medical system 100 performs the association process again when there is a deviation in the association between the model coordinate system C1 and the display coordinate system C2 in the automatic mode. Even when the actual target organ T is deformed with respect to the model M created in advance during the operation, the region of interest R can be reliably displayed on the display image by repeatedly correcting the association. it can.
- the control device 3 automatically operates the endoscope by the relative position calculation step and the endoscope operation step, but the control device manually changes the operation mode from the automatic mode after the association step. You may change to mode.
- the scopist instructs the moving direction and moving amount of the endoscope in the model coordinate system C1 of the model M, and the control device converts the instructed moving direction and moving amount into the display coordinate system C2 of the display space, and actually Operate the endoscope.
- the display image is changed by operating the arm 21 of the endoscope 2 and changing the imaging position of the endoscope 2, but the method of changing the display image is not limited to this.
- the image processing unit has a function of generating a display image by cutting out a part of a region from a captured image of the endoscope, and the display image may be changed by changing a position where the image is cut out.
- the image processing unit may change the display image by controlling the zoom function of the imaging unit. Even in the case of an endoscope that does not have an arm, the display image can be changed.
- FIG. 13 is an overall configuration example showing an endoscope 2B which is a modified example of the endoscope 2.
- the endoscope 2 ⁇ / b> B has an active bending portion 23 ⁇ / b> B at the distal end of the insertion portion 20.
- the operator can change the position and orientation of the imaging unit 22 of the endoscope 2 by moving the endoscope 2B while holding the endoscope 2B. Further, the position and orientation of the imaging unit 22 can be changed by bending the active bending unit 23B. Even when the endoscope 2B is used instead of the endoscope 2, the control unit 33 can change the display image by driving the active bending portion 23B.
- the endoscope 2 is automatically operated so that the region of interest R is located at the center of the display image.
- the target position of the endoscope 2 is not limited to the center of the display image.
- the target position may be other than the center of the display image.
- the center of the display image on either monitor may be set as the target position.
- the endoscope is automatically operated by the endoscope operation step, but the method of operating the endoscope is not limited to this.
- the control device may change the operation mode from the automatic mode to the manual mode, and superimpose navigation information indicating the position of the region of interest R on the display image.
- the scopist may operate the operation input unit 51 based on the navigation information on the display image to display the region of interest R on the display image.
- the present invention can be applied to a medical system having an endoscope and a method for operating the medical system.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Robotics (AREA)
- Signal Processing (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Gynecology & Obstetrics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Urology & Nephrology (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Endoscopes (AREA)
Abstract
医療システムは、撮像部を有し、電動で駆動されて作動する内視鏡と、前記内視鏡を作動させ、前記撮像部の撮像画像から表示画像を生成する制御装置と、前記表示画像を表示する表示装置と、を備え、前記制御装置は、術前計画において作成した対象臓器のモデルを記録し、前記モデルにおいて複数の特徴点を抽出し、前記表示画像において前記複数の特徴点に対応する複数の対応点を抽出し、前記複数の特徴点と前記複数の対応点とに基づいて、前記モデルの第一座標系と、前記表示画像が表示する表示空間の第二座標系とを関連付ける。
Description
本発明は、腹壁等に形成した孔を通して処置を行う医療システムおよび同医療システムの作動方法に関する。
本願は、2018年2月21日に、アメリカ合衆国に仮出願された米国特許仮出願第62/633,190号に基づき優先権を主張し、その内容をここに援用する。
本願は、2018年2月21日に、アメリカ合衆国に仮出願された米国特許仮出願第62/633,190号に基づき優先権を主張し、その内容をここに援用する。
従来、腹腔鏡下手術において、腹壁に開けた別々の孔(開口)から処置具や内視鏡などを挿入して処置を行う手法が用いられている。内視鏡を操作するスコピストは、術者に対して処置に最適な内視鏡の視野、例えば対象臓器等の関心領域が含まれる視野を迅速に提供する必要がある。
術者に最適な内視鏡の視野を迅速に提供するには、内視鏡が撮像した画像に術者の関心領域が含まれるように、スコピストが内視鏡の挿入部先端を対象臓器の関心領域付近まで迅速に移動させる必要がある。CT画像を用いた術前計画により作成した対象臓器等のモデル(形状データや画像)により、スコピストによる内視鏡の挿入部先端の挿入作業を支援する医療システムが考案されている。
特許文献1には、内視鏡の挿入部先端の挿入作業を支援する機能を備えた内視鏡システムが記載されている。特許文献1に記載された内視鏡システムは、CT画像から気管支の3次元形状データを事前に生成し、3次元形状データに基づいた候補位置情報を使用者に提示することで、複雑に分岐した気管支に挿入した内視鏡の挿入部先端を関心領域付近まで挿入する作業を支援する。
しかしながら、特許文献1に記載された内視鏡システムが用いられる気管支の手術では、内視鏡の挿入部先端が挿入される気管支内のルートを事前に設定しやすいため、事前に生成した気管支の3次元形状データに基づいた候補位置情報の提示等は、事前に設定したルート上の分岐点のみにおいて行えばよい。一方、腹腔鏡下手術では、内視鏡の挿入部先端は腹壁に開けた任意の孔から挿入されるため、医療システムは内視鏡の挿入部先端が孔から挿入された任意の初期位置から関心領域付近の目的位置まで内視鏡の挿入部先端を挿入する作業を支援する必要がある。
上記事情を踏まえ、本発明は、術前計画により作成したモデルを用いて、内視鏡の挿入部先端を任意の初期位置から目的位置まで挿入する作業を支援する医療システムおよび医療システムの作動方法を提供することを目的とする。
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の第一の態様に係る医療システムは、撮像部を有し、電動で駆動されて作動する内視鏡と、前記内視鏡を作動させ、前記撮像部の撮像画像から表示画像を生成する制御装置と、前記表示画像を表示する表示装置と、を備え、前記制御装置は、術前計画において作成した対象臓器のモデルを記録し、前記モデルにおいて複数の特徴点を抽出し、前記表示画像において前記複数の特徴点に対応する複数の対応点を抽出し、前記複数の特徴点と前記複数の対応点とに基づいて、前記モデルの第一座標系と、前記表示画像が表示する表示空間の第二座標系とを関連付ける。
本発明の第一の態様に係る医療システムは、撮像部を有し、電動で駆動されて作動する内視鏡と、前記内視鏡を作動させ、前記撮像部の撮像画像から表示画像を生成する制御装置と、前記表示画像を表示する表示装置と、を備え、前記制御装置は、術前計画において作成した対象臓器のモデルを記録し、前記モデルにおいて複数の特徴点を抽出し、前記表示画像において前記複数の特徴点に対応する複数の対応点を抽出し、前記複数の特徴点と前記複数の対応点とに基づいて、前記モデルの第一座標系と、前記表示画像が表示する表示空間の第二座標系とを関連付ける。
また、本発明の第二の態様に係る医療システムの作動方法は、撮像部を有し、電動で駆動されて作動する内視鏡と、前記内視鏡を作動させ、前記撮像部の撮像画像から表示画像を生成する制御装置と、前記表示画像を表示する表示装置と、を備える医療システムの作動方法であって、術前計画において作成した対象臓器のモデルを記録するモデル記録工程と、前記モデルにおいて複数の特徴点を抽出する特徴点抽出工程と、前記表示画像において前記複数の特徴点に対応する複数の対応点を抽出する対応点抽出工程と、前記複数の特徴点と前記複数の対応点とに基づいて、前記モデルの第一座標系と、前記表示画像が表示する表示空間の第二座標系とを関連付ける関連付け工程と、を備える。
本発明の医療システムおよび医療システムの作動方法によれば、術前計画により作成したモデルを用いて、内視鏡の挿入部先端を任意の初期位置から目的位置まで挿入する作業を支援できる。
本発明の一実施形態について、図1から図12を参照して説明する。なお、図面を見やすくするため、各構成要素の寸法等は適宜調整されている。
図1は、本実施形態に係る医療システム100の全体構成を示す図である。
医療システム100は、図1に示すように、処置具1と、内視鏡2と、制御装置3と、表示装置4と、入力装置5と、を備えている。医療システム100は、腹腔鏡下手術において、腹壁に開けた別々の孔(開口)から処置具1や内視鏡2などを挿入して行う処置を支援するシステムである。
医療システム100は、図1に示すように、処置具1と、内視鏡2と、制御装置3と、表示装置4と、入力装置5と、を備えている。医療システム100は、腹腔鏡下手術において、腹壁に開けた別々の孔(開口)から処置具1や内視鏡2などを挿入して行う処置を支援するシステムである。
処置具1は、図1に示すように、患者の腹腔内に挿入可能な長尺の挿入部10と、挿入部10の基端部に設けられた操作部11と、を有する。術者は、患者の腹部に穿刺したトロッカに挿入部10を通し、挿入部10を腹腔内に導入する。処置の種類や患部の状況により、術者は複数の処置具1を腹腔内に導入する場合もある。
挿入部10は、図1に示すように、先端部に患者の患部を処置する処置部12を有する。本実施形態において処置部12は、一対の把持部材12aで構成された把持機構である。
操作部11は、一対の把持部材12aを操作する部材である。操作部11はハンドルを有しており、ハンドルを操作部11の他の部分に対して相対移動させることで、処置部12の一対の把持部材12aを開閉させる。術者は、片手で操作部11を保持して、処置部12を操作することができる。
図2は、処置具1を除く医療システム100のハードウェア構成図である。
内視鏡2は、図1および図2に示すように、患者の腹腔内に挿入可能な長尺の挿入部20と、アーム21と、を有する。術者は、患者の腹部に穿刺したトロッカに挿入部20を通し、挿入部20を腹腔内に導入する。
内視鏡2は、図1および図2に示すように、患者の腹腔内に挿入可能な長尺の挿入部20と、アーム21と、を有する。術者は、患者の腹部に穿刺したトロッカに挿入部20を通し、挿入部20を腹腔内に導入する。
挿入部20は先端部に、患者の腹部内の様子を撮影するためのレンズや撮像素子を有する撮像部22が設けられている。腹腔内に導入された挿入部20は、撮像部22が腹部内の処置対象の患部を撮影可能な位置に配置される。撮像部22は、光学ズームもしくは電子ズームの機能を有していてもよい。
なお、挿入部20は、能動的に湾曲する能動湾曲部をさらに有してもよい。挿入部20の一部に設けられた能動湾曲部を湾曲させることで、撮像部22のレンズや撮像素子の向きを変更することができる。
アーム21は、図1に示すように、少なくとも1以上の関節23を有する電動駆動のロボットアームである。アーム21の先端が内視鏡の挿入部20の基端部に接続されており、アーム21は、挿入部20を移動させることができる。
関節23は、回動軸を中心に屈曲する部位であり、モータ等によって能動的に屈曲動作するものであってもよいし、接続されるワイヤ等の進退動作によって受動的に屈曲動作するものであってもよい。アーム21の内部には、関節23の屈曲動作を制御する制御信号線やワイヤ等が配線されている。また、アーム21の内部には、撮像部22を制御する制御信号線や撮像部22が撮像した撮像画像を転送する伝送信号も配線されている。
制御装置3は、図2に示すように、駆動部31と、画像処理部32と、制御部33と、を有している。制御装置3は、入力装置5からの入力に基づいてアーム21等を制御する。また、制御装置3は、内視鏡2の撮像部22が撮像した撮像画像から表示画像を生成して、表示装置4に転送する。
駆動部31は、アーム21の関節23や挿入部20を駆動する。関節23が能動的に屈曲動作するものである場合、制御部33は関節23を動作させるために駆動部31への制御信号を生成する。その結果、関節23は駆動部31によって屈曲動作させることができる。別の態様として、挿入部20が能動湾曲部を有する場合、制御部33は能動湾曲部を制御する制御信号を生成する。駆動部31は、生成した制御信号に従い、能動湾曲部を動作させるための動力を発生させる。その結果、能動湾曲部は、アーム21を介して伝達された動力によって湾曲動作させることができる。
すなわち、駆動部31は、アーム21および挿入部20の少なくとも一方を駆動することによって、内視鏡2の視野を変更させることができる。
画像処理部32は、撮像部22が撮像した撮像画像の伝送信号が接続されており、その伝送信号経由で、撮像画像を取得する。また、画像処理部32は、撮像画像から表示用の表示画像を生成する。画像処理部32は、撮像画像に対し、画像フォーマット変換やコントラスト調整などの画像処理を必要に応じて行ってもよい。生成された表示画像は、表示装置4に所定の転送タイミングで転送される。
画像処理部32は、制御部33が生成した図形や文字などの画像を、撮像画像と差し替えて、もしくは、撮像画像に重畳して、表示画像を生成することができる。例えば、画像処理部32は、術者への警告や操作支援に関する文字の画像を、撮像画像に重畳して、表示画像を生成することができる。なお、上記の図形や文字などの画像は、制御部33ではなく画像処理部32が、制御部33の指示に基づいて生成してもよい。
制御部33は、入力装置5の操作および画像処理部32が取得した画像を入力とし、それらの入力に基づいて駆動部31および画像処理部32の制御等を行う。
本実施形態において、制御部33は、マニュアルモードおよび自動モードの2種類の動作モードを有する。制御部33は、二つの動作モードから選択された一つの動作モードに基づいて、駆動部31および画像処理部32の制御等を行う。
本実施形態において、制御部33は、マニュアルモードおよび自動モードの2種類の動作モードを有する。制御部33は、二つの動作モードから選択された一つの動作モードに基づいて、駆動部31および画像処理部32の制御等を行う。
マニュアルモードは、スコピストが入力装置5を操作して、内視鏡2のアーム21の関節23等を直接操作する動作モードである。
自動モードは、画像処理部32が取得した画像に基づいて、内視鏡2のアーム21の関節23等が制御部33により自動で操作され、内視鏡2の視野の自動調整が実施される動作モードである。
自動モードは、画像処理部32が取得した画像に基づいて、内視鏡2のアーム21の関節23等が制御部33により自動で操作され、内視鏡2の視野の自動調整が実施される動作モードである。
図3および図4は、制御部33の全体構成例を示す図である。
制御部33は、図3に示すように、CPU(Central Processing Unit)34と、プログラムを読み込み可能なメモリ35と、記憶部36と、入出力制御部37と、を有するプログラム実行可能な装置(コンピュータ)である。
制御部33の機能は、制御部33に提供されたプログラムをCPU34が実行することにより実現される。なお、制御部33の少なくとも一部の機能を、専用の論理回路等によって構成してもよい。
制御部33は、図3に示すように、CPU(Central Processing Unit)34と、プログラムを読み込み可能なメモリ35と、記憶部36と、入出力制御部37と、を有するプログラム実行可能な装置(コンピュータ)である。
制御部33の機能は、制御部33に提供されたプログラムをCPU34が実行することにより実現される。なお、制御部33の少なくとも一部の機能を、専用の論理回路等によって構成してもよい。
記憶部36は、上述したプログラムや必要なデータを記憶する不揮発性の記録媒体である。記憶部36は、例えばROMやハードディスク等で構成される。記憶部36に記録されたプログラムは、メモリ35に読み込まれ、CPU34によって実行される。
入出力制御部37は、入力装置5および画像処理部32からの入力データを受け取り、CPU34等への転送等を実施する。また、入出力制御部37は、CPU34が駆動部31や画像処理部32を制御する際に、CPU34の指示に基づき、駆動部31や画像処理部32に対する制御信号等を生成する。
ここで、制御部33は、1つのハードウェアに備わる装置に限られない。例えば、制御部33は、CPU34と、メモリ35と、記憶部36と、入出力制御部37とをそれぞれ別体のハードウェアとして分離した上で、ハードウェア同士を通信回線で接続することで構成してもよい。あるいは、制御部33は、記憶部36を分離して、同様に通信回線で接続することで、制御部33をクラウドシステムとして実現してもよい。
ここで、画像処理部32が、撮像画像の処理を行う場合、処理中の一時的なデータを保管するため、制御部33のメモリ35を使用してもよい。また、画像処理部32が行う撮像画像の処理の一部もしくは全部を、制御部33のCPU34がプログラム実行により実施してもよい。
なお、制御部33は、図3に示すCPU34、メモリ35、記憶部36、および入出力制御部37以外のもので、制御装置3の動作のために必要なものを、さらに有してもよい。例えば、図4に示すように、制御部33は、特定の画像処理や画像認識処理の一部もしくは全部を行う画像演算部38をさらに有してもよい。画像演算部38をさらに有することで、制御部33は、特定の画像処理や画像認識処理を高速に実行することができる。
表示装置4は、画像処理部32が生成した表示画像を表示する装置である。表示装置4は、LCDディスプレイ等の公知の表示装置を用いることができる。表示装置4は、ヘッドマウントディスプレイやプロジェクタであってもよい。
入力装置5は、図2に示すように、操作入力部51と、モード選択部52と、を有する。入力装置5は、医療システム100の動作に必要な情報を入力する装置である。
操作入力部51は、内視鏡2のアーム21の関節23の操作を入力する装置である。また、操作入力部51は、撮像部22がズーム機能を有している場合は、そのズーム機能を操作することもできる。また、スコピストは、操作入力部51を操作して、アーム21の関節23等を操作することができる。
操作入力部51は、図1に示すように、ジョイスティックにより構成されていてもよいし、タッチパネルにより構成されていてもよい。アーム21と相似形状のアーム形状の操作入力デバイスであってもよい。LCDディスプレイの表示装置4と、タッチパネルの操作入力部51とが、一体に構成されていてもよい。
操作入力部51を操作することで、その操作内容が制御部33に転送される。制御部33は、操作内容に対応する、アームの関節23の動作量を算出する。制御部33は、算出した動作量で関節23が動作するように、駆動部31を制御する。
制御部33の動作モードがマニュアルモードである場合、操作入力部51の操作により、内視鏡2のアーム21の関節23等は直接操作される。
一方、制御部33の動作モードが自動モードである場合、操作入力部51の操作は、制御部33により無効化され、内視鏡2のアーム21の関節23等を操作することはできない。内視鏡2のアーム21の関節23等は制御部33によって操作される。
一方、制御部33の動作モードが自動モードである場合、操作入力部51の操作は、制御部33により無効化され、内視鏡2のアーム21の関節23等を操作することはできない。内視鏡2のアーム21の関節23等は制御部33によって操作される。
モード選択部52は、制御部33が有する二つの動作モードのうち、どちらの動作モードで制御部33が動作するかを選択する装置である。モード選択部52は、スイッチにより構成されていてもよいし、タッチパネルにより構成されていてもよい。また、モード選択部52は、操作入力部51と一体に構成されていてもよい。モード選択部52による制御部33の動作モード選択は、いつでも行うことができる。
[医療システム100の動作]
次に、腹腔鏡下手術を例として、医療システム100の動作および作動方法を、図5から図12を参照して説明する。本実施形態では、対象臓器は胆嚢Gとする。
次に、腹腔鏡下手術を例として、医療システム100の動作および作動方法を、図5から図12を参照して説明する。本実施形態では、対象臓器は胆嚢Gとする。
術者等は、腹腔鏡下手術前に、公知の手法を用いて、対象臓器のモデル(形状データや画像)を作成する術前計画を行う。術者等は、例えば複数のCT画像から対象臓器の三次元形状データを作成する。術前計画にて生成した三次元形状データの三次元座標系を「モデル座標系(第一座標系)C1」と称する。
図5は、術前計画において作成した対象臓器(胆嚢G)と周辺臓器(肝臓L、膵臓P、胃S)のモデルMである。モデルMは、モデル座標系C1における三次元座標(X1座標、Y1座標、Z1座標)に対応付けられており、モデルMの各部位の位置は、モデル座標系C1における三次元座標で特定することができる。
図5に示す撮像中心点Oは、モデル座標系C1に設置した仮想的な撮像部Vの撮像中心点である。図6は、図5に示す仮想的な撮像部VからモデルMを撮像した場合の斜視図である。術者等は、術前計画において、腹腔鏡下手術における処置対象や観察対象となる領域を、モデルMにおいて「関心領域R」として設定する。本実施形態において、関心領域Rは、図6に示すように、対象臓器(胆嚢G)の一部に設定されている。
術前計画において作成した対象臓器のモデルMは、制御装置3の制御部33の記憶部36に記録される(モデル記録工程)。モデルMに設定された関心領域Rの範囲や位置も合わせて記憶部36に記録される。
図7は、モデルMにおいて抽出した複数の特徴点Fを示している。
制御装置3は、モデルMにおいて複数の特徴点Fを抽出して記憶する(特徴点抽出工程)。複数の特徴点Fは、公知の特徴点の抽出方法を用いて抽出される。複数の特徴点Fは、特徴を表すことに適した所定の基準に従って算出された特徴量とともに、モデル座標系C1における三次元座標も合わせて特定されて記憶部36に記憶される。なお、複数の特徴点Fの抽出および記録は、術前に実施してもよく、術中に実施してもよい。
制御装置3は、モデルMにおいて複数の特徴点Fを抽出して記憶する(特徴点抽出工程)。複数の特徴点Fは、公知の特徴点の抽出方法を用いて抽出される。複数の特徴点Fは、特徴を表すことに適した所定の基準に従って算出された特徴量とともに、モデル座標系C1における三次元座標も合わせて特定されて記憶部36に記憶される。なお、複数の特徴点Fの抽出および記録は、術前に実施してもよく、術中に実施してもよい。
複数の特徴点Fは、図7に示すように、隣接する特徴点Fが接続されたグラフを形成してもよい。制御装置3は、対象臓器(胆嚢G)における関心領域Rに最も近い特徴点に「0」を設定する。番号「0」の特徴点Fを基準として、モデルMの三次元情報に基づき、各特徴点Fにグラフ上距離(「1」、「2」、「3」など)を設定する。
次に、腹腔鏡下手術中における医療システム100の動作を説明する。術者は、患者の腹部にトロッカを設置するための孔(開口)を複数設け、孔にトロッカを穿刺する。次に術者は、患者の腹部に穿刺したトロッカに処置具1の挿入部10を通し、挿入部10を腹腔内に導入する。
次に、スコピストは、モード選択部52を操作し、制御部33の動作モードをマニュアルモードに設定する。スコピストは、操作入力部51を操作して、内視鏡2を操作することで、内視鏡2の挿入部20を患者の腹部に穿刺したトロッカに通し、挿入部20を腹腔内に導入する。
図8は、腹腔内に挿入された内視鏡2の挿入部20と対象臓器Tを示す図である。図9は、撮像部22が撮像した撮像画像から制御装置3が生成した表示画像である。図9が示す表示画像には、対象臓器Tの関心領域Rは表示されていない。表示画像が表示する表示空間の三次元座標系を「表示座標系(第二座標系)C2」と称する。
術者は、関心領域Rが表示画面に表示されるように、内視鏡2を作動させたい。そこで、術者もしくはスコピスト等は、モード選択部52を操作し、制御部33の動作モードを自動モードに変更する。操作入力部51の操作は、制御部33により無効化され、スコピスト等は内視鏡2のアーム21の関節23等を操作することはできない。以降、図10に示す自動モードにおける制御フローチャートに沿って説明を行う。
図10に示すように、制御部33の動作モードが自動モードに設定されると、制御部33は自動モードの制御を開始する(ステップS10)。次に、制御部33はステップS11を実行する。
ステップS11において、制御部33は、表示画像において複数の特徴点Fに対応する複数の対応点Aを抽出する(対応点抽出工程)。制御部33は、予め記憶部36に記憶された複数の特徴点Fの特徴量に基づき、表示画像における複数の対応点Aを抽出する。抽出処理には、公知のテンプレートマッチング手法等から適宜選択した手法が用いられる。制御部33が画像のマッチング処理の一部もしくは全部を高速に行う画像演算部38を有している場合、上記のマッチング処理を高速に実行することができる。次に、制御部33はステップS12を実行する。
ステップS12において、制御部33は、複数の特徴点Fと複数の対応点Aとに基づいて、モデルMのモデル座標系C1と、表示画像が表示する表示空間の表示座標系C2とを関連付ける(関連付け工程)。関連付け処理には、公知の座標変換手法等から適宜選択した手法が用いられる。関連付け工程が完了すると、モデルMの第一座標系C1に行ける座標位置を、表示空間の表示座標系C2に変換することができる。次に、制御部33はステップS13を実行する。
ステップS13において、制御部33は、モデルMに設定された関心領域Rのモデル座標系C1における位置から、関心領域Rの表示座標系C2における位置を算出する(相対位置算出工程)。次に、制御部33はステップS14を実行する。
ステップS14において、制御部33は、表示画像に関心領域Rが含まれるように内視鏡2を作動させる(内視鏡作動工程)。制御部33は、ステップS13で求めた関心領域Rの表示座標系C2における位置を用いて、関心領域Rの位置と表示座標系C2の撮像中心点Oとが近づくように、内視鏡2のアーム21を操作する。制御部33は、各特徴点Fに設定されたグラフ上距離を用いることで、最短経路により関心領域Rの位置と表示座標系C2の撮像中心点Oとを近づけることができる。アーム21が所定距離もしくは所定時間だけ作動した後、制御部33はステップS15を実行する。
ステップS15において、制御部33は、更新された表示画像において複数の特徴点Fに対応する複数の対応点Aを再度抽出し、複数の特徴点Fと複数の対応点Aとに基づいて、モデル座標系C1と表示座標系C2との関連付けにズレがあるかを判定する。
ズレがあると判定した場合、制御部33は次にステップS12を再び実行する。
ズレがないと判定した場合、制御部33は次にステップS16を実行する。
ズレがあると判定した場合、制御部33は次にステップS12を再び実行する。
ズレがないと判定した場合、制御部33は次にステップS16を実行する。
ステップS16において、制御部33は、関心領域Rの位置と表示座標系C2の撮像中心点Oとが十分近づき、表示画像に関心領域Rが含まるかを判定する。
含まれないと判定した場合、制御部33は次にステップS14を再び実行する。
含まれると判定した場合、制御部33は次にステップS17を実行して自動モードを終了する。
含まれないと判定した場合、制御部33は次にステップS14を再び実行する。
含まれると判定した場合、制御部33は次にステップS17を実行して自動モードを終了する。
図11は、自動モードが完了した後の内視鏡2の挿入部20と対象臓器Tを示す図である。図12は、自動モードが完了した後の表示画像である。
自動モードの制御が完了した後、術前計画により作成したモデルMにおいて設定した関心領域Rが、表示画像に表示される。
自動モードの制御が完了した後、術前計画により作成したモデルMにおいて設定した関心領域Rが、表示画像に表示される。
本実施形態の医療システム100によれば、術前計画により作成したモデルMを用いて、腹壁に開けた任意の孔から挿入された内視鏡2の挿入部20の先端を、任意の初期位置から関心領域Rが表示画像に表示される目的位置まで挿入する作業を支援することができる。
医療システム100は、術者が事前に関心領域RをモデルMに対して設定しておけるため、術中における視野の確保を迅速に行うことができ、術者およびスコピストの負担を減らすことができる。
医療システム100は、自動モードにおいて、モデル座標系C1と表示座標系C2との関連付けにズレがある場合に、関連付け工程を再度行う。術中において実際の対象臓器Tが事前に作成したモデルMに対して変形している場合であっても、関連付けの修正を繰り返して行うことで、確実に関心領域Rを表示画像に表示させることができる。
以上、本発明の一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の一実施形態および以下で示す変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
(変形例1)
上記の実施形態では、制御装置3は、相対位置算出工程と内視鏡作動工程により、内視鏡を自動で作動させていたが、制御装置は、関連付け工程後、動作モードを自動モードから手動モードに変更してもよい。スコピストは、モデルMのモデル座標系C1で内視鏡の移動方向や移動量を指示し、制御装置は、指示された移動方向や移動量を表示空間の表示座標系C2に変換して、実際の内視鏡を作動させる。
上記の実施形態では、制御装置3は、相対位置算出工程と内視鏡作動工程により、内視鏡を自動で作動させていたが、制御装置は、関連付け工程後、動作モードを自動モードから手動モードに変更してもよい。スコピストは、モデルMのモデル座標系C1で内視鏡の移動方向や移動量を指示し、制御装置は、指示された移動方向や移動量を表示空間の表示座標系C2に変換して、実際の内視鏡を作動させる。
(変形例2)
上記の実施形態では、内視鏡2のアーム21を操作して内視鏡2の撮像位置を変更することで表示画像を変更していたが、表示画像の変更方法はこれに限定されない。画像処理部が、内視鏡の撮像画像から一部の領域を切り出して表示画像を生成する機能を有し、画像を切り出す位置を変更することで、表示画像を変更してもよい。また、画像処理部が、撮像部のズーム機能を制御して表示画像を変更してもよい。アームを有していない内視鏡の場合であっても、表示画像を変更することができる。
上記の実施形態では、内視鏡2のアーム21を操作して内視鏡2の撮像位置を変更することで表示画像を変更していたが、表示画像の変更方法はこれに限定されない。画像処理部が、内視鏡の撮像画像から一部の領域を切り出して表示画像を生成する機能を有し、画像を切り出す位置を変更することで、表示画像を変更してもよい。また、画像処理部が、撮像部のズーム機能を制御して表示画像を変更してもよい。アームを有していない内視鏡の場合であっても、表示画像を変更することができる。
図13は、内視鏡2の変形例である内視鏡2Bを示す全体構成例である。内視鏡2Bは、挿入部20の先端に能動湾曲部23Bを有している。術者は、内視鏡2Bを持って内視鏡2Bを移動させることで、内視鏡2の撮像部22の位置や向きを変更することができる。また、能動湾曲部23Bを湾曲させることで、撮像部22の位置や向きを変更することができる。内視鏡2に代えて、内視鏡2Bを使用する場合であっても、制御部33は、能動湾曲部23Bを駆動することで、表示画像を変更することができる。
(変形例3)
上記の実施形態では、関心領域Rが表示画像の中央に位置するように、内視鏡2が自動操作されていたが、内視鏡2の目標位置は、表示画像の中央に限定されない。目標位置は、表示画像の中央以外であってもよい。例えば、表示装置4が二台のLCDモニタで構成されている場合、いずれかのモニタの表示画像の中央を、目標位置としてもよい。
上記の実施形態では、関心領域Rが表示画像の中央に位置するように、内視鏡2が自動操作されていたが、内視鏡2の目標位置は、表示画像の中央に限定されない。目標位置は、表示画像の中央以外であってもよい。例えば、表示装置4が二台のLCDモニタで構成されている場合、いずれかのモニタの表示画像の中央を、目標位置としてもよい。
(変形例4)
上記の実施形態では、内視鏡作動工程により、内視鏡を自動で作動させていたが、内視鏡を作動させる方法はこれに限定されない。制御装置は、内視鏡作動工程において、動作モードを自動モードから手動モードに変更し、表示画像に関心領域Rの位置を示すナビゲーション情報を重畳してもよい。スコピストは、表示画像上のナビゲーション情報に基づき、操作入力部51を操作して、関心領域Rを表示画像に表示させてもよい。
上記の実施形態では、内視鏡作動工程により、内視鏡を自動で作動させていたが、内視鏡を作動させる方法はこれに限定されない。制御装置は、内視鏡作動工程において、動作モードを自動モードから手動モードに変更し、表示画像に関心領域Rの位置を示すナビゲーション情報を重畳してもよい。スコピストは、表示画像上のナビゲーション情報に基づき、操作入力部51を操作して、関心領域Rを表示画像に表示させてもよい。
本発明は、内視鏡を有する医療システムおよび医療システムの作動方法に適用することができる。
100 医療システム
1 処置具
2、2B 内視鏡
20 挿入部
21 アーム
22 撮像部
23 関節
23B 能動湾曲部
3 制御装置
31 駆動部
32 画像処理部
33 制御部
35 メモリ
36 記憶部
37 入出力制御部
38 画像演算部
4 表示装置
5 入力装置
51 操作入力部
52 モード選択部
1 処置具
2、2B 内視鏡
20 挿入部
21 アーム
22 撮像部
23 関節
23B 能動湾曲部
3 制御装置
31 駆動部
32 画像処理部
33 制御部
35 メモリ
36 記憶部
37 入出力制御部
38 画像演算部
4 表示装置
5 入力装置
51 操作入力部
52 モード選択部
Claims (8)
- 撮像部を有し、電動で駆動されて作動する内視鏡と、
前記内視鏡を作動させ、前記撮像部の撮像画像から表示画像を生成する制御装置と、
前記表示画像を表示する表示装置と、
を備え、
前記制御装置は、
術前計画において作成した対象臓器のモデルを記録し、
前記モデルにおいて複数の特徴点を抽出し、
前記表示画像において前記複数の特徴点に対応する複数の対応点を抽出し、
前記複数の特徴点と前記複数の対応点とに基づいて、前記モデルの第一座標系と、前記表示画像が表示する表示空間の第二座標系とを関連付ける、
医療システム。 - 前記制御装置は、
前記モデルに設定された関心領域の前記第一座標系における位置から、前記関心領域の前記第二座標系における位置を算出し、
前記表示画像に前記関心領域が含まれるように前記内視鏡を作動させる、
請求項1に記載の医療システム。 - 前記内視鏡を作動させた後に、更新された前記表示画像において前記複数の特徴点に対応する複数の対応点を再度抽出し、前記複数の特徴点と前記複数の対応点とに基づいて、前記第一座標系と前記第二座標系との関連付けを修正する、
請求項2に記載の医療システム。 - 前記制御装置は、
前記モデルに設定された関心領域の前記第一座標系における位置から、前記関心領域の前記第二座標系における位置を算出し、
前記表示画像に前記関心領域の位置を示すナビゲーション情報を重畳する、
請求項1に記載の医療システム。 - 撮像部を有し、電動で駆動されて作動する内視鏡と、前記内視鏡を作動させ、前記撮像部の撮像画像から表示画像を生成する制御装置と、前記表示画像を表示する表示装置と、を備える医療システムの作動方法であって、
術前計画において作成した対象臓器のモデルを記録するモデル記録工程と、
前記モデルにおいて複数の特徴点を抽出する特徴点抽出工程と、
前記表示画像において前記複数の特徴点に対応する複数の対応点を抽出する対応点抽出工程と、
前記複数の特徴点と前記複数の対応点とに基づいて、前記モデルの第一座標系と、前記表示画像が表示する表示空間の第二座標系とを関連付ける関連付け工程と、
を備える、
医療システムの作動方法。 - 前記モデルに設定された関心領域の前記第一座標系における位置から、前記関心領域の前記第二座標系における位置を算出する相対位置算出工程と、
前記表示画像に前記関心領域が含まれるように前記内視鏡を作動させる内視鏡作動工程と、をさらに有する、
請求項5に記載の医療システムの作動方法。 - 前記内視鏡を作動させた後に、更新された前記表示画像において前記複数の特徴点に対応する複数の対応点を再度抽出し、前記複数の特徴点と前記複数の対応点とに基づいて、前記第一座標系と前記第二座標系との関連付けにズレがある場合、前記関連付け工程を再度実行する、
請求項6に記載の医療システムの作動方法。 - 前記モデルに設定された関心領域の前記第一座標系における位置から、前記関心領域の前記第二座標系における位置を算出する相対位置算出工程と、
前記表示画像に前記関心領域の位置を示すナビゲーション情報を重畳するナビゲーション工程と、をさらに有する、
請求項5に記載の医療システムの作動方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/996,508 US20210030476A1 (en) | 2018-02-21 | 2020-08-18 | Medical system and medical system operating method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862633190P | 2018-02-21 | 2018-02-21 | |
US62/633,190 | 2018-02-21 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/996,508 Continuation US20210030476A1 (en) | 2018-02-21 | 2020-08-18 | Medical system and medical system operating method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019163906A1 true WO2019163906A1 (ja) | 2019-08-29 |
Family
ID=67687714
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/006554 WO2019163890A1 (ja) | 2018-02-21 | 2019-02-21 | 医療システムおよび医療システムの作動方法 |
PCT/JP2019/006601 WO2019163906A1 (ja) | 2018-02-21 | 2019-02-21 | 医療システムおよび医療システムの作動方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/006554 WO2019163890A1 (ja) | 2018-02-21 | 2019-02-21 | 医療システムおよび医療システムの作動方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11800966B2 (ja) |
JP (1) | JP6990292B2 (ja) |
CN (1) | CN111770716B (ja) |
WO (2) | WO2019163890A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021013412A (ja) * | 2019-07-10 | 2021-02-12 | ソニー株式会社 | 医療用観察システム、制御装置及び制御方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4081153A1 (en) * | 2019-12-23 | 2022-11-02 | Mazor Robotics Ltd. | Multi-arm robotic system for spine surgery with imaging guidance |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015514492A (ja) * | 2012-04-19 | 2015-05-21 | コーニンクレッカ フィリップス エヌ ヴェ | 術前及び術中3d画像を用いて内視鏡を手動操作するガイダンスツール |
WO2017006708A1 (ja) * | 2015-07-06 | 2017-01-12 | オリンパス株式会社 | 医療装置、医療画像生成方法及び医療画像生成プログラム |
JP2017508499A (ja) * | 2014-01-24 | 2017-03-30 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | ロボット手術のための連続画像統合 |
JP2017511187A (ja) * | 2014-04-02 | 2017-04-20 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 操縦可能なスタイレット及びフレキシブルな針を用いるデバイス、システム、及び方法 |
Family Cites Families (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5086401A (en) * | 1990-05-11 | 1992-02-04 | International Business Machines Corporation | Image-directed robotic system for precise robotic surgery including redundant consistency checking |
US6463361B1 (en) * | 1994-09-22 | 2002-10-08 | Computer Motion, Inc. | Speech interface for an automated endoscopic system |
US6346940B1 (en) * | 1997-02-27 | 2002-02-12 | Kabushiki Kaisha Toshiba | Virtualized endoscope system |
AU2001260559A1 (en) * | 2000-05-19 | 2001-11-26 | Simbionics Ltd. | Endoscopic tutorial system for the pancreatic system |
US7706860B2 (en) * | 2005-04-28 | 2010-04-27 | Boston Scientific Scimed, Inc. | Automated manipulation of imaging device field of view based on tracked medical device position |
JP4836122B2 (ja) | 2006-02-09 | 2011-12-14 | 国立大学法人浜松医科大学 | 手術支援装置、方法及びプログラム |
WO2007129493A1 (ja) * | 2006-05-02 | 2007-11-15 | National University Corporation Nagoya University | 医療画像観察支援装置 |
JP2008264313A (ja) * | 2007-04-23 | 2008-11-06 | Olympus Medical Systems Corp | 内視鏡システム |
JP5135007B2 (ja) | 2008-03-10 | 2013-01-30 | オリンパスメディカルシステムズ株式会社 | カプセル誘導システム |
US10004387B2 (en) * | 2009-03-26 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Method and system for assisting an operator in endoscopic navigation |
JP2010274044A (ja) * | 2009-06-01 | 2010-12-09 | Olympus Corp | 手術支援装置、手術支援方法及び手術支援プログラム |
EP2440129A4 (en) * | 2009-06-08 | 2015-06-03 | Mri Interventions Inc | MRI-CONTROLLED SURGICAL SYSTEMS WITH PRESET SCAN SURFACES |
JP5761900B2 (ja) * | 2009-06-08 | 2015-08-12 | 三菱プレシジョン株式会社 | 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ |
EP2651344A4 (en) * | 2010-12-17 | 2015-08-19 | Intellijoint Surgical Inc | METHOD AND SYSTEM FOR ALIGNING A PROSTHESIS DURING A SURGICAL INTERVENTION |
WO2012108085A1 (ja) * | 2011-02-08 | 2012-08-16 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
JP5918548B2 (ja) * | 2012-01-24 | 2016-05-18 | 富士フイルム株式会社 | 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム |
US20150173619A1 (en) | 2012-04-17 | 2015-06-25 | Collage Medical Imaging Ltd. | Organ mapping system using an optical coherence tomography probe |
US9125556B2 (en) * | 2012-05-14 | 2015-09-08 | Mazor Robotics Ltd. | Robotic guided endoscope |
US10278615B2 (en) * | 2012-08-14 | 2019-05-07 | Intuitive Surgical Operations, Inc. | Systems and methods for registration of multiple vision systems |
JP5719819B2 (ja) * | 2012-09-28 | 2015-05-20 | 日本光電工業株式会社 | 手術支援システム |
TWI504383B (zh) * | 2012-11-27 | 2015-10-21 | Nat Univ Chung Cheng | Computer - aided positioning guidance system for dental implants |
US9264801B2 (en) * | 2012-12-04 | 2016-02-16 | Storz Endoskop Produktions Gmbh | System and method for pairing a command device incorporating a microphone to a remotely controlled medical system |
EP2904958A4 (en) | 2013-03-12 | 2016-08-24 | Olympus Corp | ENDOSCOPE SYSTEM |
WO2015029970A1 (ja) | 2013-08-28 | 2015-03-05 | オリンパスメディカルシステムズ株式会社 | カプセル型内視鏡システム |
JP6304737B2 (ja) | 2013-08-30 | 2018-04-04 | 国立大学法人名古屋大学 | 医用観察支援装置及び医用観察支援プログラム |
JP6165033B2 (ja) * | 2013-11-14 | 2017-07-19 | オリンパス株式会社 | 医療システム |
JP6854237B2 (ja) * | 2014-03-28 | 2021-04-07 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 視野内の器具の定量的三次元視覚化 |
KR102397670B1 (ko) * | 2014-03-28 | 2022-05-16 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 정량적 3차원 영상화에 기초한 햅틱 피드백을 갖는 수술 시스템 |
WO2015154069A1 (en) * | 2014-04-04 | 2015-10-08 | Surgical Theater LLC | Dynamic and interactive navigation in a surgical environment |
US20150305612A1 (en) * | 2014-04-23 | 2015-10-29 | Mark Hunter | Apparatuses and methods for registering a real-time image feed from an imaging device to a steerable catheter |
KR101570857B1 (ko) * | 2014-04-29 | 2015-11-24 | 큐렉소 주식회사 | 로봇 수술 계획 조정 장치 |
US10595716B2 (en) * | 2014-05-09 | 2020-03-24 | X-Biomedical Inc. | Portable surgical methods, systems, and apparatus |
CN104055520B (zh) * | 2014-06-11 | 2016-02-24 | 清华大学 | 人体器官运动监测方法和手术导航*** |
EP3095378B1 (en) * | 2014-08-04 | 2018-12-19 | Olympus Corporation | Medical treatment system |
WO2016064800A1 (en) * | 2014-10-20 | 2016-04-28 | Mayo Foundation For Medical Education And Research | Imaging data capture and video streaming system |
US20210186355A1 (en) * | 2014-11-30 | 2021-06-24 | Elbit Systems Ltd. | Model registration system and method |
CN107105994B (zh) * | 2015-10-16 | 2019-04-16 | 奥林巴斯株式会社 | 内窥镜装置 |
US11484363B2 (en) * | 2015-12-28 | 2022-11-01 | Elbit Systems Ltd. | System and method for determining the position and orientation of a tool tip relative to eye tissue of interest |
CN105769109B (zh) * | 2016-04-28 | 2017-07-18 | 深圳市鹏瑞智能图像有限公司 | 一种内窥镜扫描控制方法及*** |
JP2017205343A (ja) * | 2016-05-19 | 2017-11-24 | オリンパス株式会社 | 内視鏡装置、内視鏡装置の作動方法 |
US10028794B2 (en) * | 2016-12-19 | 2018-07-24 | Ethicon Llc | Surgical system with voice control |
WO2019083805A1 (en) * | 2017-10-23 | 2019-05-02 | Intuitive Surgical Operations, Inc. | SYSTEMS AND METHODS FOR PRESENTING ENHANCED REALITY ON A SCREEN OF A TELEOPERATION SYSTEM |
-
2019
- 2019-02-21 WO PCT/JP2019/006554 patent/WO2019163890A1/ja active Application Filing
- 2019-02-21 JP JP2020501032A patent/JP6990292B2/ja active Active
- 2019-02-21 CN CN201980013735.9A patent/CN111770716B/zh active Active
- 2019-02-21 WO PCT/JP2019/006601 patent/WO2019163906A1/ja active Application Filing
-
2020
- 2020-08-14 US US16/993,858 patent/US11800966B2/en active Active
- 2020-08-18 US US16/996,508 patent/US20210030476A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015514492A (ja) * | 2012-04-19 | 2015-05-21 | コーニンクレッカ フィリップス エヌ ヴェ | 術前及び術中3d画像を用いて内視鏡を手動操作するガイダンスツール |
JP2017508499A (ja) * | 2014-01-24 | 2017-03-30 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | ロボット手術のための連続画像統合 |
JP2017511187A (ja) * | 2014-04-02 | 2017-04-20 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 操縦可能なスタイレット及びフレキシブルな針を用いるデバイス、システム、及び方法 |
WO2017006708A1 (ja) * | 2015-07-06 | 2017-01-12 | オリンパス株式会社 | 医療装置、医療画像生成方法及び医療画像生成プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021013412A (ja) * | 2019-07-10 | 2021-02-12 | ソニー株式会社 | 医療用観察システム、制御装置及び制御方法 |
JP7480477B2 (ja) | 2019-07-10 | 2024-05-10 | ソニーグループ株式会社 | 医療用観察システム、制御装置及び制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6990292B2 (ja) | 2022-01-12 |
CN111770716A (zh) | 2020-10-13 |
US20210030476A1 (en) | 2021-02-04 |
CN111770716B (zh) | 2023-12-01 |
WO2019163890A1 (ja) | 2019-08-29 |
US20200367733A1 (en) | 2020-11-26 |
US11800966B2 (en) | 2023-10-31 |
JPWO2019163890A1 (ja) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102501099B1 (ko) | 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법 | |
JP7080945B2 (ja) | 遠隔操作医療システムにおける器具の画面上での識別のためのシステム及び方法 | |
KR101903307B1 (ko) | 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템 | |
US20210315645A1 (en) | Feature identification | |
US20190321118A1 (en) | System and apparatus for positioning an instrument in a body cavity for performing a surgical procedure | |
WO2018225132A1 (ja) | 医療システムおよび医療システムの作動方法 | |
US20210369354A1 (en) | Navigational aid | |
WO2007145327A1 (ja) | 遠隔操作システム | |
JP5084139B2 (ja) | 内視鏡装置 | |
WO2019163906A1 (ja) | 医療システムおよび医療システムの作動方法 | |
JPWO2017163407A1 (ja) | 内視鏡装置、内視鏡システム、及びそれらを備えた手術システム | |
JP2006320427A (ja) | 内視鏡手術支援システム | |
JP2023509321A (ja) | 内視鏡処置のためのガイド下解剖学的構造操作 | |
JP2018521774A (ja) | ボリュームイメージの対話型平面スライスからの内視鏡誘導 | |
US20220137788A1 (en) | Method for real time update of fly-through camera placement | |
US20220273368A1 (en) | Auto-configurable simulation system and method | |
JP6285618B1 (ja) | 3d超音波画像ボリュームにマーカーを配置するためのデバイス及び方法 | |
JP4663220B2 (ja) | 医用画像表示装置 | |
WO2021181502A1 (ja) | 手術支援システム、手術支援システムの作動方法および手術支援システムの制御装置 | |
JP6857748B2 (ja) | 医療システムおよび医療システムの作動方法 | |
JP2023172576A (ja) | 手術システム、表示方法およびプログラム | |
WO2019035206A1 (ja) | 医療システムおよび画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19757389 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19757389 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |