WO2018159338A1 - 医療用支持アームシステムおよび制御装置 - Google Patents
医療用支持アームシステムおよび制御装置 Download PDFInfo
- Publication number
- WO2018159338A1 WO2018159338A1 PCT/JP2018/005610 JP2018005610W WO2018159338A1 WO 2018159338 A1 WO2018159338 A1 WO 2018159338A1 JP 2018005610 W JP2018005610 W JP 2018005610W WO 2018159338 A1 WO2018159338 A1 WO 2018159338A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- scope
- arm
- support arm
- virtual link
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 38
- 230000033001 locomotion Effects 0.000 claims description 83
- 208000004350 Strabismus Diseases 0.000 claims description 29
- 238000000034 method Methods 0.000 abstract description 50
- 238000004364 calculation method Methods 0.000 description 112
- 238000003384 imaging method Methods 0.000 description 68
- 238000012545 processing Methods 0.000 description 40
- 230000006870 function Effects 0.000 description 37
- 230000001133 acceleration Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 27
- 238000001514 detection method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 21
- 230000004044 response Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 238000001356 surgical procedure Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000002674 endoscopic surgery Methods 0.000 description 11
- 210000001519 tissue Anatomy 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000010336 energy treatment Methods 0.000 description 7
- 230000005484 gravity Effects 0.000 description 6
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 210000003815 abdominal wall Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 230000001678 irradiating effect Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 208000005646 Pneumoperitoneum Diseases 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00177—Optical arrangements characterised by the viewing angles for 90 degrees side-viewing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00179—Optical arrangements characterised by the viewing angles for off-axis viewing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/06—Control stands, e.g. consoles, switchboards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/374—NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/44—Constructional features of apparatus for radiation diagnosis
- A61B6/4417—Constructional features of apparatus for radiation diagnosis related to combined acquisition of different diagnostic modalities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4209—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
- A61B8/4218—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames characterised by articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
- A61B90/25—Supports therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
Definitions
- the present disclosure relates to a medical support arm system and a control device.
- an imaging unit that captures an image of a surgical part and a holding unit that is connected to the imaging unit and is provided with a rotation shaft that can operate with at least 6 degrees of freedom
- at least two of the rotating shafts are active shafts whose driving is controlled based on the state of the rotating shaft, and at least one of the shafts rotates according to a direct operation from outside with contact.
- a configuration that is a passive axis is described.
- the observation object can be observed without being obstructed by the obstacle by using the perspective mirror.
- an articulated arm that supports a scope that acquires an image of an observation object in a surgical field, a real link that corresponds to the lens barrel axis of the scope, and a virtual link that corresponds to the optical axis of the scope
- a medical support arm system includes a control unit that controls the articulated arm based on the relationship.
- FIG. 1 shows an example of the schematic structure of the endoscopic surgery system with which the technique which concerns on this indication can be applied.
- It is a block diagram which shows an example of a function structure of the camera head and CCU shown in FIG.
- FIG. 1 shows an example of composition of a medical support arm device concerning an embodiment of this indication.
- It is explanatory drawing for demonstrating the ideal joint control which concerns on one Embodiment of this indication.
- It is a functional block diagram showing an example of 1 composition of a robot arm control system concerning one embodiment of this indication.
- It is a schematic diagram which compares and shows a perspective mirror and a direct-view mirror.
- FIG. 1 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system 5000 to which the technology according to the present disclosure can be applied.
- an operator (doctor) 5067 is performing an operation on a patient 5071 on a patient bed 5069 using an endoscopic operation system 5000.
- an endoscopic surgery system 5000 includes an endoscope 5001, other surgical tools 5017, a support arm device 5027 that supports the endoscope 5001, and various devices for endoscopic surgery. And a cart 5037 on which is mounted.
- trocars 5025a to 5025d are punctured into the abdominal wall.
- the lens barrel 5003 of the endoscope 5001 and other surgical tools 5017 are inserted into the body cavity of the patient 5071 from the trocars 5025a to 5025d.
- an insufflation tube 5019, an energy treatment tool 5021, and forceps 5023 are inserted into the body cavity of the patient 5071.
- the energy treatment device 5021 is a treatment device that performs tissue incision and separation, blood vessel sealing, or the like by high-frequency current or ultrasonic vibration.
- the illustrated surgical tool 5017 is merely an example, and as the surgical tool 5017, for example, various surgical tools generally used in endoscopic surgery such as a lever and a retractor may be used.
- the image of the surgical site in the body cavity of the patient 5071 captured by the endoscope 5001 is displayed on the display device 5041.
- the surgeon 5067 performs a treatment such as excision of the affected part, for example, using the energy treatment tool 5021 and the forceps 5023 while viewing the image of the surgical part displayed on the display device 5041 in real time.
- the pneumoperitoneum tube 5019, the energy treatment tool 5021, and the forceps 5023 are supported by an operator 5067 or an assistant during surgery.
- the support arm device 5027 includes an arm portion 5031 extending from the base portion 5029.
- the arm portion 5031 includes joint portions 5033a, 5033b, and 5033c and links 5035a and 5035b, and is driven by control from the arm control device 5045.
- the endoscope 5001 is supported by the arm unit 5031, and the position and posture thereof are controlled. Thereby, the stable position fixing of the endoscope 5001 can be realized.
- the endoscope 5001 includes a lens barrel 5003 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5071, and a camera head 5005 connected to the proximal end of the lens barrel 5003.
- a lens barrel 5003 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5071, and a camera head 5005 connected to the proximal end of the lens barrel 5003.
- an endoscope 5001 configured as a so-called rigid mirror having a rigid lens barrel 5003 is illustrated, but the endoscope 5001 is configured as a so-called flexible mirror having a flexible lens barrel 5003. Also good.
- An opening into which an objective lens is fitted is provided at the tip of the lens barrel 5003.
- a light source device 5043 is connected to the endoscope 5001, and light generated by the light source device 5043 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 5003. Irradiation is performed toward the observation target in the body cavity of the patient 5071 through the lens.
- the endoscope 5001 may be a direct endoscope, a perspective mirror, or a side endoscope.
- An optical system and an image sensor are provided inside the camera head 5005, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
- the image signal is transmitted to a camera control unit (CCU) 5039 as RAW data.
- CCU camera control unit
- the camera head 5005 is equipped with a function of adjusting the magnification and the focal length by appropriately driving the optical system.
- a plurality of imaging elements may be provided in the camera head 5005 in order to cope with, for example, stereoscopic viewing (3D display).
- a plurality of relay optical systems are provided inside the lens barrel 5003 in order to guide observation light to each of the plurality of imaging elements.
- the CCU 5039 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls operations of the endoscope 5001 and the display device 5041. Specifically, the CCU 5039 performs various types of image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example, on the image signal received from the camera head 5005. The CCU 5039 provides the display device 5041 with the image signal subjected to the image processing. Further, the CCU 5039 transmits a control signal to the camera head 5005 to control the driving thereof.
- the control signal can include information regarding imaging conditions such as magnification and focal length.
- the display device 5041 displays an image based on an image signal subjected to image processing by the CCU 5039 under the control of the CCU 5039.
- the endoscope 5001 is compatible with high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display
- the display device 5041 may be a display device capable of high-resolution display and / or 3D display.
- 4K or 8K high-resolution imaging a more immersive feeling can be obtained by using a display device 5041 having a size of 55 inches or more.
- a plurality of display devices 5041 having different resolutions and sizes may be provided depending on applications.
- the light source device 5043 is composed of a light source such as an LED (light emitting diode), for example, and supplies irradiation light to the endoscope 5001 when photographing a surgical site.
- a light source such as an LED (light emitting diode)
- the arm control device 5045 is configured by a processor such as a CPU, for example, and operates according to a predetermined program to control driving of the arm portion 5031 of the support arm device 5027 according to a predetermined control method.
- the input device 5047 is an input interface for the endoscopic surgery system 5000.
- the user can input various information and instructions to the endoscopic surgery system 5000 via the input device 5047.
- the user inputs various types of information related to the operation, such as the patient's physical information and information about the surgical technique, via the input device 5047.
- the user instructs the arm unit 5031 to be driven via the input device 5047 or the instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 5001. Then, an instruction to drive the energy treatment instrument 5021 is input.
- the type of the input device 5047 is not limited, and the input device 5047 may be various known input devices.
- the input device 5047 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 5057, and / or a lever can be applied.
- the touch panel may be provided on the display surface of the display device 5041.
- the input device 5047 is a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), and various types of input are performed according to the user's gesture and line of sight detected by these devices. Is done.
- the input device 5047 includes a camera capable of detecting the user's movement, and various inputs are performed according to the user's gesture and line of sight detected from the video captured by the camera.
- the input device 5047 includes a microphone that can pick up a user's voice, and various inputs are performed by voice through the microphone.
- the input device 5047 is configured to be able to input various information without contact, so that a user belonging to a clean area (for example, an operator 5067) can operate a device belonging to an unclean area without contact. Is possible.
- a user belonging to a clean area for example, an operator 5067
- the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
- the treatment instrument control device 5049 controls the drive of the energy treatment instrument 5021 for tissue cauterization, incision, or blood vessel sealing.
- the pneumoperitoneum device 5051 gas is introduced into the body cavity via the pneumoperitoneum tube 5019.
- the recorder 5053 is an apparatus capable of recording various types of information related to surgery.
- the printer 5055 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
- the support arm device 5027 includes a base portion 5029 as a base and an arm portion 5031 extending from the base portion 5029.
- the arm portion 5031 includes a plurality of joint portions 5033a, 5033b, and 5033c and a plurality of links 5035a and 5035b connected by the joint portion 5033b.
- FIG. The configuration of the arm portion 5031 is shown in a simplified manner. Actually, the shape, number and arrangement of the joint portions 5033a to 5033c and the links 5035a and 5035b, the direction of the rotation axis of the joint portions 5033a to 5033c, and the like are appropriately set so that the arm portion 5031 has a desired degree of freedom. obtain.
- the arm portion 5031 can be preferably configured to have 6 degrees of freedom or more. Accordingly, the endoscope 5001 can be freely moved within the movable range of the arm portion 5031. Therefore, the barrel 5003 of the endoscope 5001 can be inserted into the body cavity of the patient 5071 from a desired direction. It becomes possible.
- the joint portions 5033a to 5033c are provided with actuators, and the joint portions 5033a to 5033c are configured to be rotatable around a predetermined rotation axis by driving the actuators.
- the arm control device 5045 By controlling the driving of the actuator by the arm control device 5045, the rotation angles of the joint portions 5033a to 5033c are controlled, and the driving of the arm portion 5031 is controlled. Thereby, control of the position and orientation of the endoscope 5001 can be realized.
- the arm control device 5045 can control the driving of the arm unit 5031 by various known control methods such as force control or position control.
- the arm control device 5045 appropriately controls the driving of the arm unit 5031 according to the operation input.
- the position and posture of the endoscope 5001 may be controlled.
- the endoscope 5001 at the tip of the arm portion 5031 can be moved from an arbitrary position to an arbitrary position, and then fixedly supported at the position after the movement.
- the arm portion 5031 may be operated by a so-called master slave method.
- the arm unit 5031 can be remotely operated by the user via the input device 5047 installed at a location away from the operating room.
- the arm control device 5045 When force control is applied, the arm control device 5045 receives the external force from the user and moves the actuators of the joint portions 5033a to 5033c so that the arm portion 5031 moves smoothly according to the external force. You may perform what is called power assist control to drive. Accordingly, when the user moves the arm unit 5031 while directly touching the arm unit 5031, the arm unit 5031 can be moved with a relatively light force. Therefore, the endoscope 5001 can be moved more intuitively and with a simpler operation, and user convenience can be improved.
- an endoscope 5001 is supported by a doctor called a scopist.
- the position of the endoscope 5001 can be more reliably fixed without relying on human hands, so that an image of the surgical site can be stably obtained. It becomes possible to perform the operation smoothly.
- the arm control device 5045 is not necessarily provided in the cart 5037. Further, the arm control device 5045 is not necessarily a single device. For example, the arm control device 5045 may be provided in each joint portion 5033a to 5033c of the arm portion 5031 of the support arm device 5027, and the plurality of arm control devices 5045 cooperate with each other to drive the arm portion 5031. Control may be realized.
- the light source device 5043 supplies irradiation light to the endoscope 5001 when photographing a surgical site.
- the light source device 5043 is composed of a white light source composed of, for example, an LED, a laser light source, or a combination thereof.
- a white light source is configured by a combination of RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Adjustments can be made.
- each RGB light source is controlled by irradiating the observation target with laser light from each of the RGB laser light sources in a time-sharing manner and controlling the driving of the image sensor of the camera head 5005 in synchronization with the irradiation timing. It is also possible to take the images that have been taken in time division. According to this method, a color image can be obtained without providing a color filter in the image sensor.
- the driving of the light source device 5043 may be controlled so as to change the intensity of the output light every predetermined time.
- the driving of the image sensor of the camera head 5005 is controlled to acquire images in a time-sharing manner, and the images are synthesized, so that high dynamics without so-called blackout and overexposure are obtained. A range image can be generated.
- the light source device 5043 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
- special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface of the mucous membrane is irradiated by irradiating light in a narrow band compared to irradiation light (ie, white light) during normal observation.
- narrow band imaging is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
- fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
- the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
- a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
- ICG indocyanine green
- the light source device 5043 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
- FIG. 2 is a block diagram illustrating an example of functional configurations of the camera head 5005 and the CCU 5039 illustrated in FIG.
- the camera head 5005 has a lens unit 5007, an imaging unit 5009, a drive unit 5011, a communication unit 5013, and a camera head control unit 5015 as its functions.
- the CCU 5039 includes a communication unit 5059, an image processing unit 5061, and a control unit 5063 as its functions.
- the camera head 5005 and the CCU 5039 are connected to each other via a transmission cable 5065 so that they can communicate with each other.
- the lens unit 5007 is an optical system provided at a connection portion with the lens barrel 5003. Observation light captured from the tip of the lens barrel 5003 is guided to the camera head 5005 and enters the lens unit 5007.
- the lens unit 5007 is configured by combining a plurality of lenses including a zoom lens and a focus lens. The optical characteristics of the lens unit 5007 are adjusted so that the observation light is condensed on the light receiving surface of the image sensor of the imaging unit 5009. Further, the zoom lens and the focus lens are configured such that their positions on the optical axis are movable in order to adjust the magnification and focus of the captured image.
- the imaging unit 5009 is configured by an imaging element, and is disposed in the subsequent stage of the lens unit 5007.
- the observation light that has passed through the lens unit 5007 is collected on the light receiving surface of the image sensor, and an image signal corresponding to the observation image is generated by photoelectric conversion.
- the image signal generated by the imaging unit 5009 is provided to the communication unit 5013.
- CMOS Complementary Metal Oxide Semiconductor
- the imaging element for example, an element capable of capturing a high-resolution image of 4K or more may be used.
- the image sensor that configures the image capturing unit 5009 is configured to include a pair of image sensors for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the operator 5067 can more accurately grasp the depth of the living tissue in the surgical site.
- the imaging unit 5009 is configured as a multi-plate type, a plurality of lens units 5007 are also provided corresponding to each imaging element.
- the imaging unit 5009 is not necessarily provided in the camera head 5005.
- the imaging unit 5009 may be provided inside the lens barrel 5003 immediately after the objective lens.
- the driving unit 5011 includes an actuator, and moves the zoom lens and the focus lens of the lens unit 5007 by a predetermined distance along the optical axis under the control of the camera head control unit 5015. Thereby, the magnification and focus of the image captured by the imaging unit 5009 can be adjusted as appropriate.
- the communication unit 5013 is configured by a communication device for transmitting and receiving various types of information to and from the CCU 5039.
- the communication unit 5013 transmits the image signal obtained from the imaging unit 5009 as RAW data to the CCU 5039 via the transmission cable 5065.
- the image signal is preferably transmitted by optical communication.
- the surgeon 5067 performs the surgery while observing the state of the affected area with the captured image, so that a moving image of the surgical site is displayed in real time as much as possible for safer and more reliable surgery. Because it is required.
- the communication unit 5013 is provided with a photoelectric conversion module that converts an electrical signal into an optical signal.
- the image signal is converted into an optical signal by the photoelectric conversion module, and then transmitted to the CCU 5039 via the transmission cable 5065.
- the communication unit 5013 receives a control signal for controlling driving of the camera head 5005 from the CCU 5039.
- the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
- the communication unit 5013 provides the received control signal to the camera head control unit 5015.
- the control signal from the CCU 5039 may also be transmitted by optical communication.
- the communication unit 5013 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
- the control signal is converted into an electric signal by the photoelectric conversion module, and then provided to the camera head control unit 5015.
- the imaging conditions such as the frame rate, exposure value, magnification, and focus are automatically set by the control unit 5063 of the CCU 5039 based on the acquired image signal. That is, a so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 5001.
- AE Auto Exposure
- AF Automatic Focus
- AWB Automatic White Balance
- the camera head control unit 5015 controls driving of the camera head 5005 based on a control signal from the CCU 5039 received via the communication unit 5013. For example, the camera head control unit 5015 controls driving of the imaging element of the imaging unit 5009 based on information indicating that the frame rate of the captured image is specified and / or information indicating that the exposure at the time of imaging is specified. For example, the camera head control unit 5015 appropriately moves the zoom lens and the focus lens of the lens unit 5007 via the drive unit 5011 based on information indicating that the magnification and focus of the captured image are designated.
- the camera head control unit 5015 may further have a function of storing information for identifying the lens barrel 5003 and the camera head 5005.
- the camera head 5005 can be resistant to autoclave sterilization by arranging the lens unit 5007, the imaging unit 5009, and the like in a sealed structure with high airtightness and waterproofness.
- the communication unit 5059 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 5005.
- the communication unit 5059 receives an image signal transmitted from the camera head 5005 via the transmission cable 5065.
- the image signal can be suitably transmitted by optical communication.
- the communication unit 5059 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
- the communication unit 5059 provides the image processing unit 5061 with the image signal converted into the electrical signal.
- the communication unit 5059 transmits a control signal for controlling the driving of the camera head 5005 to the camera head 5005.
- the control signal may also be transmitted by optical communication.
- the image processing unit 5061 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 5005. Examples of the image processing include development processing, high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing). Various known signal processing is included.
- the image processing unit 5061 performs detection processing on the image signal for performing AE, AF, and AWB.
- the image processing unit 5061 is configured by a processor such as a CPU or a GPU, and the above-described image processing and detection processing can be performed by the processor operating according to a predetermined program.
- the image processing unit 5061 is configured by a plurality of GPUs, the image processing unit 5061 appropriately divides information related to the image signal, and performs image processing in parallel by the plurality of GPUs.
- the control unit 5063 performs various controls relating to imaging of the surgical site by the endoscope 5001 and display of the captured image. For example, the control unit 5063 generates a control signal for controlling driving of the camera head 5005. At this time, when the imaging condition is input by the user, the control unit 5063 generates a control signal based on the input by the user. Alternatively, when the endoscope 5001 is equipped with the AE function, the AF function, and the AWB function, the control unit 5063 determines the optimum exposure value, focal length, and the like according to the detection processing result by the image processing unit 5061. A white balance is appropriately calculated and a control signal is generated.
- control unit 5063 causes the display device 5041 to display an image of the surgical site based on the image signal subjected to the image processing by the image processing unit 5061.
- the control unit 5063 recognizes various objects in the surgical unit image using various image recognition techniques. For example, the control unit 5063 detects the shape and color of the edge of the object included in the surgical part image, thereby removing surgical tools such as forceps, specific biological parts, bleeding, mist when using the energy treatment tool 5021, and the like. Can be recognized.
- the control unit 5063 displays various types of surgery support information on the image of the surgical site using the recognition result. Surgery support information is displayed in a superimposed manner and presented to the operator 5067, so that the surgery can be performed more safely and reliably.
- the transmission cable 5065 for connecting the camera head 5005 and the CCU 5039 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
- communication is performed by wire using the transmission cable 5065, but communication between the camera head 5005 and the CCU 5039 may be performed wirelessly.
- communication between the two is performed wirelessly, there is no need to install the transmission cable 5065 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 5065 can be eliminated.
- the endoscopic surgery system 5000 to which the technology according to the present disclosure can be applied has been described.
- the endoscopic surgery system 5000 has been described as an example, but a system to which the technology according to the present disclosure can be applied is not limited to such an example.
- the technology according to the present disclosure may be applied to a testing flexible endoscope system or a microscope operation system.
- the support arm device described below is an example configured as a support arm device that supports an endoscope at the tip of an arm portion, but the present embodiment is not limited to such an example.
- the support arm device according to the embodiment of the present disclosure can function as a medical support arm device.
- FIG. 3 is a schematic view showing an appearance of the support arm device 400 according to the present embodiment.
- the support arm device 400 includes a base portion 410 and an arm portion 420.
- the base portion 410 is a base of the support arm device 400, and the arm portion 420 is extended from the base portion 410.
- a control unit that integrally controls the support arm device 400 may be provided in the base unit 410, and driving of the arm unit 420 may be controlled by the control unit.
- the said control part is comprised by various signal processing circuits, such as CPU and DSP, for example.
- the arm part 420 includes a plurality of active joint parts 421a to 421f, a plurality of links 422a to 422f, and an endoscope apparatus 423 as a tip unit provided at the tip of the arm part 420.
- the links 422a to 422f are substantially rod-shaped members.
- One end of the link 422a is connected to the base portion 410 via the active joint portion 421a
- the other end of the link 422a is connected to one end of the link 422b via the active joint portion 421b
- the other end of the link 422b is connected to the active joint. It is connected to one end of the link 422c through the part 421c.
- the other end of the link 422c is connected to the link 422d via the passive slide mechanism 100, and the other end of the link 422d is connected to one end of the link 422e via the passive joint portion 200.
- the other end of the link 422e is connected to one end of the link 422f via the active joint portions 421d and 421e.
- the endoscope apparatus 423 is connected to the distal end of the arm part 420, that is, the other end of the link 422f via an active joint part 421f.
- the ends of the plurality of links 422a to 422f are connected to each other by the active joint portions 421a to 421f, the passive slide mechanism 100, and the passive joint portion 200, with the base portion 410 serving as a fulcrum.
- a stretched arm shape is configured.
- the position and orientation of the endoscope apparatus 423 are controlled by driving and controlling actuators provided in the respective active joint portions 421a to 421f of the arm portion 420.
- the endoscope apparatus 423 enters a body cavity of a patient whose distal end is a treatment site and images a partial region of the treatment site.
- the distal end unit provided at the distal end of the arm unit 420 is not limited to the endoscope device 423, and various medical instruments may be connected to the distal end of the arm unit 420 as the distal end unit.
- the support arm device 400 according to the present embodiment is configured as a medical support arm device including a medical instrument.
- the support arm device 400 will be described by defining coordinate axes as shown in FIG. Also, the vertical direction, the front-rear direction, and the left-right direction are defined according to the coordinate axes. That is, the vertical direction with respect to the base portion 410 installed on the floor is defined as the z-axis direction and the vertical direction. Further, the direction perpendicular to the z axis and extending from the base portion 410 to the arm portion 420 (that is, the direction in which the endoscope device 423 is positioned with respect to the base portion 410) is defined as the y axis. It is defined as direction and front-back direction. Furthermore, the directions orthogonal to the y-axis and the z-axis are defined as the x-axis direction and the left-right direction.
- the active joint portions 421a to 421f connect the links to each other so as to be rotatable.
- the active joint portions 421a to 421f have actuators, and have a rotation mechanism that is driven to rotate about a predetermined rotation axis by driving the actuators.
- the drive of the arm portion 420 for example, extending or contracting (folding) the arm portion 420 can be controlled.
- the driving of the active joint portions 421a to 421f can be controlled by, for example, known whole body cooperative control and ideal joint control.
- the drive control of the active joint portions 421a to 421f is specifically the rotation angle of the active joint portions 421a to 421f and This means that the generated torque (torque generated by the active joint portions 421a to 421f) is controlled.
- the passive slide mechanism 100 is an aspect of a passive form changing mechanism, and connects the link 422c and the link 422d so that they can move forward and backward along a predetermined direction.
- the passive slide mechanism 100 may link the link 422c and the link 422d so that they can move linearly.
- the advancing / retreating movement of the link 422c and the link 422d is not limited to a linear movement, and may be a reciprocating movement in a circular arc direction.
- the passive slide mechanism 100 is, for example, operated to advance and retract by a user, and the distance between the active joint portion 421c on one end side of the link 422c and the passive joint portion 200 is variable. Thereby, the whole form of the arm part 420 can change.
- the passive joint part 200 is an aspect of the passive form changing mechanism, and connects the link 422d and the link 422e so as to be rotatable.
- the passive joint unit 200 is rotated by a user, for example, and the angle formed by the link 422d and the link 422e is variable. Thereby, the whole form of the arm part 420 can change.
- the posture of the arm portion means that the active joint portions 421a to 421f by the control portion are in a state in which the distance between the adjacent active joint portions with one or more links interposed therebetween is constant.
- the state of the arm part which can be changed by the drive control of the actuator provided in is said.
- the “arm configuration” refers to the distance between adjacent active joints across the link and the link between adjacent active joints as the passive configuration changing mechanism is operated. The state of the arm part that can be changed by changing the angle formed by each other.
- the support arm device 400 has six active joint portions 421a to 421f, and six degrees of freedom for driving the arm portion 420 is realized. That is, the drive control of the support arm device 400 is realized by the drive control of the six active joints 421a to 421f by the control unit, while the passive slide mechanism 100 and the passive joint unit 200 are the targets of the drive control by the control unit. is not.
- the active joint portions 421a, 421d, and 421f rotate in the major axis direction of the connected links 422a and 422e and the imaging direction of the connected endoscope device 423.
- An axial direction is provided.
- the active joint portions 421b, 421c, and 421e are connected to each link 422a to 422c, 422e, 422f and the endoscope apparatus 423 at a yz plane (a plane defined by the y-axis and the z-axis).
- the x-axis direction which is the direction to be changed inside, is provided as the rotation axis direction.
- the active joint portions 421a, 421d, and 421f have a function of performing so-called yawing
- the active joint portions 421b, 421c, and 421e have a function of performing so-called pitching.
- the support arm device 400 realizes six degrees of freedom for driving the arm portion 420.
- the mirror device 423 can be moved freely.
- a hemisphere is illustrated as an example of the movable range of the endoscope apparatus 423.
- the center point RCM (remote motion center) of the hemisphere is the imaging center of the treatment site imaged by the endoscope apparatus 423
- the imaging center of the endoscope apparatus 423 is fixed to the center point of the hemisphere.
- various operation spaces are used in a multi-link structure (for example, the arm unit 420 shown in FIG. 2 in the present embodiment) in which a plurality of links are connected by a plurality of joints.
- Operaation Space Is a basic calculation in the whole body cooperative control of the multi-link structure, which converts the motion purpose regarding various dimensions into torque generated in a plurality of the joint portions in consideration of various constraint conditions.
- the operation space is an important concept in the force control of the robot device.
- the operation space is a space for describing the relationship between the force acting on the multi-link structure and the acceleration of the multi-link structure.
- the operation space is, for example, a joint space, a Cartesian space, a momentum space or the like to which a multi-link structure belongs.
- the motion purpose represents a target value in the drive control of the multi-link structure, and is, for example, a target value such as position, speed, acceleration, force, impedance, etc. of the multi-link structure to be achieved by the drive control.
- Constraint conditions are constraints regarding the position, speed, acceleration, force, etc. of the multi-link structure, which are determined by the shape and structure of the multi-link structure, the environment around the multi-link structure, settings by the user, and the like.
- the constraint condition includes information on generated force, priority, presence / absence of a non-driven joint, vertical reaction force, friction weight, support polygon, and the like.
- the computation algorithm includes a first stage virtual force determination process (virtual force calculation process), It is configured by a two-stage real force conversion process (real force calculation process).
- virtual force calculation process which is the first stage
- the virtual force which is a virtual force acting on the operation space, necessary to achieve each exercise purpose is considered in consideration of the priority of the exercise purpose and the maximum value of the virtual force. decide.
- actual force calculation process which is the second stage
- the virtual force obtained above is used as an actual force such as joint force and external force while taking into account constraints on non-driving joints, vertical reaction forces, friction weights, support polygons, and the like.
- a vector constituted by a certain physical quantity in each joint portion of the multi-link structure is referred to as a generalized variable q (also referred to as a joint value q or a joint space q).
- the operation space x is defined by the following formula (1) using the time differential value of the generalized variable q and the Jacobian J.
- q is a rotation angle in the joint portions 421a to 421f of the arm portion 420.
- equation (2) The equation of motion related to the operation space x is described by the following equation (2).
- f represents a force acting on the operation space x.
- ⁇ ⁇ 1 is called an operation space inertia inverse matrix
- c is called an operation space bias acceleration, which are expressed by the following equations (3) and (4), respectively.
- H is a joint space inertia matrix
- ⁇ is a joint force corresponding to the joint value q (for example, generated torque in the joint portions 421a to 421f)
- b is a term representing gravity, Coriolis force, and centrifugal force.
- the LCP can be solved using, for example, an iterative method, a pivot method, a method applying robust acceleration control, or the like.
- the operation space inertia inverse matrix ⁇ ⁇ 1 and the bias acceleration c are calculated as the above formulas (3) and (4), the calculation cost is high. Therefore, by applying the quasi-dynamics calculation (FWD) that obtains the generalized acceleration (joint acceleration) from the generalized force (joint force ⁇ ) of the multi-link structure, the operation space inertia inverse matrix ⁇ ⁇ 1 is calculated. A method of calculating at higher speed has been proposed.
- the operation space inertia inverse matrix ⁇ ⁇ 1 and the bias acceleration c are obtained by using a forward dynamics calculation FWD, so that a multi-link structure (eg, arm portion) such as a joint space q, a joint force ⁇ , and a gravity g is used. 420 and information on the forces acting on the joints 421a to 421f).
- a forward dynamics calculation FWD related to the operation space
- the operation space inertia inverse matrix ⁇ ⁇ 1 can be calculated with a calculation amount of O (N) for the number N of joints.
- the condition for achieving the target value of the operation space acceleration (represented by attaching a superscript bar to the second-order differential of x) with a virtual force f vi equal to or less than the absolute value F i is Can be expressed by the following mathematical formula (6).
- the motion purpose related to the position and speed of the operation space x can be expressed as a target value of the operation space acceleration, and specifically expressed by the following formula (7) (the position of the operation space x
- the target value of speed is expressed by adding a superscript bar to the first derivative of x and x).
- the concept of the decomposition operation space it is also possible to set a motion purpose related to an operation space (momentum, Cartesian relative coordinates, interlocking joint, etc.) represented by a linear sum of other operation spaces. It is necessary to give priority between competing exercise purposes.
- the LCP can be solved for each priority and sequentially from the low priority, and the virtual force obtained by the previous LCP can be applied as a known external force of the next LCP.
- the subscript a represents a set of drive joint portions (drive joint set), and the subscript u represents a set of non-drive joint portions (non-drive joint set). That is, the upper stage of the above formula (8) represents the balance of the force of the space (non-drive joint space) by the non-drive joint part, and the lower stage represents the balance of the force of the space (drive joint space) by the drive joint part.
- J vu and J va are a Jacobian non-drive joint component and drive joint component related to the operation space on which the virtual force f v acts, respectively.
- J eu and J ea are Jacobian non-drive joint components and drive joint components related to the operation space on which the external force fe is applied.
- ⁇ f v represents a component of the virtual force f v that cannot be realized by the actual force.
- Equation (8) The upper part of the above equation (8) is indefinite, and for example, fe and ⁇ f v can be obtained by solving a quadratic programming problem (QP: Quadratic Programming Problem) as shown in the following equation (9).
- QP Quadratic Programming Problem
- ⁇ is the difference between the upper sides of the above equation (8) and represents the equation error of equation (8).
- ⁇ is a connection vector between fe and ⁇ f v and represents a variable vector.
- Q 1 and Q 2 are positive definite symmetric matrices that represent weights at the time of minimization.
- the inequality constraint in the above formula (9) is used to express a constraint condition related to an external force such as a vertical reaction force, a friction cone, a maximum value of an external force, a support polygon, and the like.
- the inequality constraint relating to the rectangular support polygon is expressed as the following formula (10).
- z represents the normal direction of the contact surface
- x and y represent orthogonal two tangential directions perpendicular to z.
- (F x , F y , F z ) and (M x , M y , M z ) are external force and external force moment acting on the contact point.
- ⁇ t and ⁇ r are friction coefficients relating to translation and rotation, respectively.
- (D x , d y ) represents the size of the support polygon.
- the joint force ⁇ a for achieving a desired exercise purpose can be obtained by sequentially performing the virtual force calculation process and the actual force calculation process. That is, conversely, by reflecting the calculated joint force tau a the theoretical model in the motion of the joints 421a ⁇ 421f, joints 421a ⁇ 421f is driven to achieve the desired movement purposes .
- I a is the moment of inertia (inertia) at the joint
- ⁇ a is the torque generated by the joints 421a to 421f
- ⁇ e is the external torque that acts on the joints 421a to 421f from the outside
- ⁇ e is each joint Viscosity resistance coefficient at 421a to 421f.
- the mathematical formula (12) can also be said to be a theoretical model representing the motion of the actuator in the joint portions 421a to 421f.
- Modeling error may occur between the motion of the joint portions 421a to 421f and the theoretical model shown in the above equation (12) due to the influence of various disturbances.
- Modeling errors can be broadly classified into those caused by mass properties such as the weight, center of gravity, and inertia tensor of the multi-link structure, and those caused by friction and inertia in the joint portions 421a to 421f. .
- the modeling error due to the former mass property can be reduced relatively easily during the construction of the theoretical model by increasing the accuracy of CAD (Computer Aided Design) data and applying an identification method.
- CAD Computer Aided Design
- the modeling error due to the friction and inertia in the latter joint portions 421a to 421f is caused by a phenomenon that is difficult to model, such as friction in the speed reducer 426 of the joint portions 421a to 421f.
- Modeling errors that cannot be ignored during model construction may remain.
- an error occurs between the value of inertia I a and viscosity resistance coefficient [nu e in the equation (12), and these values in the actual joints 421a ⁇ 421f.
- the movement of the joint portions 421a to 421f may not respond according to the theoretical model shown in the above equation (12) due to the influence of such disturbance. Therefore, even if the actual force ⁇ a that is the joint force calculated by the generalized inverse dynamics is applied, there is a case where the motion purpose that is the control target is not achieved.
- the responses of the joint portions 421a to 421f are corrected so as to perform an ideal response according to the theoretical model shown in the above formula (12). Think about it.
- ideal joint control is performed by controlling the joints so that the joints 421a to 421f of the support arm device 400 perform an ideal response as shown in the above formula (12). It is called.
- the actuator whose drive is controlled by the ideal joint control is also referred to as a virtual actuator (VA) because an ideal response is performed.
- VA virtual actuator
- FIG. 4 is an explanatory diagram for describing ideal joint control according to an embodiment of the present disclosure.
- conceptual computing units that perform various computations related to ideal joint control are schematically illustrated in blocks.
- the actuator 610 responds in accordance with the theoretical model expressed by the mathematical formula (12), and when the right side of the mathematical formula (12) is given, the rotational angular acceleration of the left side is achieved. It is none other than.
- the theoretical model includes an external torque term ⁇ e that acts on the actuator 610.
- the external torque ⁇ e is measured by the torque sensor 614.
- a disturbance observer 620 is applied to calculate a disturbance estimated value ⁇ d that is an estimated value of torque caused by a disturbance based on the rotation angle q of the actuator 610 measured by the encoder 613.
- a block 631 represents an arithmetic unit that performs an operation in accordance with an ideal joint model (Ideal Joint Model) of the joint portions 421a to 421f shown in the equation (12).
- the block 631 receives the generated torque ⁇ a , the external torque ⁇ e , and the rotational angular velocity (the first derivative of the rotational angle q) as inputs, and the rotational angular acceleration target value (the rotational angle target value q ref ) shown on the left side of the equation (12). Can be output.
- the above ⁇ 2-2 The generated torque ⁇ a calculated by the method described in the section “Generalized Inverse Dynamics” and the external torque ⁇ e measured by the torque sensor 614 are input to the block 631.
- a rotational angular velocity (first-order differential of the rotational angle q) is calculated by inputting the rotational angle q measured by the encoder 613 to a block 632 representing a computing unit that performs a differential operation.
- the rotational angular velocity calculated by the block 632 is input to the block 631, whereby the rotational angular acceleration target value is calculated by the block 631.
- the calculated rotational angular acceleration target value is input to block 633.
- a block 633 represents a calculator that calculates torque generated in the actuator 610 based on the rotational angular acceleration of the actuator 610.
- the block 633 can obtain the torque target value ⁇ ref by multiplying the rotational angular acceleration target value by the nominal inertia (nominal inertia) J n in the actuator 610.
- the desired motion objective should be achieved by causing the actuator 610 to generate the torque target value ⁇ ref.
- the actual response is affected by disturbances and the like. There is a case. Accordingly, in the present embodiment, to calculate the estimated disturbance value tau d by the disturbance observer 620, corrects the torque target value tau ref using the disturbance estimated value tau d.
- the disturbance observer 620 calculates a disturbance estimated value ⁇ d based on the torque command value ⁇ and the rotation angular velocity calculated from the rotation angle q measured by the encoder 613.
- the torque command value ⁇ is a torque value finally generated in the actuator 610 after the influence of the disturbance is corrected.
- the torque command value ⁇ becomes the torque target value ⁇ ref .
- the disturbance observer 620 includes a block 634 and a block 635.
- Block 634 represents a calculator that calculates torque generated in the actuator 610 based on the rotational angular velocity of the actuator 610.
- the rotational angular velocity calculated by the block 632 is input to the block 634 from the rotational angle q measured by the encoder 613.
- Block 634 obtains the rotational angular acceleration by performing an operation represented by the transfer function J n s, that is, differentiating the rotational angular velocity, and multiplies the calculated rotational angular acceleration by Nominal Inertia J n.
- an estimated value (torque estimated value) of the torque actually acting on the actuator 610 can be calculated.
- a difference between the estimated torque value and the torque command value ⁇ is taken to estimate a disturbance estimated value ⁇ d that is a torque value due to the disturbance.
- the estimated disturbance value ⁇ d may be a difference between the torque command value ⁇ in the previous control and the estimated torque value in the current control.
- the estimated torque value calculated by the block 634 is based on an actual measured value
- the torque command value ⁇ calculated by the block 633 is based on an ideal theoretical model of the joint portions 421a to 421f shown in the block 631. Therefore, by taking the difference between the two, it is possible to estimate the influence of a disturbance that is not considered in the theoretical model.
- the disturbance observer 620 is provided with a low pass filter (LPF) indicated by a block 635 in order to prevent system divergence.
- the block 635 performs the operation represented by the transfer function g / (s + g), thereby outputting only the low frequency component for the input value and stabilizing the system.
- the difference value between the estimated torque value calculated by the block 634 and the torque command value ⁇ ref is input to the block 635, and the low frequency component is calculated as the estimated disturbance value ⁇ d .
- the torque command value is a torque value that causes the actuator 610 ⁇ is calculated. Then, the actuator 610 is driven based on the torque command value ⁇ . Specifically, the torque command value ⁇ is converted into a corresponding current value (current command value), and the current command value is applied to the motor 611, whereby the actuator 610 is driven.
- the response of the actuator 610 is obtained even when there is a disturbance component such as friction. Can follow the target value. Further, the drive control of the joint portion 421a ⁇ 421f, it is possible to perform an ideal response that theoretical models according to the assumed inertia I a and viscosity resistance coefficient [nu a.
- the generalized inverse dynamics used in the present embodiment has been described above, and the ideal joint control according to the present embodiment has been described with reference to FIG.
- the drive parameters for example, the joint portions 421a to 421f of the joint portions 421a to 421f
- the whole body cooperative control is performed in which the generated torque value) is calculated in consideration of the constraint conditions.
- the generated torque value calculated by the whole body cooperative control using the generalized inverse dynamics is corrected in consideration of the influence of disturbance.
- FIG. 5 is a functional block diagram illustrating a configuration example of a robot arm control system according to an embodiment of the present disclosure.
- the configuration related to the drive control of the arm unit of the robot arm device is mainly illustrated.
- the robot arm control system 1 includes a robot arm device 10, a control device 20, and a display device 30.
- the control device 20 performs the above ⁇ 2-2.
- various calculations in the ideal joint control described above are performed, and the driving of the arm portion of the robot arm device 10 is controlled based on the calculation results.
- the arm unit of the robot arm device 10 is provided with an imaging unit 140 described later, and an image photographed by the imaging unit 140 is displayed on the display screen of the display device 30.
- the configurations of the robot arm device 10, the control device 20, and the display device 30 will be described in detail.
- the robot arm device 10 has an arm part which is a multi-link structure composed of a plurality of joint parts and a plurality of links, and is provided at the tip of the arm part by driving the arm part within a movable range. The position and orientation of the tip unit to be controlled are controlled.
- the robot arm device 10 corresponds to the support arm device 400 shown in FIG.
- the robot arm device 10 includes an arm control unit 110 and an arm unit 120.
- the arm unit 120 includes a joint unit 130 and an imaging unit 140.
- the arm control unit 110 controls the robot arm device 10 in an integrated manner and controls the driving of the arm unit 120.
- the arm control unit 110 corresponds to the control unit (not shown in FIG. 3) described with reference to FIG.
- the arm control unit 110 includes a drive control unit 111, and the drive of the arm unit 120 is controlled by controlling the drive of the joint unit 130 by the control from the drive control unit 111.
- the drive control unit 111 controls the number of rotations of the motor by controlling the amount of current supplied to the motor in the actuator of the joint unit 130, and the rotation angle and generation in the joint unit 130. Control torque.
- the drive control of the arm unit 120 by the drive control unit 111 is performed based on the calculation result in the control device 20. Therefore, the amount of current supplied to the motor in the actuator of the joint unit 130 controlled by the drive control unit 111 is a current amount determined based on the calculation result in the control device 20.
- the arm unit 120 is a multi-link structure composed of a plurality of joints and a plurality of links, and the driving thereof is controlled by the control from the arm control unit 110.
- the arm part 120 corresponds to the arm part 420 shown in FIG.
- the arm unit 120 includes a joint unit 130 and an imaging unit 140.
- the structure of the one joint part 130 is illustrated on behalf of these some joint parts.
- the joint unit 130 rotatably connects between the links in the arm unit 120, and drives the arm unit 120 by controlling the rotation drive by the control from the arm control unit 110.
- the joint portion 130 corresponds to the joint portions 421a to 421f shown in FIG.
- the joint part 130 has an actuator.
- the joint unit 130 includes a joint drive unit 131 and a joint state detection unit 132.
- the joint drive part 131 is a drive mechanism in the actuator of the joint part 130, and when the joint drive part 131 drives, the joint part 130 rotationally drives.
- the drive of the joint drive unit 131 is controlled by the drive control unit 111.
- the joint drive unit 131 has a configuration corresponding to a motor and a motor driver.
- the drive of the joint drive unit 131 means that the motor driver drives the motor with a current amount according to a command from the drive control unit 111. It corresponds to.
- the joint state detection unit 132 detects the state of the joint unit 130.
- the state of the joint 130 may mean the state of motion of the joint 130.
- the state of the joint unit 130 includes information such as the rotation angle, rotation angular velocity, rotation angular acceleration, and generated torque of the joint unit 130.
- the joint state detection unit 132 includes a rotation angle detection unit 133 that detects the rotation angle of the joint unit 130, and a torque detection unit 134 that detects the generated torque and the external torque of the joint unit 130.
- the rotation angle detection unit 133 and the torque detection unit 134 correspond to an encoder and a torque sensor of the actuator, respectively.
- the joint state detection unit 132 transmits the detected state of the joint unit 130 to the control device 20.
- the imaging unit 140 is an example of a tip unit provided at the tip of the arm unit 120, and acquires an image to be shot.
- the imaging unit 140 corresponds to the imaging unit 423 shown in FIG.
- the imaging unit 140 is a camera or the like that can shoot a shooting target in the form of a moving image or a still image.
- the imaging unit 140 has a plurality of light receiving elements arranged two-dimensionally, and can acquire an image signal representing an image to be photographed by photoelectric conversion in the light receiving elements.
- the imaging unit 140 transmits the acquired image signal to the display device 30.
- the imaging unit 423 is actually provided at the tip of the arm unit 120 as in the robot arm device 10 as the imaging unit 423 is provided at the tip of the arm unit 420. ing.
- FIG. 5 a state in which the imaging unit 140 is provided at the distal end of the link in the final stage via a plurality of joint units 130 and a plurality of links is schematically illustrated between the joint unit 130 and the imaging unit 140. It is expressed by
- various medical instruments can be connected to the tip of the arm unit 120 as a tip unit.
- the medical instrument include various units used for the treatment, such as various surgical instruments such as a scalpel and forceps, and a unit of various inspection apparatuses such as a probe of an ultrasonic inspection apparatus.
- a unit having an imaging function such as the imaging unit 140 shown in FIG. 5 or an endoscope or a microscope may be included in the medical instrument.
- the robot arm apparatus 10 according to the present embodiment is a medical robot arm apparatus provided with a medical instrument.
- the robot arm control system 1 according to the present embodiment is a medical robot arm control system. It can be said that the robot arm apparatus 10 shown in FIG.
- VM robot arm apparatus including a unit having an imaging function as a tip unit. Further, a stereo camera having two imaging units (camera units) may be provided at the tip of the arm unit 120, and shooting may be performed so that the imaging target is displayed as a 3D image.
- the control device 20 includes an input unit 210, a storage unit 220, and a control unit 230.
- the control unit 230 controls the control device 20 in an integrated manner, and performs various calculations for controlling the driving of the arm unit 120 in the robot arm device 10. Specifically, the control unit 230 performs various calculations in the whole body cooperative control and the ideal joint control in order to control the driving of the arm unit 120 of the robot arm device 10.
- the function and configuration of the control unit 230 will be described in detail.
- the whole body cooperative control and the ideal joint control are described in ⁇ 2-2.
- the control unit 230 includes a whole body cooperative control unit 240 and an ideal joint control unit 250.
- the whole body cooperative control unit 240 performs various calculations related to whole body cooperative control using generalized inverse dynamics.
- the whole body cooperative control unit 240 acquires the state of the arm unit 120 (arm state) based on the state of the joint unit 130 detected by the joint state detection unit 132. Further, the whole body cooperative control unit 240 generates a generalized inverse power based on the control value for the whole body cooperative control of the arm unit 120 in the operation space based on the arm state, the motion purpose and the constraint condition of the arm unit 120. Calculate using science.
- the operation space is a space for describing the relationship between the force acting on the arm unit 120 and the acceleration generated in the arm unit 120, for example.
- the whole body cooperative control unit 240 includes an arm state acquisition unit 241, a calculation condition setting unit 242, a virtual force calculation unit 243, and a real force calculation unit 244.
- the arm state acquisition unit 241 acquires the state (arm state) of the arm unit 120 based on the state of the joint unit 130 detected by the joint state detection unit 132.
- the arm state may mean a state of movement of the arm unit 120.
- the arm state includes information such as the position, speed, acceleration, and force of the arm unit 120.
- the joint state detection unit 132 acquires information such as the rotation angle, the rotation angular velocity, the rotation angular acceleration, and the generated torque in each joint unit 130 as the state of the joint unit 130.
- the storage unit 220 stores various types of information processed by the control device 20, and in the present embodiment, the storage unit 220 stores various types of information (arm information) about the arm unit 120.
- the arm state acquisition unit 241 can acquire the arm information from the storage unit 220. Therefore, the arm state acquisition unit 241 determines the position (coordinates) in space of the plurality of joint units 130, the plurality of links, and the imaging unit 140 based on the state of the joint unit 130 and the arm information (that is, the arm unit 120). Information such as the shape, the position and orientation of the image capturing unit 140), the force acting on each joint unit 130, the link, and the image capturing unit 140 can be acquired as an arm state.
- the arm state acquisition unit 241 transmits the acquired arm information to the calculation condition setting unit 242.
- the calculation condition setting unit 242 sets calculation conditions for calculation related to whole body cooperative control using generalized inverse dynamics.
- the calculation condition may be an exercise purpose and a constraint condition.
- the exercise purpose may be various types of information regarding the exercise of the arm unit 120.
- the purpose of motion is a target value such as the position and orientation (coordinates), speed, acceleration, and force of the imaging unit 140, or the positions (coordinates) of the joints 130 and the links of the arm unit 120. ), Target values such as speed, acceleration and force.
- the constraint condition may be various types of information that limits (restrains) the movement of the arm unit 120.
- the constraint condition may be coordinates of a region in which each component of the arm unit is not movable, a non-movable speed, an acceleration value, a force value that cannot be generated, or the like.
- the limitation range of various physical quantities in the constraint condition may be set because it is impossible to realize the structure of the arm unit 120, or may be set as appropriate by the user.
- the calculation condition setting unit 242 also includes a physical model for the structure of the arm unit 120 (for example, the number and length of links constituting the arm unit 120, the connection status through the link joint unit 130, and the movement of the joint unit 130).
- the motion condition and the constraint condition may be set by generating a control model in which the desired motion condition and the constraint condition are reflected in the physical model.
- the arm unit 120 it is possible to cause the arm unit 120 to perform a desired operation by appropriately setting the exercise purpose and the constraint condition. For example, by setting a target value for the position of the imaging unit 140 as an exercise purpose, the arm unit 120 does not enter a predetermined area in the space as well as moving the imaging unit 140 to the target position. For example, it is possible to drive the arm unit 120 by restricting movement according to the constraint conditions.
- the purpose of exercise is to move the imaging unit 140 in the plane of the cone with the treatment site as a vertex in a state where the imaging direction of the imaging unit 140 is fixed to the treatment site.
- a pivoting operation that is a pivoting operation with the axis as a pivotal axis may be used.
- the turning operation may be performed in a state where the distance between the imaging unit 140 and the point corresponding to the apex of the cone is kept constant.
- the purpose of exercise may be a content for controlling the torque generated at each joint 130.
- the purpose of the exercise is to control the state of the joint 130 so as to cancel the gravity acting on the arm 120, and to further support the movement of the arm 120 in the direction of the force applied from the outside.
- a power assist operation for controlling the state of the joint 130 may be used. More specifically, in the power assist operation, the driving of each joint unit 130 is controlled so as to cause each joint unit 130 to generate generated torque that cancels the external torque due to gravity in each joint unit 130 of the arm unit 120. Thus, the position and posture of the arm unit 120 are held in a predetermined state.
- each joint 130 is controlled so that a generated torque in the same direction as the applied external torque is generated in each joint 130.
- The By performing such a power assist operation, when the user manually moves the arm unit 120, the user can move the arm unit 120 with a smaller force, so that the arm unit 120 is moved under zero gravity. It is possible to give the user a feeling of being. It is also possible to combine the above-described pivot operation and the power assist operation.
- the exercise purpose may mean an operation (exercise) of the arm unit 120 realized in the whole body cooperative control, or an instantaneous exercise purpose (that is, an exercise purpose) in the operation.
- Target value For example, in the case of the pivot operation described above, the purpose of the image capturing unit 140 to perform the pivot operation itself is a movement purpose. However, during the pivot operation, the image capturing unit 140 within the conical surface in the pivot operation is used. Values such as position and speed are set as instantaneous exercise objectives (target values for the exercise objectives). Further, for example, in the case of the power assist operation described above, the power assist operation for supporting the movement of the arm unit 120 in the direction of the force applied from the outside is itself an exercise purpose, but the power assist operation is performed.
- the value of the generated torque in the same direction as the external torque applied to each joint portion 130 is set as an instantaneous exercise purpose (target value for the exercise purpose).
- the instantaneous movement objective for example, the target value of the position, speed, force, etc. of each component member of the arm unit 120 at a certain time
- the instantaneous movement objective are continuously achieved.
- it is a concept including both of the operations of the respective constituent members of the arm unit 120 realized over time.
- an instantaneous exercise purpose is set each time, and the calculation is repeatedly performed, so that the desired exercise purpose is finally achieved.
- the viscous resistance coefficient in the rotational motion of each joint 130 may be set as appropriate.
- the joint portion 130 according to the present embodiment is configured so that the viscous resistance coefficient in the rotational movement of the actuator can be appropriately adjusted. Therefore, by setting the viscous resistance coefficient in the rotational motion of each joint portion 130 when setting the motion purpose, for example, it is possible to realize a state that is easy to rotate or a state that is difficult to rotate with respect to a force applied from the outside.
- the viscous resistance coefficient in the joint portion 130 is set to be small, so that the force required for the user to move the arm portion 120 may be smaller, and the feeling of weight given to the user may be reduced. More conducive.
- the viscous resistance coefficient in the rotational motion of each joint 130 may be appropriately set according to the content of the motion purpose.
- the storage unit 220 may store parameters related to calculation conditions such as exercise purpose and constraint conditions used in calculations related to whole body cooperative control.
- the calculation condition setting unit 242 can set the constraint condition stored in the storage unit 220 as the constraint condition used for the calculation of the whole body cooperative control.
- the calculation condition setting unit 242 can set the exercise purpose by a plurality of methods.
- the calculation condition setting unit 242 may set the exercise purpose based on the arm state transmitted from the arm state acquisition unit 241.
- the arm state includes information on the position of the arm unit 120 and information on the force acting on the arm unit 120. Therefore, for example, when the user intends to move the arm unit 120 manually, the arm state acquisition unit 241 also acquires information on how the user is moving the arm unit 120 as the arm state. The Therefore, the calculation condition setting unit 242 can set the position, speed, force, and the like at which the user moved the arm unit 120 as an instantaneous exercise purpose based on the acquired arm state. By setting the purpose of exercise in this way, the driving of the arm unit 120 is controlled so as to follow and support the movement of the arm unit 120 by the user.
- the calculation condition setting unit 242 may set the exercise purpose based on an instruction input by the user from the input unit 210.
- the input unit 210 is an input interface for a user to input information, commands, and the like regarding drive control of the robot arm device 10 to the control device 20, and in this embodiment, the input unit 210 from the input unit 210 by the user.
- the exercise purpose may be set based on the operation input.
- the input unit 210 has operation means operated by a user such as a lever and a pedal, for example, and the position and speed of each constituent member of the arm unit 120 according to the operation of the lever and the pedal.
- the calculation condition setting unit 242 may set as an instantaneous exercise purpose.
- the calculation condition setting unit 242 may set the exercise purpose stored in the storage unit 220 as the exercise purpose used for the calculation of the whole body cooperative control.
- the purpose of movement is to stop the imaging unit 140 at a predetermined point in space
- the coordinates of the predetermined point can be set in advance as the purpose of movement.
- the imaging purpose 140 is a motion purpose of moving on a predetermined trajectory in space
- the coordinates of each point representing the predetermined trajectory can be set in advance as the motion purpose.
- the exercise purpose may be stored in the storage unit 220 in advance.
- the purpose of motion is limited to the target value such as the position and speed in the plane of the cone
- the purpose of motion is the force as the target value. Limited to things.
- exercise objectives such as pivot action and power assist action
- information on the range and type of target values that can be set as instantaneous exercise objectives in these exercise objectives It may be stored in the storage unit 220.
- the calculation condition setting unit 242 can set the exercise purpose including various information related to the exercise purpose.
- the calculation condition setting unit 242 sets the exercise purpose may be appropriately set by the user according to the use of the robot arm device 10 or the like.
- the calculation condition setting unit 242 may also set the exercise purpose and the constraint condition by appropriately combining the above methods.
- the priority of the exercise purpose may be set in the constraint conditions stored in the storage unit 220, and when there are a plurality of different exercise purposes, the calculation condition setting unit 242 The exercise purpose may be set according to the priority of the condition.
- the calculation condition setting unit 242 transmits the arm state and the set exercise purpose and constraint condition to the virtual force calculation unit 243.
- the virtual force calculation unit 243 calculates a virtual force in a calculation related to whole body cooperative control using generalized inverse dynamics.
- the virtual force calculation process performed by the virtual force calculation unit 243 is, for example, ⁇ 2-2-1. It may be a series of processes described in “Virtual Force Calculation Process”.
- the virtual force calculation unit 243 transmits the calculated virtual force f v to the real force calculation unit 244.
- the real force calculation unit 244 calculates the real force in a calculation related to whole body cooperative control using generalized inverse dynamics.
- Real force calculation processing performed by the real force calculation unit 244 is, for example, ⁇ 2-2-2. It may be a series of processes described in Real force calculation process>.
- the actual force calculation unit 244 transmits the calculated actual force (generated torque) ⁇ a to the ideal joint control unit 250.
- the generated torque ⁇ a calculated by the actual force calculation unit 244 is also referred to as a control value or a control torque value in the sense of a control value of the joint unit 130 in the whole body cooperative control.
- the ideal joint control unit 250 performs various calculations related to ideal joint control using generalized inverse dynamics.
- the ideal joint control unit 250 corrects the influence of disturbance on the generated torque ⁇ a calculated by the actual force calculation unit 244, thereby realizing a torque command that realizes an ideal response of the arm unit 120.
- the value ⁇ is calculated.
- the calculation process performed by the ideal joint control unit 250 is described in ⁇ 2-3. This corresponds to the series of processes described in the >> ideal joint control.
- the ideal joint control unit 250 includes a disturbance estimation unit 251 and a command value calculation unit 252.
- the disturbance estimation unit 251 calculates a disturbance estimated value ⁇ d based on the torque command value ⁇ and the rotation angular velocity calculated from the rotation angle q detected by the rotation angle detection unit 133.
- the torque command value ⁇ here is a command value representing the torque generated in the arm unit 120 that is finally transmitted to the robot arm device 10.
- the disturbance estimation unit 251 has a function corresponding to the disturbance observer 620 shown in FIG.
- the command value calculator 252 uses the estimated disturbance value ⁇ d calculated by the disturbance estimator 251, and is a torque command that is a command value representing a torque generated in the arm unit 120 that is finally transmitted to the robot arm device 10.
- the value ⁇ is calculated.
- the command value calculation unit 252 adds the disturbance estimated value ⁇ d calculated by the disturbance estimation unit 251 to ⁇ ref calculated from the ideal model of the joint unit 130 expressed by the mathematical formula (12).
- the torque command value ⁇ is calculated. For example, when the disturbance estimated value ⁇ d is not calculated, the torque command value ⁇ becomes the torque target value ⁇ ref .
- the function of the command value calculation unit 252 corresponds to functions other than the disturbance observer 620 shown in FIG.
- the series of processing described with reference to FIG. 4 is performed by repeatedly exchanging information between the disturbance estimation unit 251 and the command value calculation unit 252. Done.
- the ideal joint control unit 250 transmits the calculated torque command value ⁇ to the drive control unit 111 of the robot arm device 10.
- the drive control unit 111 controls the number of rotations of the motor by performing control to supply a current amount corresponding to the transmitted torque command value ⁇ to the motor in the actuator of the joint unit 130. The rotation angle and generated torque at are controlled.
- the drive control of the arm unit 120 in the robot arm device 10 is continuously performed while work using the arm unit 120 is performed. And the process demonstrated above in the control apparatus 20 is performed repeatedly. That is, the state of the joint unit 130 is detected by the joint state detection unit 132 of the robot arm device 10 and transmitted to the control device 20.
- the control device 20 performs various calculations related to the whole body cooperative control and the ideal joint control for controlling the driving of the arm unit 120 based on the state of the joint unit 130, the purpose of exercise, and the constraint condition. Is transmitted to the robot arm device 10.
- the driving of the arm unit 120 is controlled based on the torque command value ⁇ , and the state of the joint unit 130 during or after driving is detected again by the joint state detection unit 132.
- control device 20 The description of other configurations of the control device 20 will be continued.
- the input unit 210 is an input interface for a user to input information, commands, and the like regarding drive control of the robot arm device 10 to the control device 20.
- the driving of the arm unit 120 of the robot arm device 10 may be controlled based on the operation input from the input unit 210 by the user, and the position and posture of the imaging unit 140 may be controlled.
- the calculation condition setting unit 242 includes the instruction information.
- the exercise purpose in the whole body cooperative control may be set. As described above, the whole body cooperative control is performed using the exercise purpose based on the instruction information input by the user, thereby realizing the driving of the arm unit 120 according to the operation input of the user.
- the input unit 210 includes operation means operated by the user such as a mouse, a keyboard, a touch panel, a button, a switch, a lever, and a pedal.
- operation means operated by the user such as a mouse, a keyboard, a touch panel, a button, a switch, a lever, and a pedal.
- the input unit 210 includes a pedal
- the user can control the driving of the arm unit 120 by operating the pedal with a foot. Therefore, even when the user is performing treatment on the patient's surgical site using both hands, the position and posture of the imaging unit 140, that is, the imaging position and the imaging angle of the surgical site by the pedal operation with the foot Can be adjusted.
- the storage unit 220 stores various types of information processed by the control device 20.
- the storage unit 220 can store various parameters used in calculations related to whole body cooperative control and ideal joint control performed by the control unit 230.
- the storage unit 220 may store an exercise purpose and a constraint condition used in a calculation related to the whole body cooperative control by the whole body cooperative control unit 240.
- the exercise purpose stored in the storage unit 220 may be an exercise purpose that can be set in advance, for example, the imaging unit 140 is stationary at a predetermined point in space.
- the constraint condition may be set in advance by the user and stored in the storage unit 220 in accordance with the geometric configuration of the arm unit 120, the use of the robot arm device 10, or the like.
- the storage unit 220 may store various types of information related to the arm unit 120 used when the arm state acquisition unit 241 acquires the arm state. Furthermore, the storage unit 220 may store calculation results in calculations related to whole body cooperative control and ideal joint control by the control unit 230, numerical values calculated in the calculation process, and the like. As described above, the storage unit 220 may store various parameters related to various processes performed by the control unit 230, and the control unit 230 performs various processes while transmitting and receiving information to and from the storage unit 220. be able to.
- control device 20 The function and configuration of the control device 20 have been described above. Note that the control device 20 according to the present embodiment can be configured by various information processing devices (arithmetic processing devices) such as a PC (Personal Computer) and a server. Next, the function and configuration of the display device 30 will be described.
- information processing devices such as a PC (Personal Computer) and a server.
- the display device 30 displays various types of information on the display screen in various formats such as text and images, thereby visually notifying the user of the information.
- the display device 30 displays an image captured by the imaging unit 140 of the robot arm device 10 on a display screen.
- the display device 30 displays on the display screen an image signal processing unit (not shown) that performs various types of image processing on the image signal acquired by the imaging unit 140 and an image based on the processed image signal. It has the function and configuration of a display control unit (not shown) that performs control to display.
- the display device 30 may have various functions and configurations that are generally included in the display device in addition to the functions and configurations described above.
- the display device 30 corresponds to the display device 5041 shown in FIG.
- each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
- the CPU or the like may perform all functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
- the arm unit 120 which is a multi-link structure in the robot arm device 10 has a degree of freedom of at least 6 degrees of freedom, and a plurality of parts constituting the arm unit 120.
- Each drive of the joint part 130 is controlled by the drive control part 111.
- a medical instrument is provided at the tip of the arm unit 120.
- the state of the joint portion 130 is detected by the joint state detection unit 132 in the robot arm device 10.
- a torque command value ⁇ as a calculation result is calculated.
- the driving of the arm unit 120 is controlled based on the torque command value ⁇ .
- the drive of the arm part 120 is controlled by the whole body cooperative control using generalized inverse dynamics. Therefore, drive control of the arm unit 120 by force control is realized, and a robot arm device with higher operability for the user is realized.
- ideal joint control is applied to drive control of the arm unit 120 together with whole body cooperative control.
- disturbance components such as friction and inertia inside the joint portion 130 are estimated, and feedforward control using the estimated disturbance components is performed. Therefore, even when there is a disturbance component such as friction, it is possible to realize an ideal response for driving the joint portion 130. Therefore, in the drive control of the arm unit 120, high-accuracy responsiveness and high positioning accuracy and stability that are less affected by vibration and the like are realized.
- each of the plurality of joint portions 130 constituting the arm portion 120 has a configuration suitable for ideal joint control, and the rotation angle, generated torque, and viscous resistance coefficient in each joint portion 130 are determined as currents. Can be controlled by value. In this way, the driving of each joint unit 130 is controlled by the current value, and the driving of each joint unit 130 is controlled by grasping the state of the entire arm unit 120 by the whole body cooperative control. Thus, the robot arm device 10 can be reduced in size.
- FIG. 6 is a schematic diagram illustrating a configuration of a perspective mirror 4100 according to an embodiment of the present disclosure.
- the perspective mirror 4100 is attached to the tip of the camera head 4200.
- the perspective mirror 4100 corresponds to the lens barrel 5003 described in FIGS. 1 and 2
- the camera head 4200 corresponds to the camera head 5005 described in FIGS.
- the perspective mirror 4100 and the camera head 4200 are rotatable independently of each other. Actuators are provided between the perspective mirror 4100 and the camera head 4200 in the same manner as the joints 5033a, 5033b, and 5033c.
- the perspective mirror 4100 rotates relative to the camera head 4200 by driving the actuator. Thus, the rotation angle theta Z to be described later is controlled.
- the perspective mirror 4100 is supported by a support arm device 5027.
- the support arm device 5027 has a function of holding the perspective mirror 4100 instead of the scoopist and moving the perspective mirror 4100 so that a desired part can be observed by an operation of an operator or an assistant.
- FIG. 7 is a schematic diagram showing the perspective mirror 4100 and the direct-view mirror 4150 in comparison.
- the direction (C1) of the objective lens toward the subject coincides with the longitudinal direction (C2) of the direct-view mirror 4150.
- the direction (C1) of the objective lens toward the subject has a predetermined angle ⁇ with respect to the longitudinal direction (C2) of the perspective mirror 4100.
- FIG. 8 and 9 are schematic views showing a state in which the observing object 4300 is observed by inserting the perspective mirror 4100 from the abdominal wall 4320 into the human body.
- the trocar point T is a position where the trocar 5025a is disposed, and indicates the insertion position of the perspective mirror 4100 into the human body.
- 8 and 9 is a direction connecting the trocar point T and the observation object 4300.
- FIG. 8 shows a state 4400 in which the insertion direction of the perspective mirror 4100 is different from the C3 direction using the perspective mirror 4100, and a captured image 4410 captured by the perspective mirror 4100 in the state 4400. Even in the case where the perspective mirror 4100 is used, the observation object 4300 is behind the obstacle 4310 in the state 4400 shown in FIG.
- FIG. 9 shows a state 4420 in which the insertion direction of the perspective mirror 4100 is changed from the state 4400 in FIG. 8 and the direction of the objective lens is changed in addition to the state in FIG. Yes.
- hand eye coordination may mean cooperation between hand sensation and eye sensation (sight) (hand sensation and eye sensation (sight) match).
- This technique has “(1) modeling a perspective mirror unit as a plurality of interlocking links” as one of the features. Further, this technique has “(2) extending the whole body cooperative control of the arm and performing control using the relationship between the relative motion space and the interlocking link” as one of the features.
- FIG. 10 is a diagram for explaining the optical axis of the perspective mirror.
- a rigid mirror axis C2 and a perspective mirror optical axis C1 in the perspective mirror 4100 are shown.
- FIG. 11 is a diagram for explaining the operation of the perspective mirror.
- the perspective optical axis C1 is inclined with respect to the rigid optical axis C2.
- the endoscope apparatus 423 has a camera head CH.
- the scopist rotates the camera head CH and adjusts the monitor screen in order to maintain the operator's hand-eye coordination in accordance with the rotation operation of the perspective mirror.
- the arm dynamic characteristic changes around the rigid mirror axis C2.
- the display screen on the monitor rotates about the perspective mirror optical axis C1.
- the rotation angle around the rigid mirror axis C2 is shown as q i
- the rotation angle around the perspective mirror optical axis C1 is shown as q i + 1 .
- the virtual rotation link is a link that does not actually exist, and operates in conjunction with the actual rotation link.
- FIG. 12 is a diagram for explaining modeling and control. Referring to FIG. 12, the rotation angle at each link is shown. Also, referring to FIG. 12, a monitor coordinate system MNT is shown. Specifically, control is performed so that the relative motion space c expressed by the following (13) becomes zero.
- the whole body cooperative control is uniformly performed by expansion using the interlocking link and the relative motion space.
- the real rotation axis and the virtual rotation axis are considered.
- the actual rotation axis and the virtual rotation axis do not depend on the arm configuration.
- the relative motion space is considered for the purpose of motion. Various motions are possible by changing the purpose of motion in the Cartesian space.
- FIG. 13 and FIG. 14 are diagrams showing examples of each link configuration in the case where the extension of the whole body cooperative control is applied to the 6-axis arm and the perspective mirror unit. At this time, the control equation is expressed as (14) below.
- the calculation condition setting unit 242 can function as a virtual link setting unit that sets a virtual rotation link as an example of a virtual link.
- the calculation condition setting unit 242 sets the virtual link by setting at least one of the distance and the direction of the virtual link.
- FIG. 13 shows an example of “virtual rotation link” and “real rotation link”.
- the actual rotation link is a link corresponding to the lens barrel axis of the scope.
- the virtual rotation link is a link corresponding to the perspective mirror optical axis C1 of the scope.
- the calculation condition setting unit 242 models the virtual rotation link based on a coordinate system defined on the basis of the tip of the actual rotation link of the arm, an arbitrary point on the optical axis C1 of the perspective mirror, and a line connecting the points.
- the actual rotation link tip may mean a point through which the optical axis C1 on the arm passes.
- the calculation condition setting unit 242 can set a virtual rotation link based on the scope specification to be connected and an arbitrary point in space. According to the setting of the virtual rotation link based on the scope specification, it is not necessary to limit the conditions for setting the virtual rotation link when a specific scope is used. Only the renewal makes it possible to realize the movement purpose.
- the scope specification may include at least one of a scope structural specification and a scope functional specification.
- the structural specification of the scope may include at least one of a perspective angle of the scope and a dimension of the scope.
- the scope specification may include the position of the scope axis (information about the scope axis may be used to set the actual rotation link).
- the functional specification of the scope may include the focus distance of the scope.
- the direction of the virtual rotation link that becomes the connection link from the front end of the actual rotation link can be determined from the perspective angle information. Further, it is possible to determine the distance to the virtual rotation link connected to the actual rotation link tip from the scope dimension information. From the focus distance information, it is possible to determine the length of the virtual rotation link in order to make the focus point a fixed object for the purpose of movement. As a result, it is possible to realize motion-oriented operations corresponding to various types of scope changes only by changing the setting of the virtual rotation link using the same control algorithm.
- the virtual rotation link can be dynamically changed as a virtual link that does not depend on the hardware configuration of the arm. For example, when a perspective mirror having a perspective angle of 30 degrees is changed to a perspective mirror having a perspective angle of 45 degrees, a new virtual rotation link can be reset based on the changed scope specification. This makes it possible to switch the exercise purpose according to the scope change.
- the virtual rotation link setting based on the scope specification is updated when the scope specification information is set in the arm system, but the information input means to the arm system is not limited.
- the calculation condition setting unit 242 can recognize the scope ID corresponding to the scope when the scope is connected, and can acquire the specification of the scope corresponding to the recognized scope ID.
- the calculation condition setting unit 242 may recognize the scope ID read from the memory. In such a case, since the virtual rotation link is updated even if the changed scope specification is not input from the user, the operation can be continued smoothly.
- the user who views the scope ID inputs the scope ID as input information via the input unit 210, and the calculation condition setting unit 242 is based on the input information. The scope ID may be recognized.
- scope specification corresponding to the scope ID may be acquired from anywhere.
- the scope specification when the scope specification is stored in the memory in the arm system, the scope specification may be acquired from the memory in the arm system.
- the scope specification when the scope specification is stored in an external device connected to the network, the scope specification may be acquired via the network.
- the virtual rotation link can be automatically set based on the scope specification acquired in this way.
- the virtual rotation link sets an arbitrary point of the observation object existing at an arbitrary distance from the connected scope tip as the virtual rotation link tip. Therefore, the calculation condition setting unit 242 may set or change the virtual rotation link based on the distance or direction from the distal end of the scope obtained from the sensor to the observation object.
- the calculation condition setting unit 242 acquires direction and distance information with respect to the distal end of the scope based on the sensor information for specifying the spatial position of the observation object even in the case where the position of the observation object dynamically changes. Then, the virtual rotation link may be set or updated based on the information. Accordingly, it is possible to realize a gaze operation while switching the observation object during the operation in response to an operation request for keeping an eye on the observation object.
- the type of sensor is not particularly limited.
- the sensor may include at least one of a distance measurement sensor, a visible light sensor, and an infrared sensor.
- sensor information may be acquired how.
- the user may be able to determine the position information by directly specifying an arbitrary point on the monitor or three-dimensional data.
- the calculation condition setting unit 242 determines an observation target based on the coordinates, and determines the scope from the observation target.
- You may set a virtual rotation link based on the distance or direction to a front-end
- the direct designation may be performed by any operation, may be a touch operation on the screen, or may be a gaze operation with a line of sight.
- the calculation condition setting unit 242 may set the virtual rotation link based on the distance or direction (from the observation object to the scope tip) recognized by the image recognition.
- the position may be acquired in real time even in the case where the observation object has a dynamic movement. That is, the calculation condition setting unit 242 may dynamically update the virtual rotation link based on the distance or the direction (from the observation object to the scope tip) that is dynamically recognized by image recognition. This makes it possible to update the virtual rotation link tip point in real time. For example, even if there is a moving observation object, it is possible to continue gazing by continuously recognizing it as an observation object by image recognition.
- the calculation condition setting unit 242 calculates the arm posture change amount for continuing the motion purpose of posture fixing and viewpoint fixing based on the virtual rotation link tip information by whole body cooperative control, and rotates each real rotation link on the arm. It may be reflected as a command. As a result, it is possible to realize the follow-up of the object to be observed (especially forceps follow-up, etc., especially during the operation). That is, the purpose of motion that keeps the object to be observed at the center of the virtual rotation link can be realized by controlling the actual rotation link.
- the spatial position of a specific part of a patient can be specified by using a navigation system or a CT apparatus. That is, the calculation condition setting unit 242 may set the virtual rotation link based on the distance or direction (from the observation object to the scope tip) recognized by the navigation system or the CT apparatus. This makes it possible to realize an arbitrary exercise purpose based on the relationship between the specific part and the scope in accordance with the operation purpose.
- patient coordinate information acquired before surgery such as a CT apparatus or MRI apparatus
- an intraoperative navigation system or CT apparatus to identify the spatial position of a specific part of the patient in real time during the operation. That is, the calculation condition setting unit 242 is dynamically recognized by the navigation system or the CT apparatus during the operation (from the observation object to the scope tip).
- the virtual rotation link may be updated dynamically based on distance or orientation. This makes it possible to realize an arbitrary exercise purpose based on the relationship between the specific part and the scope in accordance with the operation purpose.
- the spatial position of the tip of the actual arm rotation link changes due to movement or posture change of the arm.
- the virtual rotation link is set by updating the virtual rotation link length (distance between the actual arm rotation link tip and the observation target).
- a purpose of movement that is maintained at the tip may be realized. That is, the calculation condition setting unit 242 may dynamically update the virtual rotation link according to the movement amount or posture of the arm. As a result, the user can continue to observe the observation object.
- the scope may be a direct endoscope or a side endoscope. That is, the calculation condition setting unit 242 can change the setting of the virtual rotation link in response to switching of an endoscope (including a direct endoscope, a perspective mirror, and a side endoscope) having an arbitrary perspective angle.
- an endoscope having an arbitrary squint angle there is a squint angle variable type squint that can change the squint angle in the same device. Therefore, a variable-angle squint mirror may be used as the scope. Normally, the squint angle is changed by switching the scope, but if a squint mirror with variable squint angle is used, the squint angle can be changed with the same device.
- FIG. 18 is a diagram for explaining a squint with variable squint angle.
- the squint angle of the squint mirror with variable squint angle can be changed between 0 °, 30 °, 45 °, 90 °, and 120 °.
- the range of change of the squint angle of the squint angle variable type perspective mirror is not limited to these angles.
- As in the case of switching the perspective mirror by detecting or inputting the changed perspective angle information to the arm system, it is possible to realize an arbitrary motion purpose by changing the setting of the virtual rotation link.
- the calculation condition setting unit 242 may dynamically update the virtual rotation link based on the zoom operation or the rotation operation of the perspective mirror. Such an example will be described with reference to FIGS. 19 and 20.
- FIG. 19 is a diagram for explaining the update of the virtual rotation link in consideration of the zoom operation of the squint with the fixed squint angle type.
- a perspective angle fixed type perspective mirror 4100 and an observation object 4300 are shown.
- the calculation condition setting unit 242 changes the distance and direction of the virtual rotation link (in the case of the enlargement operation as shown in FIG. 19).
- the observation object 4300 can be captured at the center of the camera, and the purpose of motion can be realized.
- the squint mirror with variable squint angle can also keep the observation object 4300 at the center of the camera during the zoom operation. That is, when the zoom operation is performed, the calculation condition setting unit 242 changes the perspective angle and the distance of the virtual rotation link while fixing the direction (posture) of the virtual rotation link, thereby observing the object 4300. Is captured at the center of the camera, and the purpose of motion can be realized.
- FIG. 20 is a diagram for explaining the update of the virtual rotation link in consideration of the rotation operation of the fixed-angle squint mirror.
- a perspective angle fixed type perspective mirror 4100 and an observation object 4300 are shown.
- the calculation condition setting unit 242 performs virtual rotation with the perspective angle and the distance of the virtual rotation link fixed as illustrated in FIG. 20.
- the observation object 4300 is captured at the center of the camera, and the purpose of motion can be realized.
- the variable squint angle type perspective mirror can also keep the observation object 4300 centered on the camera during the rotation operation.
- the calculation condition setting unit 242 changes the perspective angle while fixing the distance of the virtual rotation link and the direction (posture) of the virtual rotation link, thereby observing the object 4300. Is captured at the center of the camera, and the purpose of motion can be realized.
- the calculation condition setting unit 242 sets the virtual rotation link based on the distance or direction (from the observation object to the tip of the scope) that is dynamically recognized by image recognition and the zoom operation or rotation operation of the scope. It may be updated dynamically.
- the setting of the virtual rotation link has been described above.
- the multi-joint arm (arm unit 120) that supports the scope that acquires the image of the observation object in the operative field, the actual link corresponding to the lens barrel axis of the scope, and the optical axis of the scope.
- a medical support arm system is provided that includes a control unit (arm control unit 110) that controls a multi-joint arm based on a relationship with a virtual link. According to such a configuration, the arm unit 120 can be controlled so that hand eye coordination is maintained when the arm unit 120 that supports the perspective mirror is used.
- the perspective mirror is modeled as a plurality of interlocking links of the axis of the real rotation link and the axis of the virtual rotation link, and by using the whole body cooperative control in consideration thereof, exercise Control independent of the purpose and arm configuration is possible.
- exercise Control independent of the purpose and arm configuration is possible.
- by giving a posture fixing command in the monitor coordinate system for the purpose of movement it is possible to realize the operation of the arm maintaining hand eye coordination.
- the type of endoscope that can be applied to the present embodiment is not particularly limited.
- the perspective lens model may be set in the arm system when the endoscope is attached.
- the perspective mirror according to the present embodiment may be a perspective mirror having a perspective angle of 30 °.
- FIG. 16A and FIG. 16B are diagrams showing a second example of a perspective mirror that can be applied to the present embodiment.
- the perspective mirror according to the present embodiment may be a perspective mirror having a perspective angle of 45 °.
- FIG. 17A and FIG. 17B are diagrams showing a third example of a perspective mirror that can be applied to the present embodiment.
- the perspective mirror according to the present embodiment may be a side endoscope having a perspective angle of 70 °.
- An articulated arm that supports a scope for acquiring an image of an observation object in the operative field;
- a control unit that controls the multi-joint arm based on a relationship between an actual link corresponding to the barrel axis of the scope and a virtual link corresponding to the optical axis of the scope;
- a medical support arm system comprising: (2)
- the medical support arm system comprises: A virtual link setting unit for setting the virtual link; The medical support arm system according to (1) above.
- the virtual link setting unit sets the virtual link based on specifications of the scope;
- the scope specification includes at least one of a structural specification of the scope and a functional specification of the scope.
- the structural specification includes at least one of a perspective angle of the scope and a dimension of the scope, and the functional specification includes a focus distance of the scope.
- the virtual link setting unit recognizes a scope ID corresponding to the scope, and acquires a specification of the scope corresponding to the recognized scope ID; The medical support arm system according to (4) or (5).
- the virtual link setting unit recognizes the scope ID written in the memory of the scope; The medical support arm system according to (6) above.
- the virtual link setting unit recognizes the scope ID based on input information from a user.
- the virtual link setting unit sets the virtual link based on a distance or an orientation from a tip of the scope obtained from a sensor to the observation object.
- the medical support arm system according to any one of (2) to (8).
- the virtual link setting unit determines the observation target based on the coordinates, and determines the scope of the scope from the observation target. Setting the virtual link based on the distance to the tip or the orientation;
- the medical support arm system according to (9) above.
- the medical support arm system includes at least one of the display device and the input device.
- the virtual link setting unit sets the virtual link based on the distance or orientation recognized by image recognition; The medical support arm system according to (9) above.
- the virtual link setting unit dynamically updates the virtual link based on the distance or the direction dynamically recognized by the image recognition; The medical support arm system according to (12) above.
- the virtual link setting unit sets the virtual link based on the distance or orientation recognized by a navigation system or a CT apparatus; The medical support arm system according to (9) above.
- the virtual link setting unit is based on the patient coordinate information acquired by the CT apparatus or the MRI apparatus before the operation and the distance or the direction dynamically recognized by the navigation system or the CT apparatus during the operation. Dynamically update links, The medical support arm system according to (14) above.
- the virtual link setting unit dynamically updates the virtual link according to a movement amount or posture of the articulated arm; The medical support arm system according to any one of (2) to (15).
- the virtual link setting unit sets the virtual link by setting at least one of a distance and a direction of the virtual link; The medical support arm system according to any one of (2) to (16).
- the scope is a direct endoscope, a perspective mirror or a side endoscope, The medical support arm system according to any one of (1) to (17).
- the scope is an endoscope with variable squint angle.
- the virtual link setting unit dynamically updates the virtual link based on a zoom operation or a rotation operation of the scope.
- the medical support arm system according to any one of (2) to (16).
- the virtual link setting unit dynamically updates the virtual link based on the distance or the direction dynamically recognized by the image recognition and the zoom operation or the rotation operation of the scope;
- the controller Based on the relationship between the actual link corresponding to the scope axis of the scope and the virtual link corresponding to the optical axis of the scope, the controller includes a control unit that controls the articulated arm that supports the scope. Control device.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Endoscopes (AREA)
- Manipulator (AREA)
Abstract
【課題】斜視鏡を支持するアームが用いられる場合にハンドアイコーディネイトが維持されるようにアームを制御する技術が提供されることが望まれる。 【解決手段】術野内の観察対象物の像を取得するスコープを支持する多関節アームと、前記スコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記多関節アームを制御する制御部と、を備える、医療用支持アームシステムが提供される。
Description
本開示は、医療用支持アームシステムおよび制御装置に関する。
従来、例えば下記の特許文献1には、医療用観察装置において、術部の画像を撮影する撮像部と、前記撮像部が接続され、少なくとも6自由度で動作可能に回転軸が設けられる保持部と、を備え、前記回転軸のうち、少なくとも2軸は当該回転軸の状態に基づいて駆動が制御される能動軸であり、少なくとも1軸は接触を伴う外部からの直接的な操作に従って回転する受動軸である構成が記載されている。
ところで、人体内部に挿入される内視鏡において、観察対象物の前に障害物があったとしても、斜視鏡を用いることで、障害物に遮られることなく観察対象物の観察が可能となる。しかし、斜視鏡が用いられる場合にハンドアイコーディネイトが維持されることが求められる。
そこで、斜視鏡を支持するアームが用いられる場合にハンドアイコーディネイトが維持されるようにアームを制御する技術が提供されることが望まれる。
本開示によれば、術野内の観察対象物の像を取得するスコープを支持する多関節アームと、前記スコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記多関節アームを制御する制御部と、を備える、医療用支持アームシステムが提供される。
以上説明したように本開示によれば、斜視鏡を支持するアームが用いられる場合にハンドアイコーディネイトが維持されるようにアームを制御することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.内視鏡システムの構成例
2.支持アーム装置の具体的構成例
3.斜視鏡の基本的構成
4.本実施形態に係る斜視鏡を支持するアームの制御
5.仮想リンクの設定
6.まとめ
1.内視鏡システムの構成例
2.支持アーム装置の具体的構成例
3.斜視鏡の基本的構成
4.本実施形態に係る斜視鏡を支持するアームの制御
5.仮想リンクの設定
6.まとめ
<<1.内視鏡システムの構成例>>
図1は、本開示に係る技術が適用され得る内視鏡手術システム5000の概略的な構成の一例を示す図である。図1では、術者(医師)5067が、内視鏡手術システム5000を用いて、患者ベッド5069上の患者5071に手術を行っている様子が図示されている。図示するように、内視鏡手術システム5000は、内視鏡5001と、その他の術具5017と、内視鏡5001を支持する支持アーム装置5027と、内視鏡下手術のための各種の装置が搭載されたカート5037と、から構成される。
図1は、本開示に係る技術が適用され得る内視鏡手術システム5000の概略的な構成の一例を示す図である。図1では、術者(医師)5067が、内視鏡手術システム5000を用いて、患者ベッド5069上の患者5071に手術を行っている様子が図示されている。図示するように、内視鏡手術システム5000は、内視鏡5001と、その他の術具5017と、内視鏡5001を支持する支持アーム装置5027と、内視鏡下手術のための各種の装置が搭載されたカート5037と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5025a~5025dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5025a~5025dから、内視鏡5001の鏡筒5003や、その他の術具5017が患者5071の体腔内に挿入される。図示する例では、その他の術具5017として、気腹チューブ5019、エネルギー処置具5021及び鉗子5023が、患者5071の体腔内に挿入されている。また、エネルギー処置具5021は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5017はあくまで一例であり、術具5017としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5001によって撮影された患者5071の体腔内の術部の画像が、表示装置5041に表示される。術者5067は、表示装置5041に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5021や鉗子5023を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5019、エネルギー処置具5021及び鉗子5023は、手術中に、術者5067又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5027は、ベース部5029から延伸するアーム部5031を備える。図示する例では、アーム部5031は、関節部5033a、5033b、5033c、及びリンク5035a、5035bから構成されており、アーム制御装置5045からの制御により駆動される。アーム部5031によって内視鏡5001が支持され、その位置及び姿勢が制御される。これにより、内視鏡5001の安定的な位置の固定が実現され得る。
支持アーム装置5027は、ベース部5029から延伸するアーム部5031を備える。図示する例では、アーム部5031は、関節部5033a、5033b、5033c、及びリンク5035a、5035bから構成されており、アーム制御装置5045からの制御により駆動される。アーム部5031によって内視鏡5001が支持され、その位置及び姿勢が制御される。これにより、内視鏡5001の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5001は、先端から所定の長さの領域が患者5071の体腔内に挿入される鏡筒5003と、鏡筒5003の基端に接続されるカメラヘッド5005と、から構成される。図示する例では、硬性の鏡筒5003を有するいわゆる硬性鏡として構成される内視鏡5001を図示しているが、内視鏡5001は、軟性の鏡筒5003を有するいわゆる軟性鏡として構成されてもよい。
内視鏡5001は、先端から所定の長さの領域が患者5071の体腔内に挿入される鏡筒5003と、鏡筒5003の基端に接続されるカメラヘッド5005と、から構成される。図示する例では、硬性の鏡筒5003を有するいわゆる硬性鏡として構成される内視鏡5001を図示しているが、内視鏡5001は、軟性の鏡筒5003を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5003の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5001には光源装置5043が接続されており、当該光源装置5043によって生成された光が、鏡筒5003の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5071の体腔内の観察対象に向かって照射される。なお、内視鏡5001は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5005の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5039に送信される。なお、カメラヘッド5005には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5005には撮像素子が複数設けられてもよい。この場合、鏡筒5003の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5039は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5001及び表示装置5041の動作を統括的に制御する。具体的には、CCU5039は、カメラヘッド5005から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5039は、当該画像処理を施した画像信号を表示装置5041に提供する。また、CCU5039は、カメラヘッド5005に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
CCU5039は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5001及び表示装置5041の動作を統括的に制御する。具体的には、CCU5039は、カメラヘッド5005から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5039は、当該画像処理を施した画像信号を表示装置5041に提供する。また、CCU5039は、カメラヘッド5005に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
表示装置5041は、CCU5039からの制御により、当該CCU5039によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5001が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5041としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5041として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5041が設けられてもよい。
光源装置5043は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5001に供給する。
アーム制御装置5045は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5027のアーム部5031の駆動を制御する。
入力装置5047は、内視鏡手術システム5000に対する入力インタフェースである。ユーザは、入力装置5047を介して、内視鏡手術システム5000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5047を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5047を介して、アーム部5031を駆動させる旨の指示や、内視鏡5001による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5021を駆動させる旨の指示等を入力する。
入力装置5047の種類は限定されず、入力装置5047は各種の公知の入力装置であってよい。入力装置5047としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5057及び/又はレバー等が適用され得る。入力装置5047としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5041の表示面上に設けられてもよい。
あるいは、入力装置5047は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5047は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5047は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5047が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5067)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5049は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5021の駆動を制御する。気腹装置5051は、内視鏡5001による視野の確保及び術者の作業空間の確保の目的で、患者5071の体腔を膨らめるために、気腹チューブ5019を介して当該体腔内にガスを送り込む。レコーダ5053は、手術に関する各種の情報を記録可能な装置である。プリンタ5055は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5000において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5027は、基台であるベース部5029と、ベース部5029から延伸するアーム部5031と、を備える。図示する例では、アーム部5031は、複数の関節部5033a、5033b、5033cと、関節部5033bによって連結される複数のリンク5035a、5035bと、から構成されているが、図1では、簡単のため、アーム部5031の構成を簡略化して図示している。実際には、アーム部5031が所望の自由度を有するように、関節部5033a~5033c及びリンク5035a、5035bの形状、数及び配置、並びに関節部5033a~5033cの回転軸の方向等が適宜設定され得る。例えば、アーム部5031は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5031の可動範囲内において内視鏡5001を自由に移動させることが可能になるため、所望の方向から内視鏡5001の鏡筒5003を患者5071の体腔内に挿入することが可能になる。
支持アーム装置5027は、基台であるベース部5029と、ベース部5029から延伸するアーム部5031と、を備える。図示する例では、アーム部5031は、複数の関節部5033a、5033b、5033cと、関節部5033bによって連結される複数のリンク5035a、5035bと、から構成されているが、図1では、簡単のため、アーム部5031の構成を簡略化して図示している。実際には、アーム部5031が所望の自由度を有するように、関節部5033a~5033c及びリンク5035a、5035bの形状、数及び配置、並びに関節部5033a~5033cの回転軸の方向等が適宜設定され得る。例えば、アーム部5031は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5031の可動範囲内において内視鏡5001を自由に移動させることが可能になるため、所望の方向から内視鏡5001の鏡筒5003を患者5071の体腔内に挿入することが可能になる。
関節部5033a~5033cにはアクチュエータが設けられており、関節部5033a~5033cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5045によって制御されることにより、各関節部5033a~5033cの回転角度が制御され、アーム部5031の駆動が制御される。これにより、内視鏡5001の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5045は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5031の駆動を制御することができる。
例えば、術者5067が、入力装置5047(フットスイッチ5057を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5045によってアーム部5031の駆動が適宜制御され、内視鏡5001の位置及び姿勢が制御されてよい。当該制御により、アーム部5031の先端の内視鏡5001を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5031は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5031は、手術室から離れた場所に設置される入力装置5047を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5045は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5031が移動するように、各関節部5033a~5033cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5031に触れながらアーム部5031を移動させる際に、比較的軽い力で当該アーム部5031を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5001を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5001が支持されていた。これに対して、支持アーム装置5027を用いることにより、人手によらずに内視鏡5001の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5045は必ずしもカート5037に設けられなくてもよい。また、アーム制御装置5045は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5045は、支持アーム装置5027のアーム部5031の各関節部5033a~5033cにそれぞれ設けられてもよく、複数のアーム制御装置5045が互いに協働することにより、アーム部5031の駆動制御が実現されてもよい。
(光源装置)
光源装置5043は、内視鏡5001に術部を撮影する際の照射光を供給する。光源装置5043は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5043において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5005の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
光源装置5043は、内視鏡5001に術部を撮影する際の照射光を供給する。光源装置5043は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5043において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5005の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5043は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5005の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5043は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5043は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図2を参照して、内視鏡5001のカメラヘッド5005及びCCU5039の機能についてより詳細に説明する。図2は、図1に示すカメラヘッド5005及びCCU5039の機能構成の一例を示すブロック図である。
図2を参照して、内視鏡5001のカメラヘッド5005及びCCU5039の機能についてより詳細に説明する。図2は、図1に示すカメラヘッド5005及びCCU5039の機能構成の一例を示すブロック図である。
図2を参照すると、カメラヘッド5005は、その機能として、レンズユニット5007と、撮像部5009と、駆動部5011と、通信部5013と、カメラヘッド制御部5015と、を有する。また、CCU5039は、その機能として、通信部5059と、画像処理部5061と、制御部5063と、を有する。カメラヘッド5005とCCU5039とは、伝送ケーブル5065によって双方向に通信可能に接続されている。
まず、カメラヘッド5005の機能構成について説明する。レンズユニット5007は、鏡筒5003との接続部に設けられる光学系である。鏡筒5003の先端から取り込まれた観察光は、カメラヘッド5005まで導光され、当該レンズユニット5007に入射する。レンズユニット5007は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5007は、撮像部5009の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5009は撮像素子によって構成され、レンズユニット5007の後段に配置される。レンズユニット5007を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5009によって生成された画像信号は、通信部5013に提供される。
撮像部5009を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5067は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5009を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5067は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5009が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5007も複数系統設けられる。
また、撮像部5009は、必ずしもカメラヘッド5005に設けられなくてもよい。例えば、撮像部5009は、鏡筒5003の内部に、対物レンズの直後に設けられてもよい。
駆動部5011は、アクチュエータによって構成され、カメラヘッド制御部5015からの制御により、レンズユニット5007のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5009による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5013は、CCU5039との間で各種の情報を送受信するための通信装置によって構成される。通信部5013は、撮像部5009から得た画像信号をRAWデータとして伝送ケーブル5065を介してCCU5039に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5067が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5013には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5065を介してCCU5039に送信される。
また、通信部5013は、CCU5039から、カメラヘッド5005の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5013は、受信した制御信号をカメラヘッド制御部5015に提供する。なお、CCU5039からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5013には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5015に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5039の制御部5063によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5001に搭載される。
カメラヘッド制御部5015は、通信部5013を介して受信したCCU5039からの制御信号に基づいて、カメラヘッド5005の駆動を制御する。例えば、カメラヘッド制御部5015は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5009の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5015は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5011を介してレンズユニット5007のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5015は、更に、鏡筒5003やカメラヘッド5005を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5007や撮像部5009等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5005について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5039の機能構成について説明する。通信部5059は、カメラヘッド5005との間で各種の情報を送受信するための通信装置によって構成される。通信部5059は、カメラヘッド5005から、伝送ケーブル5065を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5059には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5059は、電気信号に変換した画像信号を画像処理部5061に提供する。
また、通信部5059は、カメラヘッド5005に対して、カメラヘッド5005の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5061は、カメラヘッド5005から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5061は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5061は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5061が複数のGPUによって構成される場合には、画像処理部5061は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5063は、内視鏡5001による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5063は、カメラヘッド5005の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5063は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5001にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5063は、画像処理部5061による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5063は、画像処理部5061によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5041に表示させる。この際、制御部5063は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5063は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5021使用時のミスト等を認識することができる。制御部5063は、表示装置5041に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5067に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5005及びCCU5039を接続する伝送ケーブル5065は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5065を用いて有線で通信が行われていたが、カメラヘッド5005とCCU5039との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5065を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5065によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る内視鏡手術システム5000の一例について説明した。なお、ここでは、一例として内視鏡手術システム5000について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
<<2.支持アーム装置の具体的構成例>>
次に、本開示の実施の形態に係る支持アーム装置の具体的構成例について詳細に説明する。以下に説明する支持アーム装置は、アーム部の先端に内視鏡を支持する支持アーム装置として構成された例であるが、本実施形態は係る例に限定されない。また、本開示の実施の形態に係る支持アーム装置が医療分野に適用された場合、本開示の実施の形態に係る支持アーム装置は、医療用支持アーム装置として機能し得る。
次に、本開示の実施の形態に係る支持アーム装置の具体的構成例について詳細に説明する。以下に説明する支持アーム装置は、アーム部の先端に内視鏡を支持する支持アーム装置として構成された例であるが、本実施形態は係る例に限定されない。また、本開示の実施の形態に係る支持アーム装置が医療分野に適用された場合、本開示の実施の形態に係る支持アーム装置は、医療用支持アーム装置として機能し得る。
<2-1.支持アーム装置の外観>
まず、図3を参照して、本実施形態に係る支持アーム装置400の概略構成について説明する。図3は、本実施形態に係る支持アーム装置400の外観を示す概略図である。
まず、図3を参照して、本実施形態に係る支持アーム装置400の概略構成について説明する。図3は、本実施形態に係る支持アーム装置400の外観を示す概略図である。
本実施形態に係る支持アーム装置400は、ベース部410及びアーム部420を備える。ベース部410は支持アーム装置400の基台であり、ベース部410からアーム部420が延伸される。また、図3には図示しないが、ベース部410内には、支持アーム装置400を統合的に制御する制御部が設けられてもよく、アーム部420の駆動が当該制御部によって制御されてもよい。当該制御部は、例えばCPUやDSP等の各種の信号処理回路によって構成される。
アーム部420は、複数の能動関節部421a~421fと、複数のリンク422a~422fと、アーム部420の先端に設けられた先端ユニットとしての内視鏡装置423とを有する。
リンク422a~422fは略棒状の部材である。リンク422aの一端が能動関節部421aを介してベース部410と連結され、リンク422aの他端が能動関節部421bを介してリンク422bの一端と連結され、さらに、リンク422bの他端が能動関節部421cを介してリンク422cの一端と連結される。リンク422cの他端は受動スライド機構100を介してリンク422dに連結され、さらに、リンク422dの他端は受動関節部200を介してリンク422eの一端と連結される。リンク422eの他端は能動関節部421d,421eを介してリンク422fの一端と連結される。内視鏡装置423は、アーム部420の先端、すなわち、リンク422fの他端に、能動関節部421fを介して連結される。このように、ベース部410を支点として、複数のリンク422a~422fの端同士が、能動関節部421a~421f、受動スライド機構100及び受動関節部200によって互いに連結されることにより、ベース部410から延伸されるアーム形状が構成される。
かかるアーム部420のそれぞれの能動関節部421a~421fに設けられたアクチュエータが駆動制御されることにより、内視鏡装置423の位置及び姿勢が制御される。本実施形態において、内視鏡装置423は、その先端が施術部位である患者の体腔内に進入して施術部位の一部領域を撮影する。ただし、アーム部420の先端に設けられる先端ユニットは内視鏡装置423に限定されず、アーム部420の先端には先端ユニットとして各種の医療用器具が接続されてよい。このように、本実施形態に係る支持アーム装置400は、医療用器具を備えた医療用支持アーム装置として構成される。
ここで、以下では、図3に示すように座標軸を定義して支持アーム装置400の説明を行う。また、座標軸に合わせて、上下方向、前後方向、左右方向を定義する。すなわち、床面に設置されているベース部410に対する上下方向をz軸方向及び上下方向と定義する。また、z軸と互いに直交する方向であって、ベース部410からアーム部420が延伸されている方向(すなわち、ベース部410に対して内視鏡装置423が位置している方向)をy軸方向及び前後方向と定義する。さらに、y軸及びz軸と互いに直交する方向をx軸方向及び左右方向と定義する。
能動関節部421a~421fはリンク同士を互いに回動可能に連結する。能動関節部421a~421fはアクチュエータを有し、当該アクチュエータの駆動により所定の回転軸に対して回転駆動される回転機構を有する。各能動関節部421a~421fにおける回転駆動をそれぞれ制御することにより、例えばアーム部420を伸ばしたり、縮めたり(折り畳んだり)といった、アーム部420の駆動を制御することができる。ここで、能動関節部421a~421fは、例えば公知の全身協調制御及び理想関節制御によってその駆動が制御され得る。上述したように、能動関節部421a~421fは回転機構を有するため、以下の説明において、能動関節部421a~421fの駆動制御とは、具体的には、能動関節部421a~421fの回転角度及び/又は発生トルク(能動関節部421a~421fが発生させるトルク)が制御されることを意味する。
受動スライド機構100は、受動形態変更機構の一態様であり、リンク422cとリンク422dとを所定方向に沿って互いに進退動可能に連結する。例えば受動スライド機構100は、リンク422cとリンク422dとを互いに直動可能に連結してもよい。ただし、リンク422cとリンク422dとの進退運動は直線運動に限られず、円弧状を成す方向への進退運動であってもよい。受動スライド機構100は、例えばユーザによって進退動の操作が行われ、リンク422cの一端側の能動関節部421cと受動関節部200との間の距離を可変とする。これにより、アーム部420の全体の形態が変化し得る。
受動関節部200は、受動形態変更機構の一態様であり、リンク422dとリンク422eとを互いに回動可能に連結する。受動関節部200は、例えばユーザによって回動の操作が行われ、リンク422dとリンク422eとの成す角度を可変とする。これにより、アーム部420の全体の形態が変化し得る。
なお、本明細書において、「アーム部の姿勢」とは、一つ又は複数のリンクを挟んで隣り合う能動関節部同士の間の距離が一定の状態で、制御部による能動関節部421a~421fに設けられたアクチュエータの駆動制御によって変化し得るアーム部の状態をいう。また、「アーム部の形態」とは、受動形態変更機構が操作されることに伴って、リンクを挟んで隣り合う能動関節部同士の間の距離や、隣り合う能動関節部の間をつなぐリンク同士の成す角度が変わることで変化し得るアーム部の状態をいう。
本実施形態に係る支持アーム装置400は、6つの能動関節部421a~421fを有し、アーム部420の駆動に関して6自由度が実現されている。つまり、支持アーム装置400の駆動制御は制御部による6つの能動関節部421a~421fの駆動制御により実現される一方、受動スライド機構100及び受動関節部200は、制御部による駆動制御の対象とはなっていない。
具体的には、図3に示すように、能動関節部421a,421d,421fは、接続されている各リンク422a,422eの長軸方向及び接続されている内視鏡装置423の撮影方向を回転軸方向とするように設けられている。能動関節部421b,421c,421eは、接続されている各リンク422a~422c,422e,422f及び内視鏡装置423の連結角度をy-z平面(y軸とz軸とで規定される平面)内において変更する方向であるx軸方向を回転軸方向とするように設けられている。このように、本実施形態においては、能動関節部421a,421d,421fは、いわゆるヨーイングを行う機能を有し、能動関節部421b,421c,421eは、いわゆるピッチングを行う機能を有する。
このようなアーム部420の構成を有することにより、本実施形態に係る支持アーム装置400ではアーム部420の駆動に対して6自由度が実現されるため、アーム部420の可動範囲内において内視鏡装置423を自由に移動させることができる。図3では、内視鏡装置423の移動可能範囲の一例として半球を図示している。半球の中心点RCM(遠隔運動中心)が内視鏡装置423によって撮影される施術部位の撮影中心であるとすれば、内視鏡装置423の撮影中心を半球の中心点に固定した状態で、内視鏡装置423を半球の球面上で移動させることにより、施術部位を様々な角度から撮影することができる。
以上、本実施形態に係る支持アーム装置400の概略構成について説明した。次に、本実施形態に係る支持アーム装置400におけるアーム部420の駆動、すなわち、関節部421a~421fの駆動を制御するための全身協調制御及び理想関節制御について説明する。
<2-2.一般化逆動力学について>
次に、本実施形態における支持アーム装置400の全身協調制御に用いられる一般化逆動力学の概要について説明する。
次に、本実施形態における支持アーム装置400の全身協調制御に用いられる一般化逆動力学の概要について説明する。
一般化逆動力学は、複数のリンクが複数の関節部によって連結されて構成される多リンク構造体(例えば本実施形態においては図2に示すアーム部420)において、各種の操作空間(Operation Space)における様々な次元に関する運動目的を、各種の拘束条件を考慮しながら、複数の当該関節部に生じさせるトルクに変換する、多リンク構造体の全身協調制御における基本演算である。
操作空間は、ロボット装置の力制御における重要な概念である。操作空間は、多リンク構造体に作用する力と多リンク構造体の加速度との関係を記述するための空間である。多リンク構造体の駆動制御を位置制御ではなく力制御によって行う際に、多リンク構造体と環境との接し方を拘束条件として用いる場合に操作空間という概念が必要となる。操作空間は、例えば、多リンク構造体が属する空間である、関節空間、デカルト空間、運動量空間等である。
運動目的は、多リンク構造体の駆動制御における目標値を表すものであり、例えば、駆動制御によって達成したい多リンク構造体の位置、速度、加速度、力、インピーダンス等の目標値である。
拘束条件は、多リンク構造体の形状や構造、多リンク構造体の周囲の環境及びユーザによる設定等によって定められる、多リンク構造体の位置、速度、加速度、力等に関する拘束条件である。例えば、拘束条件には、発生力、優先度、非駆動関節の有無、垂直反力、摩擦錘、支持多角形等についての情報が含まれる。
一般化動力学においては、数値計算上の安定性と実時間処理可能な演算効率とを両立するため、その演算アルゴリズムは、第1段階である仮想力決定プロセス(仮想力算出処理)と、第2段階である実在力変換プロセス(実在力算出処理)によって構成される。第1段階である仮想力算出処理では、各運動目的の達成に必要な、操作空間に作用する仮想的な力である仮想力を、運動目的の優先度と仮想力の最大値を考慮しながら決定する。第2段階である実在力算出処理では、非駆動関節、垂直反力、摩擦錘、支持多角形等に関する拘束を考慮しながら、上記で得られた仮想力を関節力、外力等の実際の多リンク構造体の構成で実現可能な実在力に変換する。以下、仮想力算出処理及び実在力算出処理について詳しく説明する。なお、以下の仮想力算出処理、実在力算出処理及び後述する理想関節制御の説明においては、理解を簡単にするために、具体例として、図3に示した本実施形態に係る支持アーム装置400のアーム部420の構成を例に挙げて説明を行う場合がある。
(2-2-1.仮想力算出処理)
多リンク構造体の各関節部におけるある物理量によって構成されるベクトルを一般化変数qと呼ぶ(関節値q又は関節空間qとも呼称する。)。操作空間xは、一般化変数qの時間微分値とヤコビアンJとを用いて、以下の数式(1)で定義される。
多リンク構造体の各関節部におけるある物理量によって構成されるベクトルを一般化変数qと呼ぶ(関節値q又は関節空間qとも呼称する。)。操作空間xは、一般化変数qの時間微分値とヤコビアンJとを用いて、以下の数式(1)で定義される。
本実施形態では、例えば、qはアーム部420の関節部421a~421fにおける回転角度である。操作空間xに関する運動方程式は、下記数式(2)で記述される。
ここで、fは操作空間xに作用する力を表す。また、Λ-1は操作空間慣性逆行列、cは操作空間バイアス加速度と呼ばれるものであり、それぞれ下記数式(3)、(4)で表される。
なお、Hは関節空間慣性行列、τは関節値qに対応する関節力(例えば関節部421a~421fおける発生トルク)、bは重力、コリオリ力、遠心力を表す項である。
一般化逆動力学においては、操作空間xに関する位置、速度の運動目的は、操作空間xの加速度として表現できることが知られている。このとき、上記数式(1)から、運動目的として与えられた目標値である操作空間加速度を実現するために、操作空間xに作用するべき仮想力fvは、下記数式(5)のような一種の線形相補性問題(LCP:Linear Complementary Problem)を解くことによって得られる。
ここで、LiとUiはそれぞれ、fvの第i成分の負の下限値(-∞を含む)、fvの第i成分の正の上限値(+∞を含む)とする。上記LCPは、例えばIterative法、Pivot法、ロバスト加速度制御を応用する方法等を用いて解くことができる。
なお、操作空間慣性逆行列Λ-1、バイアス加速度cは、定義式である上記数式(3)、(4)の通り算出すると計算コストが大きい。従って、多リンク構造体の一般化力(関節力τ)から一般化加速度(関節加速度)を得る準動力学計算(FWD)を応用することにより、操作空間慣性逆行列Λ-1の算出処理をより高速に算出する方法が提案されている。具体的には、操作空間慣性逆行列Λ-1、バイアス加速度cは、順動力学演算FWDを用いることにより、関節空間q、関節力τ、重力g等の多リンク構造体(例えば、アーム部420及び関節部421a~421f)に作用する力に関する情報から得ることができる。このように、操作空間に関する順動力学演算FWDを応用することにより、関節部の数Nに対してO(N)の計算量で操作空間慣性逆行列Λ-1を算出することができる。
ここで、運動目的の設定例として、絶対値Fi以下の仮想力fviで操作空間加速度の目標値(xの2階微分に上付きバーを付して表す)を達成するための条件は、下記数式(6)で表現できる。
また、上述したように、操作空間xの位置、速度に関する運動目的は、操作空間加速度の目標値として表すことができ、具体的には下記数式(7)で表現される(操作空間xの位置、速度の目標値を、x、xの1階微分に上付きバーを付して表す)。
その他、分解操作空間の考え方を用いることにより、他の操作空間の線形和で表される操作空間(運動量、デカルト相対座標、連動関節等)に関する運動目的を設定することもできる。なお、競合する運動目的間には優先度を与える必要がある。優先度毎かつ低優先度から順に上記LCPを解き、前段のLCPで得られた仮想力を次段のLCPの既知外力として作用させることができる。
(2-2-2.実在力算出処理)
一般化逆動力学の第2段階である実在力算出処理では、上記(2-2-1.仮想力決定プロセス)で得られた仮想力fvを、実在の関節力と外力で置換する処理を行う。仮想力による一般化力τv=Jv Tfvを関節部に生じる発生トルクτaと外力feとで実現するための条件は、下記数式(8)で表現される。
一般化逆動力学の第2段階である実在力算出処理では、上記(2-2-1.仮想力決定プロセス)で得られた仮想力fvを、実在の関節力と外力で置換する処理を行う。仮想力による一般化力τv=Jv Tfvを関節部に生じる発生トルクτaと外力feとで実現するための条件は、下記数式(8)で表現される。
ここで、添え字aは駆動関節部の集合(駆動関節集合)を表し、添え字uは非駆動関節部の集合(非駆動関節集合)を表す。すなわち、上記数式(8)の上段は非駆動関節部による空間(非駆動関節空間)の力の釣り合いを表しており、下段は駆動関節部による空間(駆動関節空間)の力の釣合いを表している。Jvu、Jvaは、それぞれ、仮想力fvが作用する操作空間に関するヤコビアンの非駆動関節成分、駆動関節成分である。Jeu、Jeaは、外力feが作用する操作空間に関するヤコビアンの非駆動関節成分、駆動関節成分である。Δfvは仮想力fvのうち、実在力で実現不能な成分を表す。
上記数式(8)の上段は不定であり、例えば下記数式(9)に示すような2次計画問題(QP:Quadratic Programing Problem)を解くことで、fe及びΔfvを得ることができる。
ここで、εは上記数式(8)の上段の両辺の差であり、数式(8)の等式誤差を表す。ξはfeとΔfvとの連結ベクトルであり、変数ベクトルを表す。Q1及びQ2は、最小化の際の重みを表す正定値対称行列である。また、上記数式(9)の不等式拘束は、垂直反力、摩擦錐、外力の最大値、支持多角形等、外力に関する拘束条件を表現するのに用いられる。例えば、矩形の支持多角形に関する不等式拘束は、下記数式(10)のように表現される。
ここで、zは接触面の法線方向を表し、x及びyはzに垂直な直交2接線方向を表す。(Fx,Fy,Fz)及び(Mx,My,Mz)は、接触点に作用する外力及び外力モーメントである。μt及びμrは、それぞれ並進、回転に関する摩擦係数である。(dx,dy)は支持多角形のサイズを表している。
上記数式(9)、(10)から、最小ノルム又は最小誤差の解fe、Δfvが求められる。上記数式(9)から得られたfe、Δfvを上記数式(8)の下段に代入することにより、運動目的を実現するために必要な関節力τaを得ることができる。
基底が固定され、非駆動関節が無い系の場合は、関節力のみで全ての仮想力を置換可能であり、上記数式(8)において、fe=0、Δfv=0とすることができる。この場合、上記数式(8)の下段から、関節力τaについて以下の数式(11)を得ることができる。
以上、本実施形態に係る一般化逆動力学を用いた全身協調制御について説明した。上記のように、仮想力算出処理及び実在力算出処理を順に行うことにより、所望の運動目的を達成するための関節力τaを得ることができる。すなわち、逆に言えば、算出された関節力τaを関節部421a~421fの運動における理論モデルに反映することにより、関節部421a~421fが、所望の運動目的を達成するように駆動される。
なお、ここまで説明した一般化逆動力学を用いた全身協調制御について、特に、仮想力fvの導出過程や、上記LCPを解き仮想力fvを求める方法、QP問題の解法等の詳細については、例えば、本願出願人による先行特許出願である特開2009-95959号公報や特開2010-188471号公報を参照することができる。
<2-3.理想関節制御について>
次に、本実施形態に係る理想関節制御について説明する。各関節部421a~421fの運動は、下記数式(12)の二次遅れ系の運動方程式によってモデル化される。
次に、本実施形態に係る理想関節制御について説明する。各関節部421a~421fの運動は、下記数式(12)の二次遅れ系の運動方程式によってモデル化される。
ここで、Iaは関節部における慣性モーメント(イナーシャ)、τaは関節部421a~421fの発生トルク、τeは外部から各関節部421a~421fに作用する外トルク、νeは各関節部421a~421fにおける粘性抵抗係数である。上記数式(12)は、関節部421a~421fにおけるアクチュエータの運動を表す理論モデルとも言える。
上記<2-2.一般化逆動力学について>で説明したように、一般化逆動力学を用いた演算により、運動目的及び拘束条件を用いて、当該運動目的を実現するために各関節部421a~421fに作用させるべき実在力であるτaを算出することができる。従って、理想的には、算出された各τaを上記数式(12)に適用することにより、上記数式(12)に示す理論モデルに従った応答が実現する、すなわち、所望の運動目的が達成されるはずである。
しかし、実際には、様々な外乱の影響により、関節部421a~421fの運動と上記数式(12)に示すような理論モデルとの間には誤差(モデル化誤差)が生じる場合がある。モデル化誤差は、多リンク構造体の重量、重心、慣性テンソル等のマスプロパティに起因するものと、における関節部421a~421f内部における摩擦や慣性等に起因するものとに大別することができる。このうち、前者のマスプロパティに起因するモデル化誤差は、CAD(Computer Aided Design)データの高精度化や同定手法の適用によって、理論モデル構築時に比較的容易に低減することが可能である。
一方、後者の関節部421a~421f内部の摩擦や慣性等に起因するモデル化誤差は、例えば関節部421a~421fの減速機426における摩擦等、モデル化が困難な現象に起因しており、理論モデル構築時に無視できないモデル化誤差が残留し得る。また、上記数式(12)におけるイナーシャIaや粘性抵抗係数νeの値と、実際の関節部421a~421fにおけるこれらの値との間に誤差が生じている可能性がある。これらのモデル化が困難な誤差は、関節部421a~421fの駆動制御において外乱となり得る。従って、このような外乱の影響により、実際には、関節部421a~421fの運動は、上記数式(12)に示す理論モデル通りには応答しない場合がある。よって、一般化逆動力学によって算出された関節力である実在力τaを適用しても、制御目標である運動目的が達成されない場合が生じる。本実施形態では、各関節部421a~421fにアクティブな制御系を付加することで、上記数式(12)に示す理論モデルに従った理想応答を行うよう、関節部421a~421fの応答を補正することを考える。具体的には、本実施形態では、関節部421a~421fのトルクセンサ428、428aを用いた摩擦補償型のトルク制御を行うに留まらず、要求される発生トルクτa、外トルクτeに対して、イナーシャIa及び粘性抵抗係数νaに至るまで理論値に従った理想応答を行うことが可能となる。
本実施形態では、このように、支持アーム装置400の関節部421a~421fが上記数式(12)に示すような理想的な応答を行うように関節部の駆動を制御することを、理想関節制御と呼称する。ここで、以下の説明では、当該理想関節制御によって駆動が制御されるアクチュエータのことを、理想的な応答が行われることから仮想アクチュエータ(VA:Virtualized Actuator)とも呼称する。以下、図4を参照して、本実施形態に係る理想関節制御について説明する。
図4は、本開示の一実施形態に係る理想関節制御について説明するための説明図である。なお、図4では、理想関節制御に係る各種の演算を行う概念上の演算器をブロックで模式的に図示している。
ここで、アクチュエータ610が上記数式(12)で表される理論モデルに従った応答を行なうことは、上記数式(12)の右辺が与えられたときに、左辺の回転角加速度が達成されることに他ならない。また、上記数式(12)に示すように、理論モデルには、アクチュエータ610に作用する外トルク項τeが含まれている。本実施形態では、理想関節制御を行うために、トルクセンサ614によって外トルクτeを測定する。また、エンコーダ613によって測定されたアクチュエータ610の回転角度qに基づいて外乱に起因するトルクの推定値である外乱推定値τdを算出するために、外乱オブザーバ620を適用する。
ブロック631は、上記数式(12)に示す関節部421a~421fの理想的な関節モデル(Ideal Joint Model)に従った演算を行う演算器を表している。ブロック631は、発生トルクτa、外トルクτe、回転角速度(回転角度qの1階微分)を入力として、上記数式(12)の左辺に示す回転角加速度目標値(回転角目標値qrefの2階微分)を出力することができる。
本実施形態では、上記<2-2.一般化逆動力学について>で説明した方法によって算出された発生トルクτaと、トルクセンサ614によって測定された外トルクτeが、ブロック631に入力される。一方、微分演算を行う演算器を表すブロック632に、エンコーダ613によって測定された回転角度qが入力されることにより、回転角速度(回転角度qの1階微分)が算出される。上記発生トルクτa及び外トルクτeに加えて、ブロック632によって算出された回転角速度がブロック631に入力されることにより、ブロック631によって回転角加速度目標値が算出される。算出された回転角加速度目標値は、ブロック633に入力される。
ブロック633は、アクチュエータ610の回転角加速度に基づいてアクチュエータ610に生じるトルクを算出する演算器を表す。本実施形態においては、具体的には、ブロック633は、回転角加速度目標値にアクチュエータ610における公称イナーシャ(ノミナルイナーシャ)Jnを乗じることにより、トルク目標値τrefを得ることができる。理想の応答においては、アクチュエータ610に当該トルク目標値τrefを生じさせることにより、所望の運動目的が達成されるはずであるが、上述したように、実際の応答には外乱等の影響が生じる場合がある。従って、本実施形態においては、外乱オブザーバ620によって外乱推定値τdを算出し、外乱推定値τdを用いて当該トルク目標値τrefを補正する。
外乱オブザーバ620の構成について説明する。図4に示すように、外乱オブザーバ620は、トルク指令値τと、エンコーダ613によって測定された回転角度qから算出される回転角速度に基づいて、外乱推定値τdを算出する。ここで、トルク指令値τは、外乱の影響が補正された後の、最終的にアクチュエータ610に生じさせるトルク値である。例えば、外乱推定値τdが算出されていない場合には、トルク指令値τはトルク目標値τrefとなる。
外乱オブザーバ620は、ブロック634とブロック635とから構成される。ブロック634は、アクチュエータ610の回転角速度に基づいてアクチュエータ610に生じるトルクを算出する演算器を表す。本実施形態においては、具体的には、エンコーダ613によって測定された回転角度qから、ブロック632によって算出された回転角速度がブロック634に入力される。ブロック634は、伝達関数Jnsによって表される演算を行うことにより、すなわち、当該回転角速度を微分することにより回転角加速度を求め、更に算出された回転角加速度にノミナルイナーシャJnを乗じることにより、実際にアクチュエータ610に作用しているトルクの推定値(トルク推定値)を算出することができる。
外乱オブザーバ620内では、当該トルク推定値とトルク指令値τとの差分が取られることにより、外乱によるトルクの値である外乱推定値τdが推定される。具体的には、外乱推定値τdは、前周の制御におけるトルク指令値τと、今回の制御におけるトルク推定値との差分であってよい。ブロック634によって算出されるトルク推定値は実際の測定値に基づくものであり、ブロック633によって算出されたトルク指令値τはブロック631に示す関節部421a~421fの理想的な理論モデルに基づくものであるため、両者の差分を取ることによって、上記理論モデルでは考慮されていない外乱の影響を推定することができるのである。
また、外乱オブザーバ620には、系の発散を防ぐために、ブロック635に示すローパスフィルター(LPF:Low Pass Filter)が設けられる。ブロック635は、伝達関数g/(s+g)で表される演算を行うことにより、入力された値に対して低周波成分のみを出力し、系を安定化させる。本実施形態では、ブロック634によって算出されたトルク推定値とトルク指令値τrefとの差分値は、ブロック635に入力され、その低周波成分が外乱推定値τdとして算出される。
本実施形態では、トルク目標値τrefに外乱オブザーバ620によって算出された外乱推定値τdを加算するフィードフォワード制御が行われることにより、最終的にアクチュエータ610に生じさせるトルク値であるトルク指令値τが算出される。そして、トルク指令値τに基づいてアクチュエータ610が駆動される。具体的には、トルク指令値τが対応する電流値(電流指令値)に変換され、当該電流指令値がモータ611に印加されることにより、アクチュエータ610が駆動される。
以上、図4を参照して説明した構成を取ることにより、本実施形態に係る関節部421a~421fの駆動制御においては、摩擦等の外乱成分があった場合であっても、アクチュエータ610の応答を目標値に追従させることが可能となる。また、関節部421a~421fの駆動制御について、理論モデルが仮定するイナーシャIa及び粘性抵抗係数νaに従った理想応答を行うことが可能となる。
なお、以上説明した理想関節制御の詳細については、例えば、本願出願人による先行特許出願である特開2009-269102号公報を参照することができる。
以上、本実施形態において用いられる一般化逆動力学について説明するとともに、図4を参照して本実施形態に係る理想関節制御について説明した。以上説明したように、本実施形態においては、一般化逆動力学を用いることにより、アーム部420の運動目的を達成するための各関節部421a~421fの駆動パラメータ(例えば関節部421a~421fの発生トルク値)を、拘束条件を考慮して算出する、全身協調制御が行われる。また、図4を参照して説明したように、本実施形態においては、上記一般化逆動力学を用いた全身協調制御により算出された発生トルク値に対して外乱の影響を考慮した補正を行うことにより、関節部421a~421fの駆動制御において理論モデルに基づいた理想的な応答を実現する、理想関節制御が行われる。従って、本実施形態においては、アーム部420の駆動について、運動目的を達成する高精度な駆動制御が可能となる。
<2-4.ロボットアーム制御システムの構成>
次に、上記<2-2.一般化逆動力学について>及び上記<2-3.理想関節制御について>で説明した全身協調制御や理想関節制御がロボットアーム装置の駆動制御に適用された、本実施形態に係るロボットアーム制御システムの構成について説明する。
次に、上記<2-2.一般化逆動力学について>及び上記<2-3.理想関節制御について>で説明した全身協調制御や理想関節制御がロボットアーム装置の駆動制御に適用された、本実施形態に係るロボットアーム制御システムの構成について説明する。
図5を参照して、本開示の一実施形態に係るロボットアーム制御システムの一構成例について説明する。図5は、本開示の一実施形態に係るロボットアーム制御システムの一構成例を示す機能ブロック図である。なお、図5に示すロボットアーム制御システムでは、ロボットアーム装置のアーム部の駆動の制御に関わる構成について主に図示している。
図5を参照すると、本開示の一実施形態に係るロボットアーム制御システム1は、ロボットアーム装置10、制御装置20及び表示装置30を備える。本実施形態においては、制御装置20によって、上記<2-2.一般化逆動力学について>で説明した全身協調制御及び上記<2-3.理想関節制御について>で説明した理想関節制御における各種の演算が行われ、その演算結果に基づいてロボットアーム装置10のアーム部の駆動が制御される。また、ロボットアーム装置10のアーム部には後述する撮像部140が設けられており、撮像部140によって撮影された画像が表示装置30の表示画面に表示される。以下、ロボットアーム装置10、制御装置20及び表示装置30の構成について詳細に説明する。
ロボットアーム装置10は、複数の関節部と複数のリンクから構成される多リンク構造体であるアーム部を有し、当該アーム部を可動範囲内で駆動させることにより、当該アーム部の先端に設けられる先端ユニットの位置及び姿勢の制御を行う。ロボットアーム装置10は、図3に示す支持アーム装置400に対応している。
図5を参照すると、ロボットアーム装置10は、アーム制御部110及びアーム部120を有する。また、アーム部120は、関節部130及び撮像部140を有する。
アーム制御部110は、ロボットアーム装置10を統合的に制御するとともに、アーム部120の駆動を制御する。アーム制御部110は、図3を参照して説明した制御部(図3には図示せず。)に対応している。具体的には、アーム制御部110は駆動制御部111を有し、駆動制御部111からの制御によって関節部130の駆動が制御されることにより、アーム部120の駆動が制御される。より具体的には、駆動制御部111は、関節部130のアクチュエータにおけるモータに対して供給される電流量を制御することにより、当該モータの回転数を制御し、関節部130における回転角度及び発生トルクを制御する。ただし、上述したように、駆動制御部111によるアーム部120の駆動制御は、制御装置20における演算結果に基づいて行われる。従って、駆動制御部111によって制御される、関節部130のアクチュエータにおけるモータに対して供給される電流量は、制御装置20における演算結果に基づいて決定される電流量である。
アーム部120は、複数の関節部と複数のリンクから構成される多リンク構造体であり、アーム制御部110からの制御によりその駆動が制御される。アーム部120は、図3に示すアーム部420に対応している。アーム部120は、関節部130及び撮像部140を有する。なお、アーム部120が有する複数の関節部の機能及び構成は互いに同様であるため、図5では、それら複数の関節部を代表して1つの関節部130の構成を図示している。
関節部130は、アーム部120においてリンク間を互いに回動可能に連結するとともに、アーム制御部110からの制御によりその回転駆動が制御されることによりアーム部120を駆動する。関節部130は、図3に示す関節部421a~421fに対応している。また、関節部130は、アクチュエータを有する。
関節部130は、関節駆動部131及び関節状態検出部132を有する。
関節駆動部131は、関節部130のアクチュエータにおける駆動機構であり、関節駆動部131が駆動することにより関節部130が回転駆動する。関節駆動部131は、駆動制御部111によってその駆動が制御される。例えば、関節駆動部131は、モータ及びモータドライバに対応する構成であり、関節駆動部131が駆動することは、モータドライバが駆動制御部111からの指令に応じた電流量でモータを駆動することに対応している。
関節状態検出部132は、関節部130の状態を検出する。ここで、関節部130の状態とは、関節部130の運動の状態を意味していてよい。例えば、関節部130の状態には、関節部130の回転角度、回転角速度、回転角加速度、発生トルク等の情報が含まれる。本実施形態においては、関節状態検出部132は、関節部130の回転角度を検出する回転角度検出部133及び関節部130の発生トルク及び外トルクを検出するトルク検出部134を有する。なお、回転角度検出部133及びトルク検出部134は、アクチュエータのエンコーダ及びトルクセンサに、それぞれ対応している。関節状態検出部132は、検出した関節部130の状態を制御装置20に送信する。
撮像部140は、アーム部120の先端に設けられる先端ユニットの一例であり、撮影対象の画像を取得する。撮像部140は、図3に示す撮像ユニット423に対応している。具体的には、撮像部140は、撮影対象を動画や静止画の形式で撮影することのできるカメラ等である。より具体的には、撮像部140は、2次元上に配列された複数の受光素子を有し、当該受光素子における光電変換により、撮影対象の画像を表す画像信号を取得することができる。撮像部140は、取得した画像信号を表示装置30に送信する。
なお、図3に示す支持アーム装置400において撮像ユニット423がアーム部420の先端に設けられていたように、ロボットアーム装置10においても、実際には撮像部140がアーム部120の先端に設けられている。図5では、撮像部140が複数の関節部130及び複数のリンクを介して最終段のリンクの先端に設けられる様子を、関節部130と撮像部140との間にリンクを模式的に図示することにより表現している。
なお、本実施形態においては、アーム部120の先端には先端ユニットとして各種の医療用器具が接続され得る。当該医療用器具としては、例えば、メスや鉗子等の各種の施術器具や、超音波検査装置の探触子等の各種の検査装置の一ユニット等、施術に際して用いられる各種のユニットが挙げられる。また、本実施形態では、図5に示す撮像部140や、内視鏡、顕微鏡等の撮像機能を有するユニットも医療用器具に含まれてよい。このように、本実施形態に係るロボットアーム装置10は、医療用器具を備えた医療用ロボットアーム装置であると言える。同様に、本実施形態に係るロボットアーム制御システム1は、医療用ロボットアーム制御システムであると言える。なお、図5に示すロボットアーム装置10は、撮像機能を有するユニットを先端ユニットとして備えるVMロボットアーム装置であるとも言える。また、アーム部120の先端に、2つの撮像ユニット(カメラユニット)を有するステレオカメラが設けられ、撮像対象を3D画像として表示するように撮影が行われてもよい。
以上、ロボットアーム装置10の機能及び構成について説明した。次に、制御装置20の機能及び構成について説明する。図5を参照すると、制御装置20は、入力部210、記憶部220及び制御部230を有する。
制御部230は、制御装置20を統合的に制御するとともに、ロボットアーム装置10におけるアーム部120の駆動を制御するための各種の演算を行う。具体的には、制御部230は、ロボットアーム装置10のアーム部120の駆動を制御するために、全身協調制御及び理想関節制御における各種の演算を行う。以下、制御部230の機能及び構成について詳しく説明するが、全身協調制御及び理想関節制御については、上記<2-2.一般化逆動力学について>及び上記<2-3.理想関節制御について>で既に説明しているため、ここでは詳しい説明は省略する。
制御部230は、全身協調制御部240及び理想関節制御部250を有する。
全身協調制御部240は、一般化逆動力学を用いた全身協調制御に関する各種の演算を行う。本実施形態では、全身協調制御部240は、関節状態検出部132によって検出された関節部130の状態に基づいてアーム部120の状態(アーム状態)を取得する。また、全身協調制御部240は、当該アーム状態と、アーム部120の運動目的及び拘束条件と、に基づいて、操作空間におけるアーム部120の全身協調制御のための制御値を、一般化逆動力学を用いて算出する。なお、操作空間とは、例えばアーム部120に作用する力とアーム部120に発生する加速度との関係を記述するための空間である。
全身協調制御部240は、アーム状態取得部241、演算条件設定部242、仮想力算出部243及び実在力算出部244を有する。
アーム状態取得部241は、関節状態検出部132によって検出された関節部130の状態に基づいて、アーム部120の状態(アーム状態)を取得する。ここで、アーム状態とは、アーム部120の運動の状態を意味していてよい。例えば、アーム状態には、アーム部120の位置、速度、加速度、力等の情報が含まれる。上述したように、関節状態検出部132は、関節部130の状態として、各関節部130における回転角度、回転角速度、回転角加速度、発生トルク等の情報を取得している。また、後述するが、記憶部220は、制御装置20によって処理される各種の情報を記憶するものであり、本実施形態においては、記憶部220には、アーム部120に関する各種の情報(アーム情報)、例えばアーム部120を構成する関節部130及びリンクの数や、リンクと関節部130との接続状況、リンクの長さ等の情報が格納されていてよい。アーム状態取得部241は、記憶部220から当該アーム情報を取得することができる。従って、アーム状態取得部241は、関節部130の状態とアーム情報とに基づいて、複数の関節部130、複数のリンク及び撮像部140の空間上の位置(座標)(すなわち、アーム部120の形状や撮像部140の位置及び姿勢)や、各関節部130、リンク及び撮像部140に作用している力等の情報をアーム状態として取得することができる。アーム状態取得部241は、取得したアーム情報を演算条件設定部242に送信する。
演算条件設定部242は、一般化逆動力学を用いた全身協調制御に関する演算における演算条件を設定する。ここで、演算条件とは、運動目的及び拘束条件であってよい。運動目的は、アーム部120の運動に関する各種の情報であってよい。具体的には、運動目的は、撮像部140の位置及び姿勢(座標)、速度、加速度並びに力等の目標値であったり、アーム部120の複数の関節部130及び複数のリンクの位置(座標)、速度、加速度及び力等の目標値であったりしてもよい。また、拘束条件は、アーム部120の運動を制限(拘束)する各種の情報であってよい。具体的には、拘束条件は、アーム部の各構成部材が移動不可能な領域の座標や、移動不可能な速度、加速度の値、発生不可能な力の値等であってよい。また、拘束条件における各種の物理量の制限範囲は、アーム部120の構造的に実現することが不可能であることから設定されてもよいし、ユーザによって適宜設定されてもよい。また、演算条件設定部242は、アーム部120の構造についての物理モデル(例えば、アーム部120を構成するリンクの数や長さ、リンクの関節部130を介した接続状況、関節部130の可動範囲等がモデル化されたもの)を有し、当該物理モデルに、所望の運動条件及び拘束条件が反映された制御モデルを生成することにより、運動条件及び拘束条件を設定してもよい。
本実施形態においては、運動目的及び拘束条件を適切に設定することにより、アーム部120に所望の動作を行わせることが可能となる。例えば、運動目的として、撮像部140の位置の目標値を設定することにより撮像部140をその目標の位置に移動させることはもちろんのこと、アーム部120が空間上の所定の領域内に侵入しないようにする等、拘束条件によって移動の制約を設けてアーム部120を駆動させることも可能である。
運動目的の具体例として、例えば、運動目的は、撮像部140の撮影方向が施術部位に固定された状態で、撮像部140が施術部位を頂点とした円錐の面内を移動する、当該円錐の軸を旋回軸とした旋回動作である、ピボット動作であってもよい。また、当該ピボット動作においては、撮像部140と円錐の頂点に当たる点との距離が一定に保たれた状態で旋回動作が行われてもよい。このようなピボット動作を行うことにより、観察部位を等距離からかつ異なる角度から観察できるようになるため、手術を行うユーザの利便性を向上させることができる。
また、他の具体例として、運動目的は、各関節部130における発生トルクを制御する内容であってもよい。具体的には、運動目的は、アーム部120に作用する重力を打ち消すように関節部130の状態を制御するとともに、更に外部から与えられた力の方向へのアーム部120の移動をサポートするように関節部130の状態を制御するパワーアシスト動作であってもよい。より具体的には、パワーアシスト動作においては、アーム部120の各関節部130における重力による外トルクを打ち消す発生トルクを各関節部130に生じさせるように各関節部130の駆動が制御されることにより、アーム部120の位置及び姿勢が所定の状態で保持される。この状態で更に外部から(例えばユーザから)外トルクが加えられた場合に、与えられた外トルクと同じ方向の発生トルクを各関節部130に生じさせるように各関節部130の駆動が制御される。このようなパワーアシスト動作を行うことにより、ユーザが手動でアーム部120を動かす場合に、ユーザはより小さい力でアーム部120を移動させることができるため、あたかも無重力下でアーム部120を動かしているような感覚をユーザに対して与えることができる。また、上述したピボット動作と当該パワーアシスト動作とを組み合わせることも可能である。
ここで、本実施形態において、運動目的とは、全身協調制御において実現されるアーム部120の動作(運動)を意味していてもよいし、当該動作における瞬時的な運動目的(すなわち、運動目的における目標値)を意味していてもよい。例えば上記のピボット動作であれば、撮像部140がピボット動作を行うこと自体が運動目的であるが、ピボット動作を行っている最中においては、当該ピボット動作における円錐面内での撮像部140の位置や速度等の値が、瞬時的な運動目的(当該運動目的における目標値)として設定されている。また例えば上記のパワーアシスト動作であれば、外部から加えられた力の方向へのアーム部120の移動をサポートするパワーアシスト動作を行うこと自体が運動目的であるが、パワーアシスト動作を行っている最中においては、各関節部130に加えられる外トルクと同じ方向への発生トルクの値が、瞬時的な運動目的(当該運動目的における目標値)として設定されている。本実施形態における運動目的は、瞬時的な運動目的(例えばある時間におけるアーム部120の各構成部材の位置や速度、力等の目標値)と、瞬時的な運動目的が連続的に達成された結果、経時的に実現されるアーム部120の各構成部材の動作の、双方を含む概念である。全身協調制御部240における全身協調制御のための演算における各ステップでは瞬時的な運動目的がその都度設定され、当該演算が繰り返し行われることにより、最終的に所望の運動目的が達成される。
なお、本実施形態においては、運動目的が設定される際に、各関節部130の回転運動における粘性抵抗係数も適宜設定されてよい。上述したように、本実施形態に係る関節部130は、アクチュエータの回転運動における粘性抵抗係数を適宜調整できるように構成される。従って、運動目的の設定に際して各関節部130の回転運動における粘性抵抗係数も設定することにより、例えば外部から加えられる力に対して回転しやすい状態や回転し難い状態を実現することができる。例えば上述したパワーアシスト動作であれば、関節部130における粘性抵抗係数が小さく設定されることにより、ユーザがアーム部120を移動させる際に要する力がより小さくてよく、ユーザに与えられる無重力感がより助長される。このように、各関節部130の回転運動における粘性抵抗係数は、運動目的の内容に応じて適宜設定されてよい。
ここで、本実施形態においては、後述するように、記憶部220には、全身協調制御に関する演算において用いられる運動目的や拘束条件等の演算条件に関するパラメータが格納されていてもよい。演算条件設定部242は、記憶部220に記憶されている拘束条件を、全身協調制御の演算に用いる拘束条件として設定することができる。
また、本実施形態においては、演算条件設定部242は、複数の方法によって運動目的を設定することができる。例えば、演算条件設定部242は、アーム状態取得部241から送信されるアーム状態に基づいて運動目的を設定してもよい。上述したように、アーム状態には、アーム部120の位置の情報やアーム部120に対して作用する力の情報が含まれる。従って、例えばユーザがアーム部120を手動で移動させようとしている場合には、アーム状態取得部241によって、ユーザがアーム部120をどのように移動させようとしているか、に関する情報もアーム状態として取得される。従って、演算条件設定部242は、取得されたアーム状態に基づいて、ユーザがアーム部120を移動させた位置や速度、力等を瞬時的な運動目的として設定することができる。このように運動目的が設定されることにより、アーム部120の駆動は、ユーザによるアーム部120の移動を追随し、サポートするように制御される。
また、例えば、演算条件設定部242は、入力部210からユーザによって入力される指示に基づいて運動目的を設定してもよい。後述するが、入力部210は、ユーザが制御装置20にロボットアーム装置10の駆動制御に関する情報や命令等を入力するための入力インターフェースであり、本実施形態においては、ユーザによる入力部210からの操作入力に基づいて、運動目的が設定されてもよい。具体的には、入力部210は、例えばレバー、ペダル等のユーザが操作する操作手段を有し、当該レバー、ペダル等の操作に応じて、アーム部120の各構成部材の位置や速度等が、演算条件設定部242によって瞬時的な運動目的として設定されてもよい。
更に、例えば、演算条件設定部242は、記憶部220に記憶されている運動目的を、全身協調制御の演算に用いる運動目的として設定してもよい。例えば、空間上の所定の点で撮像部140が静止するという運動目的であれば、当該所定の点の座標を運動目的として予め設定することができる。また、例えば、撮像部140が空間上において所定の軌跡上を移動するという運動目的であれば、当該所定の軌跡を表す各点の座標を運動目的として予め設定することができる。このように、運動目的が予め設定できるものである場合には、当該運動目的が予め記憶部220に記憶されていてもよい。また、例えば上述したピボット動作であれば、運動目的は円錐の面内における位置や速度等を目標値とするものに限られるし、パワーアシスト動作であれば、運動目的は力を目標値とするものに限られる。このように、ピボット動作やパワーアシスト動作のような運動目的が予め設定されている場合には、これらの運動目的における瞬時的な運動目的として設定され得る目標値の範囲や種類等に関する情報が、記憶部220に記憶されていてもよい。演算条件設定部242は、このような運動目的に関する各種の情報も含めて、運動目的として設定することができる。
なお、演算条件設定部242が、上記のいずれの方法で運動目的を設定するかは、ロボットアーム装置10の用途等に応じてユーザによって適宜設定可能であってよい。また、演算条件設定部242は、また、上記の各方法を適宜組み合わせることにより、運動目的及び拘束条件を設定してもよい。なお、記憶部220に格納されている拘束条件の中に運動目的の優先度が設定されていてもよく、複数の互いに異なる運動目的が存在する場合には、演算条件設定部242は、当該拘束条件の優先度に応じて運動目的を設定してもよい。演算条件設定部242は、アーム状態並びに設定した運動目的及び拘束条件を仮想力算出部243に送信する。
仮想力算出部243は、一般化逆動力学を用いた全身協調制御に関する演算における仮想力を算出する。仮想力算出部243が行う仮想力の算出処理は、例えば、上記<2-2-1.仮想力算出処理>で説明した一連の処理であってよい。仮想力算出部243は、算出した仮想力fvを実在力算出部244に送信する。
実在力算出部244は、一般化逆動力学を用いた全身協調制御に関する演算における実在力を算出する。実在力算出部244が行う実在力の算出処理は、例えば、上記<2-2-2.実在力算出処理>で説明した一連の処理であってよい。実在力算出部244は、算出した実在力(発生トルク)τaを理想関節制御部250に送信する。なお、本実施形態においては、実在力算出部244によって算出された発生トルクτaのことを、全身協調制御における関節部130の制御値という意味で、制御値又は制御トルク値とも呼称する。
理想関節制御部250は、一般化逆動力学を用いた理想関節制御に関する各種の演算を行う。本実施形態では、理想関節制御部250は、実在力算出部244によって算出された発生トルクτaに対して外乱の影響を補正することにより、アーム部120の理想的な応答を実現するトルク指令値τを算出する。なお、理想関節制御部250によって行われる演算処理は、上記<2-3.理想関節制御について>で説明した一連の処理に対応している。
理想関節制御部250は、外乱推定部251及び指令値算出部252を有する。
外乱推定部251は、トルク指令値τと、回転角度検出部133によって検出された回転角度qから算出される回転角速度に基づいて、外乱推定値τdを算出する。なお、ここでいうトルク指令値τは、最終的にロボットアーム装置10に送信されるアーム部120での発生トルクを表す指令値である。このように、外乱推定部251は、図4に示す外乱オブザーバ620に対応する機能を有する。
指令値算出部252は、外乱推定部251によって算出された外乱推定値τdを用いて、最終的にロボットアーム装置10に送信されるアーム部120に生じさせるトルクを表す指令値であるトルク指令値τを算出する。具体的には、指令値算出部252は、上記数式(12)に示す関節部130の理想モデルから算出されるτrefに外乱推定部251によって算出された外乱推定値τdを加算することにより、トルク指令値τを算出する。例えば、外乱推定値τdが算出されていない場合には、トルク指令値τはトルク目標値τrefとなる。このように、指令値算出部252の機能は、図4に示す外乱オブザーバ620以外の機能に対応している。
以上説明したように、理想関節制御部250においては、外乱推定部251と指令値算出部252との間で繰り返し情報のやり取りが行われることにより、図4を参照して説明した一連の処理が行われる。理想関節制御部250は算出したトルク指令値τをロボットアーム装置10の駆動制御部111に送信する。駆動制御部111は、送信されたトルク指令値τに対応する電流量を、関節部130のアクチュエータにおけるモータに対して供給する制御を行うことにより、当該モータの回転数を制御し、関節部130における回転角度及び発生トルクを制御する。
本実施形態に係るロボットアーム制御システム1においては、ロボットアーム装置10におけるアーム部120の駆動制御は、アーム部120を用いた作業が行われている間継続的に行われるため、ロボットアーム装置10及び制御装置20における以上説明した処理が繰り返し行われる。すなわち、ロボットアーム装置10の関節状態検出部132によって関節部130の状態が検出され、制御装置20に送信される。制御装置20では、当該関節部130の状態と、運動目的及び拘束条件とに基づいて、アーム部120の駆動を制御するための全身協調制御及び理想関節制御に関する各種の演算が行われ、演算結果としてのトルク指令値τがロボットアーム装置10に送信される。ロボットアーム装置10では、当該トルク指令値τに基づいてアーム部120の駆動が制御され、駆動中又は駆動後の関節部130の状態が、再び関節状態検出部132によって検出される。
制御装置20が有する他の構成についての説明を続ける。
入力部210は、ユーザが制御装置20にロボットアーム装置10の駆動制御に関する情報や命令等を入力するための入力インターフェースである。本実施形態においては、ユーザによる入力部210からの操作入力に基づいて、ロボットアーム装置10のアーム部120の駆動が制御され、撮像部140の位置及び姿勢が制御されてもよい。具体的には、上述したように、ユーザによって入力部210から入力されたアームの駆動の指示に関する指示情報が演算条件設定部242に入力されることにより、演算条件設定部242が当該指示情報に基づいて全身協調制御における運動目的を設定してもよい。このように、ユーザが入力した指示情報に基づく運動目的を用いて全身協調制御が行われることにより、ユーザの操作入力に応じたアーム部120の駆動が実現される。
具体的には、入力部210は、例えばマウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等のユーザが操作する操作手段を有する。例えば入力部210がペダルを有する場合、ユーザは当該ペダルを足で操作することによりアーム部120の駆動を制御することができる。従って、ユーザが患者の施術部位に対して両手を使って処置を行っている場合であっても、足によるペダルの操作によって撮像部140の位置及び姿勢、すなわち、施術部位の撮影位置や撮影角度を調整することができる。
記憶部220は、制御装置20によって処理される各種の情報を記憶する。本実施形態においては、記憶部220は、制御部230によって行われる全身協調制御及び理想関節制御に関する演算において用いられる各種のパラメータを記憶することができる。例えば、記憶部220は、全身協調制御部240による全身協調制御に関する演算において用いられる運動目的及び拘束条件を記憶していてもよい。記憶部220が記憶する運動目的は、上述したように、例えば撮像部140が空間上の所定の点で静止することのような、予め設定され得る運動目的であってよい。また、拘束条件は、アーム部120の幾何的な構成やロボットアーム装置10の用途等に応じて、ユーザによって予め設定され、記憶部220に格納されていてもよい。また、記憶部220には、アーム状態取得部241がアーム状態を取得する際に用いるアーム部120に関する各種の情報が記憶されていてもよい。更に、記憶部220には、制御部230による全身協調制御及び理想関節制御に関する演算における演算結果や演算過程で算出される各数値等が記憶されてもよい。このように、記憶部220には、制御部230によって行われる各種の処理に関するあらゆるパラメータが格納されていてよく、制御部230は、記憶部220と相互に情報を送受信しながら各種の処理を行うことができる。
以上、制御装置20の機能及び構成について説明した。なお、本実施形態に係る制御装置20は、例えばPC(Personal Computer)やサーバ等の各種の情報処理装置(演算処理装置)によって構成することができる。次に、表示装置30の機能及び構成について説明する。
表示装置30は、各種の情報を表示画面上にテキスト、イメージ等様々な形式で表示することにより、当該情報をユーザに対して視覚的に通知する。本実施形態においては、表示装置30は、ロボットアーム装置10の撮像部140によって撮影された画像を表示画面上に表示する。具体的には、表示装置30は、撮像部140によって取得された画像信号に各種の画像処理を施す画像信号処理部(図示せず。)や処理された画像信号に基づく画像を表示画面上に表示させる制御を行う表示制御部(図示せず。)等の機能及び構成を有する。なお、表示装置30は、上記の機能及び構成以外にも、一般的に表示装置が有する各種の機能及び構成を有してもよい。表示装置30は、図1に示す表示装置5041に対応している。
以上、図5を参照して、本実施形態に係るロボットアーム装置10、制御装置20及び表示装置30の機能及び構成について説明した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
以上説明したように、本実施形態によれば、ロボットアーム装置10における多リンク構造体であるアーム部120が、少なくとも6自由度以上の自由度を有するとともに、当該アーム部120を構成する複数の関節部130のそれぞれの駆動が駆動制御部111によって制御される。そして、当該アーム部120の先端には医療用器具が設けられる。このように、各関節部130の駆動が制御されることにより、より自由度の高いアーム部120の駆動制御が実現され、よりユーザにとって操作性の高い医療用のロボットアーム装置10が実現される。
より具体的には、本実施形態によれば、ロボットアーム装置10において、関節状態検出部132によって関節部130の状態が検出される。そして、制御装置20において、当該関節部130の状態と、運動目的及び拘束条件とに基づいて、アーム部120の駆動を制御するための一般化逆動力学を用いた全身協調制御に関する各種の演算が行われ、演算結果としてのトルク指令値τが算出される。更に、ロボットアーム装置10において、当該トルク指令値τに基づいてアーム部120の駆動が制御される。このように、本実施形態においては、一般化逆動力学を用いた全身協調制御により、アーム部120の駆動が制御される。従って、力制御によるアーム部120の駆動制御が実現され、よりユーザにとって操作性の高いロボットアーム装置が実現される。また、本実施形態では、全身協調制御において、例えばピボット動作やパワーアシスト動作といった、よりユーザの利便性を向上させる各種の運動目的を実現する制御が可能となる。更に、本実施形態においては、例えばアーム部120を手動で移動させたり、ペダルからの操作入力により移動させたりといった、多様な駆動手段が実現されるため、ユーザの利便性の更なる向上が実現される。
また、本実施形態においては、アーム部120の駆動制御について、全身協調制御と併せて理想関節制御が適用される。理想関節制御においては、関節部130内部の摩擦や慣性等の外乱成分を推定し、推定した外乱成分を用いたフィードフォワード制御が行われる。従って、摩擦等の外乱成分がある場合であっても、関節部130の駆動について理想的な応答を実現することができる。よって、アーム部120の駆動制御において、振動等の影響がより少ない、高精度の応答性と高い位置決め精度や安定性が実現される。
更に、本実施形態においては、アーム部120を構成する複数の関節部130のそれぞれが、理想関節制御に適合した構成を有し、各関節部130における回転角度、発生トルク及び粘性抵抗係数を電流値によって制御することができる。このように、各関節部130の駆動が電流値によって制御され、また、全身協調制御により各関節部130の駆動がアーム部120全体の状態を把握しながら制御されるため、カウンターバランスが不要となり、ロボットアーム装置10の小型化が実現される。
<<3.斜視鏡の基本的構成>>
続いて、内視鏡の例として斜視鏡の基本的構成について説明する。
続いて、内視鏡の例として斜視鏡の基本的構成について説明する。
図6は、本開示の一実施形態に係る斜視鏡4100の構成を示す模式図である。図6に示すように、斜視鏡4100は、カメラヘッド4200の先端に装着されている。斜視鏡4100は図1及び図2で説明した鏡筒5003に対応し、カメラヘッド4200は、図1及び図2で説明したカメラヘッド5005に対応する。斜視鏡4100とカメラヘッド4200は互いに独立して回動可能とされている。斜視鏡4100とカメラヘッド4200の間には、各関節部5033a,5033b,5033cと同様にアクチュエータが設けられており、斜視鏡4100はアクチュエータの駆動によってカメラヘッド4200に対して回転する。これにより、後述する回転角θZが制御される。
斜視鏡4100は支持アーム装置5027によって支持される。支持アーム装置5027は、スコピストの代わりに斜視鏡4100を保持し、また術者や助手の操作によって斜視鏡4100を所望の部位が観察できるように移動させる機能を有する。
図7は、斜視鏡4100と直視鏡4150を対比して示す模式図である。直視鏡4150では、対物レンズの被写体への向き(C1)と直視鏡4150の長手方向(C2)は一致する。一方、斜視鏡4100では、対物レンズの被写体への向き(C1)は、斜視鏡4100の長手方向(C2)に対して所定の角度φを有している。
図8及び図9は、斜視鏡4100を腹壁4320から人体内部に挿入して観察対象物4300を観察している様子を示す模式図である。図8及び図9において、トロッカ点Tは、トロッカ5025aが配置される位置であり、人体への斜視鏡4100の挿入位置を示している。図8及び図9に示すC3方向は、トロッカ点Tと観察対象物4300を結ぶ方向である。観察対象物4300の前に臓器などの障害物4310が存在する場合、直視鏡4150で図8及び図9に示すC3方向から観察対象物4300を観察すると、障害物4310の陰となって観察対象物4300の全域を観察することができない。図8では、斜視鏡4100を用い、斜視鏡4100の挿入方向がC3方向とは異なる状態4400と、状態4400の場合に斜視鏡4100で撮像した撮像画像4410を示している。斜視鏡4100を用いた場合であっても、図8に示す状態4400では、観察対象物4300は障害物4310の陰となってしまう。
一方、図9は、図8の状態に加え、斜視鏡4100の挿入方向を図8の状態4400から変え、対物レンズの向きも変えた状態4420と、状態4420の場合の撮像画像4430を示している。図9の状態4420のように斜視鏡4100の挿入方向を変え、対物レンズの向きも変えることで、障害物4310に遮られることなく、視点を変えて観察対象物4300を観察することが可能となる。
<<4.本実施形態に係る斜視鏡を支持するアームの制御>>
本実施形態では、ハンドアイコーディネイトを維持した斜視鏡ホルダアームを実現することを可能とする技術について主に説明する。なお、ハンドアイコーディネイトは、手の感覚と目の感覚(視覚)との協調(手の感覚と目の感覚(視覚)とが合うこと)を意味し得る。かかる技術は、「(1)斜視鏡ユニットを、複数の連動リンクとしてモデル化すること」を特徴の一つとして有する。また、かかる技術は、「(2)アームの全身協調制御を拡張し、相対運動空間と連動リンクとの関係性を用い制御を行うこと」を特徴の一つとして有する。
本実施形態では、ハンドアイコーディネイトを維持した斜視鏡ホルダアームを実現することを可能とする技術について主に説明する。なお、ハンドアイコーディネイトは、手の感覚と目の感覚(視覚)との協調(手の感覚と目の感覚(視覚)とが合うこと)を意味し得る。かかる技術は、「(1)斜視鏡ユニットを、複数の連動リンクとしてモデル化すること」を特徴の一つとして有する。また、かかる技術は、「(2)アームの全身協調制御を拡張し、相対運動空間と連動リンクとの関係性を用い制御を行うこと」を特徴の一つとして有する。
まず、斜視鏡の使用方法と動作について説明する。図10は、斜視鏡の光軸を説明するための図である。図10を参照すると、斜視鏡4100における硬性鏡軸C2および斜視鏡光軸C1が示されている。また、図11は、斜視鏡の動作を説明するための図である。図11を参照すると、斜視鏡光軸C1は、硬性鏡軸C2に対して傾斜している。また、図11を参照すると、内視鏡装置423はカメラヘッドCHを有している。
ここで、スコピストは手術中に、斜視鏡の回転操作に伴い、術者のハンドアイコーディネイトを維持するため、カメラヘッドCHを回転させ、モニタ画面の調整を行う。そして、スコピストがカメラヘッドCHを回転させると、硬性鏡軸C2周りにアーム動特性が変化する。モニタ上の表示画面は、斜視鏡光軸C1周りに回転する。図11には、硬性鏡軸C2周りの回転角度がqiとして示され、斜視鏡光軸C1周りの回転角度がqi+1として示されている。
続いて、上記の「(1)斜視鏡ユニットを、複数の連動リンクとしてモデル化すること」について説明する。本実施形態においては、上記のような硬性鏡軸C2周りの動作および斜視鏡光軸C1周りの動作の特性をモデル化して制御を行う。まず、斜視鏡を、実回転リンクと仮想回転リンクとでモデル化する。なお、本実施形態においては、実リンクの例として実回転リンクを用い、仮想リンクの例として仮想回転リンクを用いて主に説明する。しかし、実回転リンクの代わりに他の実リンク(並進する実リンクなど)が用いられてもよいし、仮想回転リンクの代わりに他の仮想リンク(並進する仮想リンクなど)が用いられてもよい。実回転リンクの軸は、硬性鏡軸C2(=イメージャの回転軸)であってよく、仮想回転リンクの軸は、斜視鏡光軸C1であってよい。ここで、仮想回転リンクは、実際には存在しないリンクであり、実回転リンクと連動して動作を行う。
図12は、モデル化と制御について説明するための図である。図12を参照すると、各リンクにおける回転角度が示されている。また、図12を参照すると、モニタ座標系MNTが示されている。具体的には、下記の(13)で表される相対運動空間cが0になるように制御がなされる。
続いて、上記の「(2)アームの全身協調制御を拡張し、相対運動空間と連動リンクとの関係性を用い制御を行うこと」について説明する。本実施形態においては、連動リンクと相対運動空間を用いた拡張により、統一的に全身協調制御を行う。関節空間には、実回転軸と仮想回転軸が考慮される。実回転軸と仮想回転軸は、アーム構成に依らない。また、運動目的には、デカルト空間に加え、相対運動空間が考慮される。デカルト空間の運動目的を変えることで、様々な動作が可能となる。
例えば、かかる全身協調制御の拡張を6軸アームおよび斜視鏡ユニットに適用した場合を想定する。図3には、各リンクにおける回転角度がq1~q8として示されている。q7が上記の実回転リンクの軸(=イメージャの回転軸)周りの回転角度に相当し、q8が仮想回転リンクの軸周りの回転角度に相当している。図13および図14は、全身協調制御の拡張を6軸アームおよび斜視鏡ユニットに適用した場合における各リンク構成の例を示す図である。このとき、制御式は、下記の(14)のように表される。
ここで、上記の(14)において、q8の時間微分値と相対運動空間cの時間微分値とが、全身協調制御の拡張部分に相当する。
以上、「(2)アームの全身協調制御を拡張し、相対運動空間と連動リンクとの関係性を用い制御を行うこと」について説明した。
<<5.仮想リンクの設定>>
続いて、仮想リンクの設定について説明する。演算条件設定部242は、仮想リンクの例としての仮想回転リンクを設定する仮想リンク設定部として機能し得る。例えば、演算条件設定部242は、仮想リンクの距離および向きの少なくともいずれか一方を設定することによって仮想リンクを設定する。図13に「仮想回転リンク」と「実回転リンク」との例が示されている。図13に示されるように、実回転リンクは、スコープの鏡筒軸に対応するリンクである。仮想回転リンクは、スコープの斜視鏡光軸C1に対応するリンクである。
続いて、仮想リンクの設定について説明する。演算条件設定部242は、仮想リンクの例としての仮想回転リンクを設定する仮想リンク設定部として機能し得る。例えば、演算条件設定部242は、仮想リンクの距離および向きの少なくともいずれか一方を設定することによって仮想リンクを設定する。図13に「仮想回転リンク」と「実回転リンク」との例が示されている。図13に示されるように、実回転リンクは、スコープの鏡筒軸に対応するリンクである。仮想回転リンクは、スコープの斜視鏡光軸C1に対応するリンクである。
演算条件設定部242は、アームの実回転リンク先端と、斜視鏡光軸C1上に存在する任意の点及び上記点間を結ぶ線を基準に定義された座標系に基づき仮想回転リンクをモデル化し、全身協調制御を用いる。これによって、アームのハードウェア構成に依存せずに、仮想回転リンク座標系における姿勢固定や、術中であればスコープ挿入位置となるトロッカ点の位置を維持しながら仮想回転リンク先端にある任意点方向への視点固定などの運動目的の実現が可能となる。なお、実回転リンク先端は、アーム上の光軸C1が通過する点を意味し得る。
演算条件設定部242は、接続されるスコープ仕様や、空間上の任意の点に基づいて仮想回転リンクを設定することが可能である。スコープ仕様に基づく仮想回転リンクの設定によれば、仮想回転リンクが設定される条件を、特定のスコープが用いられる場合に限定する必要がないため、スコープ変更時に仮想回転リンク設定による動的なモデル更新のみで、運動目的の動作実現が可能となる。
スコープ仕様は、スコープの構造的仕様およびスコープの機能的仕様のうち少なくともいずれか一方を含み得る。このとき、スコープの構造的仕様は、スコープの斜視角、スコープの寸法のうち少なくともいずれか一方を含んでよい。スコープ仕様は、スコープの軸の位置を含んでもよい(スコープの軸に関する情報は、実回転リンクの設定に利用され得る)。また、スコープの機能的仕様は、スコープのフォーカス距離を含んでよい。
例えば、スコープ仕様に基づく仮想回転リンク設定のケースにおいては、斜視角情報からは実回転リンク先端からの接続リンクとなる仮想回転リンクの方向決定が可能となる。また、スコープ寸法情報からは実回転リンク先端に接続する仮想回転リンクまでの距離の決定が可能となる。フォーカス距離情報からは、フォーカス点を運動目的の固定対象とするために仮想回転リンクの長さを決定することが可能となる。これによって、同一制御アルゴリズムを用いて、仮想回転リンクの設定変更のみで、様々な種類のスコープ変更に対応した運動目的の動作実現が可能となる。
さらに、スコープが変更される場合において、上記の仮想回転リンクは、アームのハードウェア構成に依存しない仮想的なリンクとして動的に変更され得る。例えば、斜視角30度の斜視鏡から斜視角45度の斜視鏡に変更された際に、変更後のスコープ仕様に基づき新たな仮想回転リンクを再設定することが可能となる。これによって、スコープ変更に応じた運動目的の切り替えが可能となる。
スコープ仕様に基づく仮想回転リンク設定は、スコープ仕様の情報がアームシステムに設定された時点で更新されるが、アームシステムへの情報入力手段は限定されない。例えば、演算条件設定部242が、スコープ接続時にスコープに対応するスコープIDを認識し、認識したスコープIDに対応するスコープの仕様を取得することも可能である。
このとき、演算条件設定部242は、スコープIDがスコープのメモリに書き込まれている場合には、当該メモリから読み込んだスコープIDを認識してもよい。かかる場合には、変更後のスコープ仕様がユーザから入力されなくても仮想回転リンクが更新されるため、手術をスムーズに継続され得る。あるいは、スコープ表面にスコープIDの表記がある場合などには、当該スコープIDを見たユーザが入力部210を介してスコープIDを入力情報として入力し、演算条件設定部242は、入力情報に基づいてスコープIDを認識してもよい。
また、スコープIDに対応するスコープ仕様は、どこから取得されてもよい。例えば、スコープ仕様がアームシステム内のメモリに蓄積されている場合には、アームシステム内のメモリからスコープ仕様が取得されてもよい。あるいは、スコープ仕様がネットワークに接続された外部装置に蓄積されている場合には、ネットワーク経由でスコープ仕様が取得されてもよい。このようにして取得されたスコープ仕様に基づいて仮想回転リンクが自動設定され得る。
仮想回転リンクは、接続されるスコープ先端から任意の距離に存在する観察対象物の任意点を仮想回転リンク先端として設定することも考えられる。そこで、演算条件設定部242は、センサから得られるスコープ先端から観察対象物までの距離または向きに基づいて仮想回転リンクを設定または変更してもよい。演算条件設定部242は、観察対象物の位置が動的に変化するケースにおいても、観察対象物の空間的な位置を特定するためのセンサ情報を基に、スコープ先端に対する方向や距離情報を取得し、その情報をもとに仮想回転リンクの設定または更新を行ってもよい。これによって、観察対象物を注視し続ける動作要求に対して、術中に観察対象物の切り替えを行いながら、注視動作の実現が可能となる。
センサの種類は特に限定されない。例えば、センサは、測距センサ、可視光センサおよび赤外線センサの少なくともいずれか一つを含んでもよい。また、センサ情報はどのように取得されてもよい。
例えば、UI(ユーザインタフェース)が用いられる場合、ユーザがモニタ上あるいは3次元データ上の任意の点をダイレクト指定することでその位置情報を決定できてもよい。ユーザのダイレクト操作により、直感的にあらゆる部位やポイントを観察対象物として指定可能となる。すなわち、演算条件設定部242は、表示装置30によって表示される像上の座標が入力部210を介して入力された場合、その座標に基づいて観察対象物を決定し、観察対象物からスコープの先端までの距離または向きに基づいて仮想回転リンクを設定してもよい。この場合、ダイレクト指定は、どのような操作によって行われてもよく、画面のタッチ操作であってもよいし、視線による注視操作などであってもよい。
また、画像認識技術を使用するケースにおいては、取得した2Dあるいは3D映像情報から特定の観察対象物の位置を自動認識して、空間的な位置を特定することも可能である。すなわち、演算条件設定部242は、画像認識によって認識される(観察対象物からスコープの先端までの)距離または向きに基づいて仮想回転リンクを設定してもよい。
画像認識による観察対象物の空間的な位置特定の技術を用いた場合、観察対象物の動的な動きがあるケースにおいてもその位置をリアルタイムに取得してもよい。すなわち、演算条件設定部242は、画像認識によって動的に認識される(観察対象物からスコープの先端までの)距離または向きに基づいて仮想回転リンクを動的に更新してもよい。これによって、仮想回転リンク先端点をリアルタイムに更新可能となる。例えば、動きのある観察対象物であっても、画像認識により観察対象物として認識し続けることで、注視継続を行うことが可能となる。
例えば、演算条件設定部242は、仮想回転リンク先端情報に基づく姿勢固定や視点固定の運動目的を継続するためのアーム姿勢変更量を全身協調制御により算出し、アーム上の各実回転リンクの回転指令として反映してもよい。これによって、観察対象物の追従(特に術中であれば鉗子追従など)の実現も可能となる。すなわち、仮想回転リンク中心に観察対象物を捉え続ける運動目的を、実回転リンクの制御により実現することができる。
また、手術のケースにおいては、ナビゲーションシステムやCT装置を利用することで患者の特定部位の空間的な位置を特定することができる。すなわち、演算条件設定部242は、ナビゲーションシステムまたはCT装置によって認識される(観察対象物からスコープの先端までの)距離または向きに基づいて仮想回転リンクを設定してもよい。これによって、手術目的に合わせて特定部位とスコープとの関係に基づく任意の運動目的の実現が可能となる。
さらに、CT装置やMRI装置など術前に取得した患者座標情報は、術中のナビゲーションシステムやCT装置と組み合わせることで、患者の特定部位の空間的な位置を術中にリアルタイムに特定することができる。すなわち、演算条件設定部242は、術前にCT装置またはMRI装置によって取得された患者座標情報と、術中にナビゲーションシステムまたはCT装置によって動的に認識される(観察対象物からスコープの先端までの)距離または向きとに基づいて、仮想回転リンクを動的に更新してもよい。これによって、手術目的に合わせて特定部位とスコープとの関係に基づく任意の運動目的の実現が可能となる。
また、アームの移動または姿勢変化により、アーム実回転リンク先端の空間的な位置は変化する。しかし、アーム仮想回転リンク先端に位置する観察対象物が静止しているようなケースでは、仮想回転リンク長(アーム実回転リンク先端と観察対象物の距離)の更新により観察対象部を仮想回転リンク先端に維持するような運動目的を実現してもよい。すなわち、演算条件設定部242は、アームの移動量または姿勢に応じて仮想回転リンクを動的に更新してもよい。これによって、ユーザは観察対象物を継続して観察し続けることが可能となる。
上記では、スコープが斜視鏡である場合を主に想定した。しかし、上記したように、スコープ仕様に基づきスコープの斜視角を任意に変更可能である。したがって、スコープは、直視鏡であってもよいし、側視鏡であってもよい。すなわち、演算条件設定部242は、任意の斜視角を持つ内視鏡(直視鏡、斜視鏡、側視鏡含む)の切り替えに対応して、仮想回転リンクの設定変更が可能である。あるいは、任意の斜視角を持つ内視鏡として、同一デバイス内で斜視角を変更可能な(斜視角可変型の斜視鏡)が存在する。そこで、スコープとして、斜視角可変型の斜視鏡が用いられてもよい。通常はスコープ切り替えにより斜視角を変更するが、斜視角可変型の斜視鏡を用いれば、同一デバイスで斜視角変更が可能となる。
図18は、斜視角可変型の斜視鏡について説明するための図である。図18を参照すると、斜視角可変型の斜視鏡の斜視角が、0°、30°、45°、90°、120°の間で変更可能である様子が示されている。しかし、斜視角可変型の斜視鏡の斜視角の変更範囲は、これらの角度に限定されない。斜視鏡の切り替え時と同様に、変更後の斜視角情報をアームシステムで検知あるいはアームシステムに入力することで、仮想回転リンクの設定変更による任意の運動目的の実現が可能となる。
一般に、斜視鏡スコープの体内挿入量を変更するズーム操作や、斜視鏡視野方向を変えるスコープ回転操作といったユースケースにおいては、斜視鏡光軸方向を考慮せずにアーム実回転リンク情報だけを基準にその操作を行った場合、観察対象物をカメラ中心に捉え続けることは難しい。
これに対し、観察対象物を先端とした仮想回転リンクをモデル化することで、アーム実回転リンクとその先に接続される仮想回転リンクとの接続関係(斜視鏡の場合斜視角に相当)を維持したまま、仮想回転リンク先端注視動作を運動目的として与えるとよい。すなわち、演算条件設定部242は、斜視鏡のズーム操作または回転操作に基づいて、仮想回転リンクを動的に更新するとよい。かかる例について、図19および図20を参照しながら説明する。
図19は、斜視角固定型の斜視鏡のズーム操作を考慮した仮想回転リンクの更新について説明するための図である。図19を参照すると、斜視角固定型の斜視鏡4100と観察対象物4300とが示されている。例えば、図19に示されるように、演算条件設定部242は、ズーム操作が行われた場合、仮想回転リンクの距離および向きを変更することによって(図19に示されるように、拡大操作の場合には、仮想回転リンクの距離を短くし、仮想回転リンクの向きをスコープ軸に対して大きく傾けることによって)、観察対象物4300がカメラ中心に捉えられ、運動目的が実現され得る。なお、斜視角可変型の斜視鏡も、ズーム操作時に観察対象物4300をカメラ中心に捉え続けることが可能である。すなわち、演算条件設定部242は、ズーム操作が行われた場合、仮想回転リンクの向き(姿勢)を固定した状態で、斜視角と仮想回転リンクの距離とを変更することによって、観察対象物4300がカメラ中心に捉えられ、運動目的が実現され得る。
図20は、斜視角固定型の斜視鏡の回転操作を考慮した仮想回転リンクの更新について説明するための図である。図20を参照すると、斜視角固定型の斜視鏡4100と観察対象物4300とが示されている。例えば、図20に示されるように、演算条件設定部242は、回転操作が行われた場合、図20に示されるように、斜視角と仮想回転リンクの距離とを固定した状態で、仮想回転リンクの向き(姿勢)を変更することによって、観察対象物4300がカメラ中心に捉えられ、運動目的が実現され得る。なお、斜視角可変型の斜視鏡も、回転操作時に観察対象物4300をカメラ中心に捉え続けることが可能である。すなわち、演算条件設定部242は、回転操作が行われた場合、仮想回転リンクの距離と仮想回転リンクの向き(姿勢)とを固定した状態で、斜視角を変更することによって、観察対象物4300がカメラ中心に捉えられ、運動目的が実現され得る。
図19および図20に示した例では、観察対象物が静止している場合を主に想定した。しかし、観察対象物が移動する場合も想定される。かかる場合には、上記したような観察対象物の追従と追従した観察対象物に基づくズーム操作または回転操作の運動目的とを組み合わせて実現することも可能である。すなわち、演算条件設定部242は、画像認識によって動的に認識される(観察対象物からスコープの先端までの)距離または向きと、スコープのズーム操作または回転操作とに基づいて、仮想回転リンクを動的に更新してもよい。
以上、仮想回転リンクの設定について説明した。
以上、仮想回転リンクの設定について説明した。
<<6.まとめ>>
本実施形態によれば、術野内の観察対象物の像を取得するスコープを支持する多関節アーム(アーム部120)と、スコープの鏡筒軸に対応する実リンクとスコープの光軸に対応する仮想リンクとの関係に基づいて、多関節アームを制御する制御部(アーム制御部110)と、を備える、医療用支持アームシステムが提供される。かかる構成によれば、斜視鏡を支持するアーム部120が用いられる場合にハンドアイコーディネイトが維持されるようにアーム部120を制御することが可能となる。
本実施形態によれば、術野内の観察対象物の像を取得するスコープを支持する多関節アーム(アーム部120)と、スコープの鏡筒軸に対応する実リンクとスコープの光軸に対応する仮想リンクとの関係に基づいて、多関節アームを制御する制御部(アーム制御部110)と、を備える、医療用支持アームシステムが提供される。かかる構成によれば、斜視鏡を支持するアーム部120が用いられる場合にハンドアイコーディネイトが維持されるようにアーム部120を制御することが可能となる。
より具体的に、本実施形態によれば、斜視鏡を、実回転リンクの軸と仮想回転リンクの軸との複数の連動リンクとしてモデル化し、それを考慮した全身協調制御を用いることで、運動目的やアーム構成に依存しない制御が可能となる。特に、運動目的に、モニタ座標系における姿勢固定の指令を与えることで、ハンドアイコーディネイトを維持したアームの動作を実現することができる。
本実施形態に適用され得る内視鏡の種類は特に限定されない。斜視鏡モデルは、内視鏡を取り付ける際にアームシステムに設定を行えばよい。
図15Aおよび図15Bは、本実施形態に適用され得る斜視鏡の第1の例を示す図である。図15Aおよび図15Bに示すように、本実施形態に係る斜視鏡は、斜視角30°の斜視鏡であってもよい。
図16Aおよび図16Bは、本実施形態に適用され得る斜視鏡の第2の例を示す図である。図16Aおよび図16Bに示すように、本実施形態に係る斜視鏡は、斜視角45°の斜視鏡であってもよい。
図17Aおよび図17Bは、本実施形態に適用され得る斜視鏡の第3の例を示す図である。図17Aおよび図17Bに示すように、本実施形態に係る斜視鏡は、斜視角70°の側視鏡であってもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
術野内の観察対象物の像を取得するスコープを支持する多関節アームと、
前記スコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記多関節アームを制御する制御部と、
を備える、医療用支持アームシステム。
(2)
前記医療用支持アームシステムは、
前記仮想リンクを設定する仮想リンク設定部を備える、
前記(1)に記載の医療用支持アームシステム。
(3)
前記仮想リンク設定部は、前記スコープの仕様に基づいて前記仮想リンクを設定する、
前記(2)に記載の医療用支持アームシステム。
(4)
前記スコープの仕様は、前記スコープの構造的仕様および前記スコープの機能的仕様のうち少なくともいずれか一方を含む、
前記(3)に記載の医療用支持アームシステム。
(5)
前記構造的仕様は、前記スコープの斜視角、前記スコープの寸法のうち少なくともいずれか一方を含み、前記機能的仕様は、前記スコープのフォーカス距離を含む、
前記(4)に記載の医療用支持アームシステム。
(6)
前記仮想リンク設定部は、前記スコープに対応するスコープIDを認識し、認識した前記スコープIDに対応する前記スコープの仕様を取得する、
前記(4)または(5)に記載の医療用支持アームシステム。
(7)
前記仮想リンク設定部は、前記スコープのメモリに書き込まれている前記スコープIDを認識する、
前記(6)に記載の医療用支持アームシステム。
(8)
前記仮想リンク設定部は、ユーザからの入力情報に基づいて前記スコープIDを認識する、
前記(6)に記載の医療用支持アームシステム。
(9)
前記仮想リンク設定部は、センサから得られる前記スコープの先端から前記観察対象物までの距離または向きに基づいて前記仮想リンクを設定する、
前記(2)~(8)のいずれか一項に記載の医療用支持アームシステム。
(10)
前記仮想リンク設定部は、表示装置によって表示される前記像上の座標が入力装置を介して入力された場合、前記座標に基づいて前記観察対象物を決定し、前記観察対象物から前記スコープの先端までの前記距離または前記向きに基づいて前記仮想リンクを設定する、
前記(9)に記載の医療用支持アームシステム。
(11)
前記医療用支持アームシステムは、前記表示装置および前記入力装置の少なくともいずれか一方を有する、
前記(10)に記載の医療用支持アームシステム。
(12)
前記仮想リンク設定部は、画像認識によって認識される前記距離または向きに基づいて前記仮想リンクを設定する、
前記(9)に記載の医療用支持アームシステム。
(13)
前記仮想リンク設定部は、前記画像認識によって動的に認識される前記距離または前記向きに基づいて前記仮想リンクを動的に更新する、
前記(12)に記載の医療用支持アームシステム。
(14)
前記仮想リンク設定部は、ナビゲーションシステムまたはCT装置によって認識される前記距離または向きに基づいて前記仮想リンクを設定する、
前記(9)に記載の医療用支持アームシステム。
(15)
前記仮想リンク設定部は、術前にCT装置またはMRI装置によって取得された患者座標情報と、術中にナビゲーションシステムまたはCT装置によって動的に認識される前記距離または前記向きとに基づいて、前記仮想リンクを動的に更新する、
前記(14)に記載の医療用支持アームシステム。
(16)
前記仮想リンク設定部は、前記多関節アームの移動量または姿勢に応じて前記仮想リンクを動的に更新する、
前記(2)~(15)のいずれか一項に記載の医療用支持アームシステム。
(17)
前記仮想リンク設定部は、前記仮想リンクの距離および向きの少なくともいずれか一方を設定することによって前記仮想リンクを設定する、
前記(2)~(16)のいずれか一項に記載の医療用支持アームシステム。
(18)
前記スコープは、直視鏡、斜視鏡または側視鏡である、
前記(1)~(17)のいずれか一項に記載の医療用支持アームシステム。
(19)
前記スコープは、斜視角可変型の内視鏡である、
前記(1)~(17)のいずれか一項に記載の医療用支持アームシステム。
(20)
前記仮想リンク設定部は、前記スコープのズーム操作または回転操作に基づいて、前記仮想リンクを動的に更新する、
前記(2)~(16)のいずれか一項に記載の医療用支持アームシステム。
(21)
前記仮想リンク設定部は、前記画像認識によって動的に認識される前記距離または前記向きと、前記スコープのズーム操作または回転操作とに基づいて、前記仮想リンクを動的に更新する、
前記(12)に記載の医療用支持アームシステム。
(22)
スコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記スコープを支持する多関節アームを制御する制御部を備える、
制御装置。
(1)
術野内の観察対象物の像を取得するスコープを支持する多関節アームと、
前記スコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記多関節アームを制御する制御部と、
を備える、医療用支持アームシステム。
(2)
前記医療用支持アームシステムは、
前記仮想リンクを設定する仮想リンク設定部を備える、
前記(1)に記載の医療用支持アームシステム。
(3)
前記仮想リンク設定部は、前記スコープの仕様に基づいて前記仮想リンクを設定する、
前記(2)に記載の医療用支持アームシステム。
(4)
前記スコープの仕様は、前記スコープの構造的仕様および前記スコープの機能的仕様のうち少なくともいずれか一方を含む、
前記(3)に記載の医療用支持アームシステム。
(5)
前記構造的仕様は、前記スコープの斜視角、前記スコープの寸法のうち少なくともいずれか一方を含み、前記機能的仕様は、前記スコープのフォーカス距離を含む、
前記(4)に記載の医療用支持アームシステム。
(6)
前記仮想リンク設定部は、前記スコープに対応するスコープIDを認識し、認識した前記スコープIDに対応する前記スコープの仕様を取得する、
前記(4)または(5)に記載の医療用支持アームシステム。
(7)
前記仮想リンク設定部は、前記スコープのメモリに書き込まれている前記スコープIDを認識する、
前記(6)に記載の医療用支持アームシステム。
(8)
前記仮想リンク設定部は、ユーザからの入力情報に基づいて前記スコープIDを認識する、
前記(6)に記載の医療用支持アームシステム。
(9)
前記仮想リンク設定部は、センサから得られる前記スコープの先端から前記観察対象物までの距離または向きに基づいて前記仮想リンクを設定する、
前記(2)~(8)のいずれか一項に記載の医療用支持アームシステム。
(10)
前記仮想リンク設定部は、表示装置によって表示される前記像上の座標が入力装置を介して入力された場合、前記座標に基づいて前記観察対象物を決定し、前記観察対象物から前記スコープの先端までの前記距離または前記向きに基づいて前記仮想リンクを設定する、
前記(9)に記載の医療用支持アームシステム。
(11)
前記医療用支持アームシステムは、前記表示装置および前記入力装置の少なくともいずれか一方を有する、
前記(10)に記載の医療用支持アームシステム。
(12)
前記仮想リンク設定部は、画像認識によって認識される前記距離または向きに基づいて前記仮想リンクを設定する、
前記(9)に記載の医療用支持アームシステム。
(13)
前記仮想リンク設定部は、前記画像認識によって動的に認識される前記距離または前記向きに基づいて前記仮想リンクを動的に更新する、
前記(12)に記載の医療用支持アームシステム。
(14)
前記仮想リンク設定部は、ナビゲーションシステムまたはCT装置によって認識される前記距離または向きに基づいて前記仮想リンクを設定する、
前記(9)に記載の医療用支持アームシステム。
(15)
前記仮想リンク設定部は、術前にCT装置またはMRI装置によって取得された患者座標情報と、術中にナビゲーションシステムまたはCT装置によって動的に認識される前記距離または前記向きとに基づいて、前記仮想リンクを動的に更新する、
前記(14)に記載の医療用支持アームシステム。
(16)
前記仮想リンク設定部は、前記多関節アームの移動量または姿勢に応じて前記仮想リンクを動的に更新する、
前記(2)~(15)のいずれか一項に記載の医療用支持アームシステム。
(17)
前記仮想リンク設定部は、前記仮想リンクの距離および向きの少なくともいずれか一方を設定することによって前記仮想リンクを設定する、
前記(2)~(16)のいずれか一項に記載の医療用支持アームシステム。
(18)
前記スコープは、直視鏡、斜視鏡または側視鏡である、
前記(1)~(17)のいずれか一項に記載の医療用支持アームシステム。
(19)
前記スコープは、斜視角可変型の内視鏡である、
前記(1)~(17)のいずれか一項に記載の医療用支持アームシステム。
(20)
前記仮想リンク設定部は、前記スコープのズーム操作または回転操作に基づいて、前記仮想リンクを動的に更新する、
前記(2)~(16)のいずれか一項に記載の医療用支持アームシステム。
(21)
前記仮想リンク設定部は、前記画像認識によって動的に認識される前記距離または前記向きと、前記スコープのズーム操作または回転操作とに基づいて、前記仮想リンクを動的に更新する、
前記(12)に記載の医療用支持アームシステム。
(22)
スコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記スコープを支持する多関節アームを制御する制御部を備える、
制御装置。
1 ロボットアーム制御システム
10 ロボットアーム装置
20 制御装置
30 表示装置
110 アーム制御部
111 駆動制御部
120 アーム部
130 関節部
131 関節駆動部
132 間接状態検出部
133 回転角度検出部
134 トルク検出部
140 撮像部
210 入力部
220 記憶部
230 制御部
240 全身協調制御部
241 アーム状態取得部
242 演算条件設定部
243 仮想力算出部
244 実在力算出部
250 理想関節制御部
251 外乱推定部
252 指令値算出部
10 ロボットアーム装置
20 制御装置
30 表示装置
110 アーム制御部
111 駆動制御部
120 アーム部
130 関節部
131 関節駆動部
132 間接状態検出部
133 回転角度検出部
134 トルク検出部
140 撮像部
210 入力部
220 記憶部
230 制御部
240 全身協調制御部
241 アーム状態取得部
242 演算条件設定部
243 仮想力算出部
244 実在力算出部
250 理想関節制御部
251 外乱推定部
252 指令値算出部
Claims (22)
- 術野内の観察対象物の像を取得するスコープを支持する多関節アームと、
前記スコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記多関節アームを制御する制御部と、
を備える、医療用支持アームシステム。 - 前記医療用支持アームシステムは、
前記仮想リンクを設定する仮想リンク設定部を備える、
請求項1に記載の医療用支持アームシステム。 - 前記仮想リンク設定部は、前記スコープの仕様に基づいて前記仮想リンクを設定する、
請求項2に記載の医療用支持アームシステム。 - 前記スコープの仕様は、前記スコープの構造的仕様および前記スコープの機能的仕様のうち少なくともいずれか一方を含む、
請求項3に記載の医療用支持アームシステム。 - 前記構造的仕様は、前記スコープの斜視角、前記スコープの寸法のうち少なくともいずれか一方を含み、前記機能的仕様は、前記スコープのフォーカス距離を含む、
請求項4に記載の医療用支持アームシステム。 - 前記仮想リンク設定部は、前記スコープに対応するスコープIDを認識し、認識した前記スコープIDに対応する前記スコープの仕様を取得する、
請求項3に記載の医療用支持アームシステム。 - 前記仮想リンク設定部は、前記スコープのメモリに書き込まれている前記スコープIDを認識する、
請求項6に記載の医療用支持アームシステム。 - 前記仮想リンク設定部は、ユーザからの入力情報に基づいて前記スコープIDを認識する、
請求項6に記載の医療用支持アームシステム。 - 前記仮想リンク設定部は、センサから得られる前記スコープの先端から前記観察対象物までの距離または向きに基づいて前記仮想リンクを設定する、
請求項2に記載の医療用支持アームシステム。 - 前記仮想リンク設定部は、表示装置によって表示される前記像上の座標が入力装置を介して入力された場合、前記座標に基づいて前記観察対象物を決定し、前記観察対象物から前記スコープの先端までの前記距離または前記向きに基づいて前記仮想リンクを設定する、
請求項9に記載の医療用支持アームシステム。 - 前記医療用支持アームシステムは、前記表示装置および前記入力装置の少なくともいずれか一方を有する、
請求項10に記載の医療用支持アームシステム。 - 前記仮想リンク設定部は、画像認識によって認識される前記距離または向きに基づいて前記仮想リンクを設定する、
請求項9に記載の医療用支持アームシステム。 - 前記仮想リンク設定部は、前記画像認識によって動的に認識される前記距離または前記向きに基づいて前記仮想リンクを動的に更新する、
請求項12に記載の医療用支持アームシステム。 - 前記仮想リンク設定部は、ナビゲーションシステムまたはCT装置によって認識される前記距離または向きに基づいて前記仮想リンクを設定する、
請求項9に記載の医療用支持アームシステム。 - 前記仮想リンク設定部は、術前にCT装置またはMRI装置によって取得された患者座標情報と、術中にナビゲーションシステムまたはCT装置によって動的に認識される前記距離または前記向きとに基づいて、前記仮想リンクを動的に更新する、
請求項14に記載の医療用支持アームシステム。 - 前記仮想リンク設定部は、前記多関節アームの移動量または姿勢に応じて前記仮想リンクを動的に更新する、
請求項2に記載の医療用支持アームシステム。 - 前記仮想リンク設定部は、前記仮想リンクの距離および向きの少なくともいずれか一方を設定することによって前記仮想リンクを設定する、
請求項2に記載の医療用支持アームシステム。 - 前記スコープは、直視鏡、斜視鏡または側視鏡である、
請求項1に記載の医療用支持アームシステム。 - 前記スコープは、斜視角可変型の内視鏡である、
請求項1に記載の医療用支持アームシステム。 - 前記仮想リンク設定部は、前記スコープのズーム操作または回転操作に基づいて、前記仮想リンクを動的に更新する、
請求項2に記載の医療用支持アームシステム。 - 前記仮想リンク設定部は、前記画像認識によって動的に認識される前記距離または前記向きと、前記スコープのズーム操作または回転操作とに基づいて、前記仮想リンクを動的に更新する、
請求項12に記載の医療用支持アームシステム。 - スコープの鏡筒軸に対応する実リンクと前記スコープの光軸に対応する仮想リンクとの関係に基づいて、前記スコープを支持する多関節アームを制御する制御部を備える、
制御装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019502879A JP7003985B2 (ja) | 2017-02-28 | 2018-02-19 | 医療用支持アームシステムおよび制御装置 |
US16/487,436 US20200060523A1 (en) | 2017-02-28 | 2018-02-19 | Medical support arm system and control device |
CN201880012970.XA CN110325331B (zh) | 2017-02-28 | 2018-02-19 | 医疗支撑臂***和控制装置 |
DE112018001058.9T DE112018001058B4 (de) | 2017-02-28 | 2018-02-19 | Medizinisches tragarmsystem und steuervorrichtung |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017036260 | 2017-02-28 | ||
JP2017-036260 | 2017-02-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018159338A1 true WO2018159338A1 (ja) | 2018-09-07 |
Family
ID=63370023
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/005610 WO2018159338A1 (ja) | 2017-02-28 | 2018-02-19 | 医療用支持アームシステムおよび制御装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200060523A1 (ja) |
JP (1) | JP7003985B2 (ja) |
CN (1) | CN110325331B (ja) |
DE (1) | DE112018001058B4 (ja) |
WO (1) | WO2018159338A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018161377A (ja) * | 2017-03-27 | 2018-10-18 | ソニー株式会社 | 医療用システムの制御装置、医療用システムの制御方法及び医療用システム |
CN111297308A (zh) * | 2018-12-12 | 2020-06-19 | 卡尔史托斯影像有限公司 | 操作视频镜的***和方法 |
WO2020196338A1 (en) | 2019-03-27 | 2020-10-01 | Sony Corporation | Medical arm system, control device, and control method |
WO2020200717A1 (de) * | 2019-04-01 | 2020-10-08 | Kuka Deutschland Gmbh | Ermitteln eines parameters auf einen roboter wirkenden kraft |
WO2023079927A1 (ja) * | 2021-11-05 | 2023-05-11 | 学校法人帝京大学 | 手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法 |
Families Citing this family (265)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9060770B2 (en) | 2003-05-20 | 2015-06-23 | Ethicon Endo-Surgery, Inc. | Robotically-driven surgical instrument with E-beam driver |
US20070084897A1 (en) | 2003-05-20 | 2007-04-19 | Shelton Frederick E Iv | Articulating surgical stapling instrument incorporating a two-piece e-beam firing mechanism |
US9072535B2 (en) | 2011-05-27 | 2015-07-07 | Ethicon Endo-Surgery, Inc. | Surgical stapling instruments with rotatable staple deployment arrangements |
US11896225B2 (en) | 2004-07-28 | 2024-02-13 | Cilag Gmbh International | Staple cartridge comprising a pan |
US11484312B2 (en) | 2005-08-31 | 2022-11-01 | Cilag Gmbh International | Staple cartridge comprising a staple driver arrangement |
US7934630B2 (en) | 2005-08-31 | 2011-05-03 | Ethicon Endo-Surgery, Inc. | Staple cartridges for forming staples having differing formed staple heights |
US11246590B2 (en) | 2005-08-31 | 2022-02-15 | Cilag Gmbh International | Staple cartridge including staple drivers having different unfired heights |
US7669746B2 (en) | 2005-08-31 | 2010-03-02 | Ethicon Endo-Surgery, Inc. | Staple cartridges for forming staples having differing formed staple heights |
US10159482B2 (en) | 2005-08-31 | 2018-12-25 | Ethicon Llc | Fastener cartridge assembly comprising a fixed anvil and different staple heights |
US20070106317A1 (en) | 2005-11-09 | 2007-05-10 | Shelton Frederick E Iv | Hydraulically and electrically actuated articulation joints for surgical instruments |
US7753904B2 (en) | 2006-01-31 | 2010-07-13 | Ethicon Endo-Surgery, Inc. | Endoscopic surgical instrument with a handle that can articulate with respect to the shaft |
US20120292367A1 (en) | 2006-01-31 | 2012-11-22 | Ethicon Endo-Surgery, Inc. | Robotically-controlled end effector |
US8820603B2 (en) | 2006-01-31 | 2014-09-02 | Ethicon Endo-Surgery, Inc. | Accessing data stored in a memory of a surgical instrument |
US8186555B2 (en) | 2006-01-31 | 2012-05-29 | Ethicon Endo-Surgery, Inc. | Motor-driven surgical cutting and fastening instrument with mechanical closure system |
US11793518B2 (en) | 2006-01-31 | 2023-10-24 | Cilag Gmbh International | Powered surgical instruments with firing system lockout arrangements |
US11278279B2 (en) | 2006-01-31 | 2022-03-22 | Cilag Gmbh International | Surgical instrument assembly |
US7845537B2 (en) | 2006-01-31 | 2010-12-07 | Ethicon Endo-Surgery, Inc. | Surgical instrument having recording capabilities |
US20110290856A1 (en) | 2006-01-31 | 2011-12-01 | Ethicon Endo-Surgery, Inc. | Robotically-controlled surgical instrument with force-feedback capabilities |
US8708213B2 (en) | 2006-01-31 | 2014-04-29 | Ethicon Endo-Surgery, Inc. | Surgical instrument having a feedback system |
US8992422B2 (en) | 2006-03-23 | 2015-03-31 | Ethicon Endo-Surgery, Inc. | Robotically-controlled endoscopic accessory channel |
US10568652B2 (en) | 2006-09-29 | 2020-02-25 | Ethicon Llc | Surgical staples having attached drivers of different heights and stapling instruments for deploying the same |
US11980366B2 (en) | 2006-10-03 | 2024-05-14 | Cilag Gmbh International | Surgical instrument |
US8632535B2 (en) | 2007-01-10 | 2014-01-21 | Ethicon Endo-Surgery, Inc. | Interlock and surgical instrument including same |
US11291441B2 (en) | 2007-01-10 | 2022-04-05 | Cilag Gmbh International | Surgical instrument with wireless communication between control unit and remote sensor |
US8684253B2 (en) | 2007-01-10 | 2014-04-01 | Ethicon Endo-Surgery, Inc. | Surgical instrument with wireless communication between a control unit of a robotic system and remote sensor |
US7434717B2 (en) | 2007-01-11 | 2008-10-14 | Ethicon Endo-Surgery, Inc. | Apparatus for closing a curved anvil of a surgical stapling device |
US7604151B2 (en) | 2007-03-15 | 2009-10-20 | Ethicon Endo-Surgery, Inc. | Surgical stapling systems and staple cartridges for deploying surgical staples with tissue compression features |
US8931682B2 (en) | 2007-06-04 | 2015-01-13 | Ethicon Endo-Surgery, Inc. | Robotically-controlled shaft based rotary drive systems for surgical instruments |
US11857181B2 (en) | 2007-06-04 | 2024-01-02 | Cilag Gmbh International | Robotically-controlled shaft based rotary drive systems for surgical instruments |
US7753245B2 (en) | 2007-06-22 | 2010-07-13 | Ethicon Endo-Surgery, Inc. | Surgical stapling instruments |
US11849941B2 (en) | 2007-06-29 | 2023-12-26 | Cilag Gmbh International | Staple cartridge having staple cavities extending at a transverse angle relative to a longitudinal cartridge axis |
US7819298B2 (en) | 2008-02-14 | 2010-10-26 | Ethicon Endo-Surgery, Inc. | Surgical stapling apparatus with control features operable with one hand |
US8636736B2 (en) | 2008-02-14 | 2014-01-28 | Ethicon Endo-Surgery, Inc. | Motorized surgical cutting and fastening instrument |
US8573465B2 (en) | 2008-02-14 | 2013-11-05 | Ethicon Endo-Surgery, Inc. | Robotically-controlled surgical end effector system with rotary actuated closure systems |
JP5410110B2 (ja) | 2008-02-14 | 2014-02-05 | エシコン・エンド−サージェリィ・インコーポレイテッド | Rf電極を有する外科用切断・固定器具 |
US9179912B2 (en) | 2008-02-14 | 2015-11-10 | Ethicon Endo-Surgery, Inc. | Robotically-controlled motorized surgical cutting and fastening instrument |
US7866527B2 (en) | 2008-02-14 | 2011-01-11 | Ethicon Endo-Surgery, Inc. | Surgical stapling apparatus with interlockable firing system |
US11986183B2 (en) | 2008-02-14 | 2024-05-21 | Cilag Gmbh International | Surgical cutting and fastening instrument comprising a plurality of sensors to measure an electrical parameter |
US9770245B2 (en) | 2008-02-15 | 2017-09-26 | Ethicon Llc | Layer arrangements for surgical staple cartridges |
US11648005B2 (en) | 2008-09-23 | 2023-05-16 | Cilag Gmbh International | Robotically-controlled motorized surgical instrument with an end effector |
US9005230B2 (en) | 2008-09-23 | 2015-04-14 | Ethicon Endo-Surgery, Inc. | Motorized surgical instrument |
US8210411B2 (en) | 2008-09-23 | 2012-07-03 | Ethicon Endo-Surgery, Inc. | Motor-driven surgical cutting instrument |
US9386983B2 (en) | 2008-09-23 | 2016-07-12 | Ethicon Endo-Surgery, Llc | Robotically-controlled motorized surgical instrument |
US8608045B2 (en) | 2008-10-10 | 2013-12-17 | Ethicon Endo-Sugery, Inc. | Powered surgical cutting and stapling apparatus with manually retractable firing system |
US9629814B2 (en) | 2010-09-30 | 2017-04-25 | Ethicon Endo-Surgery, Llc | Tissue thickness compensator configured to redistribute compressive forces |
US11849952B2 (en) | 2010-09-30 | 2023-12-26 | Cilag Gmbh International | Staple cartridge comprising staples positioned within a compressible portion thereof |
US9168038B2 (en) | 2010-09-30 | 2015-10-27 | Ethicon Endo-Surgery, Inc. | Staple cartridge comprising a tissue thickness compensator |
US11298125B2 (en) | 2010-09-30 | 2022-04-12 | Cilag Gmbh International | Tissue stapler having a thickness compensator |
US11812965B2 (en) | 2010-09-30 | 2023-11-14 | Cilag Gmbh International | Layer of material for a surgical end effector |
US10213198B2 (en) | 2010-09-30 | 2019-02-26 | Ethicon Llc | Actuator for releasing a tissue thickness compensator from a fastener cartridge |
US10945731B2 (en) | 2010-09-30 | 2021-03-16 | Ethicon Llc | Tissue thickness compensator comprising controlled release and expansion |
US9839420B2 (en) | 2010-09-30 | 2017-12-12 | Ethicon Llc | Tissue thickness compensator comprising at least one medicament |
US9320523B2 (en) | 2012-03-28 | 2016-04-26 | Ethicon Endo-Surgery, Llc | Tissue thickness compensator comprising tissue ingrowth features |
US8695866B2 (en) | 2010-10-01 | 2014-04-15 | Ethicon Endo-Surgery, Inc. | Surgical instrument having a power control circuit |
JP6026509B2 (ja) | 2011-04-29 | 2016-11-16 | エシコン・エンド−サージェリィ・インコーポレイテッドEthicon Endo−Surgery,Inc. | ステープルカートリッジ自体の圧縮可能部分内に配置されたステープルを含むステープルカートリッジ |
CN104334098B (zh) | 2012-03-28 | 2017-03-22 | 伊西康内外科公司 | 包括限定低压强环境的胶囊剂的组织厚度补偿件 |
MX358135B (es) | 2012-03-28 | 2018-08-06 | Ethicon Endo Surgery Inc | Compensador de grosor de tejido que comprende una pluralidad de capas. |
US9101358B2 (en) | 2012-06-15 | 2015-08-11 | Ethicon Endo-Surgery, Inc. | Articulatable surgical instrument comprising a firing drive |
US9282974B2 (en) | 2012-06-28 | 2016-03-15 | Ethicon Endo-Surgery, Llc | Empty clip cartridge lockout |
US20140001231A1 (en) | 2012-06-28 | 2014-01-02 | Ethicon Endo-Surgery, Inc. | Firing system lockout arrangements for surgical instruments |
BR112014032776B1 (pt) | 2012-06-28 | 2021-09-08 | Ethicon Endo-Surgery, Inc | Sistema de instrumento cirúrgico e kit cirúrgico para uso com um sistema de instrumento cirúrgico |
US9289256B2 (en) | 2012-06-28 | 2016-03-22 | Ethicon Endo-Surgery, Llc | Surgical end effectors having angled tissue-contacting surfaces |
US9364230B2 (en) | 2012-06-28 | 2016-06-14 | Ethicon Endo-Surgery, Llc | Surgical stapling instruments with rotary joint assemblies |
BR112015021082B1 (pt) | 2013-03-01 | 2022-05-10 | Ethicon Endo-Surgery, Inc | Instrumento cirúrgico |
JP6382235B2 (ja) | 2013-03-01 | 2018-08-29 | エシコン・エンド−サージェリィ・インコーポレイテッドEthicon Endo−Surgery,Inc. | 信号通信用の導電路を備えた関節運動可能な外科用器具 |
US9629629B2 (en) | 2013-03-14 | 2017-04-25 | Ethicon Endo-Surgey, LLC | Control systems for surgical instruments |
US10136887B2 (en) | 2013-04-16 | 2018-11-27 | Ethicon Llc | Drive system decoupling arrangement for a surgical instrument |
BR112015026109B1 (pt) | 2013-04-16 | 2022-02-22 | Ethicon Endo-Surgery, Inc | Instrumento cirúrgico |
RU2678363C2 (ru) | 2013-08-23 | 2019-01-28 | ЭТИКОН ЭНДО-СЕРДЖЕРИ, ЭлЭлСи | Устройства втягивания пускового элемента для хирургических инструментов с электропитанием |
US9808249B2 (en) | 2013-08-23 | 2017-11-07 | Ethicon Llc | Attachment portions for surgical instrument assemblies |
BR112016021943B1 (pt) | 2014-03-26 | 2022-06-14 | Ethicon Endo-Surgery, Llc | Instrumento cirúrgico para uso por um operador em um procedimento cirúrgico |
US9804618B2 (en) | 2014-03-26 | 2017-10-31 | Ethicon Llc | Systems and methods for controlling a segmented circuit |
BR112016023698B1 (pt) | 2014-04-16 | 2022-07-26 | Ethicon Endo-Surgery, Llc | Cartucho de prendedores para uso com um instrumento cirúrgico |
US10206677B2 (en) | 2014-09-26 | 2019-02-19 | Ethicon Llc | Surgical staple and driver arrangements for staple cartridges |
US20150297225A1 (en) | 2014-04-16 | 2015-10-22 | Ethicon Endo-Surgery, Inc. | Fastener cartridges including extensions having different configurations |
BR112016023807B1 (pt) | 2014-04-16 | 2022-07-12 | Ethicon Endo-Surgery, Llc | Conjunto de cartucho de prendedores para uso com um instrumento cirúrgico |
CN106456158B (zh) | 2014-04-16 | 2019-02-05 | 伊西康内外科有限责任公司 | 包括非一致紧固件的紧固件仓 |
BR112017004361B1 (pt) | 2014-09-05 | 2023-04-11 | Ethicon Llc | Sistema eletrônico para um instrumento cirúrgico |
US11311294B2 (en) | 2014-09-05 | 2022-04-26 | Cilag Gmbh International | Powered medical device including measurement of closure state of jaws |
US9757128B2 (en) | 2014-09-05 | 2017-09-12 | Ethicon Llc | Multiple sensors with one sensor affecting a second sensor's output or interpretation |
US11523821B2 (en) | 2014-09-26 | 2022-12-13 | Cilag Gmbh International | Method for creating a flexible staple line |
US9924944B2 (en) | 2014-10-16 | 2018-03-27 | Ethicon Llc | Staple cartridge comprising an adjunct material |
US11141153B2 (en) | 2014-10-29 | 2021-10-12 | Cilag Gmbh International | Staple cartridges comprising driver arrangements |
US10517594B2 (en) | 2014-10-29 | 2019-12-31 | Ethicon Llc | Cartridge assemblies for surgical staplers |
US9844376B2 (en) | 2014-11-06 | 2017-12-19 | Ethicon Llc | Staple cartridge comprising a releasable adjunct material |
US10736636B2 (en) | 2014-12-10 | 2020-08-11 | Ethicon Llc | Articulatable surgical instrument system |
US9987000B2 (en) | 2014-12-18 | 2018-06-05 | Ethicon Llc | Surgical instrument assembly comprising a flexible articulation system |
US9968355B2 (en) | 2014-12-18 | 2018-05-15 | Ethicon Llc | Surgical instruments with articulatable end effectors and improved firing beam support arrangements |
US9844374B2 (en) | 2014-12-18 | 2017-12-19 | Ethicon Llc | Surgical instrument systems comprising an articulatable end effector and means for adjusting the firing stroke of a firing member |
MX2017008108A (es) | 2014-12-18 | 2018-03-06 | Ethicon Llc | Instrumento quirurgico con un yunque que puede moverse de manera selectiva sobre un eje discreto no movil con relacion a un cartucho de grapas. |
US10085748B2 (en) | 2014-12-18 | 2018-10-02 | Ethicon Llc | Locking arrangements for detachable shaft assemblies with articulatable surgical end effectors |
US9844375B2 (en) | 2014-12-18 | 2017-12-19 | Ethicon Llc | Drive arrangements for articulatable surgical instruments |
US11154301B2 (en) | 2015-02-27 | 2021-10-26 | Cilag Gmbh International | Modular stapling assembly |
JP2020121162A (ja) | 2015-03-06 | 2020-08-13 | エシコン エルエルシーEthicon LLC | 測定の安定性要素、クリープ要素、及び粘弾性要素を決定するためのセンサデータの時間依存性評価 |
US10441279B2 (en) | 2015-03-06 | 2019-10-15 | Ethicon Llc | Multiple level thresholds to modify operation of powered surgical instruments |
US9993248B2 (en) | 2015-03-06 | 2018-06-12 | Ethicon Endo-Surgery, Llc | Smart sensors with local signal processing |
US10052044B2 (en) | 2015-03-06 | 2018-08-21 | Ethicon Llc | Time dependent evaluation of sensor data to determine stability, creep, and viscoelastic elements of measures |
US10213201B2 (en) | 2015-03-31 | 2019-02-26 | Ethicon Llc | Stapling end effector configured to compensate for an uneven gap between a first jaw and a second jaw |
US10238386B2 (en) | 2015-09-23 | 2019-03-26 | Ethicon Llc | Surgical stapler having motor control based on an electrical parameter related to a motor current |
US10105139B2 (en) | 2015-09-23 | 2018-10-23 | Ethicon Llc | Surgical stapler having downstream current-based motor control |
US10736633B2 (en) | 2015-09-30 | 2020-08-11 | Ethicon Llc | Compressible adjunct with looping members |
US11890015B2 (en) | 2015-09-30 | 2024-02-06 | Cilag Gmbh International | Compressible adjunct with crossing spacer fibers |
US10292704B2 (en) | 2015-12-30 | 2019-05-21 | Ethicon Llc | Mechanisms for compensating for battery pack failure in powered surgical instruments |
BR112018016098B1 (pt) | 2016-02-09 | 2023-02-23 | Ethicon Llc | Instrumento cirúrgico |
US11213293B2 (en) | 2016-02-09 | 2022-01-04 | Cilag Gmbh International | Articulatable surgical instruments with single articulation link arrangements |
US11224426B2 (en) | 2016-02-12 | 2022-01-18 | Cilag Gmbh International | Mechanisms for compensating for drivetrain failure in powered surgical instruments |
US10448948B2 (en) | 2016-02-12 | 2019-10-22 | Ethicon Llc | Mechanisms for compensating for drivetrain failure in powered surgical instruments |
US10492783B2 (en) | 2016-04-15 | 2019-12-03 | Ethicon, Llc | Surgical instrument with improved stop/start control during a firing motion |
US10828028B2 (en) | 2016-04-15 | 2020-11-10 | Ethicon Llc | Surgical instrument with multiple program responses during a firing motion |
US11607239B2 (en) | 2016-04-15 | 2023-03-21 | Cilag Gmbh International | Systems and methods for controlling a surgical stapling and cutting instrument |
US10357247B2 (en) | 2016-04-15 | 2019-07-23 | Ethicon Llc | Surgical instrument with multiple program responses during a firing motion |
US10426467B2 (en) | 2016-04-15 | 2019-10-01 | Ethicon Llc | Surgical instrument with detection sensors |
US20170296173A1 (en) | 2016-04-18 | 2017-10-19 | Ethicon Endo-Surgery, Llc | Method for operating a surgical instrument |
US11317917B2 (en) | 2016-04-18 | 2022-05-03 | Cilag Gmbh International | Surgical stapling system comprising a lockable firing assembly |
US10368867B2 (en) | 2016-04-18 | 2019-08-06 | Ethicon Llc | Surgical instrument comprising a lockout |
US11090048B2 (en) | 2016-12-21 | 2021-08-17 | Cilag Gmbh International | Method for resetting a fuse of a surgical instrument shaft |
US10542982B2 (en) | 2016-12-21 | 2020-01-28 | Ethicon Llc | Shaft assembly comprising first and second articulation lockouts |
US10524789B2 (en) | 2016-12-21 | 2020-01-07 | Ethicon Llc | Laterally actuatable articulation lock arrangements for locking an end effector of a surgical instrument in an articulated configuration |
US20180168625A1 (en) | 2016-12-21 | 2018-06-21 | Ethicon Endo-Surgery, Llc | Surgical stapling instruments with smart staple cartridges |
US10624635B2 (en) | 2016-12-21 | 2020-04-21 | Ethicon Llc | Firing members with non-parallel jaw engagement features for surgical end effectors |
JP7010956B2 (ja) | 2016-12-21 | 2022-01-26 | エシコン エルエルシー | 組織をステープル留めする方法 |
CN110099619B (zh) | 2016-12-21 | 2022-07-15 | 爱惜康有限责任公司 | 用于外科端部执行器和可替换工具组件的闭锁装置 |
US11419606B2 (en) | 2016-12-21 | 2022-08-23 | Cilag Gmbh International | Shaft assembly comprising a clutch configured to adapt the output of a rotary firing member to two different systems |
US10639035B2 (en) | 2016-12-21 | 2020-05-05 | Ethicon Llc | Surgical stapling instruments and replaceable tool assemblies thereof |
US20180168615A1 (en) | 2016-12-21 | 2018-06-21 | Ethicon Endo-Surgery, Llc | Method of deforming staples from two different types of staple cartridges with the same surgical stapling instrument |
MX2019007295A (es) | 2016-12-21 | 2019-10-15 | Ethicon Llc | Sistema de instrumento quirúrgico que comprende un bloqueo del efector de extremo y un bloqueo de la unidad de disparo. |
US10678338B2 (en) * | 2017-06-09 | 2020-06-09 | At&T Intellectual Property I, L.P. | Determining and evaluating data representing an action to be performed by a robot |
US11653914B2 (en) | 2017-06-20 | 2023-05-23 | Cilag Gmbh International | Systems and methods for controlling motor velocity of a surgical stapling and cutting instrument according to articulation angle of end effector |
US11517325B2 (en) | 2017-06-20 | 2022-12-06 | Cilag Gmbh International | Closed loop feedback control of motor velocity of a surgical stapling and cutting instrument based on measured displacement distance traveled over a specified time interval |
US10881399B2 (en) | 2017-06-20 | 2021-01-05 | Ethicon Llc | Techniques for adaptive control of motor velocity of a surgical stapling and cutting instrument |
US10307170B2 (en) | 2017-06-20 | 2019-06-04 | Ethicon Llc | Method for closed loop control of motor velocity of a surgical stapling and cutting instrument |
US10779820B2 (en) | 2017-06-20 | 2020-09-22 | Ethicon Llc | Systems and methods for controlling motor speed according to user input for a surgical instrument |
US11382638B2 (en) | 2017-06-20 | 2022-07-12 | Cilag Gmbh International | Closed loop feedback control of motor velocity of a surgical stapling and cutting instrument based on measured time over a specified displacement distance |
US11324503B2 (en) | 2017-06-27 | 2022-05-10 | Cilag Gmbh International | Surgical firing member arrangements |
US10993716B2 (en) | 2017-06-27 | 2021-05-04 | Ethicon Llc | Surgical anvil arrangements |
US11564686B2 (en) | 2017-06-28 | 2023-01-31 | Cilag Gmbh International | Surgical shaft assemblies with flexible interfaces |
US20190000459A1 (en) | 2017-06-28 | 2019-01-03 | Ethicon Llc | Surgical instruments with jaws constrained to pivot about an axis upon contact with a closure member that is parked in close proximity to the pivot axis |
EP3420947B1 (en) | 2017-06-28 | 2022-05-25 | Cilag GmbH International | Surgical instrument comprising selectively actuatable rotatable couplers |
US10765427B2 (en) | 2017-06-28 | 2020-09-08 | Ethicon Llc | Method for articulating a surgical instrument |
US11389161B2 (en) | 2017-06-28 | 2022-07-19 | Cilag Gmbh International | Surgical instrument comprising selectively actuatable rotatable couplers |
USD906355S1 (en) | 2017-06-28 | 2020-12-29 | Ethicon Llc | Display screen or portion thereof with a graphical user interface for a surgical instrument |
US10932772B2 (en) | 2017-06-29 | 2021-03-02 | Ethicon Llc | Methods for closed loop velocity control for robotic surgical instrument |
US11974742B2 (en) | 2017-08-03 | 2024-05-07 | Cilag Gmbh International | Surgical system comprising an articulation bailout |
US11944300B2 (en) | 2017-08-03 | 2024-04-02 | Cilag Gmbh International | Method for operating a surgical system bailout |
US11304695B2 (en) | 2017-08-03 | 2022-04-19 | Cilag Gmbh International | Surgical system shaft interconnection |
US11471155B2 (en) | 2017-08-03 | 2022-10-18 | Cilag Gmbh International | Surgical system bailout |
US10743872B2 (en) | 2017-09-29 | 2020-08-18 | Ethicon Llc | System and methods for controlling a display of a surgical instrument |
US10842490B2 (en) | 2017-10-31 | 2020-11-24 | Ethicon Llc | Cartridge body design with force reduction based on firing completion |
EP3705018A4 (en) * | 2017-11-01 | 2020-10-14 | Sony Corporation | SURGICAL ARM SYSTEM AND SURGICAL ARM CONTROL SYSTEM |
US10779826B2 (en) | 2017-12-15 | 2020-09-22 | Ethicon Llc | Methods of operating surgical end effectors |
US10835330B2 (en) | 2017-12-19 | 2020-11-17 | Ethicon Llc | Method for determining the position of a rotatable jaw of a surgical instrument attachment assembly |
US11337691B2 (en) | 2017-12-21 | 2022-05-24 | Cilag Gmbh International | Surgical instrument configured to determine firing path |
US11311290B2 (en) | 2017-12-21 | 2022-04-26 | Cilag Gmbh International | Surgical instrument comprising an end effector dampener |
US11324501B2 (en) | 2018-08-20 | 2022-05-10 | Cilag Gmbh International | Surgical stapling devices with improved closure members |
US11207065B2 (en) | 2018-08-20 | 2021-12-28 | Cilag Gmbh International | Method for fabricating surgical stapler anvils |
US11696761B2 (en) | 2019-03-25 | 2023-07-11 | Cilag Gmbh International | Firing drive arrangements for surgical systems |
US11426251B2 (en) | 2019-04-30 | 2022-08-30 | Cilag Gmbh International | Articulation directional lights on a surgical instrument |
US11253254B2 (en) | 2019-04-30 | 2022-02-22 | Cilag Gmbh International | Shaft rotation actuator on a surgical instrument |
US11471157B2 (en) | 2019-04-30 | 2022-10-18 | Cilag Gmbh International | Articulation control mapping for a surgical instrument |
US11452528B2 (en) | 2019-04-30 | 2022-09-27 | Cilag Gmbh International | Articulation actuators for a surgical instrument |
US11648009B2 (en) | 2019-04-30 | 2023-05-16 | Cilag Gmbh International | Rotatable jaw tip for a surgical instrument |
US11432816B2 (en) | 2019-04-30 | 2022-09-06 | Cilag Gmbh International | Articulation pin for a surgical instrument |
US11903581B2 (en) | 2019-04-30 | 2024-02-20 | Cilag Gmbh International | Methods for stapling tissue using a surgical instrument |
US11291451B2 (en) | 2019-06-28 | 2022-04-05 | Cilag Gmbh International | Surgical instrument with battery compatibility verification functionality |
US11399837B2 (en) | 2019-06-28 | 2022-08-02 | Cilag Gmbh International | Mechanisms for motor control adjustments of a motorized surgical instrument |
US11660163B2 (en) | 2019-06-28 | 2023-05-30 | Cilag Gmbh International | Surgical system with RFID tags for updating motor assembly parameters |
US11426167B2 (en) | 2019-06-28 | 2022-08-30 | Cilag Gmbh International | Mechanisms for proper anvil attachment surgical stapling head assembly |
US11361176B2 (en) | 2019-06-28 | 2022-06-14 | Cilag Gmbh International | Surgical RFID assemblies for compatibility detection |
US11464601B2 (en) | 2019-06-28 | 2022-10-11 | Cilag Gmbh International | Surgical instrument comprising an RFID system for tracking a movable component |
US11376098B2 (en) | 2019-06-28 | 2022-07-05 | Cilag Gmbh International | Surgical instrument system comprising an RFID system |
US11684434B2 (en) | 2019-06-28 | 2023-06-27 | Cilag Gmbh International | Surgical RFID assemblies for instrument operational setting control |
US11771419B2 (en) | 2019-06-28 | 2023-10-03 | Cilag Gmbh International | Packaging for a replaceable component of a surgical stapling system |
US11497492B2 (en) | 2019-06-28 | 2022-11-15 | Cilag Gmbh International | Surgical instrument including an articulation lock |
US11638587B2 (en) | 2019-06-28 | 2023-05-02 | Cilag Gmbh International | RFID identification systems for surgical instruments |
US11553971B2 (en) | 2019-06-28 | 2023-01-17 | Cilag Gmbh International | Surgical RFID assemblies for display and communication |
US11298132B2 (en) | 2019-06-28 | 2022-04-12 | Cilag GmbH Inlernational | Staple cartridge including a honeycomb extension |
US11853835B2 (en) | 2019-06-28 | 2023-12-26 | Cilag Gmbh International | RFID identification systems for surgical instruments |
US12004740B2 (en) | 2019-06-28 | 2024-06-11 | Cilag Gmbh International | Surgical stapling system having an information decryption protocol |
US11627959B2 (en) | 2019-06-28 | 2023-04-18 | Cilag Gmbh International | Surgical instruments including manual and powered system lockouts |
US11350938B2 (en) | 2019-06-28 | 2022-06-07 | Cilag Gmbh International | Surgical instrument comprising an aligned rfid sensor |
US11298127B2 (en) | 2019-06-28 | 2022-04-12 | Cilag GmbH Interational | Surgical stapling system having a lockout mechanism for an incompatible cartridge |
US11523822B2 (en) | 2019-06-28 | 2022-12-13 | Cilag Gmbh International | Battery pack including a circuit interrupter |
US11478241B2 (en) | 2019-06-28 | 2022-10-25 | Cilag Gmbh International | Staple cartridge including projections |
DE102019127887B3 (de) * | 2019-10-16 | 2021-03-11 | Kuka Deutschland Gmbh | Steuerung eines Roboters |
US20230014033A1 (en) * | 2019-12-05 | 2023-01-19 | Kawasaki Jukogyo Kabushiki Kaisha | Surgical assist robot and method of controlling the same |
US11504122B2 (en) | 2019-12-19 | 2022-11-22 | Cilag Gmbh International | Surgical instrument comprising a nested firing member |
US11291447B2 (en) | 2019-12-19 | 2022-04-05 | Cilag Gmbh International | Stapling instrument comprising independent jaw closing and staple firing systems |
US11464512B2 (en) | 2019-12-19 | 2022-10-11 | Cilag Gmbh International | Staple cartridge comprising a curved deck surface |
US11529139B2 (en) | 2019-12-19 | 2022-12-20 | Cilag Gmbh International | Motor driven surgical instrument |
US11559304B2 (en) | 2019-12-19 | 2023-01-24 | Cilag Gmbh International | Surgical instrument comprising a rapid closure mechanism |
US11607219B2 (en) | 2019-12-19 | 2023-03-21 | Cilag Gmbh International | Staple cartridge comprising a detachable tissue cutting knife |
US11529137B2 (en) | 2019-12-19 | 2022-12-20 | Cilag Gmbh International | Staple cartridge comprising driver retention members |
US11304696B2 (en) * | 2019-12-19 | 2022-04-19 | Cilag Gmbh International | Surgical instrument comprising a powered articulation system |
US11911032B2 (en) | 2019-12-19 | 2024-02-27 | Cilag Gmbh International | Staple cartridge comprising a seating cam |
US12035913B2 (en) | 2019-12-19 | 2024-07-16 | Cilag Gmbh International | Staple cartridge comprising a deployable knife |
US11844520B2 (en) | 2019-12-19 | 2023-12-19 | Cilag Gmbh International | Staple cartridge comprising driver retention members |
US11576672B2 (en) | 2019-12-19 | 2023-02-14 | Cilag Gmbh International | Surgical instrument comprising a closure system including a closure member and an opening member driven by a drive screw |
US11446029B2 (en) | 2019-12-19 | 2022-09-20 | Cilag Gmbh International | Staple cartridge comprising projections extending from a curved deck surface |
US11701111B2 (en) | 2019-12-19 | 2023-07-18 | Cilag Gmbh International | Method for operating a surgical stapling instrument |
USD967421S1 (en) | 2020-06-02 | 2022-10-18 | Cilag Gmbh International | Staple cartridge |
USD975851S1 (en) | 2020-06-02 | 2023-01-17 | Cilag Gmbh International | Staple cartridge |
USD976401S1 (en) | 2020-06-02 | 2023-01-24 | Cilag Gmbh International | Staple cartridge |
USD975850S1 (en) | 2020-06-02 | 2023-01-17 | Cilag Gmbh International | Staple cartridge |
USD966512S1 (en) | 2020-06-02 | 2022-10-11 | Cilag Gmbh International | Staple cartridge |
USD975278S1 (en) | 2020-06-02 | 2023-01-10 | Cilag Gmbh International | Staple cartridge |
USD974560S1 (en) | 2020-06-02 | 2023-01-03 | Cilag Gmbh International | Staple cartridge |
CN111823258B (zh) * | 2020-07-16 | 2022-09-02 | 吉林大学 | 一种剪切波弹性成像检测机械臂 |
US20220031320A1 (en) | 2020-07-28 | 2022-02-03 | Cilag Gmbh International | Surgical instruments with flexible firing member actuator constraint arrangements |
USD980425S1 (en) | 2020-10-29 | 2023-03-07 | Cilag Gmbh International | Surgical instrument assembly |
US11534259B2 (en) | 2020-10-29 | 2022-12-27 | Cilag Gmbh International | Surgical instrument comprising an articulation indicator |
US11717289B2 (en) | 2020-10-29 | 2023-08-08 | Cilag Gmbh International | Surgical instrument comprising an indicator which indicates that an articulation drive is actuatable |
USD1013170S1 (en) | 2020-10-29 | 2024-01-30 | Cilag Gmbh International | Surgical instrument assembly |
US11896217B2 (en) | 2020-10-29 | 2024-02-13 | Cilag Gmbh International | Surgical instrument comprising an articulation lock |
US11931025B2 (en) | 2020-10-29 | 2024-03-19 | Cilag Gmbh International | Surgical instrument comprising a releasable closure drive lock |
US11844518B2 (en) | 2020-10-29 | 2023-12-19 | Cilag Gmbh International | Method for operating a surgical instrument |
US11517390B2 (en) | 2020-10-29 | 2022-12-06 | Cilag Gmbh International | Surgical instrument comprising a limited travel switch |
US11617577B2 (en) | 2020-10-29 | 2023-04-04 | Cilag Gmbh International | Surgical instrument comprising a sensor configured to sense whether an articulation drive of the surgical instrument is actuatable |
US11779330B2 (en) | 2020-10-29 | 2023-10-10 | Cilag Gmbh International | Surgical instrument comprising a jaw alignment system |
US11452526B2 (en) | 2020-10-29 | 2022-09-27 | Cilag Gmbh International | Surgical instrument comprising a staged voltage regulation start-up system |
US11678882B2 (en) | 2020-12-02 | 2023-06-20 | Cilag Gmbh International | Surgical instruments with interactive features to remedy incidental sled movements |
US11944296B2 (en) | 2020-12-02 | 2024-04-02 | Cilag Gmbh International | Powered surgical instruments with external connectors |
US11744581B2 (en) | 2020-12-02 | 2023-09-05 | Cilag Gmbh International | Powered surgical instruments with multi-phase tissue treatment |
US11849943B2 (en) | 2020-12-02 | 2023-12-26 | Cilag Gmbh International | Surgical instrument with cartridge release mechanisms |
US11653920B2 (en) | 2020-12-02 | 2023-05-23 | Cilag Gmbh International | Powered surgical instruments with communication interfaces through sterile barrier |
US11737751B2 (en) | 2020-12-02 | 2023-08-29 | Cilag Gmbh International | Devices and methods of managing energy dissipated within sterile barriers of surgical instrument housings |
US11627960B2 (en) | 2020-12-02 | 2023-04-18 | Cilag Gmbh International | Powered surgical instruments with smart reload with separately attachable exteriorly mounted wiring connections |
US11653915B2 (en) | 2020-12-02 | 2023-05-23 | Cilag Gmbh International | Surgical instruments with sled location detection and adjustment features |
US11890010B2 (en) | 2020-12-02 | 2024-02-06 | Cllag GmbH International | Dual-sided reinforced reload for surgical instruments |
US11723657B2 (en) | 2021-02-26 | 2023-08-15 | Cilag Gmbh International | Adjustable communication based on available bandwidth and power capacity |
US11980362B2 (en) | 2021-02-26 | 2024-05-14 | Cilag Gmbh International | Surgical instrument system comprising a power transfer coil |
US11701113B2 (en) | 2021-02-26 | 2023-07-18 | Cilag Gmbh International | Stapling instrument comprising a separate power antenna and a data transfer antenna |
US11749877B2 (en) | 2021-02-26 | 2023-09-05 | Cilag Gmbh International | Stapling instrument comprising a signal antenna |
US11925349B2 (en) | 2021-02-26 | 2024-03-12 | Cilag Gmbh International | Adjustment to transfer parameters to improve available power |
US11950779B2 (en) | 2021-02-26 | 2024-04-09 | Cilag Gmbh International | Method of powering and communicating with a staple cartridge |
US11744583B2 (en) | 2021-02-26 | 2023-09-05 | Cilag Gmbh International | Distal communication array to tune frequency of RF systems |
US11812964B2 (en) | 2021-02-26 | 2023-11-14 | Cilag Gmbh International | Staple cartridge comprising a power management circuit |
US11950777B2 (en) | 2021-02-26 | 2024-04-09 | Cilag Gmbh International | Staple cartridge comprising an information access control system |
US11793514B2 (en) | 2021-02-26 | 2023-10-24 | Cilag Gmbh International | Staple cartridge comprising sensor array which may be embedded in cartridge body |
US11696757B2 (en) | 2021-02-26 | 2023-07-11 | Cilag Gmbh International | Monitoring of internal systems to detect and track cartridge motion status |
US11730473B2 (en) | 2021-02-26 | 2023-08-22 | Cilag Gmbh International | Monitoring of manufacturing life-cycle |
US11751869B2 (en) | 2021-02-26 | 2023-09-12 | Cilag Gmbh International | Monitoring of multiple sensors over time to detect moving characteristics of tissue |
US11737749B2 (en) | 2021-03-22 | 2023-08-29 | Cilag Gmbh International | Surgical stapling instrument comprising a retraction system |
US11826042B2 (en) | 2021-03-22 | 2023-11-28 | Cilag Gmbh International | Surgical instrument comprising a firing drive including a selectable leverage mechanism |
US11826012B2 (en) | 2021-03-22 | 2023-11-28 | Cilag Gmbh International | Stapling instrument comprising a pulsed motor-driven firing rack |
US11717291B2 (en) | 2021-03-22 | 2023-08-08 | Cilag Gmbh International | Staple cartridge comprising staples configured to apply different tissue compression |
US11806011B2 (en) | 2021-03-22 | 2023-11-07 | Cilag Gmbh International | Stapling instrument comprising tissue compression systems |
US11723658B2 (en) | 2021-03-22 | 2023-08-15 | Cilag Gmbh International | Staple cartridge comprising a firing lockout |
US11759202B2 (en) | 2021-03-22 | 2023-09-19 | Cilag Gmbh International | Staple cartridge comprising an implantable layer |
US11786239B2 (en) | 2021-03-24 | 2023-10-17 | Cilag Gmbh International | Surgical instrument articulation joint arrangements comprising multiple moving linkage features |
US11849945B2 (en) | 2021-03-24 | 2023-12-26 | Cilag Gmbh International | Rotary-driven surgical stapling assembly comprising eccentrically driven firing member |
US11744603B2 (en) | 2021-03-24 | 2023-09-05 | Cilag Gmbh International | Multi-axis pivot joints for surgical instruments and methods for manufacturing same |
US11832816B2 (en) | 2021-03-24 | 2023-12-05 | Cilag Gmbh International | Surgical stapling assembly comprising nonplanar staples and planar staples |
US11944336B2 (en) | 2021-03-24 | 2024-04-02 | Cilag Gmbh International | Joint arrangements for multi-planar alignment and support of operational drive shafts in articulatable surgical instruments |
US11857183B2 (en) | 2021-03-24 | 2024-01-02 | Cilag Gmbh International | Stapling assembly components having metal substrates and plastic bodies |
US11786243B2 (en) | 2021-03-24 | 2023-10-17 | Cilag Gmbh International | Firing members having flexible portions for adapting to a load during a surgical firing stroke |
US11793516B2 (en) | 2021-03-24 | 2023-10-24 | Cilag Gmbh International | Surgical staple cartridge comprising longitudinal support beam |
US11896219B2 (en) | 2021-03-24 | 2024-02-13 | Cilag Gmbh International | Mating features between drivers and underside of a cartridge deck |
US11849944B2 (en) | 2021-03-24 | 2023-12-26 | Cilag Gmbh International | Drivers for fastener cartridge assemblies having rotary drive screws |
US11896218B2 (en) | 2021-03-24 | 2024-02-13 | Cilag Gmbh International | Method of using a powered stapling device |
US11903582B2 (en) | 2021-03-24 | 2024-02-20 | Cilag Gmbh International | Leveraging surfaces for cartridge installation |
US11723662B2 (en) | 2021-05-28 | 2023-08-15 | Cilag Gmbh International | Stapling instrument comprising an articulation control display |
US11877745B2 (en) | 2021-10-18 | 2024-01-23 | Cilag Gmbh International | Surgical stapling assembly having longitudinally-repeating staple leg clusters |
US11957337B2 (en) | 2021-10-18 | 2024-04-16 | Cilag Gmbh International | Surgical stapling assembly with offset ramped drive surfaces |
US11980363B2 (en) | 2021-10-18 | 2024-05-14 | Cilag Gmbh International | Row-to-row staple array variations |
US11937816B2 (en) | 2021-10-28 | 2024-03-26 | Cilag Gmbh International | Electrical lead arrangements for surgical instruments |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009011809A (ja) * | 2007-07-09 | 2009-01-22 | Olympus Medical Systems Corp | 医療システム |
WO2016017532A1 (ja) * | 2014-08-01 | 2016-02-04 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6663559B2 (en) * | 2001-12-14 | 2003-12-16 | Endactive, Inc. | Interface for a variable direction of view endoscope |
DE102012206350A1 (de) * | 2012-04-18 | 2013-10-24 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zum Betreiben eines Roboters |
DE102013108115A1 (de) * | 2013-07-30 | 2015-02-05 | gomtec GmbH | Verfahren und Vorrichtung zum Festlegen eines Arbeitsbereichs eines Roboters |
DE102014219477B4 (de) * | 2014-09-25 | 2018-06-21 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Chirurgierobotersystem |
DE102015204867A1 (de) * | 2015-03-18 | 2016-09-22 | Kuka Roboter Gmbh | Robotersystem und Verfahren zum Betrieb eines teleoperativen Prozesses |
DE102015209773B3 (de) * | 2015-05-28 | 2016-06-16 | Kuka Roboter Gmbh | Verfahren zur kontinuierlichen Synchronisation einer Pose eines Manipulators und einer Eingabevorrichtung |
DE102015109368A1 (de) * | 2015-06-12 | 2016-12-15 | avateramedical GmBH | Vorrichtung und Verfahren zur robotergestützten Chirurgie sowie Positionierhilfseinheit |
-
2018
- 2018-02-19 JP JP2019502879A patent/JP7003985B2/ja active Active
- 2018-02-19 CN CN201880012970.XA patent/CN110325331B/zh active Active
- 2018-02-19 WO PCT/JP2018/005610 patent/WO2018159338A1/ja active Application Filing
- 2018-02-19 DE DE112018001058.9T patent/DE112018001058B4/de active Active
- 2018-02-19 US US16/487,436 patent/US20200060523A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009011809A (ja) * | 2007-07-09 | 2009-01-22 | Olympus Medical Systems Corp | 医療システム |
WO2016017532A1 (ja) * | 2014-08-01 | 2016-02-04 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察装置 |
Non-Patent Citations (1)
Title |
---|
TANIGUCHI, KAZUHIRO ET AL.: "Development of a Compact Oblique-viewing Endoscope Robot for Laparoscopic Surgery", THE JAPANESE SOCIETY FOR MEDICAL AND BIOLOGICAL ENGINEERING, vol. 45, no. 1, 2007, pages 36 - 47, XP055538390, ISSN: 1881-4379 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018161377A (ja) * | 2017-03-27 | 2018-10-18 | ソニー株式会社 | 医療用システムの制御装置、医療用システムの制御方法及び医療用システム |
US11471024B2 (en) | 2017-03-27 | 2022-10-18 | Sony Corporation | Surgical imaging system, image processing apparatus for surgery, and method for controlling an imaging procedure |
CN111297308A (zh) * | 2018-12-12 | 2020-06-19 | 卡尔史托斯影像有限公司 | 操作视频镜的***和方法 |
CN111297308B (zh) * | 2018-12-12 | 2024-07-05 | 卡尔史托斯影像有限公司 | 操作视频镜的***和方法 |
WO2020196338A1 (en) | 2019-03-27 | 2020-10-01 | Sony Corporation | Medical arm system, control device, and control method |
WO2020200717A1 (de) * | 2019-04-01 | 2020-10-08 | Kuka Deutschland Gmbh | Ermitteln eines parameters auf einen roboter wirkenden kraft |
WO2023079927A1 (ja) * | 2021-11-05 | 2023-05-11 | 学校法人帝京大学 | 手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200060523A1 (en) | 2020-02-27 |
CN110325331A (zh) | 2019-10-11 |
JP7003985B2 (ja) | 2022-01-21 |
DE112018001058B4 (de) | 2020-12-03 |
CN110325331B (zh) | 2022-12-16 |
DE112018001058T5 (de) | 2019-11-07 |
JPWO2018159338A1 (ja) | 2020-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018159338A1 (ja) | 医療用支持アームシステムおよび制御装置 | |
WO2018159336A1 (ja) | 医療用支持アームシステムおよび制御装置 | |
WO2018216382A1 (ja) | 医療用システム、医療用支持アームの制御装置、および医療用支持アームの制御方法 | |
CN109890310B (zh) | 医疗支撑臂装置 | |
EP3590405B1 (en) | Medical arm system, control device, and control method | |
US20220168047A1 (en) | Medical arm system, control device, and control method | |
JP7115493B2 (ja) | 手術アームシステム及び手術アーム制御システム | |
US11305422B2 (en) | Control apparatus and control method | |
JP7480477B2 (ja) | 医療用観察システム、制御装置及び制御方法 | |
WO2018088105A1 (ja) | 医療用支持アーム及び医療用システム | |
CN113993478A (zh) | 医疗工具控制***、控制器和非暂时性计算机可读存储器 | |
JP2022020592A (ja) | 医療用アーム制御システム、医療用アーム制御方法、及びプログラム | |
WO2021049438A1 (ja) | 医療用支持アーム、及び医療用システム | |
US20220322919A1 (en) | Medical support arm and medical system | |
WO2021125056A1 (en) | Method, apparatus and system for controlling an image capture device during surgery | |
WO2022219878A1 (ja) | 医療用観察システム、医療用画像処理方法及び情報処理装置 | |
CN115916482A (zh) | 信息处理装置、程序、学习模型以及学习模型生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18760660 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019502879 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18760660 Country of ref document: EP Kind code of ref document: A1 |