WO2014073122A1 - 内視鏡操作システム - Google Patents
内視鏡操作システム Download PDFInfo
- Publication number
- WO2014073122A1 WO2014073122A1 PCT/JP2013/000738 JP2013000738W WO2014073122A1 WO 2014073122 A1 WO2014073122 A1 WO 2014073122A1 JP 2013000738 W JP2013000738 W JP 2013000738W WO 2014073122 A1 WO2014073122 A1 WO 2014073122A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- endoscope
- operator
- head
- unit
- angular velocity
- Prior art date
Links
- 0 C(C*1)CC1C1CCCCC1 Chemical compound C(C*1)CC1C1CCCCC1 0.000 description 2
- VMWOETMUNAQFAX-UHFFFAOYSA-N C(C1)CC11CCCCC1 Chemical compound C(C1)CC11CCCCC1 VMWOETMUNAQFAX-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/0051—Flexible endoscopes with controlled bending of insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
Definitions
- the present invention relates to an endoscope operation system.
- an enlargement ratio of a zoom lens of an endoscope is provided in a head mounted display (hereinafter also referred to as an HMD).
- Control is performed based on a detection output from a posture sensor that detects movement of the head. Further, the movement of the surgeon's head is taken out as the displacement of the posture sensor with respect to the magnetic source that generates the magnetic field.
- the left image based on the imaging data obtained through the solid-state imaging device of the endoscope is displayed on the pair of liquid crystal monitors in the HMD, and the surgeon In this case, a field of view magnified by the zoom lens can be obtained. Therefore, the surgeon can stereoscopically observe the inside of the body cavity in which the endoscope is inserted.
- Non-Patent Document 1 a five-node link mechanism, a ball joint portion that holds a trocar penetrating the abdominal wall with the abdominal wall portion, and a drive unit and an operation unit that drive the link mechanism A device in which an endoscope gripping device is configured is proposed.
- a laparoscope which is a type of endoscope, is a zoom type and can quickly switch between the perspective of the screen, and the zoom type laparoscope can be quickly moved to a position desired by the operator by a controller switch. It can be moved.
- Non-Patent Document 1 the zoom operation is performed by, for example, a voice command or a hand or foot switch. For this reason, it is necessary for the surgeon to learn these zoom operation methods in advance, and when performing an intraoperative zoom operation, the consciousness must be switched from a surgical technique to a zoom operation. For this reason, there is not only room for improvement in work efficiency but also a risk of erroneous operation.
- the zoom operation can be performed by moving the face back and forth in the same way as the daily operation, it is considered very intuitive.
- As a means for detecting the translational movement of the head there is a method using an optical or magnetic three-dimensional detection device.
- a sensor outside In addition to attaching a marker or the like to the operator's head, it is necessary to fix a sensor outside. For this reason, not only is there a limitation on the positional relationship between the external sensor and the operator, but there are problems of signal shielding and interference with other devices.
- the endoscope operation system disclosed in Patent Document 1 employs a method in which a magnetic sensor is attached to the HMD and the movement of the operator's head is detected by a change in magnetism, and is affected by a magnetic field. It is difficult to use in an MRI environment. Further, it is assumed that the bending endoscope is operated by the HMD in the up / down, left / right, and zoom directions.
- the present application has been made to solve such a problem, and an object thereof is to provide an endoscope operation system capable of easily and intuitively zooming the field of view of an endoscope.
- an endoscope operating system includes an endoscope having an imaging unit at a distal end portion, and supports the distal end portion of the endoscope so as to be movable up and down, left and right, and in the front-rear direction and capable of rotating.
- a holding arm unit to be supported a display unit that displays an image based on an image signal from the imaging unit of the endoscope, and an angular velocity that is attached to the operator's head and is based on the posture displacement of the operator's head
- a first posture detection unit that is attached to the torso of the operator, a second posture detection unit that detects an angular velocity based on a tilt displacement of the upper body of the operator, and a target at the distal end of the endoscope
- a control unit that calculates a velocity vector and controls a moving direction and a velocity of the distal end portion of the endoscope so as to follow the calculated target velocity vector, and the control unit includes the second posture detection.
- the translational velocity in the front-rear direction of the neck position of the operator is calculated based on the tilt angular velocity component in the front-rear direction of the upper body among the angular velocities based on the tilt displacement of the upper body of the operator, and the calculated Calculating the target speed vector based on a translational speed in the front-rear direction of the neck position of the operator and movement information of the posture of the head of the operator detected by the first posture detection unit; It is characterized by.
- an endoscope operation system capable of easily and intuitively zooming the field of view of an endoscope.
- FIG. 1 is a block diagram illustrating an overall configuration of an example of an endoscope operation system according to Embodiment 1.
- FIG. 6 is a schematic diagram for explaining detection of an inclination angular velocity in the front-rear direction of the upper body according to Embodiment 1.
- FIG. 10 is a schematic diagram for explaining detection of vertical movement of the entire head according to Embodiment 3.
- FIG. Embodiments of the present invention will be described below with reference to the drawings. With reference to FIG. 1, a configuration that is a feature of the present invention and points of interest thereof will be briefly described.
- the translational operation of the visual field such as zoom is intuitively performed without using hands or feet by translating the head in the front-rear direction in the same manner as in daily operations. It is realized.
- the operator instead of directly detecting the translational movement of the head, the operator (operator OP) detects the posture of the gyro sensor, for example, on the chest. A tilt angle velocity of the upper body is detected by attaching a part, and a translational operation of the visual field is realized using the detected output value.
- posture detecting means such as a gyro sensor 3 is attached to the chest of the operator OP, thereby detecting the inclination angular velocity of the upper body. Then, a translational velocity in the front-rear direction of the head is calculated from the detected body inclination angle velocity, and used as a command value for a zoom operation or the like. For example, when the upper body is tilted forward, the field of view is zoomed in (zoom in), and when the upper body is tilted backward, the field of view is zoomed out (zoom out).
- the inventor of the present application is that when a human naturally translates the head from front to back and from side to side and right and left Focused on tilting from the upper body, not just from the neck up. Since the motion of the upper body itself is not a translational motion but a rotational motion around the waist, the speed of the rotational motion can be easily detected by attaching the gyro sensor 3 or the like to the upper body portion.
- the translational velocity in the front-rear direction of the head can be calculated from the body inclination angular velocity, and can be used as a command value for a zoom operation or the like. Further, as will be described later, by combining this with the output of a gyro sensor attached to the head, it is possible to detect at least a motion with 5 degrees of freedom of the head.
- FIG. 2 shows a configuration of an example of the endoscope operation system according to the present embodiment together with the operator OP.
- the endoscope operation system is detachable from the endoscope 24, the holding arm unit 10 that holds the endoscope 24 and controls the posture of the endoscope 24, and the head of the operator OP.
- a head mounted display 30 (hereinafter also referred to as HMD 30) to be mounted is included as a main element.
- the endoscope 24 includes, for example, a flexible insertion unit having an imaging unit at a distal end inserted into the body, an operation unit (not shown) that controls the optical system, and a light source connected to the operation unit. And a connection portion (not shown) connected to the.
- the imaging unit includes an optical unit including an objective lens, a solid-state imaging device, and a zoom mechanism unit including an actuator that controls the lens of the optical unit to enlarge or reduce an image obtained by the imaging unit. .
- the zoom mechanism unit of the imaging unit is controlled by an endoscope controller 60 described later.
- a light guide is provided adjacent to the objective lens at the distal end of the insertion portion. The light guide illuminates the inside of the body with the light guided from the light source.
- the endoscope 24 a rigid endoscope and a flexible endoscope can be adopted.
- the HMD 30 is attached to the head of the operator OP as shown in FIG.
- the HMD 30 includes a pair of left and right display units (not shown) at positions corresponding to both eyes of the operator OP facing the front of the face of the operator OP.
- the display unit displays, for example, a 3D color image.
- the display unit is not limited to such an example, and may display, for example, a 2D format monochrome image.
- the entire HMD 30 follows the movement of the head of the operator OP. That is, in the HMD 30, as shown by an arrow in FIG. 2, when viewed from the operator OP side, the neck is the right axis (clockwise rotation) with the neck as the center axis, and the neck is the center axis.
- Left-handed (counterclockwise) rotation left-handed rotation
- vertical rotation with respect to the neck flexion, extension
- tilting right with respect to the neck bending right
- tilting left with respect to the neck left side
- the holding arm unit 10 supports the distal end portion of the endoscope 24 so as to be movable in the up and down, left and right, and front and rear directions and to be rotatable.
- the holding arm unit 10 is supported via a bracket (not shown) of a vane motor unit 16 described later on a pedestal (not shown) adjacent to the operating table separated from the operator OP.
- the holding arm unit 10 includes a chassis that movably supports a vane motor 20 that rotatably supports an endoscope 24, an endoscope 24 and a vane motor that are fixed to the chassis.
- the pneumatic cylinder 18 for moving the 20 close to or away from the patient, the vane motor unit 16 supported via the parallel link mechanism 14 supported at one end by the above-mentioned chassis, and the output shaft of the vane motor unit 16 are connected.
- the main part includes a timing belt pulley and a rotating shaft portion that rotates the entire chassis by being rotated via the timing belt 22 and a pneumatic cylinder 12 that drives the parallel link mechanism 14. It is configured.
- the parallel link mechanism 14 has one end of a link member constituting a part thereof connected to the rotating shaft portion and the other end portion connected to the chassis.
- the chassis is rotated in the clockwise direction around the lower end of the rotating shaft portion in FIG. 3 is rotated in the counterclockwise direction with respect to the rotation center at the lower end of the rotation shaft portion. That is, as will be described later, the imaging unit of the endoscope 24 can move around the rotation center point GP in a direction corresponding to the vertical rotation (bending and extension) of the head with respect to the neck of the operator OP in the HMD 30. It is.
- the rotation center point GP is located in the vicinity of the patient's body wall on a common straight line with a rotation axis G of the rotation shaft portion described later.
- the rotation axis G is set to be parallel to the Lx coordinate axis of the orthogonal coordinate system in FIG. 3 taken in the holding arm unit 10.
- the Lx coordinate axis is set in a direction orthogonal to the patient's body wall, and the coordinate axis Lz is set to be perpendicular to the Lx coordinate axis.
- the pneumatic cylinder 18 is supported by the chassis so that its rod is substantially parallel to the central axis of the endoscope 24.
- the imaging unit of the endoscope 24 and the vane motor 20 in FIG. 3 are moved relative to the chassis in a direction away from the patient, while the rod of the pneumatic cylinder 18 is in the contracted state.
- the imaging unit of the endoscope 24 and the vane motor 20 are moved with respect to the chassis in a direction approaching the patient. That is, as will be described later, the imaging unit of the endoscope 24 is movable in a direction corresponding to the inclination of the upper body of the operator OP in the front-rear direction.
- each of the link members constituting the parallel link mechanism 14 is connected to a predetermined distance along the central axis of the rotary shaft portion provided in parallel with the vane motor unit 16 at a position apart from the center shaft line.
- the rotating shaft portion is rotatably supported by the vane motor unit 16 around the rotating axis G.
- the vicinity of the operation unit in the endoscope 24 is supported by the vane motor 20 so as to be rotatable.
- the imaging unit of the endoscope 24 can rotate (roll) by a predetermined angle around the rotation center axis of the vane motor 20. That is, as will be described later, the imaging unit of the endoscope 24 is movable in a direction corresponding to the lateral bending of the head of the operator OP in the HMD 30.
- the imaging unit of the endoscope 24 can move around the rotation center point GP in the direction corresponding to the vertical rotation (bending and extension) of the head with respect to the neck of the operator OP in the HMD 30. . Further, the imaging unit of the endoscope 24 is movable in a direction corresponding to the rotation around the neck of the head of the operator OP in the HMD 30. In addition, the imaging unit of the endoscope 24 is movable in a direction corresponding to the lateral bending of the head of the operator OP in the HMD 30. In addition, the imaging unit of the endoscope 24 is movable in a direction corresponding to the inclination of the upper body of the operator OP in the front-rear direction.
- the holding arm unit 10 has at least four degrees of freedom of movement in the vertical, left and right, rotation, and front-back directions following the movement of the head and upper body of the operator OP with respect to movement of the imaging unit of the endoscope 24. Can be realized.
- a unit 58, an endoscope controller 60, and an on / off switching foot switch 50 are provided.
- an endoscope 24 is attached to the holding arm unit 10, and an image captured by the endoscope 24 is displayed on the HMD 30.
- the gyro sensor 2 attached to the HMD 30 and the gyro sensor 3 attached to the chest of the operator OP are used to relate to the head of the operator OP. The movement is detected, and the holding arm unit 10 is operated in synchronization so as to follow the detected movement.
- the gyro sensor 2 as an example of the first posture detection unit is attached to the HMD 30 described above.
- the gyro sensor 2 detects the angular velocity based on the posture displacement of the head of the operator OP by detecting the rotation, lateral bending, bending and extension of the HMD 30 described above.
- the detection output from the gyro sensor 2 is supplied to a control unit 40 described later.
- the sensor used as the first posture detection unit is not limited to this.
- the first posture detection unit may be used in an environment that is not easily affected by a magnetic field or in an environment that does not need to consider the influence of a magnetic field.
- a magnetic sensor may be used.
- a magnetic sensor or an acceleration sensor may be combined with the gyro sensor.
- the position where the gyro sensor 2 is attached is not limited to the HMD 30 and may be attached to another position of the operator OP's head.
- the gyro sensor 3 as an example of the second posture detection unit is attached to the chest of the operator OP.
- the gyro sensor 3 detects the angular velocity based on the tilt displacement of the upper body of the operator OP by detecting the angular velocity of the upper body of the operator OP in the front-rear and left-right directions.
- the sensor used as the second posture detection unit is not limited to this.
- the second posture detection unit in an environment that is not easily affected by a magnetic field or an environment that does not need to consider the influence of a magnetic field is not high.
- a magnetic sensor may be used.
- a magnetic sensor or an acceleration sensor may be combined with the gyro sensor.
- the position where the gyro sensor 3 is attached is not limited to the chest of the operator OP.
- the gyro sensor 3 may be attached to the abdomen of the operator OP, or the position where the inclination angular velocity of the trunk of the operator OP can be detected. You may attach to the arbitrary positions of the trunk
- the detection output from the gyro sensor 3 is supplied to a control unit 40 described later.
- the detection output supplied from each of the gyro sensor 2 and the gyro sensor 3 to the control unit 40 is supplied to the control unit 40 via CAN communication, for example.
- the endoscope controller 60 controls the operation of the zoom mechanism unit and the light source of the endoscope 24 based on a command signal group from the operation unit, and uses the imaging data DD obtained from the solid-state image sensor of the endoscope 24. Based on this, predetermined image processing is performed.
- the endoscope controller 60 performs predetermined image processing based on the imaging data, forms image data, and supplies it to the control unit 40 and the HMD 30. Thereby, an image based on the image data from the endoscope controller 60 is displayed on the display unit of the HMD 30 in the 3D format.
- the control unit 40 includes a signal group GS1 representing the angular velocity vectors in the above-described directions of the head of the operator OP from the gyro sensor 2 in the HMD 30, and the above-described directions of the upper body of the operator OP from the gyro sensor 3.
- a signal group GS2 representing an angular velocity vector and a command signal Cf representing an operation stop command of the holding arm unit 10 from the on / off switching foot switch 50 are supplied.
- the control unit 40 stores program data for controlling the air pressure of the vane motor unit 16, the vane motor 20, the pneumatic cylinder 12 and the pneumatic cylinder 18, image data from the endoscope controller 60, data representing a calculation result by the control unit 40, and the like.
- a storage unit (not shown) is provided.
- the control unit 40 forms a control signal for controlling the vane motor unit 16, the vane motor 20, the pneumatic cylinder 12 and the pneumatic cylinder 18 in the holding arm unit 10 described above, and supplies it to the valve unit 58.
- the valve unit 58 controls each valve based on the control signal from the control unit 40, and the working air from the air supply source is supplied to the vane motor unit 16, the vane motor 20, the pneumatic cylinder 12 and the pneumatic pressure in the holding arm unit 10. Supply to cylinder 18.
- the control unit 40 controls the holding arm unit 10 so as to control the insertion amount and speed of the endoscope 24 into the patient's body and to control the posture of the imaging unit of the endoscope 24. Make it.
- the control unit 40 includes a signal group GS1 representing the above-described angular velocity vectors of the head of the operator OP from the gyro sensor 2 in the HMD 30 and the above-described directions of the upper body of the operator OP from the gyro sensor 3. Based on the signal group GS2 representing the angular velocity vector, the target velocity value of the imaging unit of the endoscope 24 is calculated.
- the control unit 40 causes the pneumatic cylinders 12 and 18 of the holding arm unit 10 and the vane motor 16 to operate so that the imaging unit of the endoscope 24 follows the target speed value based on the target speed value. , Form control data and supply it to the valve unit 58.
- the control unit 40 calculates the angular velocity command vector ⁇ cmd from the following equation based on the signal group GS1 representing the angular velocity vector from the gyro sensor 2. That is, the control unit 40 calculates the angular velocity command vector ⁇ cmd by multiplying the angular velocity vector ⁇ s1 of the head obtained from the gyro sensor 2 by the predetermined coefficient matrix K r .
- ⁇ s1 is an angular velocity vector of the head detected by the gyro sensor 2 of the HMD 30.
- a coordinate system fixed to the head is used as the coordinate system.
- the center axis of the neck of the operator OP shown in FIG. 2 is the y-axis
- the left-right direction of the operator OP is the x-axis
- the front-back direction of the operator OP is the z-axis.
- the angular velocity vector ⁇ s1 is an angular velocity in the longitudinal direction of the head of the operator OP in the z-axis and y-axis plane in the coordinate system fixed to the head (vertical direction of the head relative to the neck of the operator OP).
- the coefficient matrix Kr is a diagonal matrix with 3 rows and 3 columns, and a predetermined coefficient representing a speed gain is set in advance in each diagonal component. It can be set in accordance with the motion of the sensitivity to the user's preference by multiplying the constant K r of the angular velocity. This constant Kr can be set to a different value for each direction. Kr may be a function.
- the control unit 40 sets the angular velocity command vector ⁇ cmd to a predetermined limit value ⁇ lim with a limiter. That is, when the angular velocity command vector ⁇ cmd exceeds the limit value ⁇ lim , the angular velocity command vector ⁇ ′ cmd is set to the limit value ⁇ lim , and when the angular velocity command vector ⁇ cmd is less than or equal to the limit value ⁇ lim , the angular velocity command vector ⁇ ' cmd is set to the angular velocity command vector ⁇ cmd . This is because the operation of the holding arm unit 10 operates at an excessive speed so that the internal organs are not damaged by the imaging unit. Note that the data of the value of the angular velocity command vector ⁇ ′ cmd is stored in the storage unit.
- the control unit 40 converts the angular velocity command vector ⁇ ′ cmd into the local coordinates (Lx, Ly, Lz) (see FIG. 3) of the holding arm unit 10 by the conversion matrix T according to the following equation, and further multiplies the matrix R. Then, the angular velocity command vector ⁇ ′′ cmd of the orthogonal coordinate system (Cx, Cy, Cz) (see FIG. 3) at the distal end portion of the endoscope 24 is obtained.
- the coordinate axis Cz is taken along the central axis of the insertion portion of the endoscope 24, that is, along the advancing direction or the retreating direction of the imaging portion of the endoscope 24.
- the matrix R represents the posture of the endoscope 24 and is sequentially obtained from the joint displacement q (see q 1 , q 2 , and q 4 in FIG. 3) of the holding arm unit 10 by forward kinematics calculation.
- E represents a rotation matrix.
- the vertical and horizontal directions in the screen of the display unit in the HMD 30 always coincide with the vertical and horizontal directions of the head of the operator OP. That is, the coordinate system fixed to the head in the HMD 30 and the coordinate system fixed to the distal end of the endoscope 24 coincide with each other. Therefore, the image displayed on the display unit in the HMD 30 follows the movement of the head of the operator OP.
- the angular velocity command vector ⁇ ′ cmd is converted into the local coordinates (Lx, Ly, Lz) of the holding arm unit 10 by the conversion matrix T, and further multiplied by the matrix R, so that the endoscope 24
- the angular velocity command vector ⁇ ′′ cmd of the Cartesian coordinate system (Cx, Cy, Cz) at the tip has been obtained, but the present invention is not limited to this example.
- the conversion from the local coordinates (Lx, Ly, Lz) of the holding arm unit 10 to the orthogonal coordinate system (Cx, Cy, Cz) at the distal end portion of the endoscope 24 can be omitted.
- the local coordinates (Lx, Lz) to the orthogonal coordinate system (Cx, Cy, Cz) at the distal end portion of the endoscope 24 can be omitted.
- the control unit 40 obtains the angular velocity command vector ⁇ ′′ cmd of the orthogonal coordinate system at the distal end portion of the endoscope 24 according to the following equation, and the target velocity vector v xy at the distal end portion (imaging portion) of the endoscope 24.
- angular velocity command vector omega '' cmd by taking the vector l 3 and outer product to the tip of the endoscope 24 from the rotation center GP of the holding arm unit 10, an orthogonal coordinate system (Cx, Cy, Cz) inner in This is converted into a component v xy in the vertical and horizontal directions of the target speed at the tip of the endoscope 24.
- the control unit 40 calculates the following expression for the target speed vector v xy in order to adjust the speed of the imaging unit so as to be changeable according to the amount of insertion of the endoscope 24 into the body in the imaging unit. To do. Thereby, when the amount of insertion in the advancing direction into the body in the imaging unit of the endoscope 24 increases, the target velocity vector v ′ xy of the imaging unit of the endoscope 24 becomes large, while the imaging of the endoscope 24 is performed. When the amount of insertion in the unit decreases, that is, when the imaging unit of the endoscope 24 is pulled out from the body, the target velocity vector v ′ xy of the imaging unit of the endoscope 24 becomes small.
- the coefficient r xy depending on q 3 (see FIG. 3) representing the amount of insertion of the distal end of the endoscope 24 is multiplied by the value of v xy as shown in the above equation, so that the amount of movement of the screen corresponds to the degree of insertion. Dependency is adjusted. Thereby, the movement amount of the visual field by the rotation of the head can be adjusted. For example, the amount of movement of the gaze object on the screen when the head is rotated can be made substantially constant regardless of the zoom position. Therefore, the intuitiveness of operation is improved.
- r xy is a constant and is set in a range in which the sign of v xy does not invert.
- q 3 is the direction of inserting the endoscope from the intermediate position the positive and negative direction of pulling.
- the center of the movable range of q 3 as an intermediate position in FIG. 3, taking an intermediate position to zero.
- r xy may be a function.
- control unit 40 calculates a target velocity vector along the Cz coordinate axis (see FIG. 3) in the imaging unit of the endoscope 24 based on the signal group GS2 representing the angular velocity vector from the gyro sensor 3. Therefore, the control unit 40 first calculates the velocity vector v h of the neck position in the absolute coordinate system based on the signal group GS2 representing the angular velocity vector from the gyro sensor 3 by the following equation. That is, the angular velocity vector ⁇ s2 of the upper body is converted into a velocity command vector v h at the neck position in the absolute coordinate system by taking the outer product of the vector l ′ from the waist to the neck position of the operator OP.
- the moving speed in the front-rear direction of the head is regarded as the translational speed in the front-rear direction of the neck position, and the moving speed in the front-rear direction of the head is actually the neck speed. Obtained as the moving speed of the part in the longitudinal direction.
- ⁇ s2 represents the rotational speed generated by the rotational motion of the upper body around the waist, and is an angular velocity vector of the upper body detected by the gyro sensor 3 on the chest.
- the vertical direction in FIG. 5 is the y axis
- the right direction of the operator OP orthogonal to the y axis is the x axis
- the forward direction of the operator OP orthogonal to the y axis and the x axis is z.
- Axis is. In this absolute coordinate system, even when the upper body of the operator OP inclines in FIG. 5, the y axis is always vertically upward.
- the angular velocity vector ⁇ s2 is a tilt angular velocity in the longitudinal direction of the upper body of the operator OP in the z-axis and y-axis plane in the absolute coordinate system (a direction corresponding to the longitudinal tilt of the upper body of the operator OP).
- Angular velocity the rotational angular velocity of the upper body of the operator OP around the y axis in the z axis and the x axis plane, and the lateral direction of the upper body of the operator OP in the x axis and y axis plane. It is a three-dimensional vector including a tilt angular velocity.
- an inclination angular velocity component in the front-rear direction of the upper body of the operator OP is used among the components of the angular velocity vector ⁇ s2. .
- the control unit 40 converts the velocity command vector v h at the neck position into a coordinate system fixed to the head of the operator OP by the conversion matrix R ′ according to the following equation, and the target velocity vector v h at the neck position.
- a coordinate system fixed to the head is used as the coordinate system.
- the center axis of the operator OP's head shown in FIG. 5 is the y-axis
- the left-right direction of the operator OP is the x-axis
- the front-back direction of the operator OP is the z-axis.
- the target velocity vector v h ′ of the neck position is a moving speed of the head in the vertical direction of the operator OP in the y-axis direction and in the front-back direction of the operator OP in the z-axis direction in a coordinate system fixed to the head. Is a three-dimensional vector including the moving speed of the head of the operator and the moving speed of the head in the left-right direction of the operator OP in the x-axis direction.
- the component of the target velocity vector v h ′ at the neck position is related to the zoom operation for moving the distal end portion of the endoscope 24 in the front-rear direction.
- a command value for a zoom operation for moving the distal end portion of the endoscope 24 in the front-rear direction is calculated using the moving speed of the head in the front-rear direction of the operator OP.
- the vector l ′ and the transformation matrix R ′ can be obtained from the inclination angles of the upper body and the head.
- the inclination angles of the upper body and the head can be obtained, for example, by integrating the angular velocities obtained from the gyro sensors 2 and 3 and the output of the geomagnetic sensor. In an actual operation, these inclination angles may be set to be sufficiently close to 0 °, and even if set in this way, the operation does not give a sense of incongruity.
- control unit 40 ' controls the target speed vector v h of the tip portion of the endoscope 24 according to the following equation (imaging unit)' target speed vector v h of the resulting fired position into a '.
- the matrix R and the transformation matrix T are the same as the above formula.
- the control unit 40 is a component corresponding to the moving speed of the head in the front-rear direction of the operator OP among the components of the target velocity vector v h ′′ of the distal end portion (imaging unit) of the endoscope 24 obtained. Is used to determine the target velocity value of the final endoscope tip (imaging unit).
- the component corresponding to the moving speed of the head in the front-rear direction of the operator OP may be subjected to processing such as further multiplying by a predetermined coefficient.
- the control unit 40 reads “the target velocity vector v xy of the distal end portion (imaging unit) of the endoscope 24 obtained based on the gyro sensor 2” and “the endoscope 24 obtained based on the gyro sensor 3.
- the target velocity vector v h ′′ ”of the tip (imaging unit) is added.
- the control unit 40 adds the velocity components in the up / down / left / right direction and the front / rear direction, and calculates the final target velocity value of the distal end (imaging unit) of the endoscope 24.
- the roll component (the operation of tilting the neck) of the rotational speed of the operator's head is directly related to the roll component of the angular velocity command vector ⁇ ′ cmd and the roll q 4 of the endoscope.
- the present invention is not limited to such an example. This operation may be disabled.
- the effects generated by using the on / off switching foot switch 50 are as follows.
- the endoscope 24 is not desired to be operated, if the switch is turned off, the head and upper body can be moved freely.
- the switch is turned off and the head is returned to the left before the switch is turned on.
- the endoscope 24 can be further moved to the right.
- the endoscope 24 is not interlocked with the movement of the head unless the switch is turned on, an unexpected operation can be avoided.
- the gyro sensor 3 is attached to the chest in addition to the gyro sensor 2 of the head. And the velocity of the head in the front-rear direction is obtained from the front-rear inclination of the upper body detected by the gyro sensor 3, and the endoscope 24 is moved in the vertical and horizontal directions and the endoscope based on the movement information.
- the target speed value of the distal end portion of the endoscope 24 for realizing the rotational movement around the axis of the mirror 24 and the movement of the endoscope 24 in the front-rear direction is calculated and instructed to the holding arm unit 10.
- the degree of freedom in operation can be increased without using the hand of the operator OP itself.
- Input devices such as switches that have been necessary in the past can be omitted.
- the intuitiveness of the operation can be drastically increased, and the risk of erroneous operation can be reduced.
- the following effects can be obtained. 1. There is no need to install an external sensor from the viewpoint of signal interruption, noise, and settings. 2. All operations can be performed without using hands. 3. Intuitive operation without being aware of the operation procedure. 4). Minimize the use of foot switches. That is, according to the example of the endoscope operation system according to the present embodiment, it is possible to realize a translational operation method of a visual field such as a zoom that satisfies all of these and is simple and intuitive.
- Embodiment 2 FIG. According to the example of the endoscope operating system according to the first embodiment described above, the endoscope 24 shown in FIG. 3 is always in the extended state and is not configured to bend. On the other hand, according to the example of the endoscope operation system according to the present embodiment, the endoscope 24 is configured to be able to bend and bend at least a part of its distal end portion. That is, at least a part of the distal end portion of the endoscope 24 can be bent in the left-right direction with respect to the rotation axis G.
- the holding arm unit 10 has four degrees of freedom related to movement of the imaging unit of the endoscope 24 (up and down, left and right, rotation, and movement in the front-rear direction following the movement of the head and upper body of the operator OP), One degree of freedom (movement in the left-right direction following the left-right movement of the upper body of the operator OP) with respect to the movement by bending of the imaging unit of the endoscope 24 can also be realized. That is, the holding arm unit 10 supports the distal end portion of the endoscope 24 so as to be movable in the vertical, left, and right directions, and the front and rear directions, and supports the tip portion of the endoscope 24 so that it can rotate. It is configured so as to be bent in the left-right direction.
- the control unit 40 can detect the angular velocity of the upper body of the operator OP in the horizontal direction by the upper body gyro sensor 3 based on the same principle as described above in the first embodiment. Then, the control unit 40 can calculate the moving speed in the left-right direction of the neck position of the operator OP from the detected inclination angular velocity in the left-right direction of the upper body of the operator OP. Furthermore, the control unit 40 can calculate the moving speed of the head of the operator OP in the left-right direction from the calculated moving speed of the neck position in the left-right direction.
- the control unit 40 uses the calculated moving speed of the head of the operator OP in the left-right direction with respect to an operation command for bending at least a part of the distal end portion of the endoscope 24. For example, when the operator OP tilts to the right, the control unit 40 follows this movement and bends at least a part of the distal end portion of the endoscope 24 to the right, so that the operator OP moves to the left. When tilted to the right, at least a part of the distal end portion of the endoscope 24 is bent leftward following this movement.
- the direction of at least a part of the distal end portion is set with respect to the endoscope 24 in which at least a part of the distal end portion can be bent.
- the tip itself in which at least a part of the distal end portion can be bent.
- Embodiment 3 FIG.
- at least a part of the distal end portion of the endoscope 24 can be bent in the left-right direction with respect to the rotation axis G.
- at least a part of the distal end portion of the endoscope 24 can be bent in the vertical direction in addition to the horizontal direction.
- the holding arm unit 10 has four degrees of freedom related to movement of the imaging unit of the endoscope 24 (up and down, left and right, rotation, and movement in the front-rear direction following the movement of the head and upper body of the operator OP), Two degrees of freedom related to the movement of the imaging unit of the endoscope 24 by bending (moving in the left and right direction following the left and right movements of the upper body of the operator OP, and vertical and vertical movements of the entire head of the operator OP It is also possible to realize the following movement in the vertical direction.
- the holding arm unit 10 supports the distal end portion of the endoscope 24 so as to be movable in the vertical, left, and right directions, and the front and rear directions, and supports the tip portion of the endoscope 24 so that it can rotate. It is configured so as to be bent in the left and right and up and down directions.
- the vertical vertical movement speed of the entire head is regarded as the vertical translation speed of the neck position, and actually the vertical vertical movement speed of the entire head is considered.
- the moving speed is obtained as the moving speed in the vertical direction of the neck portion.
- the moving speed of the neck portion in the vertical direction can be obtained from, for example, the vertical translation speed of the waist position.
- the translational velocity in the vertical direction of the waist position is obtained from, for example, the rotational angular velocity of the waist due to the knee bending / extension motion of the operator OP.
- a gyro sensor 4 as an example of a third posture detection unit is attached to the knee of the operator OP as shown in FIG.
- the gyro sensor 4 detects the rotational angular velocity of the waist based on the bending and stretching movements of the knee of the operator OP.
- the position where the gyro sensor 4 is attached is not limited to the knee of the operator OP, and any position on the thigh or lower leg of the operator OP as long as the rotational angular velocity of the hip of the operator OP can be detected. You may attach to the position.
- the detection output from the gyro sensor 4 is supplied to the control unit 40 described above.
- the control unit 40 calculates the vertical rotation speed v k of the waist position from the rotational angular velocity ⁇ k dots of the waist in the knee flexion / extension motion detected from the gyro sensor 4 (a variable indicated by an upper dot in the equation).
- the component v ky in the direction is approximately calculated.
- the other components of the waist position translation velocity vector v k may be set to zero.
- the knee rotation angle ⁇ k is the rotational angular velocity of the waist due to the knee flexion / extension motion in the vertical direction, and is 0 ° when the operator OP is in the upright posture.
- l k1 is the length from the ankle to the knee
- l k2 is the length from the knee to the waist.
- the coefficient applied to the rotational angular velocity ⁇ k dots of the waist may be calculated by multiplying a constant value K as in the following equation.
- control unit 40 uses the calculated vertical vertical movement speed of the entire head of the operator OP with respect to an operation command to bend at least a part of the distal end portion of the endoscope 24.
- the control unit 40 bends at least a part of the distal end portion of the endoscope 24 following this movement when the operator OP bends the knee by bending and stretching movements.
- the operator OP extends the knee by bending and stretching, at least a part of the distal end portion of the endoscope 24 is bent upward following this movement.
- the endoscope operation system it is possible to detect the vertical vertical movement of the entire head independent of the inclination of the upper body, and according to the detection value of this movement, At least a part of the distal end portion of the endoscope 24 is bent in the vertical direction. Accordingly, a total of 6 degrees of freedom can be realized with respect to the movement of the distal end portion of the endoscope 24.
- the present invention is not limited to this, and the small size attached to the front surface of the trunk as the second posture detection unit.
- Other cameras may be used. In the case of using a small camera, it is possible to estimate the tilt angular velocity in the front-rear direction of the upper body based on the optical flow of the image in the forward direction of the operator OP imaged by the camera.
- the operator OP wearing the HMD 30 cannot visually recognize the front, for example, a part of the front image captured by the small camera is displayed on the sub monitor of the HMD 30 or the display of the display unit of the HMD 30 is displayed forward. By switching to the image, there is an advantage that the operator OP can check the situation ahead.
- the present invention is not limited to the above-described embodiment, and can be appropriately changed without departing from the spirit of the present invention.
- the case where a gyro sensor or a small camera is used as the second posture detection unit has been described as an example.
- the present invention is not limited to this, for example, in an environment that is not easily affected by a magnetic field.
- a magnetic sensor may be used as the second posture detection unit in an environment where it is not necessary to consider the influence of the magnetic field.
- the specific configurations of the holding arm unit 10 and the endoscope 24 are not limited to the above-described embodiments, and the holding arm unit 10 and the endoscope 24 having other specific configurations may be used. Good.
- the display unit that displays an image based on the image signal from the imaging unit of the endoscope 24 has been described as being displayed by the HMD 30, the present invention is not limited to this.
- the display unit may display using a known display unit such as a general liquid crystal monitor.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Endoscopes (AREA)
- Manipulator (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
内視鏡操作システムは、内視鏡24、内視鏡24の先端部を上下左右前後方向に移動可能に支持すると共に自転可能に支持する保持アームユニット10、内視鏡24の撮像部からの画像信号に基づく画像を表示する表示部、操作者OPの頭部に取り付けられるジャイロセンサ2、操作者OPの胴部に取り付けられるジャイロセンサ3、内視鏡24の先端部の移動方向および速度を制御する制御ユニット40を備える。制御ユニット40は、ジャイロセンサ3により検出した操作者OPの上体の傾斜変位に基づく角速度から操作者OPの首位置の前後方向の並進速度を算出し、当該算出した操作者OPの首位置の前後方向の並進速度と、ジャイロセンサ2により検出した操作者OPの頭部の姿勢の動き情報と、に基づいて目標速度ベクトルを算出する。
Description
本発明は内視鏡操作システムに関する。
外科手術において、術後の回復が速く、手術の際の傷口が小さい等の利点から開腹手術に代えて内視鏡手術が広く行われている。このような内視鏡手術においては、遠隔操作が可能なマスタスレーブ型の内視鏡操作システムが提案されている。
このような内視鏡操作システムは、例えば、特許文献1にも示されるように、内視鏡のズームレンズの拡大率が、ヘッドマウントディスプレイ(以下、HMDともいう)内に設けられ手術者の頭の移動を検出する姿勢センサからの検出出力に基づいて制御されるものとされる。また、手術者の頭の移動は、磁界を発生する磁気ソースに対する姿勢センサの変位として取り出される。これにより、例えば、手術者が患者に対し左を向けば、内視鏡の固体撮像素子を通じて得られた撮像データに基づく左の画像がHMD内の一対の液晶モニタに映され、手術者が患者に近づいた場合、ズームレンズにより拡大された視野が得られることとなる。従って、手術者は、内視鏡が挿入された体腔内を立体的に観察できることとなる。
また、非特許文献1に開示される内視鏡把持装置においては、5節リンク機構と、腹壁を貫通するトロッカーを腹壁部で保持するボールジョイント部と、リンク機構を駆動させる駆動部および操作部とにより内視鏡把持装置が構成されているものが提案されている。かかる構成においては、内視鏡の一種である腹腔鏡は、ズーム式で、画面の遠近を素早く切り替えることができ、また、コントローラスイッチにより、ズーム式の腹腔鏡が手術者の欲する位置に迅速に移動可能とされる。
医療用内視鏡把持装置「Naviot」、カタログ、日立ハイブリッドネットワーク(株)発行
非特許文献1などに開示される内視鏡操作システムでは、ズーム操作は、例えば、音声指令や手元または足元のスイッチにより行われている。このため、術者はこれらのズーム操作方法を予め覚える必要があり、術中ズーム操作を行う際には、手術手技からズーム操作に意識を切り替えなければならない。このため、作業の効率に改善の余地があるだけでなく、誤操作のリスクもある。
そこで、ズーム操作を日常動作と同様に顔を前後に移動させることで行うことができれば、非常に直感的であると考えられる。このためには、何らかの方法で頭部の並進運動を検出する必要がある。頭部の並進運動を検出する手段として、光学式または磁気式の3次元検出装置を用いる方法があるが、操作者の頭部にマーカー等を取り付ける他、外部にセンサを固定する必要がある。このため、外部センサと操作者の位置関係に制限があるだけでなく、信号の遮蔽や他の機器との干渉の問題がある。一方、操作者の頭部に加速度センサを取り付け、この出力を積分することによって速度を求めることも理論上は可能であるが、重力加速度補償の誤差やゼロ点のずれ、ノイズなどによって、正確に速度を求めることは困難である。
なお、特許文献1に開示される内視鏡操作システムは、HMDに磁気センサを取り付け、磁気の変化により術者の頭の移動を検出する方法を採用しており、磁場の影響を受けることから、MRI環境下ではその使用が困難である。また、湾曲内視鏡の上下、左右、ズームをHMDにより操作することを想定している。
本出願は、このような問題点を解決するためになされたものであり、簡易かつ直感的に内視鏡の視野のズーム操作が可能な内視鏡操作システムを提供することを目的とする。
一実施の形態において、内視鏡操作システムは、先端部に撮像部を有する内視鏡と、前記内視鏡の先端部を上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持する保持アームユニットと、前記内視鏡の撮像部からの画像信号に基づく画像を表示する表示部と、操作者の頭部に取り付けられ当該操作者の頭部の姿勢変位に基づく角速度を検出する第1の姿勢検出部と、前記操作者の胴部に取り付けられ当該操作者の上体の傾斜変位に基づく角速度を検出する第2の姿勢検出部と、前記内視鏡の先端部における目標速度ベクトルを算出し、当該算出した目標速度ベクトルに追従するように前記内視鏡の先端部の移動方向および速度を制御する制御ユニットと、を備え、前記制御ユニットは、前記第2の姿勢検出部により検出した前記操作者の前記上体の傾斜変位に基づく角速度のうちの前記上体の前後方向への傾斜角速度成分に基づいて前記操作者の首位置の前後方向の並進速度を算出し、当該算出した前記操作者の首位置の前後方向の並進速度と、前記第1の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報と、に基づいて前記目標速度ベクトルを算出する、ことを特徴とするものである。
本発明により、簡易かつ直感的に内視鏡の視野のズーム操作が可能な内視鏡操作システムを提供することができる。
実施の形態1.
以下、図面を参照して本発明の実施の形態について説明する。
図1を参照して、本発明の特徴となる構成およびその着目点について簡単に説明する。本実施の形態に係る内視鏡操作システムの一例においては、日常動作と同様に頭を前後方向に並進移動させることによって、ズームなどの視野の並進操作を手や足を用いずに直感的に実現するものである。多くの場合、頭部を前後移動させる際には上体ごと傾けることから、頭部の並進運動を直接検出するのではなく、操作者(手術者OP)の例えば胸部にジャイロセンサなどの姿勢検出部を取り付けることによって上体の傾斜角速度を検出し、この検出出力値を用いて視野の並進操作を実現する。
以下、図面を参照して本発明の実施の形態について説明する。
図1を参照して、本発明の特徴となる構成およびその着目点について簡単に説明する。本実施の形態に係る内視鏡操作システムの一例においては、日常動作と同様に頭を前後方向に並進移動させることによって、ズームなどの視野の並進操作を手や足を用いずに直感的に実現するものである。多くの場合、頭部を前後移動させる際には上体ごと傾けることから、頭部の並進運動を直接検出するのではなく、操作者(手術者OP)の例えば胸部にジャイロセンサなどの姿勢検出部を取り付けることによって上体の傾斜角速度を検出し、この検出出力値を用いて視野の並進操作を実現する。
例えば図1に示すように、ジャイロセンサ3などの姿勢検出手段を手術者OPの胸部に取り付け、これによって上体の傾斜角速度を検出する。そして、この検出した上体傾角速度から頭部の前後方向の並進速度を計算し、ズーム操作などの指令値として用いる。例えば、上体を前方に傾斜させた場合には視野をズームイン(zoom in)させ、上体を後方に傾斜させた場合には視野をズームアウト(zoom out)させる。
簡易かつ直感的に内視鏡の視野のズーム操作を可能とする内視鏡操作システムを実現するために、本出願の発明者は、人間が頭部を前後左右に自然に並進運動させる際には、首から上だけの動きではなく上体から傾斜させる点に着目した。この上体の運動そのものは並進運動ではなく腰付近を中心とする回転運動であることから、その回転運動の速度はジャイロセンサ3などを上体部分に取り付けることによって容易に検出することができる。この上体傾斜角速度から頭部の前後方向における並進速度を算出することができ、ズーム操作などの指令値として用いることができる。さらに、後述するように、これと頭部に取り付けられたジャイロセンサの出力を組み合わせることによって、少なくとも頭部の5自由度の運動を検出することができる。
図2は、本実施の形態に係る内視鏡操作システムの一例の構成を、手術者OPとともに示す。
図2において、内視鏡操作システムは、内視鏡24と、内視鏡24を保持するとともに内視鏡24の姿勢を制御する保持アームユニット10と、手術者OPの頭部に着脱可能に装着されるヘッドマウントディスプレイ30(以下、HMD30ともいう)と、を主な要素として含んで構成されている。
図2において、内視鏡操作システムは、内視鏡24と、内視鏡24を保持するとともに内視鏡24の姿勢を制御する保持アームユニット10と、手術者OPの頭部に着脱可能に装着されるヘッドマウントディスプレイ30(以下、HMD30ともいう)と、を主な要素として含んで構成されている。
内視鏡24は、例えば、体内に挿入される先端部に撮像部を有する柔軟な挿入部と、光学系の制御を行う操作部(不図示)と、操作部に接続され光源等を操作部に接続する接続部(不図示)とを含んで構成されている。
撮像部は、対物レンズ等からなる光学部と、固体撮像素子と、撮像部により得られる画像を拡大または縮小すべく光学部のレンズを制御するアクチュエータを含むズーム機構部とを含んで構成される。その撮像部のズーム機構部は、後述する内視鏡コントローラ60により制御される。挿入部の先端部における対物レンズに隣接してライトガイドが設けられている。ライトガイドは、上述の光源から導かれた光により体内を照らすものとされる。なお、内視鏡24としては、硬性内視鏡及び軟性内視鏡を採用することができる。
HMD30は、図2に示されるように、手術者OPの頭部に装着されている。HMD30は、手術者OPの顔の正面に向き合って手術者OPの両眼に対応した位置にそれぞれ左右一対の表示部(不図示)を備えている。表示部は、例えば、3D形式のカラー画像を表示するものとされる。なお、表示部は、かかる例に限られることなく、例えば、2D形式の白黒画像を表示するものでもよい。
HMD30全体が、手術者OPの頭部の動きに追従することとなる。即ち、HMD30においては、図2において矢印で示されるように、手術者OP側から見た場合、首を中心軸線とした右向き(時計回り方向)の回転(右回旋)、首を中心軸線とした左向き(反時計回り方向)の回転(左回旋)、首に対し縦方向の回転(屈曲、伸展)、首に対し右方向への傾動(右側屈)、首に対し左方向への傾動(左側屈)の移動が可能である。
保持アームユニット10は、内視鏡24の先端部を、上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持する。保持アームユニット10は、手術者OPから離隔した手術台に隣接した架台(不図示)に後述するベーンモータユニット16のブラケット(不図示)を介して支持されている。保持アームユニット10は、図2および図3に示されるように、内視鏡24を回動可能に支持するベーンモータ20を移動可能に支持するシャーシと、そのシャーシに固定され内視鏡24およびベーンモータ20を患者に対し近接または離隔させる空気圧シリンダー18と、上述のシャーシに一端部が支持される平行リンク機構14を介して支持されるベーンモータユニット16と、ベーンモータユニット16の出力軸に連結されるタイミングベルトプーリ、および、タイミングベルト22を介して回動されることにより、上述のシャーシ全体を回動させる回転軸部と、平行リンク機構14を駆動させる空気圧シリンダー12を主な要素として含んで構成されている。
平行リンク機構14は、一部を構成するリンク部材の一端が回転軸部に連結され他端部がシャーシに連結されている。これにより、例えば、平行リンク機構14に連結される空気圧シリンダー12のロッドが伸長状態のとき、図3においてシャーシが回転軸部の下端を中心として時計回り方向に回動され、一方、空気圧シリンダー12のロッドが縮小状態のとき、図3においてシャーシが回転軸部の下端の回転中心に対し反時計回り方向に回動される。即ち、後述するように、内視鏡24の撮像部がHMD30における手術者OPの首に対し頭部の縦方向の回転(屈曲、伸展)に対応した方向に回転中心点GPを中心として移動可能である。回転中心点GPは、後述する回転軸部の回転軸線Gと共通の直線上にあって患者の体壁近傍に位置する。回転軸線Gは、保持アームユニット10においてとられる図3における直交座標系のLx座標軸に対し平行となるように設定されている。Lx座標軸は、患者の体壁に直交する方向に設定され、座標軸Lzは、Lx座標軸に対し直角となるように設定されている。
空気圧シリンダー18は、そのロッドが内視鏡24の中心軸線と略平行となるようにシャーシに支持されている。空気圧シリンダー18のロッドが伸長状態のとき、図3において内視鏡24の撮像部およびベーンモータ20が患者に対し離隔する方向にシャーシに対し移動せしめられ、一方、空気圧シリンダー18のロッドが縮小状態のとき、図3において内視鏡24の撮像部およびベーンモータ20が患者に対し近接する方向にシャーシに対し移動せしめられる。即ち、後述するように、内視鏡24の撮像部が手術者OPの上体の前後方向の傾斜に対応した方向に移動可能である。
ベーンモータユニット16に並設される回転軸部におけるその中心軸線に沿った所定の間隔、離隔した位置には、平行リンク機構14を構成するリンク部材の一端がそれぞれ連結されている。その回転軸部は、回転軸線Gの回りにベーンモータユニット16に回動可能に支持されている。これにより、ベーンモータユニット16が作動状態とされる場合、内視鏡24の撮像部およびベーンモータ20が回転軸線Gの回りに回動可能とされる。即ち、後述するように、内視鏡24の撮像部がHMD30における手術者OPの頭部の首回りの回旋に対応した方向に移動可能である。
また、内視鏡24における操作部近傍は、ベーンモータ20により回動可能に支持されている。これにより、内視鏡24の撮像部がベーンモータ20の回転中心軸線回りに所定の角度だけ自転(ロール)可能とされる。即ち、後述するように、内視鏡24の撮像部がHMD30における手術者OPの頭部の側屈に対応した方向に移動可能である。
このように、内視鏡24の撮像部は、HMD30における手術者OPの首に対し頭部の縦方向の回転(屈曲、伸展)に対応した方向に回転中心点GPを中心として移動可能である。また、内視鏡24の撮像部は、HMD30における手術者OPの頭部の首回りの回旋に対応した方向に移動可能である。また、内視鏡24の撮像部は、HMD30における手術者OPの頭部の側屈に対応した方向に移動可能である。また、内視鏡24の撮像部は、手術者OPの上体の前後方向の傾斜に対応した方向に移動可能である。即ち、保持アームユニット10は、内視鏡24の撮像部の移動に関して、手術者OPの頭部および上体の動きに追従する上下、左右、回転、前後方向への移動の少なくとも4自由度を実現することができる。
さらに、本実施の形態に係る内視鏡操作システムの一例においては、図4に示されるように、ジャイロセンサ2と、ジャイロセンサ3と、保持アームユニット10の動作制御を行う制御ユニット40およびバルブユニット58と、内視鏡コントローラ60と、オンオフ切替用フットスイッチ50と、を備えている。
本実施の形態に係る内視鏡操作システムの一例においては、保持アームユニット10には内視鏡24が取り付けられており、内視鏡24により撮像された画像がHMD30に映し出される。そして、本実施の形態に係る内視鏡操作システムの一例においては、HMD30に取り付けられたジャイロセンサ2と手術者OPの胸部に取り付けられたジャイロセンサ3を用いることにより手術者OPの頭部に関する動きを検出し、検出した動きに追従するように保持アームユニット10を同期して動作させる。
第1の姿勢検出部の一例としてのジャイロセンサ2は、上述したHMD30に取り付けられている。ジャイロセンサ2は、上述したHMD30の回旋、側屈、屈曲、および、伸展を検出することにより、手術者OPの頭部の姿勢変位に基づく角速度を検出する。ジャイロセンサ2からの検出出力は、後述する制御ユニット40に供給される。なお、第1の姿勢検出部として用いるセンサはこれに限定されず、例えば、磁場の影響を受けにくい環境下あるいは磁場の影響を考慮する必要性の高くない環境下では、第1の姿勢検出部として磁気センサを利用するものとしてもよい。また、ジャイロセンサのゼロ点補正を行うために、ジャイロセンサに磁気センサあるいは加速度センサを組み合わせて構成してもよい。また、ジャイロセンサ2を取り付ける位置はHMD30に限定されず、手術者OPの頭部の他の位置に取り付けてもよい。
第2の姿勢検出部の一例としてのジャイロセンサ3は、手術者OPの胸部に取り付けられている。ジャイロセンサ3は、手術者OPの上体の前後および左右方向における傾斜角速度を検出することにより、手術者OPの上体の傾斜変位に基づく角速度を検出する。なお、第2の姿勢検出部として用いるセンサはこれに限定されず、例えば、磁場の影響を受けにくい環境下あるいは磁場の影響を考慮する必要性の高くない環境下では、第2の姿勢検出部として磁気センサを利用するものとしてもよい。また、ジャイロセンサのゼロ点補正を行うために、ジャイロセンサに磁気センサあるいは加速度センサを組み合わせて構成してもよい。また、ジャイロセンサ3を取り付ける位置は手術者OPの胸部に限定されず、例えば手術者OPの腹部に取り付けてもよいし、手術者OPの胴部の傾斜角速度を検出可能な位置であれば、手術者OPの胴部の任意の位置に取り付けてよい。ジャイロセンサ3からの検出出力は、後述する制御ユニット40に供給される。また、ジャイロセンサ2およびジャイロセンサ3のそれぞれから制御ユニット40に供給される検出出力は、例えばCAN通信を介して制御ユニット40に供給される。
内視鏡コントローラ60は、操作部からの指令信号群に基づいて内視鏡24のズーム機構部、光源の動作制御を行うと共に、内視鏡24の固体撮像素子から得られた撮像データDDに基づいて所定の画像処理を行う。また、内視鏡コントローラ60は、撮像データに基づいて所定の画像処理を行い、画像データを形成してそれを制御ユニット40およびHMD30に供給する。これにより、内視鏡コントローラ60からの画像データに基づく画像が、HMD30の表示部に3D形式で表示される。
制御ユニット40には、HMD30におけるジャイロセンサ2からの手術者OPの頭部の上述した各方向の角速度ベクトルをあらわす信号群GS1、ジャイロセンサ3からの手術者OPの上体の上述した各方向の角速度ベクトルをあらわす信号群GS2、およびオンオフ切替用フットスイッチ50からの保持アームユニット10の動作停止命令をあらわす指令信号Cfが供給される。
制御ユニット40は、ベーンモータユニット16、ベーンモータ20、空気圧シリンダー12および空気圧シリンダー18の空気圧制御についてのプログラムデータ、内視鏡コントローラ60からの画像データ、制御ユニット40による演算結果をあらわすデータ等を格納する記憶部(不図示)を備えている。
制御ユニット40は、上述の保持アームユニット10におけるベーンモータユニット16、ベーンモータ20、空気圧シリンダー12および空気圧シリンダー18を制御するための制御信号を形成し、それをバルブユニット58に供給する。これにより、バルブユニット58は、制御ユニット40からの制御信号に基づいて各バルブを制御し、空気供給源からの作動空気を保持アームユニット10におけるベーンモータユニット16、ベーンモータ20、空気圧シリンダー12および空気圧シリンダー18に供給する。
制御ユニット40は、内視鏡24の挿入部における患者の体内への挿入量および速度制御を行うとともに、内視鏡24の撮像部の姿勢制御を行うように、保持アームユニット10に動作を行わせる。
制御ユニット40は、HMD30におけるジャイロセンサ2からの手術者OPの頭部の上述した各方向の角速度ベクトルをあらわす信号群GS1と、ジャイロセンサ3からの手術者OPの上体の上述した各方向の角速度ベクトルをあらわす信号群GS2と、に基づいて内視鏡24の撮像部の目標速度値を算出する。制御ユニット40は、目標速度値に基づいて内視鏡24の撮像部がその目標速度値に追従するように、保持アームユニット10の空気圧シリンダー12、18、および、ベーンモータ16に動作を行わせるべく、制御データを形成しそれをバルブユニット58に供給する。
以下、制御ユニット40による、内視鏡24の撮像部の目標速度値の設定方法をより具体的に説明する。
制御ユニット40は、先ず、ジャイロセンサ2からの角速度ベクトルをあらわす信号群GS1に基づいて、角速度指令ベクトルωcmdを次式により算出する。即ち、制御ユニット40は、ジャイロセンサ2から得られた頭部の角速度ベクトルωs1に、所定の係数行列Krを乗算することによって、角速度指令ベクトルωcmdを算出する。
制御ユニット40は、先ず、ジャイロセンサ2からの角速度ベクトルをあらわす信号群GS1に基づいて、角速度指令ベクトルωcmdを次式により算出する。即ち、制御ユニット40は、ジャイロセンサ2から得られた頭部の角速度ベクトルωs1に、所定の係数行列Krを乗算することによって、角速度指令ベクトルωcmdを算出する。
ωs1は、HMD30のジャイロセンサ2により検出される頭部の角速度ベクトルである。ここで、座標系は、頭部に固定された座標系を用いる。図2に示す手術者OPの首の中心軸をy軸とし、手術者OPの左右方向をx軸とし、手術者OPの前後方向をz軸とする。
角速度ベクトルωs1は、頭部に固定された座標系における、z軸およびy軸平面内での手術者OPの頭部の前後方向への傾斜角速度(手術者OPの首に対し頭部の縦方向の回転に対応した方向における角速度)、z軸およびx軸平面内でのy軸を中心軸とした手術者OPの頭部の回転角速度(手術者OPの頭部の首回りの回旋に対応した方向における角速度)、x軸およびy軸平面内での手術者OPの頭部の左右方向への傾斜角速度(手術者OPの頭部の側屈に対応した方向における角速度)を含む3次元ベクトルである。
係数行列Krは、3行3列の対角行列であり、速度ゲインを表す所定の係数が対角成分に予めそれぞれ設定される。角速度に定数Krをかけることで動きの感度をユーザの好みに合わせて設定することができる。この定数Krは、方向ごとに異なる値を設定することができる。Krは、関数でもよい。
次に、制御ユニット40は、角速度指令ベクトルωcmdをリミッタにより所定の制限値ωlimに設定する。即ち、角速度指令ベクトルωcmdが制限値ωlimよりも超える場合、角速度指令ベクトルω'cmdを制限値ωlimに設定され、角速度指令ベクトルωcmdが制限値ωlim以下の場合、角速度指令ベクトルω'cmdが、その角速度指令ベクトルωcmdに設定される。これは、保持アームユニット10の動作が過剰な速度で動作し、撮像部により内臓を傷めないようにするためである。なお、角速度指令ベクトルω'cmdの値のデータは、記憶部に格納される。
続いて、制御ユニット40は、次式に従い角速度指令ベクトルω'cmdを変換行列Tにより保持アームユニット10のローカル座標(Lx,Ly,Lz)(図3参照)に変換し、さらに行列Rを乗算して、内視鏡24の先端部における直交座標系(Cx,Cy,Cz)(図3参照)の角速度指令ベクトルω''cmdを求める。直交座標系において座標軸Czは、内視鏡24の挿入部の中心軸線に沿って、即ち、内視鏡24の撮像部の進行方向または後退方向に沿ってとられている。
行列Rは、内視鏡24の姿勢を表し、保持アームユニット10の関節変位q(図3におけるq1、q2、q4参照)から順運動学演算によって逐次得られる。ここで、Eは回転行列を表す。
これにより、HMD30における表示部の画面内の上下左右方向と手術者OPの頭部の上下左右が常に一致することとなる。即ち、HMD30における頭部に固定された座標系と内視鏡24の先端に固定された座標系が一致することとなる。従って、HMD30における表示部に表示される画像が、手術者OPの頭部の動きに追従することとなる。
なお、上述の例においては、角速度指令ベクトルω'cmdを変換行列Tにより保持アームユニット10のローカル座標(Lx,Ly,Lz)に変換し、さらに行列Rを乗算して、内視鏡24の先端部における直交座標系(Cx,Cy,Cz)の角速度指令ベクトルω''cmdを求めていたが、かかる例に限られることはない。保持アームユニット10のローカル座標(Lx,Ly,Lz)から、内視鏡24の先端部における直交座標系(Cx,Cy,Cz)への変換を省略することもできる。例えば、HMD30における表示部に表示される画像を外部のCRT画像として見る場合などで、このCRT画像とCT画像との重ね合わせができるようにするために、保持アームユニット10のローカル座標(Lx,Ly,Lz)から、内視鏡24の先端部における直交座標系(Cx,Cy,Cz)への変換を省略することもできる。
続いて、制御ユニット40は、次式に従い、内視鏡24の先端部における直交座標系の角速度指令ベクトルω''cmdを、内視鏡24の先端部(撮像部)の目標速度ベクトルvxyに変換する。即ち、角速度指令ベクトルω''cmdは、保持アームユニット10の回転中心GPから内視鏡24の先端までのベクトルl3と外積をとることで、直交座標系(Cx,Cy,Cz)における内視鏡24の先端部の目標速度の上下、左右方向の成分vxyに変換される。
続いて、制御ユニット40は、内視鏡24の撮像部における体内への挿入量に応じて撮像部の速度を変更可能とするように調節するために目標速度ベクトルvxyに対し演算を次式により行う。これにより、内視鏡24の撮像部における体内への進行方向の挿入量が増大するとき、内視鏡24の撮像部の目標速度ベクトルv'xyが大となり、一方、内視鏡24の撮像部における挿入量が減少するとき、即ち、内視鏡24の撮像部が体内から引き抜かれるとき、内視鏡24の撮像部の目標速度ベクトルv'xyが小となる。
内視鏡24の先端の挿入量をあらわすq3(図3参照)に依存した係数rxyを上式のようにそれぞれのvxyの値に乗算することで、画面の移動量の挿入度に対する依存度が調節される。これにより、頭の回転による視界の移動量を調節できる。例えば、頭を回転させたときの注視対象物の画面上での移動量を、ズーム位置によらずほぼ一定にすることなどができる。そのため操作の直感性が向上する。
ここで、rxyは、定数であり、vxyの値の正負が反転しない範囲で設定される。但し、q3は、中間位置から内視鏡を挿入する方向を正、引き抜く方向を負とする。図3におけるq3の可動範囲の中央を中間位置とし、中間位置を0にとっている。なお、rxyは、関数でもよい。
また、制御ユニット40は、ジャイロセンサ3からの角速度ベクトルをあらわす信号群GS2に基づいて、内視鏡24の撮像部におけるCz座標軸(図3参照)に沿った目標速度ベクトルを算出する。このため、制御ユニット40は、先ず、ジャイロセンサ3からの角速度ベクトルをあらわす信号群GS2に基づいて、絶対座標系における首位置の速度ベクトルvhを次式により算出する。即ち、上体の角速度ベクトルωs2は、手術者OPの腰から首位置までのベクトルl'の外積をとることで、絶対座標系における首位置の速度指令ベクトルvhに変換される。
本実施の形態に係る内視鏡操作システムの一例においては、頭部の前後方向の移動速度を首位置の前後方向の並進速度として見なし、頭部の前後方向の移動速度は、実際には首部分の前後方向の移動速度として求める。
図5に示すように、ωs2は、腰回りの上体の回転運動によって生じる回転速度をあらわし、胸部のジャイロセンサ3により検出される上体の角速度ベクトルである。ここで、座標系は、図5において鉛直上方向をy軸とし、y軸と直交する手術者OPの右方向をx軸とし、y軸およびx軸と直交する手術者OPの前方向をz軸とする。この絶対座標系は、図5において、手術者OPの上体が傾斜した場合においても、そのy軸は、常に鉛直上向きである。
角速度ベクトルωs2は、上記絶対座標系における、z軸およびy軸平面内での手術者OPの上体の前後方向への傾斜角速度(手術者OPの上体の前後方向の傾斜に対応した方向における角速度)、z軸およびx軸平面内でのy軸を中心軸とした手術者OPの上体の回転角速度、x軸およびy軸平面内での手術者OPの上体の左右方向への傾斜角速度を含む3次元ベクトルである。なお、後述するように、内視鏡24の先端部を前後方向に移動させるズーム操作に関しては、角速度ベクトルωs2の成分のうち、手術者OPの上体の前後方向への傾斜角速度成分を用いる。
続いて、制御ユニット40は、次式に従い、首位置の速度指令ベクトルvhを変換行列R'により手術者OPの頭部に固定された座標系に変換し、首位置の目標速度ベクトルvh'を求める。ここで、座標系は、頭部に固定された座標系を用いる。図5に示す手術者OPの頭の中心軸をy軸とし、手術者OPの左右方向をx軸とし、手術者OPの前後方向をz軸とする。
なお、頭部の傾斜角が小さく、変換行列R'が単位行列に近い場合には、式(9)の変換演算を省略するものとしてもよい。また、厳密な計算を必要とする場合にのみ、式(9)の変換演算を実行するものとしてもよい。
首位置の目標速度ベクトルvh'は、頭部に固定された座標系における、y軸方向における手術者OPの上下方向への頭部の移動速度、z軸方向における手術者OPの前後方向への頭部の移動速度、x軸方向における手術者OPの左右方向への頭部の移動速度を含む3次元ベクトルである。
後述するように、本実施の形態に係る内視鏡操作システムの一例においては、内視鏡24の先端部を前後方向に移動させるズーム操作に関して、首位置の目標速度ベクトルvh'の成分のうちで、手術者OPの前後方向への頭部の移動速度を用いて、内視鏡24の先端部を前後方向に移動させるズーム操作の指令値を算出する。
なお、ベクトルl'や変換行列R'は、上体および頭部の傾斜角度から求めることができる。上体および頭部の傾斜角度は、例えばジャイロセンサ2、3から得られる角速度を積分することや、地磁気センサの出力などから求めることができる。また、実際の操作においては、これらの傾斜角を十分に小さいものとして0°に近似して設定してもよく、このように設定した場合にあっても、操作に違和感を与えることはない。
続いて、制御ユニット40は、得られた首位置の目標速度ベクトルvh'を、次式に従い内視鏡24の先端部(撮像部)の目標速度ベクトルvh''に変換する。これにより、頭の前後の動きと内視鏡24の先端部(撮像部)の前後の動きを一致させることができる。但し、行列Rおよび変換行列Tは、上述の式と同様である。
制御ユニット40は、得られた内視鏡24の先端部(撮像部)の目標速度ベクトルvh''の成分のうちで、手術者OPの前後方向への頭部の移動速度に対応する成分を用いて、最終的な内視鏡の先端部(撮像部)の目標速度値を求める。
なお、目標速度ベクトルvh''の成分のうちで、手術者OPの前後方向への頭部の移動速度に対応する成分について、所定の係数などをさらに掛けるなどの処理を行ってもよい。
そして、制御ユニット40は、「ジャイロセンサ2に基づいて得られる内視鏡24の先端部(撮像部)の目標速度ベクトルvxy」と、「ジャイロセンサ3に基づいて得られる内視鏡24の先端部(撮像部)の目標速度ベクトルvh''」とを加算する。ただし、目標速度ベクトルvh''については、「手術者OPの前後方向への頭部の移動速度に対応する成分」のみを加算する。これにより、制御ユニット40は、上下左右方向と前後方向の速度成分を加算して、最終的な内視鏡24の先端(撮像部)の目標速度値を算出する。
なお、上述の例においては、手術者の頭部の回転速度のうちロール成分(首を傾げる動作)は、上述の角速度指令ベクトルω'cmdのロール成分を、直接、内視鏡のロールq4の目標速度として与えられているが、かかる例に限られることない。また、この動作は無効にしてもよい。
オンオフ切替用フットスイッチ50を使用することにより発生する効果は、つぎのようなものがある。内視鏡24を動作させたくないときにはスイッチをオフにしておけば、頭および上体を自由に動かすことができる。また、例えば、スイッチをオンにして内視鏡24を右に動かす際、自分の頭が右の可動限界に達した場合でも、スイッチをオフにして頭を左に戻してからスイッチをオンにすることで、さらに内視鏡24を右に動かすことができる。また、スイッチをオンにしない限り内視鏡24が頭の動きに連動することはないので、予期せぬ動作を避けることができる。
以上に説明したように、本実施の形態に係る内視鏡操作システムの一例によれば、頭部のジャイロセンサ2に加えてジャイロセンサ3を胸部にも取り付け、ジャイロセンサ2により頭部の動きを検出すると共に、ジャイロセンサ3により検出される上体の前後方向の傾斜から頭部の前後方向の速度を求め、これら動き情報に基づいて、内視鏡24の上下左右方向の移動および内視鏡24の軸周りの回転移動、並びに内視鏡24の前後方向の移動を実現するための内視鏡24の先端部の目標速度値を算出し、保持アームユニット10に指示する。これによって、簡易かつ直感性に優れた内視鏡24の視野の操作を実現することができる。
また、本実施の形態に係る内視鏡操作システムの一例によれば、視野の操作において、手術者OPの手自体を使用せずに操作可能な自由度が増えるために、例えばズーム操作用フットスイッチなどの従来必要であった入力機器を省略することができる。また、頭部の動きに追従する視野の並進操作を実現できるため、操作の直感性が飛躍的に増加すると共に、誤操作のリスクを低減することができる。
従って、本実施の形態に係る内視鏡操作システムの一例によれば、以下の効果を奏することができる。
1.信号遮断やノイズ、セッティングの観点から、外部へのセンサ設置が不要であること。
2.手を使わずに全ての操作を行えること。
3.操作手順を意識することなく直感的に操作できること。
4.フットスイッチの使用を最小限に留めること。
即ち、本実施の形態に係る内視鏡操作システムの一例によれば、これらを全て満たすような、簡易かつ直感性に優れた、ズームなどの視野の並進操作方法を実現することができる。
1.信号遮断やノイズ、セッティングの観点から、外部へのセンサ設置が不要であること。
2.手を使わずに全ての操作を行えること。
3.操作手順を意識することなく直感的に操作できること。
4.フットスイッチの使用を最小限に留めること。
即ち、本実施の形態に係る内視鏡操作システムの一例によれば、これらを全て満たすような、簡易かつ直感性に優れた、ズームなどの視野の並進操作方法を実現することができる。
実施の形態2.
上述した実施の形態1に係る内視鏡操作システムの一例によれば、図3に示した内視鏡24はその先端部は常に伸長状態にあり、曲げるようには構成されていない。これに対して本実施の形態に係る内視鏡操作システムの一例によれば、内視鏡24はその先端部の少なくとも一部を屈曲させ曲げることが可能となるように構成されている。即ち、内視鏡24の先端部の少なくとも一部は、回転軸線Gに対して左右方向に屈曲が可能である。
上述した実施の形態1に係る内視鏡操作システムの一例によれば、図3に示した内視鏡24はその先端部は常に伸長状態にあり、曲げるようには構成されていない。これに対して本実施の形態に係る内視鏡操作システムの一例によれば、内視鏡24はその先端部の少なくとも一部を屈曲させ曲げることが可能となるように構成されている。即ち、内視鏡24の先端部の少なくとも一部は、回転軸線Gに対して左右方向に屈曲が可能である。
保持アームユニット10は、内視鏡24の撮像部の移動に関する4自由度(手術者OPの頭部および上体の動きに追従する上下、左右、回転、前後方向への移動)に加えて、内視鏡24の撮像部の屈曲による移動に関する1自由度(手術者OPの上体の左右の動きに追従する左右方向への移動)についても実現することができる。即ち、保持アームユニット10は、内視鏡24の先端部を上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持し、かつ、内視鏡24の先端部の少なくとも一部を左右方向に屈曲可能に支持するように構成されている。
制御ユニット40は、実施の形態1において上述したのと同様の原理によって、上体のジャイロセンサ3によって、手術者OPの上体の左右方向への傾斜角速度を検出することができる。そして、制御ユニット40は、この検出した手術者OPの上体の左右方向への傾斜角速度から、手術者OPの首位置の左右方向の移動速度を算出することができる。さらに、制御ユニット40は、この算出した首位置の左右方向の移動速度から、手術者OPの左右方向の頭部の移動速度を算出することができる。制御ユニット40は、内視鏡24の先端部の少なくとも一部を屈曲させる操作の指令に関して、この算出した手術者OPの左右方向の頭部の移動速度を用いる。例えば、制御ユニット40は、手術者OPが右方向に傾斜した場合には、この動きに追従して内視鏡24の先端部の少なくとも一部を右方向に屈曲させ、手術者OPが左方向に傾斜した場合には、この動きに追従して内視鏡24の先端部の少なくとも一部を左方向に屈曲させる。
このようにして、本実施の形態に係る内視鏡操作システムの一例によれば、先端部の少なくとも一部が屈曲可能な内視鏡24に対して、その先端部の少なくとも一部の方向を左右方向に曲げることができると共に、実施の形態1で説明したようにして先端部自体をも平行移動させることが可能である。このような屈曲可能な内視鏡24においては、その先端部を左右に移動させるために内視鏡24の先端部全体を移動させることに代えて、先端部の少なくとも一部のみを屈曲させることで左右に向ける、ということが可能になる。
実施の形態3.
上述した実施の形態2に係る内視鏡操作システムの一例によれば、内視鏡24の先端部の少なくとも一部は、回転軸線Gに対して左右方向に屈曲が可能である。本実施の形態に係る内視鏡操作システムの一例によれば、内視鏡24の先端部の少なくとも一部は、左右方向に加えて、上下方向にも屈曲が可能である。
上述した実施の形態2に係る内視鏡操作システムの一例によれば、内視鏡24の先端部の少なくとも一部は、回転軸線Gに対して左右方向に屈曲が可能である。本実施の形態に係る内視鏡操作システムの一例によれば、内視鏡24の先端部の少なくとも一部は、左右方向に加えて、上下方向にも屈曲が可能である。
保持アームユニット10は、内視鏡24の撮像部の移動に関する4自由度(手術者OPの頭部および上体の動きに追従する上下、左右、回転、前後方向への移動)に加えて、内視鏡24の撮像部の屈曲による移動に関する2自由度(手術者OPの上体の左右の動きに追従する左右方向への移動、および手術者OPの頭部全体の鉛直上下方向の動きに追従する上下方向への移動)についても実現することができる。即ち、保持アームユニット10は、内視鏡24の先端部を上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持し、かつ、内視鏡24の先端部の少なくとも一部を左右および上下方向に屈曲可能に支持するように構成されている。
本実施の形態に係る内視鏡操作システムの一例においては、頭部全体の鉛直上下方向の移動速度を首位置の上下方向の並進速度として見なし、実際には、頭部全体の鉛直上下方向の移動速度は首部分の上下方向の移動速度として求める。首部分の上下方向の移動速度は、例えば、腰位置の上下方向の並進速度から求めることができる。そしてさらに、腰位置の上下方向の並進速度は、例えば、手術者OPの膝の屈伸運動による腰の回転角速度から求める。
第3の姿勢検出部の一例としてのジャイロセンサ4が、例えば図6に示すように、手術者OPの膝部に取り付けられている。ジャイロセンサ4は、手術者OPの膝の屈伸運動に基づく腰の回転角速度を検出する。なお、ジャイロセンサ4を取り付ける位置は手術者OPの膝部に限定されず、手術者OPの腰の回転角速度を検出可能な位置であれば、手術者OPの大腿部あるいは下腿部の任意の位置に取り付けてよい。ジャイロセンサ4からの検出出力は、上述した制御ユニット40に供給される。
制御ユニット40は、ジャイロセンサ4から検出した膝屈伸動作における腰の回転角速度θkドット(式において、上部にドットを付して示す変数。)から、腰位置の並進速度vkについて、その鉛直方向における成分vkyを近似的に算出する。なお、腰位置の並進速度ベクトルvkの他の成分については0とすればよい。
なお、膝の回転角度θkは鉛直方向上方に対する膝屈伸運動による腰の回転角速度であり、手術者OPが直立姿勢の場合には0度になる。また、lk1は足首から膝までの長さであり、lk2は膝から腰までの長さである。
このように、制御ユニット40は、内視鏡24の先端部の少なくとも一部を屈曲させる操作の指令に関して、この算出した手術者OPの頭部全体の鉛直上下方向の移動速度を用いる。制御ユニット40は、例えば、制御ユニット40は、手術者OPが屈伸運動により膝を屈曲させた場合には、この動きに追従して内視鏡24の先端部の少なくとも一部を下方向に屈曲させ、手術者OPが屈伸運動により膝を伸長させた場合には、この動きに追従して内視鏡24の先端部の少なくとも一部を上方向に屈曲させる。
このようにして、本実施の形態に係る内視鏡操作システムの一例によれば、上体の傾斜と独立した頭部全体の鉛直上下運動を検出することができ、この動きの検出値に従って、内視鏡24の先端部の少なくとも一部を上下方向に屈曲させる。これにより、内視鏡24の先端部の移動に関して、合計で6自由度を実現することができる。
その他の実施の形態.
上述した実施の形態1では、第2の姿勢検出部としてジャイロセンサを用いる場合を例に説明したが、本発明はこれに限定されず、第2の姿勢検出部として胴部の前面に取り付ける小型のカメラを利用してもよい。小型カメラを用いる場合には、当該カメラにより撮像した手術者OPの前方方向における画像のオプティカルフローに基づいて、上体の前後方向の傾斜角速度を推定することができる。
上述した実施の形態1では、第2の姿勢検出部としてジャイロセンサを用いる場合を例に説明したが、本発明はこれに限定されず、第2の姿勢検出部として胴部の前面に取り付ける小型のカメラを利用してもよい。小型カメラを用いる場合には、当該カメラにより撮像した手術者OPの前方方向における画像のオプティカルフローに基づいて、上体の前後方向の傾斜角速度を推定することができる。
HMD30を装着している手術者OPは前方を視認することはできないが、例えば、小型カメラにより撮像した前方画像の一部をHMD30のサブモニターに表示させる、または、HMD30の表示部の表示を前方画像に切り替えることで、手術者OPは前方の状況を確認することが可能になる、という利点がある。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述した実施の形態では、第2の姿勢検出部としてジャイロセンサあるいは小型カメラを用いる場合を例に説明したが、本発明はこれに限定されず、例えば、磁場の影響を受けにくい環境下あるいは磁場の影響を考慮する必要性の高くない環境下では、第2の姿勢検出部として磁気センサを利用するものとしてもよい。
また、保持アームユニット10および内視鏡24の具体的構成は上記実施の形態に限られたものではなく、他の具体的構成を備える保持アームユニット10および内視鏡24を利用するものとしてもよい。
また、内視鏡24の撮像部からの画像信号に基づく画像を表示する表示部は、HMD30によって表示されるものとして説明したが、本発明はこれに限定されない。例えば、表示部は、一般的な液晶モニタなど、周知の表示手段を用いて表示するようにしてもよい。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2012年11月7日に出願された日本出願特願2012-245703を基礎とする優先権を主張し、その開示の全てをここに取り込む。
2、3、4 ジャイロセンサ
10 保持アームユニット、
12 空気圧シリンダー、
14 平行リンク機構、
16 ベーンモータユニット、
18 空気圧シリンダー、
20 ベーンモータ、
22 タイミングベルト、
24 内視鏡、
30 HMD、
40 制御ユニット、
50 オンオフ切換用フットスイッチ、
58 バルブユニット、
60 内視鏡コントローラ、
10 保持アームユニット、
12 空気圧シリンダー、
14 平行リンク機構、
16 ベーンモータユニット、
18 空気圧シリンダー、
20 ベーンモータ、
22 タイミングベルト、
24 内視鏡、
30 HMD、
40 制御ユニット、
50 オンオフ切換用フットスイッチ、
58 バルブユニット、
60 内視鏡コントローラ、
Claims (6)
- 先端部に撮像部を有する内視鏡と、
前記内視鏡の先端部を上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持する保持アームユニットと、
前記内視鏡の撮像部からの画像信号に基づく画像を表示する表示部と、
操作者の頭部に取り付けられ当該操作者の頭部の姿勢変位に基づく角速度を検出する第1の姿勢検出部と、
前記操作者の胴部に取り付けられ当該操作者の上体の傾斜変位に基づく角速度を検出する第2の姿勢検出部と、
前記内視鏡の先端部における目標速度ベクトルを算出し、当該算出した目標速度ベクトルに追従するように前記内視鏡の先端部の移動方向および速度を制御する制御ユニットと、を備え、
前記制御ユニットは、
前記第2の姿勢検出部により検出した前記操作者の前記上体の傾斜変位に基づく角速度のうちの前記上体の前後方向への傾斜角速度成分に基づいて前記操作者の首位置の前後方向の並進速度を算出し、当該算出した前記操作者の首位置の前後方向の並進速度と、前記第1の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報と、に基づいて前記目標速度ベクトルを算出する、
ことを特徴とする内視鏡操作システム。 - 前記制御ユニットは、
前記算出した前記操作者の首位置の前後方向の並進速度に基づいて、前記操作者の頭部の前後方向の並進速度を算出し、当該算出した前記操作者の頭部の前後方向の並進速度と、前記第1の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報と、に基づいて前記目標速度ベクトルを算出する、
ことを特徴とする請求項1に記載の内視鏡操作システム。 - 前記内視鏡の先端部の少なくとも一部は左右方向に屈曲が可能であり、
前記保持アームユニットは、前記内視鏡の先端部を上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持し、かつ、前記内視鏡の先端部の少なくとも一部を左右方向に屈曲可能に支持し、
前記制御ユニットは、
前記第2の姿勢検出部により検出した前記操作者の前記上体の傾斜変位に基づく角速度のうちの前記上体の左右方向への傾斜角速度成分に基づいて前記操作者の首位置の左右方向の並進速度を算出し、当該算出した前記操作者の首位置の左右方向の並進速度と、前記第1の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報と、に基づいて前記目標速度ベクトルを算出する、
ことを特徴とする請求項1または2に記載の内視鏡操作システム。 - 前記操作者の大腿部あるいは下腿部に取り付けられ当該操作者の膝の屈伸運動に基づく腰の角速度を検出する第3の姿勢検出部を更に備え、
前記内視鏡の先端部の少なくとも一部は上下方向に屈曲が可能であり、
前記保持アームユニットは、前記内視鏡の先端部を上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持し、かつ、前記内視鏡の先端部の少なくとも一部を左右方向および上下方向に屈曲可能に支持し、
前記制御ユニットは、
前記第3の姿勢検出部により検出した前記操作者の前記膝の屈伸運動に基づく腰の角速度に基づいて鉛直方向における腰位置の並進速度を算出し、当該算出した前記鉛直方向における腰位置の並進速度と、前記算出した前記操作者の首位置の左右方向の並進速度と、前記第1の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報と、に基づいて前記目標速度ベクトルを算出する、
ことを特徴とする請求項3に記載の内視鏡操作システム。 - 前記第2の姿勢検出部は、前記操作者の前記上体の傾斜変位に基づく角速度を検出するジャイロセンサである、
ことを特徴とする請求項1ないし4いずれか1項に記載の内視鏡操作システム。 - 前記第2の姿勢検出部は、前記操作者の前記胴部の前面に取り付けられるカメラであり、当該カメラにより撮像した前記操作者の前方方向における画像のオプティカルフローに基づいて、前記上体の前後方向の傾斜角速度を推定する、
ことを特徴とする請求項1ないし4いずれか1項に記載の内視鏡操作システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/439,547 US20150342442A1 (en) | 2012-11-07 | 2013-02-12 | Endoscope operation system |
EP13853422.7A EP2918216B1 (en) | 2012-11-07 | 2013-02-12 | Endoscope operating system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012245703A JP5846385B2 (ja) | 2012-11-07 | 2012-11-07 | 内視鏡操作システム |
JP2012-245703 | 2012-11-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014073122A1 true WO2014073122A1 (ja) | 2014-05-15 |
Family
ID=50684253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/000738 WO2014073122A1 (ja) | 2012-11-07 | 2013-02-12 | 内視鏡操作システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20150342442A1 (ja) |
EP (1) | EP2918216B1 (ja) |
JP (1) | JP5846385B2 (ja) |
WO (1) | WO2014073122A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014156250A1 (ja) * | 2013-03-29 | 2014-10-02 | オリンパス株式会社 | マスタスレーブシステム |
EP2979605A4 (en) * | 2013-03-29 | 2016-11-23 | Tokyo Inst Tech | ENDOSCOPE OPERATING SYSTEM AND ENDOSCOPE PROGRAM |
JP6347523B2 (ja) * | 2013-08-08 | 2018-06-27 | 国立大学法人京都大学 | 身体の動作に基づく制御指令生成方法及び制御指令生成装置 |
US10265057B2 (en) * | 2013-08-14 | 2019-04-23 | Intuitive Surgical Operations, Inc. | Endoscope control system |
JP6358811B2 (ja) * | 2014-02-13 | 2018-07-18 | オリンパス株式会社 | マニピュレータ及びマニピュレータシステム |
US20160206179A1 (en) * | 2015-01-15 | 2016-07-21 | National Taiwan University | Assistive robot endoscopic system with intuitive maneuverability for laparoscopic surgery and method thereof |
CN106681488A (zh) * | 2015-07-20 | 2017-05-17 | 谢培树 | 头操作的数字眼镜 |
EP3346368B1 (en) * | 2015-09-04 | 2020-02-05 | FUJIFILM Corporation | Device, method and system for control of a target apparatus |
WO2017160792A1 (en) * | 2016-03-14 | 2017-09-21 | Endochoice, Inc. | System and method for guiding and tracking a region of interest using an endoscope |
CN107436679B (zh) * | 2016-05-27 | 2020-08-07 | 富泰华工业(深圳)有限公司 | 手势控制***及方法 |
US10786327B2 (en) * | 2016-10-03 | 2020-09-29 | Verb Surgical Inc. | Immersive three-dimensional display for robotic surgery |
JP2020510474A (ja) * | 2017-03-07 | 2020-04-09 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 関節動作可能な遠位部分を持つツールを制御するためのシステム及び方法 |
WO2018235255A1 (ja) * | 2017-06-23 | 2018-12-27 | オリンパス株式会社 | 医療システムとその作動方法 |
EP3705018A4 (en) * | 2017-11-01 | 2020-10-14 | Sony Corporation | SURGICAL ARM SYSTEM AND SURGICAL ARM CONTROL SYSTEM |
CN112104817B (zh) * | 2019-05-29 | 2023-02-10 | 惠州拓邦电气技术有限公司 | 内窥镜及内窥镜采集图像旋转方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08332169A (ja) * | 1995-06-08 | 1996-12-17 | Olympus Optical Co Ltd | 体腔内観察装置 |
JPH10309258A (ja) | 1997-05-13 | 1998-11-24 | Olympus Optical Co Ltd | 体腔内観察装置 |
JP2001145634A (ja) * | 1999-11-19 | 2001-05-29 | Olympus Optical Co Ltd | 内視鏡保持装置 |
JP2009285099A (ja) * | 2008-05-28 | 2009-12-10 | Tokyo Institute Of Technology | 力覚提示機能を有する操縦システム |
JP2011194163A (ja) * | 2010-03-23 | 2011-10-06 | Olympus Corp | 医療用マニピュレータシステム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5876325A (en) * | 1993-11-02 | 1999-03-02 | Olympus Optical Co., Ltd. | Surgical manipulation system |
US5436542A (en) * | 1994-01-28 | 1995-07-25 | Surgix, Inc. | Telescopic camera mount with remotely controlled positioning |
US5645077A (en) * | 1994-06-16 | 1997-07-08 | Massachusetts Institute Of Technology | Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body |
JPH11104064A (ja) * | 1997-10-01 | 1999-04-20 | Olympus Optical Co Ltd | 内視鏡の視野変換装置 |
JP4142460B2 (ja) * | 2003-01-31 | 2008-09-03 | オリンパス株式会社 | 運動検出装置 |
JP5530234B2 (ja) * | 2010-03-29 | 2014-06-25 | オリンパス株式会社 | 操作入力装置およびマニピュレータシステム |
-
2012
- 2012-11-07 JP JP2012245703A patent/JP5846385B2/ja not_active Expired - Fee Related
-
2013
- 2013-02-12 EP EP13853422.7A patent/EP2918216B1/en not_active Not-in-force
- 2013-02-12 WO PCT/JP2013/000738 patent/WO2014073122A1/ja active Application Filing
- 2013-02-12 US US14/439,547 patent/US20150342442A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08332169A (ja) * | 1995-06-08 | 1996-12-17 | Olympus Optical Co Ltd | 体腔内観察装置 |
JPH10309258A (ja) | 1997-05-13 | 1998-11-24 | Olympus Optical Co Ltd | 体腔内観察装置 |
JP2001145634A (ja) * | 1999-11-19 | 2001-05-29 | Olympus Optical Co Ltd | 内視鏡保持装置 |
JP2009285099A (ja) * | 2008-05-28 | 2009-12-10 | Tokyo Institute Of Technology | 力覚提示機能を有する操縦システム |
JP2011194163A (ja) * | 2010-03-23 | 2011-10-06 | Olympus Corp | 医療用マニピュレータシステム |
Non-Patent Citations (2)
Title |
---|
"Naviot", HITACHI HYBRID NETWORK CO., LTD |
See also references of EP2918216A4 |
Also Published As
Publication number | Publication date |
---|---|
EP2918216B1 (en) | 2017-04-12 |
US20150342442A1 (en) | 2015-12-03 |
EP2918216A4 (en) | 2016-06-15 |
JP2014094039A (ja) | 2014-05-22 |
JP5846385B2 (ja) | 2016-01-20 |
EP2918216A1 (en) | 2015-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5846385B2 (ja) | 内視鏡操作システム | |
JP5737796B2 (ja) | 内視鏡操作システムおよび内視鏡操作プログラム | |
US11963666B2 (en) | Overall endoscopic control system | |
WO2014073121A1 (ja) | 操作対象装置の操作システム、操作入力装置 | |
JP7248554B2 (ja) | イメージング器具の向きの制御のためのシステム及び方法 | |
JP7003985B2 (ja) | 医療用支持アームシステムおよび制御装置 | |
US11696814B2 (en) | Medical arm system, control device, and control method | |
JP5766150B2 (ja) | 内視鏡操作システム | |
US11478133B2 (en) | Medical observation system, apparatus for controlling the same, and method for controlling the same | |
JP4911701B2 (ja) | マスタ・スレーブ式マニピュレータシステム | |
JP2020039934A (ja) | 外科用器具可視性のロボット制御 | |
CN115768371A (zh) | 用于在体内反转小型手术机器人单元的选定部件的定向和视图的***和方法 | |
JP7115493B2 (ja) | 手術アームシステム及び手術アーム制御システム | |
BR112021013439A2 (pt) | Sistema de imagística para robô cirúrgico e robô cirúrgico | |
CN105188592A (zh) | 超灵巧型手术*** | |
CN113645919A (zh) | 医疗臂***、控制装置和控制方法 | |
JP3668269B2 (ja) | 体腔内手術用マニピュレータ装置 | |
US11992273B2 (en) | System and method of displaying images from imaging devices | |
WO2015110929A1 (en) | Robotic control of an endoscope orientation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13853422 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14439547 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
REEP | Request for entry into the european phase |
Ref document number: 2013853422 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2013853422 Country of ref document: EP |