WO2019155931A1 - 手術システム、画像処理装置及び画像処理方法 - Google Patents

手術システム、画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2019155931A1
WO2019155931A1 PCT/JP2019/002839 JP2019002839W WO2019155931A1 WO 2019155931 A1 WO2019155931 A1 WO 2019155931A1 JP 2019002839 W JP2019002839 W JP 2019002839W WO 2019155931 A1 WO2019155931 A1 WO 2019155931A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
living organ
image processing
elemental
surgical
Prior art date
Application number
PCT/JP2019/002839
Other languages
English (en)
French (fr)
Inventor
英生 根石
利充 坪井
智之 大木
白木　寿一
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/966,467 priority Critical patent/US20210030510A1/en
Priority to JP2019570689A priority patent/JPWO2019155931A1/ja
Priority to EP19750752.8A priority patent/EP3733047A4/en
Publication of WO2019155931A1 publication Critical patent/WO2019155931A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • the present disclosure relates to a surgical system, an image processing apparatus, and an image processing method.
  • Patent Document 1 discloses a technique for observing a blood vessel structure or the like running in the depth direction near the surface of a biological organ or the like as a subject. .
  • Patent Document 1 it is possible to observe the tissue inside the living organ, but it is difficult to accurately grasp the distance from the surface of the living organ.
  • the present disclosure proposes a surgical system, an image processing apparatus, and an image processing method that can more accurately grasp the tissue distribution in a living organ.
  • a surgical camera that captures an image of a living organ and acquires an image of the living organ, and a three-dimensional region included in a part of the living organ based on the three-dimensional distribution information of the elemental tissue included in the living organ
  • An operation system which includes an image processing apparatus that identifies an elemental tissue to be identified during surgery and superimposes a display indicating the identified elemental tissue on an image of a living organ.
  • an image processing apparatus includes an image processing unit that superimposes a display on an image of a living organ acquired by a surgical camera.
  • the processor identifies the elemental tissue included in a part of the three-dimensional region of the living organ based on the three-dimensional distribution information of the elemental tissue included in the living organ, and specifies the identified element.
  • an image processing method including superimposing a display indicating a tissue on an image of a living organ acquired by a surgical camera.
  • the elemental tissue included in a part of the three-dimensional region of the living organ is identified during the operation, and the display indicating the identified elemental tissue is performed. It is superimposed on the image of the living organ.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration only the same reference numerals are given.
  • liver surgery it is considered difficult to perform liver surgery among surgical operations.
  • One of the reasons is that it involves a large amount of bleeding.
  • the liver is a parenchymal organ and has many blood vessels compared to a luminal organ.
  • bleeding is often performed more frequently than surgery for a luminal organ such as the digestive tract, and the risk of developing complications associated with bleeding is high. Therefore, it is important to suppress the amount of bleeding as much as possible in liver surgery.
  • a tumor that exists in the vicinity of the portal vein which is a thick blood vessel from which blood flows from the digestive tract to the liver, often expands due to blood flowing into the portal vein.
  • the liver is deformed. This deformation makes it more difficult for an operator to grasp the position of an important blood vessel. As a result, the operator may accidentally damage major blood vessels such as the portal vein and cause a large amount of bleeding.
  • the present inventors have conceived that the blood vessel existing in a predetermined region in the living organ is selectively superimposed and displayed on the endoscopic image during the operation, and invented the present technology.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system 5000 to which the technology according to the present disclosure can be applied.
  • an operator (doctor) 5067 is performing an operation on a patient 5071 on a patient bed 5069 using an endoscopic operation system 5000.
  • an endoscopic surgery system 5000 includes an endoscope 5001, other surgical tools 5017, a support arm device 5027 that supports the endoscope 5001, and various devices for endoscopic surgery. And a position measuring device 6000.
  • trocars 5025a to 5025d are punctured into the abdominal wall.
  • the lens barrel 5003 of the endoscope 5001 and other surgical tools 5017 are inserted into the body cavity of the patient 5071 from the trocars 5025a to 5025d.
  • an insufflation tube 5019, an energy treatment tool 5021, and forceps 5023 are inserted into the body cavity of the patient 5071.
  • the energy treatment device 5021 is a treatment device that performs tissue incision and separation, blood vessel sealing, or the like by high-frequency current or ultrasonic vibration.
  • the illustrated surgical tool 5017 is merely an example, and as the surgical tool 5017, for example, various surgical tools generally used in endoscopic surgery such as a lever and a retractor may be used.
  • the image of the surgical site in the body cavity of the patient 5071 captured by the endoscope 5001 is displayed on the display device 5041.
  • the surgeon 5067 performs a treatment such as excision of the affected part, for example, using the energy treatment tool 5021 and the forceps 5023 while viewing the image of the surgical part displayed on the display device 5041 in real time.
  • the pneumoperitoneum tube 5019, the energy treatment tool 5021, and the forceps 5023 are supported by an operator 5067 or an assistant during surgery.
  • the support arm device 5027 includes an arm portion 5031 extending from the base portion 5029.
  • the arm portion 5031 includes joint portions 5033a, 5033b, and 5033c and links 5035a and 5035b, and is driven by control from the arm control device 5045.
  • the endoscope 5001 is supported by the arm unit 5031, and the position and posture thereof are controlled. Thereby, the stable position fixing of the endoscope 5001 can be realized.
  • the endoscope 5001 includes a lens barrel 5003 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5071, and a camera head 5005 connected to the proximal end of the lens barrel 5003.
  • a lens barrel 5003 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5071, and a camera head 5005 connected to the proximal end of the lens barrel 5003.
  • an endoscope 5001 configured as a so-called rigid mirror having a rigid lens barrel 5003 is illustrated, but the endoscope 5001 is configured as a so-called flexible mirror having a flexible lens barrel 5003. Also good.
  • An opening into which an objective lens is fitted is provided at the tip of the lens barrel 5003.
  • a light source device 5043 is connected to the endoscope 5001, and light generated by the light source device 5043 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 5003. Irradiation is performed toward the observation target in the body cavity of the patient 5071 through the lens.
  • the endoscope 5001 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 5005, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU: Camera Control Unit) 5039 as RAW data.
  • CCU Camera Control Unit
  • the camera head 5005 is equipped with a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • a plurality of imaging elements may be provided in the camera head 5005 in order to cope with, for example, stereoscopic viewing (3D display).
  • a plurality of relay optical systems are provided inside the lens barrel 5003 in order to guide observation light to each of the plurality of imaging elements.
  • the CCU 5039 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls operations of the endoscope 5001 and the display device 5041. Specifically, the CCU 5039 performs various types of image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example, on the image signal received from the camera head 5005. The CCU 5039 provides the display device 5041 with the image signal subjected to the image processing. Further, the CCU 5039 transmits a control signal to the camera head 5005 to control the driving thereof.
  • the control signal can include information regarding imaging conditions such as magnification and focal length.
  • the display device 5041 displays an image based on an image signal subjected to image processing by the CCU 5039 under the control of the CCU 5039.
  • the endoscope 5001 is compatible with high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display
  • the display device 5041 may be a display device capable of high-resolution display and / or 3D display.
  • 4K or 8K high-resolution imaging a more immersive feeling can be obtained by using a display device 5041 having a size of 55 inches or more.
  • a plurality of display devices 5041 having different resolutions and sizes may be provided depending on applications.
  • the light source device 5043 is composed of a light source such as an LED (Light Emitting Diode), for example, and supplies irradiation light to the endoscope 5001 when photographing a surgical site.
  • a light source such as an LED (Light Emitting Diode), for example, and supplies irradiation light to the endoscope 5001 when photographing a surgical site.
  • the arm control device 5045 is configured by a processor such as a CPU, for example, and operates according to a predetermined program to control driving of the arm portion 5031 of the support arm device 5027 according to a predetermined control method.
  • the input device 5047 is an input interface for the endoscopic surgery system 5000. Users including the operator 5067 can input various information and instructions to the endoscopic surgery system 5000 via the input device 5047. For example, the user inputs various types of information related to the operation, such as the patient's physical information and information about the surgical technique, via the input device 5047. Further, for example, the user instructs the arm unit 5031 to be driven via the input device 5047 or the instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 5001. Then, an instruction to drive the energy treatment instrument 5021 is input.
  • the imaging conditions type of irradiation light, magnification, focal length, etc.
  • the type of the input device 5047 is not limited, and the input device 5047 may be various known input devices.
  • the input device 5047 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 5057, and / or a lever can be applied.
  • the touch panel may be provided on the display surface of the display device 5041.
  • the input device 5047 is a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), and various types of input are performed according to the user's gestures and line of sight detected by these devices. Is done.
  • the input device 5047 includes a camera capable of detecting the user's movement, and various inputs are performed according to the user's gesture and line of sight detected from the video captured by the camera.
  • the input device 5047 includes a microphone that can pick up a user's voice, and various inputs are performed by voice through the microphone.
  • the input device 5047 is configured to be able to input various information without contact, so that a user belonging to a clean area (for example, an operator 5067) can operate a device belonging to an unclean area without contact. Is possible.
  • a user belonging to a clean area for example, an operator 5067
  • the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
  • the treatment instrument control device 5049 controls the drive of the energy treatment instrument 5021 for tissue cauterization, incision, or blood vessel sealing.
  • the pneumoperitoneum 5051 is placed in the body cavity via the pneumoperitoneum tube 5019. Inject gas.
  • the recorder 5053 is an apparatus capable of recording various types of information related to surgery.
  • the printer 5055 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
  • the position measuring device 6000 measures the position and / or posture of an instrument or patient used for endoscopic surgery such as the endoscope 5001 and the surgical instrument 5017.
  • a living body such as CT (Computed Tomography: Computerized Tomography), MRI (Magnetic Resonance Imaging), or an ultrasound diagnostic apparatus image, depending on the instrument acquired by the position measuring device 6000, the position of the patient 5071, and the like. It is possible to align the 3D information of the elemental tissues such as blood vessels, plexus, lymphatic vessels, tumors, etc. of the patient 5071 acquired by the internal imaging device and the images acquired by the endoscope 5001 used during the operation. It becomes.
  • the elemental tissue refers to a tissue constituting a healthy living organ, an abnormal tissue generated in the living organ, and the like, and examples thereof include blood vessels, plexus, lymphatic vessels, tumors, and the like. .
  • the support arm device 5027 includes a base portion 5029 as a base and an arm portion 5031 extending from the base portion 5029.
  • the arm portion 5031 includes a plurality of joint portions 5033a, 5033b, and 5033c and a plurality of links 5035a and 5035b connected by the joint portion 5033b.
  • FIG. The configuration of the arm portion 5031 is shown in a simplified manner.
  • the shape, number and arrangement of the joint portions 5033a to 5033c and the links 5035a and 5035b, the direction of the rotation axis of the joint portions 5033a to 5033c, etc. are appropriately set so that the arm portion 5031 has a desired degree of freedom.
  • the arm portion 5031 can be preferably configured to have 6 degrees of freedom or more. Accordingly, the endoscope 5001 can be freely moved within the movable range of the arm portion 5031. Therefore, the barrel 5003 of the endoscope 5001 can be inserted into the body cavity of the patient 5071 from a desired direction. It becomes possible.
  • the joint portions 5033a to 5033c are provided with actuators, and the joint portions 5033a to 5033c are configured to be rotatable around a predetermined rotation axis by driving the actuators.
  • the arm control device 5045 By controlling the driving of the actuator by the arm control device 5045, the rotation angles of the joint portions 5033a to 5033c are controlled, and the driving of the arm portion 5031 is controlled. Thereby, control of the position and orientation of the endoscope 5001 can be realized.
  • the arm control device 5045 can control the driving of the arm unit 5031 by various known control methods such as force control or position control.
  • the arm control device 5045 appropriately controls the driving of the arm unit 5031 according to the operation input.
  • the position and posture of the endoscope 5001 may be controlled.
  • the endoscope 5001 at the tip of the arm portion 5031 can be moved from an arbitrary position to an arbitrary position, and then fixedly supported at the position after the movement.
  • the arm portion 5031 may be operated by a so-called master slave method.
  • the arm unit 5031 can be remotely operated by the user via the input device 5047 installed at a location away from the operating room.
  • the arm control device 5045 When force control is applied, the arm control device 5045 receives the external force from the user and moves the actuators of the joint portions 5033a to 5033c so that the arm portion 5031 moves smoothly according to the external force. You may perform what is called power assist control to drive. Accordingly, when the user moves the arm unit 5031 while directly touching the arm unit 5031, the arm unit 5031 can be moved with a relatively light force. Therefore, the endoscope 5001 can be moved more intuitively and with a simpler operation, and user convenience can be improved.
  • the position of the endoscope 5001 can be more reliably fixed without relying on human hands, so that an image of the surgical site can be stably obtained and the operation can be performed smoothly. It becomes possible to do.
  • the arm control device 5045 is not necessarily provided in the cart 5037. Further, the arm control device 5045 is not necessarily a single device. For example, the arm control device 5045 may be provided in each joint portion 5033a to 5033c of the arm portion 5031 of the support arm device 5027, and the plurality of arm control devices 5045 cooperate with each other to drive the arm portion 5031. Control may be realized.
  • the light source device 5043 supplies irradiation light to the endoscope 5001 when photographing a surgical site.
  • the light source device 5043 is composed of a white light source composed of, for example, an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Adjustments can be made.
  • each RGB light source is controlled by irradiating the observation target with laser light from each of the RGB laser light sources in a time-sharing manner and controlling the driving of the image sensor of the camera head 5005 in synchronization with the irradiation timing. It is also possible to take the images that have been taken in time division. According to this method, a color image can be obtained without providing a color filter in the image sensor.
  • the driving of the light source device 5043 may be controlled so as to change the intensity of the output light every predetermined time.
  • the driving of the image sensor of the camera head 5005 is controlled to acquire images in a time-sharing manner, and the images are synthesized, so that high dynamics without so-called blackout and overexposure are obtained. A range image can be generated.
  • the light source device 5043 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface of the mucous membrane is irradiated by irradiating light in a narrow band compared to irradiation light (ie, white light) during normal observation.
  • a so-called narrow band imaging (NBI) is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
  • the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • ICG indocyanine green
  • the light source device 5043 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • the position measurement device 6000 measures the positions and postures of the endoscope 5001 and the patient 5071 based on the instrument marker 6001 attached to the endoscope 5001 and the patient marker 6002 attached to the patient 5071.
  • the device marker 6001 is not limited to the endoscope 5001, and may be attached to a surgical instrument 5017 such as an insulator or a retractor, for example.
  • the patient marker 6002 is also attached to the patient 5071 when the elemental tissue information acquisition device 7000 that acquires the three-dimensional distribution information of the elemental tissue is used.
  • the elemental tissue information acquisition device 7000 is a device having a function of imaging a living organ of the patient 5071, and can acquire an image of the elemental tissue.
  • the patient marker 6002 is a three-dimensional distribution of elemental tissues present in the living organ of the patient 5071 by attaching the marker 6002A, the marker 6002B, the marker 6002C, and the marker 6002D to the body of the patient 5071. Information is acquired, and information on the positional relationship of each living organ and the positional relationship of elemental tissues of the patient 5071 is acquired.
  • FIG. 2 is a diagram illustrating a configuration example of the surgery system 1 according to the embodiment of the present disclosure.
  • the surgical system 1 according to the present embodiment includes a surgical camera 10 and an image processing device 20 and is connected to each other via a known network 30.
  • the network 30 may be an electric signal cable compatible with electric signal communication, an optical fiber compatible with optical communication, or a wired transmission cable such as a composite cable thereof, or a wireless communication method. May be used.
  • the surgical camera 10 is an apparatus that captures an image of a living organ and acquires an image.
  • the surgical camera 10 according to the present embodiment for example, the endoscope 5001 described above or a surgical microscope may be used.
  • the surgical camera 10 according to the present embodiment includes an imaging unit 110 and a communication unit 120.
  • the imaging unit 110 has a function of acquiring an image by imaging a living organ. For this reason, the imaging unit 110 according to the present embodiment includes an imaging device such as a charge coupled device (CCD) or a complementary MOS (CMOS).
  • CCD charge coupled device
  • CMOS complementary MOS
  • the communication unit 120 has a function of communicating with the image processing apparatus 20 via the network 30. Specifically, the communication unit 120 transmits an in-vivo image captured by the imaging unit 110 to the image processing apparatus 20. The communication unit 120 may receive a control signal for controlling the driving of the surgical camera 10 from the image processing device 20.
  • the image processing apparatus 20 identifies an elemental tissue included in a three-dimensional region of a part of the living organ based on the three-dimensional distribution information of the elemental tissue included in the living organ, and identifies the identified elemental tissue. Then, the image is superimposed on the image acquired by the surgical camera 10 and displayed.
  • the image processing apparatus 20 according to the present embodiment may be, for example, the CCU 5039 illustrated in FIG.
  • the image processing apparatus 20 according to the present embodiment includes an image processing unit 210, a control unit 220, and a communication unit 230.
  • the image processing unit 210 has a function of performing image processing on an image acquired from the surgical camera 10. As described above, the image processing unit 210 is a part of the living organ based on the three-dimensional distribution information of the elemental tissue included in the living organ acquired by the elemental tissue information acquiring device 7000 as shown in FIG. The elemental tissue included in the three-dimensional region is specified, and the specified elemental tissue is superimposed on the image acquired by the surgical camera 10 and displayed.
  • Control unit 220 The control unit 220 performs control related to imaging of the surgical site by the surgical camera 10 and display of the captured image. Further, the control unit 220 causes the display device 5041 to display an image of the surgical unit based on the image signal subjected to the image processing by the image processing unit 210 by a predetermined display method.
  • the communication unit 230 has a function of performing information communication with the surgical camera 10 via the network 30. Specifically, the communication unit 230 receives an image of a living organ from the surgical camera 10.
  • the position measuring device 6000 measures the positions and postures of the surgical camera 10 and the patient 5071.
  • the endoscopic surgery system 5000 sets the surgical camera tip coordinate system 6003 shown in FIG. 1 for the measured position and posture of the surgical camera 10.
  • the endoscopic surgery system 5000 sets a patient coordinate system 6004 for the measured position and posture of the patient 5071.
  • the endoscopic surgery system 5000 calculates a transformation matrix for transforming the coordinate system from the set patient coordinate system 6004 to the surgical camera distal end coordinate system 6003.
  • the 3D distribution information of the elemental tissue acquired by the elemental tissue information acquisition device 7000 using this calculated conversion matrix is reflected in the image acquired by the surgical camera 10.
  • the patient marker 6002 is attached to the patient 5071 when the three-dimensional distribution information of the element tissue is acquired by the element tissue information acquisition device 7000.
  • a marker 6002A, a marker 6002B, a marker 6002C, and a marker 6002D are attached to the body of a patient 5071.
  • the three-dimensional distribution information of the elemental tissue existing in the living organ of the patient 5071 corresponding to the patient coordinate system 6004 is acquired, and the information about the positional relationship of each living organ and the positional relationship of the elemental tissue of the patient 5071 is acquired.
  • the biological organs acquired by the surgical camera 10 are converted into the biological organs.
  • a display showing elemental structures included in a part of the three-dimensional region is superimposed.
  • the image processing unit 210 performs image processing on the image signal transmitted from the surgical camera 10, and calculates the position and shape of the living organ and the change in the position and shape. Specifically, from the image acquired from the surgical camera 10, the edges and colors of the living organs are extracted as feature amounts, and the positions and shapes of the living organs and the positions and shapes of the elemental tissues are calculated. Furthermore, the image processing unit 210 acquires images of the living organs from the surgical camera 10 as needed, detects changes in the feature amount, and deforms the living organs, positions of the living organs, and / or positions of elemental tissues. Get information such as shape and shape. Further, the image processing unit 210 may determine the imaging direction of the living organ from the color or shape of the living organ.
  • the image processing unit 210 can detect, for example, the positional relationship and changes between the ischemic boundary line generated by tying a living organ, peripheral tissue, and portal vein, and the elemental tissue.
  • the superposition position of the element tissue superimposed on the image acquired by the surgical camera 10 is adjusted according to the deformation of the living organ due to the separation or the like.
  • by superimposing the elemental tissue on the image acquired by the surgical camera 10, for example it is possible to more accurately identify the sub-region of the liver using the liver vein or the ischemic boundary line as a Merckal.
  • systematic hepatectomy in which the liver is excised for each subregion can be performed more smoothly.
  • control unit 220 displays the superimposed image on the display device 5041 by a predetermined display method. A method for displaying a superimposed image will be described with reference to FIGS.
  • FIG. 4 is a schematic diagram illustrating an example of a superimposed image displayed on the display device 5041.
  • a display indicating a blood vessel that is one of the elemental tissues V is superimposed on an image of a liver that is one of the living organs.
  • the control unit 220 includes a first image that is an image of a living organ viewed from the first direction shown in the left part of FIG. 4 and a second direction that is orthogonal to the first direction shown in the right part of FIG.
  • the display device 5041 is provided with a second image that is an image of the living organ that has been viewed.
  • the second image may be a reference image in which a position along the first direction is displayed.
  • the direction from the abdomen of the patient 5071 toward the back is shown as the first direction.
  • the second image shown in the right part of FIG. 4 for example, coordinate axes along the first direction may be displayed.
  • the region A including the elemental tissue to be superimposed may be displayed on the second image.
  • a display indicating the elemental tissue included in the region A is displayed so as to be superimposed on the first image.
  • the position and range of the region A may be displayed on the second image, for example, a scale along the first direction may be displayed as shown in FIG.
  • region A is not restricted to a scale display, The position and range of the area
  • the position and range of the area A may be arbitrarily set by the user.
  • the tissue element desired by the user is selectively displayed. As a result, it becomes possible to reduce the risk of massive bleeding due to accidental amputation of blood vessels, dissemination due to damage to malignant tumors, dysfunction due to plexus damage, and the like in the resection of living organs.
  • a method for setting the position and range of the area A by a user can use a known user interface.
  • the foot switch 5057 shown in FIG. 1 a touch panel, a voice recognition technique, a gesture recognition technique, a proximity sensor, A joystick, a physical button, or the like attached to the surgical instrument 5017 may be used.
  • various types of operation support information such as a heart rate and a blood loss may be displayed on the display device 5041.
  • the position of the region A may be determined according to the position of the predetermined surgical instrument 5017.
  • the position measuring device 6000 detects the tip position of the energy treatment tool 5021 handled by the user, the detected tip position of the energy treatment tool 5021 is set as a reference position, and a range set in advance from the reference position is set as the region A. Good.
  • the position of the energy treatment device 5021 may be detected based on the device marker 6001 provided in the energy treatment device 5021. Thereby, the user can grasp the elemental tissues such as blood vessels to be more careful during the operation.
  • the control unit 220 may highlight a part of the elemental tissue displayed in a superimposed manner according to a predetermined surgical tool 5017.
  • the elemental tissue is superimposed and displayed by the method described above, and the control unit 220 sets the tip position of the position of the energy treatment tool 5021 detected by the above method as a reference position within a preset range from the reference position.
  • Existing elemental organizations may be highlighted.
  • the control unit 220 may further perform control so that the element organization and the existence position along the first direction of the element organization are relatively displayed.
  • the control unit 220 sets the first direction to a direction from the abdomen to the back of the patient 5071, divides the living organ into three along the first direction, and each divided living organ.
  • the element organization included in the image may be displayed in a superimposed manner.
  • FIG. 5A shows an image in which elemental tissues V included in a living organ divided into three are superimposed and displayed.
  • FIG. 5B shows an image in which the elemental tissue V included in the biological organ divided second from the abdomen side among the three biological organs is superimposed and displayed.
  • the control unit 220 may display an icon corresponding to the position of each divided biological organ on each image. For example, an icon indicating that the elemental tissue V is in a shallow position is displayed in the upper left part of FIG. 5A, and an icon indicating that the elemental structure V is in a relatively shallow position is displayed in the upper left part of FIG. 5B. An icon indicating that the element organization V is in a deep position is displayed on the upper left. The surgeon 5067 can appropriately proceed with the operation while confirming the displayed icon.
  • the control unit 220 may further control to display the elemental tissue V ′ existing in the part of the living organ not included in the region A on the second image. For example, as shown in the left diagram of FIG. 6, the control unit 220 displays the elemental tissue V included in the region A and the elemental tissue V ′ present in the part of the living organ not included in the region A in a different manner. You may control so that. For example, the elemental structure V may be displayed with emphasis, and the elemental structure V ′ existing at a position away from the region A may have a color or color along the first direction with reference to the brightness of the elemental structure V. You may display so that brightness or the blur condition of an image may change. As a result, the user can easily grasp the distance of the element organization V ′ from the region A.
  • control unit 220 may simultaneously superimpose and display a plurality of types of elemental tissues selected by the user on the image acquired by the surgical camera 10.
  • the control unit 220 may simultaneously superimpose and display two types of blood vessels and tumors among blood vessels, plexus, lymphatic vessels, or tumors on an image acquired by the surgical camera 10.
  • the control unit 220 may superimpose and display at least one type of elemental tissue among a plurality of types of elemental tissues on the image acquired by the surgical camera 10.
  • control unit 220 may superimpose and display a predetermined elemental tissue among the elemental tissues selected by the user on the image acquired by the surgical camera 10.
  • the image processing unit 210 detects a difference in the feature amount between the artery and the vein, and the control unit 220 acquires, for example, only the display indicating the artery from the surgical camera 10.
  • the image may be superimposed on the image.
  • the control unit 220 may selectively superimpose blood vessels in each area of the living organ (for example, for each sub-area of the liver) on the display device 5041, or select only blood vessels that are anatomically meaningful.
  • the images may be superimposed and displayed. In this manner, the surgical system 1 can reduce the burden on the user by superimposing only the user-desired elemental tissue on the display device 5041.
  • FIG. 7 is a flowchart showing an example of the operation flow of the surgery system 1 according to the present embodiment.
  • an image of a living organ of the patient 5071 is acquired by the surgical camera 10 (S110).
  • An image acquired by the surgical camera 10 is transmitted to the image processing apparatus 20 via the network 30.
  • the image processing unit 210 provided in the image processing apparatus 20 performs image processing on the image transmitted from the surgical camera 10, and extracts the edge, color, and the like of the living organ as a feature amount (S120). .
  • the image processing unit 210 calculates the shape of the living organ from the feature amount, and further calculates and stores the positional relationship between the living organs (S130).
  • the image processing unit 210 performs image processing on the image acquired from the surgical camera 10, extracts the feature amount, and calculates the position and shape of the elemental tissue (S140).
  • the control part 220 with which the image processing apparatus 20 was provided produces
  • the image processing unit 210 acquires an image of a living organ from the surgical camera 10 as needed, and extracts a change in feature amount by appropriately performing image processing on the acquired image. Then, the image processing unit 210 calculates changes in the positions and shapes of living organs and elemental tissues that occur during the operation, and updates the superimposed image to be displayed on the display device 5041.
  • an elemental tissue image of a living organ is acquired by the elemental tissue information acquisition device 7000 (S151).
  • the acquired elemental tissue image is stored as three-dimensional distribution information in the living organ.
  • the three-dimensional distribution information of the elemental tissue image of the living organ may be acquired using the elemental tissue information acquisition device 7000 before or during the operation, for example.
  • the control unit 220 reflects the acquired three-dimensional distribution information of the elemental tissue on the image of the living organ acquired by the surgical camera 10 and performs alignment (S153). Specifically, the position measuring device 6000 measures the positions and / or postures of the surgical camera 10 and the patient 5071. Next, the endoscopic surgery system 5000 sets the surgical camera tip coordinate system 6003 shown in FIG. 1 for the measured position and posture of the surgical camera 10. Also, the endoscopic surgery system 5000 sets a patient coordinate system 6004 for the measured position and posture of the patient 5071. The endoscopic surgery system 5000 calculates a transformation matrix for transforming the coordinate system from the set patient coordinate system 6004 to the surgical camera tip coordinate system 6003. The control unit 220 uses the calculated conversion matrix to convert the three-dimensional distribution information of the living organs and elemental tissues acquired in the patient coordinate system 6004 into the surgical camera tip coordinate system 6003.
  • the position and range of the region A in which the display indicating the elemental tissue is superimposed on the image acquired by the surgical camera 10 is selected by the user (S155).
  • the user may set the first direction for selecting the region A.
  • the direction from the abdomen of the patient 5071 toward the back may be the first direction.
  • the elemental tissue included in the region A is superimposed and displayed on the image of the living organ acquired by the surgical camera 10 (S157). And whenever the image which the camera 10 for surgery acquired is updated, the said process is performed suitably.
  • the instrument marker 6001 for measuring the position and posture is attached to the surgical camera 10, and the position measuring device 6000 measures the position of the instrument marker 6001 (S210).
  • the attachment position of the instrument marker 6001 is not particularly limited as long as the position of the surgical camera 10 can be specified, and may be attached to the camera head 5005 or the arm unit 5031, for example.
  • the endoscopic surgery system 5000 sets the surgical camera tip coordinate system 6003 based on the instrument marker 6001 (S220).
  • a patient marker 6002 for measuring the position and posture of the patient 5071 is attached to the patient 5071, and the position measuring device 6000 measures the position of the patient marker 6002 (S230).
  • the attachment position of the patient marker 6002 is not particularly limited as long as the position and posture of the patient 5071 can be specified, but is preferably a position at which changes in the position and shape of the surgical site can be obtained more accurately.
  • the endoscopic surgery system 5000 sets the patient coordinate system 6004 based on the patient marker 6002 (S240).
  • the endoscopic surgery system 5000 calculates a transformation matrix for transforming the coordinate system from the set patient coordinate system 6004 to the surgical camera distal end coordinate system 6003 (S250). Using this transformation matrix, the patient coordinate system 6004 is transformed into the surgical camera tip coordinate system 6003.
  • FIG. 10 is a block diagram illustrating a hardware configuration example of the image processing apparatus 20 according to an embodiment of the present disclosure.
  • the image processing apparatus 20 includes, for example, a CPU 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, and an output device 879.
  • Storage 880, drive 881, connection port 882, and communication device 883 Note that the hardware configuration shown here is an example, and some of the components may be omitted. Moreover, you may further include components other than the component shown here.
  • the CPU 871 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation or a part of each component based on various programs recorded in the ROM 872, RAM 873, storage 880, or removable recording medium 901.
  • the ROM 872 is a means for storing programs read by the CPU 871, data used for calculations, and the like.
  • the RAM 873 for example, a program read by the CPU 871, various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored.
  • the CPU 871, the ROM 872, and the RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to an external bus 876 having a relatively low data transmission speed via a bridge 875, for example.
  • the external bus 876 is connected to various components via the interface 877.
  • the input device 878 for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used. Furthermore, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • the input device 878 includes a voice input device such as a microphone.
  • the output device 879 is a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile. It is a device that can be notified visually or audibly.
  • the storage 880 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, or various semiconductor storage media.
  • the removable recording medium 901 may be, for example, an IC card on which a non-contact IC chip is mounted, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
  • the communication device 883 is a communication device for connecting to a network.
  • An image processing device for superimposing the image; A surgical system comprising: (2) The surgical system according to (1), wherein the three-dimensional region is a region of the living organ located on a partial range in the first direction. (3) The surgical operation system according to (2), wherein the image processing device generates a range display that indicates a range of the three-dimensional region in the first direction.
  • the image processing device further generates a reference image showing the living organ viewed from a second direction orthogonal to the first direction,
  • the image processing device further generates a reference image showing the living organ viewed from a second direction orthogonal to the first direction,
  • the reference image has a scale display along the first direction,
  • the surgical operation system according to (3), wherein the range display is a numerical display that indicates the range in the first direction.
  • the surgical system according to any one of (1) to (5), wherein the three-dimensional region is a partial region of the living organ selected by a user.
  • the image processing device emphasizes a display indicating a portion corresponding to a position of a predetermined surgical instrument in the display indicating the element tissue. .
  • the image processing apparatus superimposes a display indicating at least one of a blood vessel, a plexus, a lymph vessel, or a tumor as the element tissue on the image of the living organ, any one of (1) to (8) Surgical system described in one.
  • the living organ is a liver;
  • the surgical operation system according to any one of (1) to (9), wherein the image processing device superimposes a display indicating a blood vessel as the element tissue on the image of the liver.
  • the image processing device further superimposes a display indicating an elemental tissue included outside the three-dimensional region on the image of the living organ,
  • the operation according to any one of (1) to (10), wherein the display mode indicating the elemental tissue included outside the three-dimensional region is different from the display mode indicating the elemental tissue included in the three-dimensional region. system.
  • the living organ includes a plurality of types of elemental tissues
  • the image processing apparatus superimposes a display indicating the type of elemental tissue selected by the user among the plurality of types of elemental tissue on the image of the living organ, according to any one of (1) to (11)
  • the described surgical system (13) Based on the three-dimensional distribution information of the elemental tissue included in the living organ, the elemental tissue included in a part of the three-dimensional region of the living organ is identified during the operation, and a display indicating the identified elemental tissue is acquired by the surgical camera.
  • An image processing device comprising: an image processing unit that superimposes the image of the living organ.
  • the processor Based on the three-dimensional distribution information of the elemental tissue included in the living organ, the processor identifies the elemental tissue included in a part of the three-dimensional region during the operation, and displays a display indicating the identified elemental tissue.
  • An image processing method comprising superimposing the image on the living organ acquired by a camera.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Abstract

【課題】生体器官内の組織の分布をより正確に把握することが可能な、手術システム、画像処理装置及び画像処理方法を提案する。 【解決手段】生体器官を撮像し、前記生体器官の画像を取得する手術用カメラと、生体器官に含まれる要素組織の３次元分布情報に基づき、生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を前記生体器官の画像に重畳する画像処理装置と、を備える、手術システム。

Description

手術システム、画像処理装置及び画像処理方法
　本開示は、手術システム、画像処理装置及び画像処理方法に関する。
　医療現場において、生体内部を観察するための機器として内視鏡等の手術用カメラが普及するのに伴い、医師が生体内部の患部を直接肉眼で確認するのではなく、手術用カメラを用いて取得された映像から患部を確認して治療する場面が増加している。近年、手術用カメラで取得された画像に対して、目的に応じた画像処理を施すことで手術の支援を行う技術が数多く提案されている。
　手術支援技術の一つとして、例えば、以下の特許文献１には、被検体である生体器官等の表面付近でその深さ方向に走行している血管構造等を観察する技術が開示されている。
特開２００１－１７０００９号公報
　しかし、特許文献１に開示されているような技術では、生体器官内部の組織を観察することは可能であるものの、生体器官表面からの距離を正確に把握することは困難である。
　そこで、本開示では、上記事情に鑑みて、生体器官内の組織の分布をより正確に把握することが可能な、手術システム、画像処理装置及び画像処理方法を提案する。
　本開示によれば、生体器官を撮像し、生体器官の画像を取得する手術用カメラと、生体器官に含まれる要素組織の３次元分布情報に基づき、生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を生体器官の画像に重畳する画像処理装置と、を備える、手術システムが提供される。
　また、本開示によれば、生体器官に含まれる要素組織の３次元分布情報に基づき、生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を、手術カメラによって取得された生体器官の画像に重畳する画像処理部、を備える、画像処理装置が提供される。
　また、本開示によれば、プロセッサにより、生体器官に含まれる要素組織の３次元分布情報に基づき、生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を、手術カメラによって取得された生体器官の画像に重畳すること、を含む、画像処理方法が提供される。
　本開示によれば、生体器官に含まれる要素組織の３次元分布情報に基づき、生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示が生体器官の画像に重畳される。
　以上説明したように本開示によれば、生体器官内の組織の分布をより正確に把握することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。
本開示に係る技術思想を用いた内視鏡手術室システムが適用された手術の様子の一例を示す図である。 本開示の実施形態に係る手術システムの構成例を示すブロック図である。 同実施形態に係る患者位置を計測する方法の一例を説明するための説明図である。 同実施形態に係る重畳画像の表示方法の一例を説明するための説明図である。 同実施形態に係る重畳画像の表示方法の一例を説明するための説明図である。 同実施形態に係る重畳画像の表示方法の一例を説明するための説明図である。 同実施形態に係る重畳画像の表示方法の一例を説明するための説明図である。 同実施形態に係る重畳画像の表示方法の一例を説明するための説明図である。 同実施形態に係る手術システムの動作の流れを示すフローチャートである。 同実施形態に係る手術システムの動作の流れを示すフローチャートである。 同実施形態に係る手術システムの動作の流れを示すフローチャートである。 本開示の一実施形態に係る制御システムのハードウェア構成例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　＜１．背景＞
　＜２．構成＞
　＜２－１．全体構成＞
　＜２－２．手術システム１の構成＞
　＜３．動作＞
　＜４．ハードウェア構成＞
　＜５．結び＞
　＜１．背景＞
　従来から、外科手術の中でも肝臓の手術は困難であるとされている。その理由の一つとして、多量の出血を伴うことが挙げられる。肝臓は実質臓器であり、管腔臓器と比較して多数の血管が存在している。そのため、肝臓を切除する手術では、例えば、消化管のような管腔臓器の手術と比較しても多量に出血することが多く、出血に伴う合併症を発症する危険性が高い。そのため、肝臓の手術では、できるだけ出血量を抑えることが重要となっている。
　一方で、例えば、肝細胞癌は、血液が消化管から肝臓へ流れ込む太い血管である門脈の付近に存在する腫瘍が門脈に流れる血液により拡大する場合が多い。しかし、術者が術中にその腫瘍の位置や門脈を含めた血管の位置を正確に把握することは困難である。また、術者は、術中に肝臓に張力を与えながら手術を行うため、肝臓に変形が生じる。この変形が、術者による重要な血管の位置の把握をより一層困難にしている。その結果、術者は門脈等主要な血管を誤って損傷させ、多量の出血を生じさせる可能性がある。そのため、出血量を抑制する方法の一つとして、門脈を結索させ、肝臓への血流が一時的に減少している間に患部を切除する方法が行われている。しかしながら、この方法では、患者の身体に大きな負担がかかり、場合によっては肝臓が壊死してしまうことがある。
　また、以前は、開腹手術が主に行われていたが、患者の身体への負担軽減を目的に、腹部に小さな穴を数か所開け、その穴から内視鏡や術具を挿入して手術を行う腹腔鏡手術が増加している。しかしながら、腹腔鏡手術では、肝臓を術者が直接手で把持することができず、開腹手術よりも困難な手術法となっている。
　以上のような問題を解決するために、手術時に重要な血管の位置を把握するための技術開発が行われている。例えば、先だって説明したように、生体器官の表面付近でその深さ方向に走行している血管構造を観察する技術等が開示されている。しかしながら、このような技術では、肝臓のような多数の血管が存在する生体器官では、内視鏡画像に多くの血管画像が一度に表示されてしまい、術者が重要な血管とそうでない血管の判断ができずに、かえって術者の集中を妨げるなどの問題が生じることがある。また、上記技術では、生体器官表面を観察する通常観察と、生体器官内部を走行する血管構造等を観察する特殊観察とで観察モードを切り替えなければならず、術中において煩瑣な作業となることがある。
　そこで、本発明者らは、術中の内視鏡画像に、生体器官内の所定領域に存在する血管を選択的に重畳させて表示させることに着想し、本技術を発明するに至った。
　＜２．構成＞
　ここまで、本技術を発明する至った背景を説明した。続いて、図１～図６を参照しながら、本開示に係る手術システムの構成について説明する。
　＜２－１．全体構成＞
　まず、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略構成を説明する。図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、位置計測装置６０００から構成される。
　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
　内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。
　（支持アーム装置５０２７）
　支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
　（内視鏡５００１）
　内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
　（カートに搭載される各種の装置）
　ＣＣＵ５０３９は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
　表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
　光源装置５０４３は、例えばＬＥＤ（Ｌｉｇｈｔ　ｅｍｉｔｔｉｎｇ　ｄｉｏｄｅ）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
　アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
　入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。術者５０６７を含むユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
　入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
　あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
　処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者５０６７の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　位置計測装置６０００は、内視鏡５００１や術具５０１７等の内視鏡手術に用いられる器具や患者の位置及び／又は姿勢を計測する。位置計測装置６０００で取得された器具や患者５０７１の位置等により、ＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ：コンピュータ断層撮影法）、ＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ：核磁気共鳴画像法）や超音波診断装置像等の、生体内部を撮影する装置により取得された患者５０７１の血管、神経叢、リンパ管、腫瘍等の要素組織の３次元情報と、術中に用いられる内視鏡５００１により取得された画像との位置合わせが可能となる。ここで、要素組織とは、健康な生体器官を構成する組織や生体器官に発生した異常組織等のことを言い、上記のように、例えば、血管、神経叢、リンパ管、腫瘍等が挙げられる。
　以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
　（支持アーム装置５０２７）
　一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されるが、支持アーム装置５０２７を用いることにより、内視鏡５００１の位置を固定してもよい。支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
　関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
　例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。
　また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
　支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
　なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
　（光源装置５０４３）
　光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ：ＮＢＩ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　（位置計測装置６０００）
　位置計測装置６０００は、内視鏡５００１に取り付けられる機器用マーカー６００１や患者５０７１に取り付けられる患者用マーカー６００２に基づいて、内視鏡５００１及び患者５０７１の位置及び姿勢を計測する。機器用マーカー６００１は、内視鏡５００１に限られず、例えば、攝子、レトラクタ等の術具５０１７に取付けられてもよい。また、図３に示すように、患者用マーカー６００２は、要素組織の３次元分布情報を取得する要素組織情報取得装置７０００が用いられる際にも患者５０７１に取付けられる。要素組織情報取得装置７０００は、患者５０７１の生体器官を画像化する機能を有する装置であり、要素組織の画像を取得することができる。要素組織情報取得装置７０００として、術前に要素組織画像を取得する場合には、例えば、ＣＴ、ＭＲＩ等が挙げられ、術中に要素組織画像を取得する場合には、超音波診断装置、血管造影装置やＮＢＩ装置等が挙げられる。患者用マーカー６００２は、図３に示すように、マーカー６００２Ａ、マーカー６００２Ｂ、マーカー６００２Ｃ、及びマーカー６００２Ｄが患者５０７１の身体に取付けられることにより、患者５０７１の生体器官に存在する要素組織の３次元分布情報が取得されるとともに、患者５０７１の各生体器官の位置関係及び要素組織の位置関係に関する情報が取得される。
　＜２－２．手術システム１の構成＞
　次に、本開示の実施形態に係る手術システム１の構成例について説明する。図２は、本開示の実施形態に係る手術システム１の構成例を示す図である。図２に示すように、本実施形態に係る手術システム１では、手術用カメラ１０と、画像処理装置２０とを備え、公知のネットワーク３０を介して相互に接続される。なお、ネットワーク３０には、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブル等の有線の伝送ケーブルが用いられてもよいし、無線による通信方法が用いられてもよい。
　（手術用カメラ１０）
　本実施形態に係る手術用カメラ１０は、生体器官を撮像して画像を取得する装置である。本実施形態に係る手術用カメラ１０として、たとえば、先だって説明した内視鏡５００１や、手術用顕微鏡が用いられてよい。また、本実施形態に係る手術用カメラ１０は、撮像部１１０及び通信部１２０を備える。
　［撮像部１１０］
　撮像部１１０は、生体器官を撮像して画像を取得する機能を有する。そのため、本実施形態に係る撮像部１１０は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　ＭＯＳ）などの撮像素子を含む。
　［通信部１２０］
　通信部１２０は、ネットワーク３０を介して、画像処理装置２０と通信を行う機能を有する。具体的には、通信部１２０は、撮像部１１０が撮像した生体内の画像を画像処理装置２０に送信する。また、通信部１２０は、画像処理装置２０から手術用カメラ１０の駆動を制御するための制御信号を受信してもよい。
　（画像処理装置２０）
　本実施形態に係る画像処理装置２０は、生体器官に含まれる要素組織の３次元分布情報に基づき、生体器官の一部の３次元領域に含まれる要素組織を特定し、特定された要素組織を、手術用カメラ１０により取得された画像上に重畳させて表示させる。本実施形態に係る画像処理装置２０は、例えば、図１に示したＣＣＵ５０３９であってよい。本実施形態に係る画像処理装置２０は、画像処理部２１０と、制御部２２０と、通信部２３０とを備える。
　［画像処理部２１０］
　本実施形態に係る画像処理部２１０は、手術用カメラ１０から取得した画像に対して画像処理を施す機能を有する。画像処理部２１０は、先だって説明したように、図３に示すような、要素組織情報取得装置７０００で取得された、生体器官に含まれる要素組織の３次元分布情報に基づき、生体器官の一部の３次元領域に含まれる要素組織を特定し、特定された要素組織を手術用カメラ１０により取得された画像上に重畳させて表示させる機能を有する。
　［制御部２２０］
　制御部２２０は、手術用カメラ１０による術部の撮像、及びその撮像画像の表示に関する制御を行う。また、制御部２２０は、画像処理部２１０によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に所定の表示方法で表示させる。
　［通信部２３０］
　通信部２３０は、ネットワーク３０を介して、手術用カメラ１０との情報通信を行う機能を有する。具体的には、通信部２３０は、手術用カメラ１０から生体器官の画像を受信する。
　ここで、特定された要素組織を手術用カメラ１０で取得された画像に重畳させる方法を詳細に説明する。
　まず、位置計測装置６０００により、手術用カメラ１０及び患者５０７１の位置と姿勢が計測される。次いで、内視鏡手術システム５０００は、測定された手術用カメラ１０の位置及び姿勢に対して、図１に示した手術用カメラ先端座標系６００３を設定する。また、内視鏡手術システム５０００は、測定された患者５０７１の位置及び姿勢に対して、患者座標系６００４を設定する。そして、内視鏡手術システム５０００は、この設定された患者座標系６００４から手術用カメラ先端座標系６００３へ座標系を変換するための変換行列を算出する。
　この算出された変換行列を利用して、要素組織情報取得装置７０００により取得された要素組織の３次元分布情報は、手術用カメラ１０により取得された画像に反映される。具体的には、患者用マーカー６００２が、要素組織情報取得装置７０００により要素組織の３次元分布情報が取得される際に患者５０７１に取付けられる。詳細には、図３に示すように、マーカー６００２Ａ、マーカー６００２Ｂ、マーカー６００２Ｃ、及びマーカー６００２Ｄが患者５０７１の身体に取付けられる。そして、患者座標系６００４に対応した患者５０７１の生体器官に存在する要素組織の３次元分布情報が取得されるとともに、患者５０７１の各生体器官の位置関係及び要素組織の位置関係に関する情報が取得される。この患者座標系６００４で取得された生体器官及び要素組織の３次元分布情報を手術用カメラ先端座標系６００３に変換することで、手術用カメラ１０により取得された生体器官の画像に、その生体器官の一部の３次元領域に含まれる要素組織を示す表示が重畳される。
　続いて、画像処理部２１０は、手術用カメラ１０から送信された画像信号に対して画像処理を実施し、生体器官の位置や形状及びその位置や形状の変化を算出する。詳細には、手術用カメラ１０から取得した画像から、生体器官のエッジや色等を特徴量として抽出し、各生体器官の位置及び形状並びに要素組織の位置及び形状を算出する。さらに、画像処理部２１０は、手術用カメラ１０から随時生体器官の画像を取得し、特徴量の変化を検出して、生体器官の変形や各生体器官の位置関係、及び／又は要素組織の位置や形状などの情報を取得する。また、画像処理部２１０は、生体器官の色や形状等から生体器官の撮像方向を判断してもよい。このようにして、画像処理部２１０は、例えば、生体器官や周辺組織、門脈を結索して生じる虚血境界線と、要素組織との位置関係及び変化を検出することができる。その結果、切離し等による生体器官の変形に応じて、手術用カメラ１０で取得された画像に重畳される要素組織の重畳位置は調整される。このようにして、手術用カメラ１０で取得された画像に要素組織が重畳されることで、例えば、肝静脈や虚血境界線をメルクマールとして、肝臓の亜区域をより正確に同定することが可能となり、更には、亜区域ごとに肝臓を切除する系統的肝切除をより円滑に行うことが可能となる。
　また、制御部２２０は、この重畳画像を表示装置５０４１に所定の表示方法で表示させる。図４～図６を参照しながら、重畳画像の表示方法について説明する。
　図４は、表示装置５０４１に表示された重畳画像の一例を示す模式図である。図４では、生体器官の一つである肝臓の画像に、要素組織Ｖの一つである血管を示す表示が重畳して表示されている。制御部２２０は、図４左部に示す、第１の方向から見た生体器官の画像である第１の画像と、図４右部に示す、第１の方向と直交する第２の方向から見た生体器官の画像である第２の画像を表示装置５０４１に提供する。第２の画像は、第１の方向に沿った位置が表示される参照画像であってもよい。図４では、患者５０７１の腹部から背中部に向かう方向を第１の方向として示している。図４右部に示される第２の画像には、例えば、第１の方向に沿った座標軸が表示されてもよい。また、この第２の画像上には、重畳される要素組織を含む領域Ａが表示されてもよい。この領域Ａに含まれる要素組織を示す表示が、第１の画像に重畳して表示される。第１の画像に要素組織が重畳表示されることで、手術用カメラ１０で取得された画像を他の画像に切り替える作業を要することなく、ユーザは手術を行うことが可能となる。
　また、第２の画像上には、領域Ａの位置及び範囲が表示されてもよく、例えば、図４に示すように、第１の方向に沿ったスケールが表示されてもよい。また、領域Ａの位置及び範囲を示す表示は、スケール表示に限られず、領域Ａの位置及び範囲がユーザに認識されればよく、例えば、領域Ａの座標値等が表示されてもよい。
　また、領域Ａの位置及び範囲は、ユーザによって任意に設定されてもよい。ユーザによって領域Ａの位置及び範囲が設定されることで、ユーザが所望する組織要素が選択的に表示される。その結果生体器官の切除術において、誤って血管を切離することによる多量の出血や、悪性腫瘍への損傷による播種、神経叢損傷による機能障害などのリスクを低減することが可能となる。
　ユーザが領域Ａの位置及び範囲を設定する方法は、公知のユーザインターフェースを利用することができ、例えば、図１に示したフットスイッチ５０５７や、タッチパネル、音声認識技術、ジェスチャ認識技術、近接センサ、術具５０１７に取付けられたジョイスティック、物理的なボタン等を利用してもよい。なお、表示装置５０４１には、第１の画像及び第２の画像の他に、例えば、心拍数や出血量等の各種の手術支援情報を表示させてもよい。
　また、領域Ａの位置は、所定の術具５０１７の位置に応じて決定されてもよい。例えば、ユーザが扱うエネルギー処置具５０２１の先端位置を位置計測装置６０００が検出し、検出されたエネルギー処置具５０２１の先端位置を基準位置として、この基準位置から予め設定された範囲を領域Ａとしてもよい。この場合、エネルギー処置具５０２１の位置は、エネルギー処置具５０２１に備えられた機器用マーカー６００１に基づいて検出されてもよい。これにより、ユーザは、術中により注意すべき血管等の要素組織を把握することが可能となる。
　制御部２２０は、所定の術具５０１７に応じて、重畳表示させた要素組織の一部を強調表示させてもよい。例えば、先だって説明した方法で要素組織が重畳表示され、上記方法で検出されたエネルギー処置具５０２１の位置の先端位置を基準位置として、制御部２２０は、この基準位置から予め設定された範囲内に存在する要素組織を強調表示させてもよい。
　制御部２２０は、更に、要素組織と、その要素組織の第１の方向に沿った存在位置が相対的に表示されるように制御してもよい。制御部２２０は、例えば、第１の方向を患者５０７１の腹部から背中部に向かう方向に設定し、第１の方向に沿って生体器官を３つに区分して、それぞれの区分された生体器官に含まれる要素組織を重畳表示させてもよい。例えば、図５Ａは、３つに区分された生体器官に含まれる要素組織Ｖが重畳表示された画像を示している。図５Ｂは、３つに区分された生体器官のうちの腹部側から２番目に区分された生体器官に含まれる要素組織Ｖが重畳表示された画像を示している。図５Ｃは、３つに区分された生体器官のうちの背中側に区分された生体器官に含まれる要素組織Ｖが重畳表示された画像を示している。制御部２２０は、それぞれの画像に、それぞれ区分された生体器官の位置に応じたアイコンを表示してもよい。例えば、図５Ａ左上部には要素組織Ｖが浅い位置にあることを示すアイコンが表示され、図５Ｂ左上部には要素組織Ｖが比較的浅い位置にあることを示すアイコンが表示され、図５Ｃ左上部には要素組織Ｖが深い位置にあることを示すアイコンが表示されている。術者５０６７は、表示されたアイコンを確認しながら適宜手術を進めることができる。
　制御部２２０は、更に、領域Ａに含まれない生体器官の部分に存在する要素組織Ｖ’を更に第２の画像上に表示するように制御してもよい。制御部２２０は、例えば、図６左図に示すように、領域Ａに含まれる要素組織Ｖと、領域Ａに含まれない生体器官の部分に存在する要素組織Ｖ’とが異なる態様で表示されるように制御してもよい。例えば、要素組織Ｖは強調して表示されてもよいし、領域Ａから離れた位置に存在する要素組織Ｖ’は、要素組織Ｖの明るさを基準として、第１の方向に沿って色や明るさ又は画像のぼけ具合が変化するように表示されてもよい。その結果、ユーザは領域Ａからの要素組織Ｖ’の距離を把握しやすくなる。
　また、制御部２２０は、ユーザにより選択された複数種類の要素組織を、手術用カメラ１０で取得された画像に同時に重畳表示させてもよい。例えば、制御部２２０は、血管、神経叢、リンパ管、又は腫瘍のうち、血管と腫瘍の２種類を、手術用カメラ１０で取得された画像に同時に重畳表示させてもよい。このように、制御部２２０は、複数種類の要素組織のうち、少なくとも１種の要素組織を手術用カメラ１０で取得された画像に重畳表示させてもよい。さらに、制御部２２０は、ユーザにより選択された要素組織のうち、所定の要素組織を手術用カメラ１０で取得された画像に重畳表示させてもよい。例えば、重畳表示させる要素組織が血管である場合、画像処理部２１０は、動脈と静脈の特徴量の違いを検出し、制御部２２０は、例えば動脈を示す表示のみを手術用カメラ１０から取得した画像に重畳表示させてもよい。また、制御部２２０は、表示装置５０４１に生体器官の各区域（例えば、肝臓の亜区域ごと）の血管を選択的に重畳表示させてもよいし、解剖学的に意味のある血管のみを選択的に重畳表示させてもよい。このように、ユーザ所望の要素組織のみを重畳して表示装置５０４１に表示させることで、手術システム１は、ユーザにかかる負担を低減することが可能となる。
＜３．動作＞
　続いて、手術システム１の動作の一例について詳細に説明する。
　本実施形態に係る手術システム１の動作について、図７～図９を参照しながら説明する。図７は、本実施形態に係る手術システム１の動作の流れの一例を示す流れ図である。
　まず、手術用カメラ１０により、患者５０７１の生体器官の画像が取得される（Ｓ１１０）。手術用カメラ１０により取得された画像は、ネットワーク３０を介して画像処理装置２０に送信される。次いで、画像処理装置２０に備えられた画像処理部２１０は、手術用カメラ１０から送信された画像に対して画像処理を実施し、生体器官のエッジや色等を特徴量として抽出する（Ｓ１２０）。画像処理部２１０は、その特徴量から生体器官の形状を算出し、さらに、各生体器官の位置関係を算出して記憶する（Ｓ１３０）。次いで、画像処理部２１０は、手術用カメラ１０から取得した画像について画像処理を行い、特徴量を抽出して要素組織の位置や形状を算出する（Ｓ１４０）。そして、画像処理装置２０に備えられた制御部２２０は、手術用カメラ１０により取得された画像上に、要素組織を示す表示が重畳した重畳画像を生成する（Ｓ１５０）。その後、Ｓ１４０及びＳ１５０の処理が繰り返し実行される。画像処理部２１０は、随時手術用カメラ１０から生体器官の画像を取得し、取得した画像について適宜画像処理を行うことで特徴量の変化を抽出する。そして、画像処理部２１０は、術中に生じる生体器官や要素組織の位置や形状の変化を算出し、表示装置５０４１に表示させる重畳画像を更新する。
　ここで、図８を参照しながら、Ｓ１５０の処理について詳細に説明する。まず、要素組織情報取得装置７０００により、生体器官の要素組織像が取得される（Ｓ１５１）。取得された要素組織像は、生体器官内の３次元分布情報として保存される。この生体器官の要素組織像の３次元分布情報は、例えば、術前又は術中に要素組織情報取得装置７０００を用いて取得されてもよい。
　次いで、制御部２２０は、取得された要素組織の３次元分布情報を手術用カメラ１０で取得された生体器官の画像に反映し、位置合わせがされる（Ｓ１５３）。詳細には、位置計測装置６０００により、手術用カメラ１０及び患者５０７１の位置及び／又は姿勢が計測される。次いで、内視鏡手術システム５０００は、測定された手術用カメラ１０の位置及び姿勢に対して、図１に示した手術用カメラ先端座標系６００３を設定する。また、内視鏡手術システム５０００は、測定された患者５０７１の位置及び姿勢に対して、患者座標系６００４を設定する。内視鏡手術システム５０００は、この設定された患者座標系６００４から手術用カメラ先端座標系６００３へ座標系を変換するための変換行列を算出する。制御部２２０は、この算出された変換行列を利用して、患者座標系６００４で取得された生体器官及び要素組織の３次元分布情報を手術用カメラ先端座標系６００３に変換する。
　次いで、ユーザにより、手術用カメラ１０により取得された画像に要素組織を示す表示を重畳させる領域Ａの位置及び範囲が選択される（Ｓ１５５）。このとき、ユーザは、領域Ａを選択するための第１の方向を設定してもよい。たとえば、患者５０７１の腹部から背中部に向かう方向を第１の方向としてもよい。
　そして、手術用カメラ１０により取得された生体器官の画像に、領域Ａに含まれる要素組織を重畳して表示する（Ｓ１５７）。そして、手術用カメラ１０が取得した画像が更新される度に、上記処理は適宜実行される。
　続いて、図９を参照しながら、位置計測装置６０００を用いた、手術用カメラ１０及び患者５０７１の位置及び姿勢の計測方法並びに座標変換方法を説明する。まず、手術用カメラ１０に、位置及び姿勢を計測する機器用マーカー６００１が取り付けられ、位置計測装置６０００は、この機器用マーカー６００１の位置を計測する（Ｓ２１０）。機器用マーカー６００１の取付位置は、手術用カメラ１０の位置が特定できれば特段限定されず、例えば、カメラヘッド５００５やアーム部５０３１に取付けられてよい。次いで、内視鏡手術システム５０００は、機器用マーカー６００１に基づいて、手術用カメラ先端座標系６００３を設定する（Ｓ２２０）。
　次いで、患者５０７１の位置及び姿勢を計測する患者用マーカー６００２が患者５０７１に取り付けられ、位置計測装置６０００は、この患者用マーカー６００２の位置を計測する（Ｓ２３０）。患者用マーカー６００２の取付位置は、患者５０７１の位置及び姿勢が特定できれば特段限定されないが、術部の位置や形状の変化がより正確に取得されるような位置であることが好ましい。次いで、内視鏡手術システム５０００は、患者用マーカー６００２に基づいて、患者座標系６００４を設定する（Ｓ２４０）。そして、内視鏡手術システム５０００は、この設定された患者座標系６００４から手術用カメラ先端座標系６００３へ座標系を変換するための変換行列を算出する（Ｓ２５０）。この変換行列を用いて、患者座標系６００４は手術用カメラ先端座標系６００３に座標変換される。
＜４．ハードウェア構成＞
　以上、本開示に係る実施形態について説明した。上述した画像処理は、ソフトウェアと、以下に説明する情報処理装置のハードウェアとの協働により実現される。
　次に、本開示の一実施形態に係る画像処理装置２０のハードウェア構成例について説明する。図１０は、本開示の一実施形態に係る画像処理装置２０のハードウェア構成例を示すブロック図である。図１０を参照すると、画像処理装置２０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インタフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（ＣＰＵ８７１）
　ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インタフェース８７７）
　ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インタフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
　（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカー、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
　（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
＜５．結び＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　生体器官を撮像し、前記生体器官の画像を取得する手術用カメラと、
　前記生体器官に含まれる要素組織の３次元分布情報に基づき、前記生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を前記生体器官の画像に重畳する画像処理装置と、
を備える、手術システム。
（２）
　前記３次元領域は、第１の方向における一部の範囲上に位置する前記生体器官の領域である、（１）に記載の手術システム。
（３）
　前記画像処理装置は、前記第１の方向上での前記３次元領域の範囲を示す範囲表示を生成する、（２）に記載の手術システム。
（４）
　前記画像処理装置は、前記第１の方向と直交する第２の方向から見た前記生体器官を示す参照画像をさらに生成し、
　前記範囲表示は、前記参照画像上で前記範囲を示す表示である、（３）に記載の手術システム。
（５）
　前記画像処理装置は、前記第１の方向と直交する第２の方向から見た前記生体器官を示す参照画像をさらに生成し、
　前記参照画像には、前記第１の方向に沿ったスケール表示が付され、
　前記範囲表示は、前記第１の方向上での前記範囲を示す数値表示である、（３）に記載の手術システム。
（６）
　前記３次元領域はユーザにより選択された前記生体器官の一部の領域である、（１）～（５）のいずれか１つに記載の手術システム。
（７）
　前記３次元領域は所定の術具の位置に応じて決定される前記生体器官の一部の領域である、（１）～（５）のいずれか１つに記載の手術システム。
（８）
　前記画像処理装置は、前記要素組織を示す表示のうちで、所定の術具の位置に応じた部分を示す表示を強調する、（１）～（７）のいずれか１つに記載の手術システム。
（９）
　前記画像処理装置は、前記要素組織として血管、神経叢、リンパ管、又は腫瘍の少なくともいずれか１種を示す表示を前記生体器官の画像に重畳する、（１）～（８）のいずれか１つに記載の手術システム。
（１０）
　前記生体器官は、肝臓であり、
　前記画像処理装置は、前記要素組織として血管を示す表示を前記肝臓の画像に重畳する、（１）～（９）のいずれか１つに記載の手術システム。
（１１）
　前記画像処理装置は、前記３次元領域外に含まれる要素組織を示す表示を前記生体器官の画像にさらに重畳し、
　前記３次元領域外に含まれる要素組織を示す表示の態様は、前記３次元領域に含まれる要素組織を示す表示の態様と異なる、（１）～（１０）のいずれか１つに記載の手術システム。
（１２）
　前記生体器官には複数種類の要素組織が含まれ、
　前記画像処理装置は、前記複数種類の要素組織のうちでユーザにより選択された種類の要素組織を示す表示を前記生体器官の画像に重畳する、（１）～（１１）のいずれか１つに記載の手術システム。
（１３）
　生体器官に含まれる要素組織の３次元分布情報に基づき、前記生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を、手術カメラによって取得された前記生体器官の画像に重畳する画像処理部、を備える、画像処理装置。
（１４）
　プロセッサにより、生体器官に含まれる要素組織の３次元分布情報に基づき、前記生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を、手術カメラによって取得された前記生体器官の画像に重畳すること、を含む、画像処理方法。
　１　　　　　　　　手術システム
　１０　　　　　　　手術用カメラ
　２０　　　　　　　画像処理装置
　３０　　　　　　　ネットワーク
　１１０　　　　　　撮像部
　１２０、２３０　　通信部
　２１０　　　　　　画像処理部
　５００１　　　　　内視鏡
　５０３９　　　　　ＣＣＵ
　５０４１　　　　　表示装置
　６０００　　　　　位置計測装置
　６００１　　　　　機器用マーカー
　６００２　　　　　患者用マーカー
　６００３　　　　　手術用カメラ先端座標系
　６００４　　　　　患者座標系

Claims (14)

  1. 　生体器官を撮像し、前記生体器官の画像を取得する手術用カメラと、
    　前記生体器官に含まれる要素組織の３次元分布情報に基づき、前記生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を前記生体器官の画像に重畳する画像処理装置と、
    を備える、手術システム。
  2. 　前記３次元領域は、第１の方向における一部の範囲上に位置する前記生体器官の領域である、請求項１に記載の手術システム。
  3. 　前記画像処理装置は、前記第１の方向上での前記３次元領域の範囲を示す範囲表示を生成する、請求項２に記載の手術システム。
  4. 　前記画像処理装置は、前記第１の方向と直交する第２の方向から見た前記生体器官を示す参照画像をさらに生成し、
    　前記範囲表示は、前記参照画像上で前記範囲を示す表示である、請求項３に記載の手術システム。
  5. 　前記画像処理装置は、前記第１の方向と直交する第２の方向から見た前記生体器官を示す参照画像をさらに生成し、
    　前記参照画像には、前記第１の方向に沿ったスケール表示が付され、
    　前記範囲表示は、前記第１の方向上での前記範囲を示す数値表示である、請求項３に記載の手術システム。
  6. 　前記３次元領域はユーザにより選択された前記生体器官の一部の領域である、請求項１に記載の手術システム。
  7. 　前記３次元領域は所定の術具の位置に応じて決定される前記生体器官の一部の領域である、請求項１に記載の手術システム。
  8. 　前記画像処理装置は、前記要素組織を示す表示のうちで、所定の術具の位置に応じた部分を示す表示を強調する、請求項１に記載の手術システム。
  9. 　前記画像処理装置は、前記要素組織として血管、神経叢、リンパ管、又は腫瘍の少なくともいずれか１種を示す表示を前記生体器官の画像に重畳する、請求項１に記載の手術システム。
  10. 　前記生体器官は、肝臓であり、
    　前記画像処理装置は、前記要素組織として血管を示す表示を前記肝臓の画像に重畳する、請求項１に記載の手術システム。
  11. 　前記画像処理装置は、前記３次元領域外に含まれる要素組織を示す表示を前記生体器官の画像にさらに重畳し、
    　前記３次元領域外に含まれる要素組織を示す表示の態様は、前記３次元領域に含まれる要素組織を示す表示の態様と異なる、請求項１に記載の手術システム。
  12. 　前記生体器官には複数種類の要素組織が含まれ、
    　前記画像処理装置は、前記複数種類の要素組織のうちでユーザにより選択された種類の要素組織を示す表示を前記生体器官の画像に重畳する、請求項１に記載の手術システム。
  13. 　生体器官に含まれる要素組織の３次元分布情報に基づき、前記生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を、手術カメラによって取得された前記生体器官の画像に重畳する画像処理部、を備える、画像処理装置。
  14. 　プロセッサにより、生体器官に含まれる要素組織の３次元分布情報に基づき、前記生体器官の一部の３次元領域に含まれる要素組織を術中に特定し、特定された要素組織を示す表示を、手術カメラによって取得された前記生体器官の画像に重畳すること、を含む、画像処理方法。
PCT/JP2019/002839 2018-02-09 2019-01-29 手術システム、画像処理装置及び画像処理方法 WO2019155931A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/966,467 US20210030510A1 (en) 2018-02-09 2019-01-29 Surgery system, image processor, and image processing method
JP2019570689A JPWO2019155931A1 (ja) 2018-02-09 2019-01-29 手術システム、画像処理装置及び画像処理方法
EP19750752.8A EP3733047A4 (en) 2018-02-09 2019-01-29 SURGICAL SYSTEM, IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-021695 2018-02-09
JP2018021695 2018-02-09

Publications (1)

Publication Number Publication Date
WO2019155931A1 true WO2019155931A1 (ja) 2019-08-15

Family

ID=67549407

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/002839 WO2019155931A1 (ja) 2018-02-09 2019-01-29 手術システム、画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US20210030510A1 (ja)
EP (1) EP3733047A4 (ja)
JP (1) JPWO2019155931A1 (ja)
WO (1) WO2019155931A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833337A (zh) * 2020-07-20 2020-10-27 上海轶德医疗科技股份有限公司 显微镜成像装置及基于显微镜成像装置的肿瘤定位方法
JP7081862B1 (ja) 2021-11-26 2022-06-07 株式会社Jmees 手術支援システム、手術支援方法、及び手術支援プログラム
WO2023079927A1 (ja) * 2021-11-05 2023-05-11 学校法人帝京大学 手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11612306B2 (en) * 2017-11-01 2023-03-28 Sony Corporation Surgical arm system and surgical arm control system
JP7239362B2 (ja) * 2019-03-20 2023-03-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001170009A (ja) 1999-12-20 2001-06-26 Olympus Optical Co Ltd 被検体観察装置
JP2007007041A (ja) * 2005-06-29 2007-01-18 Hitachi Medical Corp 手術支援装置
JP2007136133A (ja) * 2005-11-18 2007-06-07 Toshio Fukuda 拡張現実感呈示システム
JP2012235983A (ja) * 2011-05-13 2012-12-06 Olympus Medical Systems Corp 医療用画像表示システム
JP2014226430A (ja) * 2013-05-24 2014-12-08 富士フイルム株式会社 画像表示装置および方法、並びにプログラム
JP2016202351A (ja) * 2015-04-17 2016-12-08 健司 三木 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
JP2017508506A (ja) * 2014-02-04 2017-03-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 血管の深さ及び位置の可視化並びに血管断面のロボットガイド可視化

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4698966B2 (ja) * 2004-03-29 2011-06-08 オリンパス株式会社 手技支援システム
JP5385350B2 (ja) * 2011-08-16 2014-01-08 富士フイルム株式会社 画像表示方法および装置
EP2866638B1 (en) * 2012-06-28 2019-12-04 Koninklijke Philips N.V. Enhanced visualization of blood vessels using a robotically steered endoscope
JP6481269B2 (ja) * 2014-07-01 2019-03-13 富士通株式会社 出力制御方法、画像処理装置、出力制御プログラムおよび情報処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001170009A (ja) 1999-12-20 2001-06-26 Olympus Optical Co Ltd 被検体観察装置
JP2007007041A (ja) * 2005-06-29 2007-01-18 Hitachi Medical Corp 手術支援装置
JP2007136133A (ja) * 2005-11-18 2007-06-07 Toshio Fukuda 拡張現実感呈示システム
JP2012235983A (ja) * 2011-05-13 2012-12-06 Olympus Medical Systems Corp 医療用画像表示システム
JP2014226430A (ja) * 2013-05-24 2014-12-08 富士フイルム株式会社 画像表示装置および方法、並びにプログラム
JP2017508506A (ja) * 2014-02-04 2017-03-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 血管の深さ及び位置の可視化並びに血管断面のロボットガイド可視化
JP2016202351A (ja) * 2015-04-17 2016-12-08 健司 三木 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3733047A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833337A (zh) * 2020-07-20 2020-10-27 上海轶德医疗科技股份有限公司 显微镜成像装置及基于显微镜成像装置的肿瘤定位方法
CN111833337B (zh) * 2020-07-20 2023-05-23 上海轶德医疗科技股份有限公司 显微镜成像装置及基于显微镜成像装置的肿瘤定位方法
WO2023079927A1 (ja) * 2021-11-05 2023-05-11 学校法人帝京大学 手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法
JP7081862B1 (ja) 2021-11-26 2022-06-07 株式会社Jmees 手術支援システム、手術支援方法、及び手術支援プログラム
JP2023079038A (ja) * 2021-11-26 2023-06-07 株式会社Jmees 手術支援システム、手術支援方法、及び手術支援プログラム

Also Published As

Publication number Publication date
EP3733047A1 (en) 2020-11-04
US20210030510A1 (en) 2021-02-04
JPWO2019155931A1 (ja) 2021-01-28
EP3733047A4 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
US20220331052A1 (en) Cooperation among multiple display systems to provide a healthcare user customized information
WO2019155931A1 (ja) 手術システム、画像処理装置及び画像処理方法
JP7095679B2 (ja) 情報処理装置、支援システム及び情報処理方法
US10904437B2 (en) Control apparatus and control method
US11672516B2 (en) Control apparatus, control method, and control system
US20210015343A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
JP2006218129A (ja) 手術支援システム
CN108778085B (zh) 图像处理设备、内窥镜手术***以及图像处理方法
JP7200939B2 (ja) 手術システム、制御方法、手術機器、並びにプログラム
JP2006198032A (ja) 手術支援システム
JPWO2017145475A1 (ja) 医療用情報処理装置、情報処理方法、医療用情報処理システム
JP2018108173A (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP7286948B2 (ja) 医療用観察システム、信号処理装置及び医療用観察方法
CN110651333A (zh) 手术成像***、方法和计算机程序产品
WO2018088105A1 (ja) 医療用支持アーム及び医療用システム
JP2023164610A (ja) 画像処理装置、画像処理方法および画像処理システム
JP2006223374A (ja) 手術支援装置、手術支援システム及び手術支援方法
JP2024513992A (ja) 組織貫通外科用デバイスのチャネルの外に展開可能なカメラアレイを備えるシステム
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP4493383B2 (ja) 手技支援システム
JP2018157918A (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
JP2023103499A (ja) 医用画像処理システム、手術画像制御装置、及び、手術画像制御方法
WO2020050187A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP2005211530A (ja) 手技支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19750752

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019570689

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019750752

Country of ref document: EP

Effective date: 20200729

NENP Non-entry into the national phase

Ref country code: DE