WO2018180573A1 - 手術用画像処理装置、画像処理方法、及び、手術システム - Google Patents

手術用画像処理装置、画像処理方法、及び、手術システム Download PDF

Info

Publication number
WO2018180573A1
WO2018180573A1 PCT/JP2018/010391 JP2018010391W WO2018180573A1 WO 2018180573 A1 WO2018180573 A1 WO 2018180573A1 JP 2018010391 W JP2018010391 W JP 2018010391W WO 2018180573 A1 WO2018180573 A1 WO 2018180573A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
update
image processing
surgical
post
Prior art date
Application number
PCT/JP2018/010391
Other languages
English (en)
French (fr)
Inventor
白木　寿一
岳志 宮井
高橋　健治
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/496,452 priority Critical patent/US11483473B2/en
Priority to CN201880020194.8A priority patent/CN110536629B/zh
Priority to EP18774672.2A priority patent/EP3603479B1/en
Priority to JP2019509271A priority patent/JP7115467B2/ja
Publication of WO2018180573A1 publication Critical patent/WO2018180573A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G06F8/63—Image based installation; Cloning; Build to order
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present technology relates to a surgical image processing apparatus, an image processing method, and a surgical system, and in particular, a surgical image processing apparatus and an image processing method capable of easily comparing images before and after software update. And to a surgical system.
  • various types of image processing are performed on signals captured by the endoscope. These image processes are realized by software, and these image processes are executed by a processor such as a GPU operating according to a predetermined program.
  • Patent Document 1 discloses an endoscope system that performs maintenance such as software update via a communication line.
  • the image quality of the image may change before and after the software update.
  • the doctor may want to compare the image before the image quality changes with the image after the image quality changes.
  • This technology has been made in view of such a situation, and makes it easy to compare images before and after software update.
  • the surgical image processing apparatus of the present technology includes an image processing unit that performs image processing by software on the surgical site image, and a display control unit that controls display of the surgical site image subjected to the image processing,
  • the image processing unit generates a pre-update processed image obtained by performing the image processing before the software update on the surgical site image, and a post-update processed image obtained by performing the image processing after the software update on the surgical site image.
  • the display control unit controls display of at least a part of at least one of the pre-update processed image and the post-update processed image.
  • a difference calculation unit that calculates a difference between the pre-update processed image and the post-update processed image is further provided, and the display control unit controls display of information informing that the difference is larger than a predetermined value. be able to.
  • a scene detection unit for detecting a predetermined scene in the image is further provided, and the display control unit is selected by the user among the pre-update processing image and the post-update processing image for the detected scene. Can be displayed.
  • a feature amount extraction unit that extracts a feature amount of the detected scene, and the extracted feature amount and the detected scene are selected by the user from the pre-update processed image and the post-update processed image. It is possible to further provide a recording control unit that records the history information in association with the selection information indicating the person who has performed.
  • a learning unit that learns which of the pre-update processed image and the post-update processed image is selected by the user for the detected scene for each feature amount of the scene based on the history information Can be further provided.
  • An inquiry unit that inquires a learning result corresponding to the feature amount of a predetermined scene detected in another image is further provided, and the display control unit is configured to inquire about the learning result in the other image based on the inquired learning result.
  • One of the pre-update processed image and the post-update processed image can be displayed for the predetermined scene.
  • An image processing method includes an image processing apparatus including an image processing unit that performs image processing on software on an operation part image, and a display control unit that controls display of the operation part image subjected to the image processing. Generating a pre-update image obtained by performing the image processing before the software update on the surgical site image, and a post-update image obtained by performing the image processing after the software update on the surgical image. Controlling display of at least a part of at least one of the processed image and the post-update processed image.
  • the surgical operation system includes a surgical imaging apparatus that acquires a surgical site image, an image processing unit that performs software image processing on the surgical site image, and display of the surgical site image that has been subjected to the image processing.
  • a surgical image processing apparatus having a display control unit for controlling, and the image processing unit includes a pre-update image obtained by performing the image processing before the software update on the surgical unit image, and the surgical unit image. And a post-update processed image subjected to the image processing after the software update, and the display control unit controls display of at least a part of at least one of the pre-update processed image and the post-update processed image To do.
  • a pre-update processed image obtained by performing the image processing before the software update on the surgical site image and a post-update processed image obtained by performing the image processing after the software update on the surgical site image are generated.
  • the display of at least a part of at least one of the pre-update processed image and the post-update processed image is controlled.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system 100 to which the technology according to the present disclosure can be applied.
  • FIG. 1 shows a state in which an operator (doctor) 167 is performing an operation on a patient 171 on a patient bed 169 using the endoscopic operation system 100.
  • the endoscopic surgery system 100 includes an endoscope 101, other surgical tools 117, a support arm device 127 that supports the endoscope 101, and a cart 137 on which various devices for endoscopic surgery are mounted. Consists of
  • trocars 125a to 125d are punctured into the abdominal wall. Then, the lens barrel 103 of the endoscope 101 and other surgical tools 117 are inserted into the body cavity of the patient 171 from the trocars 125a to 125d.
  • an insufflation tube 119, an energy treatment tool 121, and forceps 123 are inserted into the body cavity of the patient 171.
  • the energy treatment device 121 is a treatment device that performs incision and peeling of a tissue, sealing of a blood vessel, or the like by a high-frequency current or ultrasonic vibration.
  • the illustrated surgical tool 117 is merely an example, and various surgical tools generally used in endoscopic surgery, such as a lever and a retractor, may be used as the surgical tool 117, for example.
  • the image of the surgical site in the body cavity of the patient 171 captured by the endoscope 101 is displayed on the display device 141.
  • the surgeon 167 performs a treatment such as excision of the affected part using the energy treatment tool 121 and the forceps 123 while viewing the image of the surgical part displayed on the display device 141 in real time.
  • the pneumoperitoneum tube 119, the energy treatment device 121, and the forceps 123 are supported by an operator 167 or an assistant during the operation.
  • the support arm device 127 includes an arm portion 131 extending from the base portion 129.
  • the arm part 131 is composed of joint parts 133 a, 133 b, 133 c and links 135 a, 135 b and is driven under the control of the arm control device 145.
  • the endoscope 101 is supported by the arm part 131, and its position and posture are controlled. Thereby, stable fixation of the endoscope 101 is realized.
  • the endoscope 101 includes a lens barrel 103 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 171 and a camera head 105 (imaging device) connected to the proximal end of the lens barrel 103.
  • a camera head 105 imaging device
  • FIG. 1 an endoscope 101 configured as a so-called rigid mirror having a rigid barrel 103 is shown.
  • the endoscope 101 is configured as a so-called flexible mirror having a flexible barrel 103. May be.
  • An opening into which an objective lens is fitted is provided at the tip of the lens barrel 103.
  • a light source device 143 is connected to the endoscope 101, and light generated by the light source device 143 is guided to the tip of the lens barrel 103 by a light guide extending inside the lens barrel 103, and the objective lens Is irradiated toward the observation target in the body cavity of the patient 171.
  • the endoscope 101 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 105, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging device, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU: Camera Control Unit) 139 as RAW data.
  • the camera head 105 has a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • a plurality of image sensors may be provided in the camera head 105 in order to cope with, for example, stereoscopic viewing (3D display).
  • a plurality of relay optical systems are provided inside the lens barrel 103 in order to guide observation light to each of the plurality of imaging elements.
  • the CCU 139 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and further a GPGPU (General Purpose computing unit on GPU), and controls the operations of the endoscope 101 and the display device 141 in an integrated manner. Specifically, the CCU 139 performs various types of image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example, on the image signal received from the camera head 105. The CCU 139 provides an image signal subjected to image processing to the display device 141. Further, the CCU 139 transmits a control signal to the camera head 105 to control the driving thereof.
  • the control signal can include information regarding imaging conditions such as magnification and focal length.
  • the display device 141 displays an image based on an image signal subjected to image processing by the CCU 139 under the control of the CCU 139.
  • the endoscope 101 is compatible with high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display
  • high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320)
  • a display device 141 capable of high-resolution display and / or 3D display can be used.
  • a more immersive feeling can be obtained by using a display device 141 having a size of 55 inches or more.
  • a plurality of display devices 141 having different resolutions and sizes may be provided depending on applications.
  • the light source device 143 includes a light source such as an LED (Light Emitting Diode), and supplies irradiation light to the endoscope 101 when photographing a surgical site.
  • a light source such as an LED (Light Emitting Diode)
  • LED Light Emitting Diode
  • the arm control device 145 is configured by a processor such as a CPU, for example, and operates according to a predetermined program to control driving of the arm portion 131 of the support arm device 127 according to a predetermined control method.
  • the input device 147 is an input interface for the endoscopic surgery system 100.
  • the user can input various information and instructions to the endoscopic surgery system 100 via the input device 147.
  • the user inputs various types of information related to the operation, such as the patient's physical information and information about the surgical technique, via the input device 147.
  • the user instructs to drive the arm unit 131 via the input device 147 or to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 101.
  • An instruction or the like for driving the energy treatment device 121 is input.
  • the type of the input device 147 is not limited, and the input device 147 may be various known input devices.
  • the input device 147 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 157, and / or a lever can be applied.
  • the touch panel may be provided on the display surface of the display device 141.
  • the input device 147 may be a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display). In this case, various inputs are performed according to the user's gesture and line of sight detected by these devices.
  • the input device 147 may include a camera capable of detecting the user's movement, and various inputs may be performed according to the user's gesture and line of sight detected from the video captured by the camera.
  • the input device 147 may include a microphone that can pick up a user's voice, and various inputs may be performed by voice through the microphone.
  • the input device 147 is configured to be able to input various kinds of information without contact, so that a user belonging to the clean area (for example, the operator 167) operates the device belonging to the unclean area in a non-contact manner. Is possible.
  • the user since the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
  • the treatment instrument control device 149 controls the drive of the energy treatment instrument 121 for tissue cauterization, incision, or blood vessel sealing.
  • the pneumoperitoneum device 151 supplies gas into the body cavity via the pneumothorax tube 119. Send it in.
  • the recorder 153 is a device that can record various types of information related to surgery.
  • the printer 155 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
  • FIG. 2 is a block diagram illustrating an example of functional configurations of the camera head 105 and the CCU 139.
  • the camera head 105 includes a lens unit 107, an imaging unit 109, a driving unit 111, a communication unit 113, and a camera head control unit 115 as functions thereof.
  • the CCU 139 includes a communication unit 159, an image processing unit 161, and a control unit 163 as its functions.
  • the camera head 105 and the CCU 139 are connected to each other via a transmission cable 165 so that they can communicate with each other.
  • the lens unit 107 is an optical system provided at a connection portion with the lens barrel 103. Observation light captured from the tip of the lens barrel 103 is guided to the camera head 105 and enters the lens unit 107.
  • the lens unit 107 is configured by combining a plurality of lenses including a zoom lens and a focus lens. The optical characteristics of the lens unit 107 are adjusted so that the observation light is condensed on the light receiving surface of the image sensor of the imaging unit 109.
  • the zoom lens and the focus lens are configured such that their positions on the optical axis are movable in order to adjust the magnification and focus of the captured image.
  • the image pickup unit 109 is configured by an image pickup device, and is arranged at the rear stage of the lens unit 107.
  • the observation light that has passed through the lens unit 107 is collected on the light receiving surface of the image sensor, and an image signal corresponding to the observation image is generated by photoelectric conversion.
  • the image signal generated by the imaging unit 109 is provided to the communication unit 113.
  • the image pickup element constituting the image pickup unit 109 for example, an element capable of color photographing having a Bayer array such as a CMOS (Complementary Metal Metal Oxide Semiconductor) image sensor is used.
  • CMOS Complementary Metal Metal Oxide Semiconductor
  • an imaging device what can respond
  • the image sensor that configures the image capturing unit 109 may be configured to include a pair of image sensors for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the operator 167 can more accurately grasp the depth of the living tissue in the surgical site.
  • the imaging unit 109 is configured as a multi-plate type, a plurality of lens units 107 are also provided corresponding to each imaging element.
  • the imaging unit 109 is not necessarily provided in the camera head 105.
  • the imaging unit 109 may be provided inside the lens barrel 103 immediately after the objective lens.
  • the driving unit 111 includes an actuator, and moves the zoom lens and the focus lens of the lens unit 107 by a predetermined distance along the optical axis under the control of the camera head control unit 115. Thereby, the magnification and the focus of the image captured by the imaging unit 109 can be adjusted as appropriate.
  • the communication unit 113 includes a communication device for transmitting and receiving various types of information to and from the CCU 139.
  • the communication unit 113 transmits the image signal obtained from the imaging unit 109 as RAW data to the CCU 139 via the transmission cable 165.
  • the image signal is preferably transmitted by optical communication in order to display a captured image of the surgical site with low latency.
  • the operator 167 performs the operation while observing the state of the affected part with the captured image, so that a moving image of the operated part is displayed in real time as much as possible for a safer and more reliable operation. Because it is required.
  • the communication unit 113 is provided with a photoelectric conversion module that converts an electrical signal into an optical signal.
  • the image signal is converted into an optical signal by the photoelectric conversion module, and then transmitted to the CCU 139 via the transmission cable 165.
  • the communication unit 113 receives a control signal for controlling the driving of the camera head 105 from the CCU 139.
  • the control signal includes, for example, information indicating that the frame rate of the captured image is specified, information indicating that the exposure value at the time of imaging is specified, and / or information indicating that the magnification and focus of the captured image are specified. Contains information about.
  • the communication unit 113 provides the received control signal to the camera head control unit 115.
  • the control signal from the CCU 139 may also be transmitted by optical communication.
  • the communication unit 113 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the control signal is converted into an electric signal by the photoelectric conversion module and then provided to the camera head control unit 115.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus are automatically set by the control unit 163 of the CCU 139 based on the acquired image signal. That is, a so-called AE (Auto-Exposure) function, AF (Auto-Focus) function, and AWB (Auto-White Balance) function are mounted on the endoscope 101.
  • AE Auto-Exposure
  • AF Auto-Focus
  • AWB Auto-White Balance
  • the camera head control unit 115 controls driving of the camera head 105 based on a control signal from the CCU 139 received via the communication unit 113. For example, the camera head control unit 115 controls driving of the imaging element of the imaging unit 109 based on information indicating that the frame rate of the captured image is specified and / or information indicating that the exposure at the time of imaging is specified. For example, the camera head control unit 115 appropriately moves the zoom lens and the focus lens of the lens unit 107 via the drive unit 111 based on information indicating that the magnification and the focus of the captured image are designated.
  • the camera head control unit 115 may further have a function of storing information for identifying the lens barrel 103 and the camera head 105.
  • the camera head 105 can be resistant to autoclave sterilization by arranging the lens unit 107, the imaging unit 109, and the like in a sealed structure with high airtightness and waterproofness.
  • the communication unit 159 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 105.
  • the communication unit 159 receives an image signal transmitted from the camera head 105 via the transmission cable 165.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 159 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the communication unit 159 provides the image processing unit 161 with the image signal converted into an electrical signal.
  • the communication unit 159 transmits a control signal for controlling the driving of the camera head 105 to the camera head 105.
  • the control signal may also be transmitted by optical communication.
  • the image processing unit 161 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 105.
  • image processing for example, development processing, high image quality processing (band enhancement processing, super-resolution processing, NR (Noise Reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing), etc.
  • image processing unit 161 performs detection processing on the image signal for performing AE, AF, and AWB.
  • the image processing unit 161 is configured by a processor such as a CPU, GPU, GPGPU, and the above-described image processing and detection processing are performed when the processor operates according to a predetermined program.
  • the image processing unit 161 is configured by a plurality of GPUs, the image processing unit 161 appropriately divides information related to the image signal, and performs image processing in parallel by the plurality of GPUs.
  • the control unit 163 performs various controls relating to imaging of the surgical site by the endoscope 101 and display of the captured image. For example, the control unit 163 generates a control signal for controlling the driving of the camera head 105. Here, when the imaging condition is input by the user, the control unit 163 generates a control signal based on the input by the user.
  • the control unit 163 determines the optimum exposure value and focal length according to the detection processing result by the image processing unit 161. , And white balance are calculated as appropriate to generate a control signal.
  • control unit 163 causes the display device 141 to display an image of the surgical unit based on the image signal subjected to the image processing by the image processing unit 161.
  • the control unit 163 recognizes various objects in the surgical unit image using various image recognition techniques. For example, the control unit 163 detects the shape and color of the edge of the object included in the surgical site image, thereby detecting the surgical instrument 117 such as the forceps 123, a specific living body part, bleeding, and the mist when using the energy treatment instrument 121. Etc. can be recognized.
  • the control unit 163 displays various types of surgery support information on the surgical site image using the recognition result. The surgery support information is displayed in a superimposed manner and presented to the operator 167, so that the surgery can be performed more safely and reliably.
  • the transmission cable 165 connecting the camera head 105 and the CCU 139 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • wired communication is performed using the transmission cable 165, but communication between the camera head 105 and the CCU 139 may be performed wirelessly.
  • communication between the two is performed wirelessly, there is no need to install the transmission cable 165 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 165 is eliminated.
  • SW software
  • the image quality of the image may change before and after the SW update.
  • the doctor may want to compare the image before the image quality changes with the image after the image quality changes.
  • there is a risk that such a change in image quality may affect doctors' intraoperative diagnosis and operation of surgical tools.
  • the SW that adds the camera shake correction process is updated, the image of the surgical site is stabilized and the visibility is improved in many scenes of the operation.
  • a fine tissue such as a blood vessel or a nerve is displayed by being emphasized, so that the visibility of the portion can be improved. May be difficult to see.
  • 3 corresponds to the above-described CCU 139, and performs image processing on an image signal of an operation part image (input image) input from the camera head 105, for example, and outputs the processed image signal to the display device 202.
  • the display device 202 corresponds to the display device 141 described above, and displays an image based on the image signal output from the image processing device 201.
  • the image processing apparatus 201 includes an image processing unit 211 and a display control unit 212.
  • the image processing unit 211 corresponds to the image processing unit 161 described above, and performs various types of image processing on the image signal of the input image. These image processes are realized by software (SW), and a processor such as a GPU operates according to a predetermined program to execute these image processes.
  • SW software
  • a processor such as a GPU operates according to a predetermined program to execute these image processes.
  • the SW for realizing these image processes is updated by installing a predetermined program from a recording medium, for example.
  • a program may be installed via a network such as the Internet.
  • the image processing unit 211 includes a post-SW update image processing unit 221 and a pre-SW update image processing unit 222.
  • the SW updated image processing unit 221 outputs an image signal of an updated processed image obtained by performing image processing after the SW is updated, that is, image processing realized by the latest version of SW, on the input image.
  • the SW pre-update image processing unit 222 outputs, to the input image, an image signal of a pre-update image that has been subjected to image processing before the SW is updated, that is, image processing realized by the previous SW version. .
  • the SW update post-update image processing unit 221 and the SW pre-update image processing unit 222 are configured by two GPUs, the SW update post-update image processing unit 221 and the SW pre-update image processing unit 222 perform the SW update and SW processing.
  • the image processing before the update can be performed in parallel, that is, simultaneously.
  • post-SW update image processing unit 221 and the pre-SW update image processing unit 222 may be configured by one GPU so that the image processing after SW update and the image processing before SW update are performed serially. it can.
  • the display control unit 212 is based on the image signal output from the image processing unit 211 (the post-SW update image processing unit 221 and the SW pre-update image processing unit 222), and is at least one of the post-update processing image and the pre-update processing image. At least a part of one is displayed on the display device 202. Further, the display control unit 212 controls the display of the post-update processed image and the pre-update processed image on the display device 202 in accordance with a user operation.
  • FIG. 4 Flow of operation image display processing
  • step S21 the SW-updated image processing unit 221 performs image processing (image processing realized by the latest version of SW) after the SW is updated on the input operation part image.
  • step S22 the pre-SW image processing unit 222 performs image processing before the SW is updated (image processing realized by the previous version of SW) on the input surgical image.
  • steps S21 and S22 is performed simultaneously in parallel, but may be performed serially as described above.
  • the image signal of the post-update processed image subjected to the image processing after SW update and the image signal of the pre-update processed image subjected to the image processing prior to SW update are output to the display control unit 212.
  • step S ⁇ b> 23 the display control unit 212 displays the post-update processed image and the pre-update processed image on the display device 202 based on the image signals output from the SW updated image processing unit 221 and the SW pre-update image processing unit 222. Display.
  • the image after the image quality is changed by the SW update and the image before the image quality is changed are displayed as the surgical site image captured by the endoscope 101.
  • An operator who performs an operation using the mirror 101 can easily compare these images.
  • FIG. 5 shows a first display example of the post-update processed image and the pre-update processed image.
  • FIG. 5 shows a state in which the post-update processed image 251 and the pre-update processed image 252 are simultaneously displayed on one screen.
  • the post-update image 251 displayed in the upper left area of the screen is displayed larger than that displayed in the upper right area of the screen. Thereby, the operator who is performing an operation using the endoscope 101 can easily compare both the post-update processing image 251 and the pre-update processing image 252.
  • the display sizes of the post-update processed image 251 and the pre-update processed image 252 on the screen can be adjusted according to the operation of the user (surgeon). Specifically, the area where the post-update processed image 251 is displayed and the area where the pre-update processed image 252 is displayed are switched on the screen.
  • the processed image and the pre-update processed image may be displayed.
  • FIG. 6 shows a second display example of the post-update processed image and the pre-update processed image.
  • FIG. 6 shows a state in which the user (operator) selected from the post-update processing image 251 and the pre-update processing image 252 is displayed.
  • the update preprocessed image 252 is displayed on the display device 202. Thereby, it is possible to avoid the user being confused by the image whose image quality has changed at the time of starting the display of the surgical part image.
  • the pre-update processed image 252 and the post-update processed image 251 are switched and displayed by a user operation.
  • the user interface for switching the display is provided on the camera 101 such as the camera head 105 or the surgical instrument 117 of the endoscope 101 that can be switched instantly by the operator.
  • FIG. 7 shows a third display example of the post-update processed image and the pre-update processed image.
  • FIG. 7 shows a state where the post-update processed image 251 and the pre-update processed image 252 are displayed for each pixel added at a predetermined ratio.
  • a value obtained by multiplying the pixel value of each pixel of the pre-update processing image 252 by a predetermined value ⁇ ( ⁇ ⁇ 1) and a pixel value of each pixel of the post-update processing image 251 are set to a predetermined value (1
  • the output image 261 is displayed with the sum of the values multiplied by - ⁇ ) as the pixel value of each pixel.
  • FIG. 8 shows a fourth display example of the post-update processed image and the pre-update processed image.
  • FIG. 8 shows a state in which the first area of the post-update processed image 251 and the second area other than the first area of the pre-update processed image 252 are combined and displayed.
  • an image of a portion corresponding to the area D1 in the post-update processed image 251 is displayed in the right area D1 where the screen is divided into left and right, and the left side where the screen is divided into left and right In the area D2, an image of a portion corresponding to the area D2 in the pre-update image 252 is displayed.
  • the width w of the region D1 in other words, the boundary between the region D1 and the region D2 is adjusted by the operation of the user (surgeon). Further, the images displayed in the region D1 and the region D2 may be switched by a user operation.
  • an area including the center of the screen specifically, a circular area D3 centered on the center of the screen, and an image of a portion corresponding to the area D3 in the post-update processed image 251.
  • Is displayed, and an image of a portion corresponding to the region D4 in the pre-update image 252 is displayed in the peripheral region D4 outside the region D3 of the screen.
  • the radius r of the region D3 in other words, the boundary between the region D3 and the region D4 is adjusted by the operation of the user (surgeon).
  • the images displayed in the region D3 and the region D4 may be switched by a user operation.
  • the shape of the region D3 is not limited to a circle and may be other shapes such as a rectangle.
  • FIG. 9 illustrates a configuration example of an image processing apparatus according to the second embodiment of the present technology.
  • the image processing device 271 in FIG. 9 performs image processing on the image signal of the input image and outputs it to the display devices 202-1 and 202-2.
  • the display devices 202-1 and 202-2 each display an image based on the image signal output from the image processing device 201.
  • the image processing device 271 includes an image processing unit 211 and a display control unit 281.
  • the image processing unit 211 is the same as the configuration shown in FIG.
  • the display control unit 281 displays the post-update processed image on the display device 202-1 based on the image signal output from the image processing unit 211 (the SW post-update image processing unit 221 and the pre-SW update image processing unit 222). At the same time, the pre-update image is displayed on the display device 202-2.
  • an image of the surgical site captured by the endoscope 101 on each of the two display devices is an image after the image quality is changed by SW update, and an image before the image quality is changed. Is displayed, it is possible for an operator who is performing surgery using the endoscope 101 to easily compare these images.
  • FIG. 10 illustrates a configuration example of an image processing device according to the third embodiment of the present technology.
  • 10 includes an image processing unit 311 and a display control unit 312.
  • the image processing unit 311 includes a post-SW update image processing unit 321, a pre-SW update image processing unit 322, and a difference calculation unit 323.
  • the SW updated image processing unit 321 outputs an image signal of the updated processed image obtained by performing the image processing after the SW is updated on the input image, similarly to the SW updated image processing unit 221 in FIG.
  • the SW pre-update image processing unit 322 outputs an image signal of the pre-update image obtained by performing the image processing before the SW is updated on the input image, like the pre-SW update image processing unit 222 in FIG.
  • the difference calculation unit 323 calculates the difference between the pre-update processing image and the post-update processing image, and supplies the calculation result to the display control unit 312.
  • the display control unit 312 is based on the image signal output from the image processing unit 311 (the SW updated image processing unit 321 and the SW pre-update image processing unit 322), and at least one of the post-update processed image and the pre-update processed image. At least a part is displayed on the display device 202.
  • the display control unit 312 includes an OSD processing unit 331.
  • the OSD processing unit 331 OSD displays information corresponding to the calculation result from the image processing unit 311 (difference calculation unit 323) on the screen of the display device 202.
  • FIG. 11 Flow of operation image display processing
  • step S31 the SW-updated image processing unit 321 performs image processing (image processing realized by the latest version of SW) after the SW is updated on the input operation part image.
  • step S32 the pre-SW update image processing unit 322 performs image processing before the SW is updated (image processing realized by the previous version of SW) on the input operation part image.
  • steps S31 and S32 are performed simultaneously in parallel, but may be performed serially as described above.
  • the image signal of the post-update processed image subjected to the image processing after SW update and the image signal of the pre-update processed image subjected to the image processing before SW update are output to the display control unit 312 and the difference calculation unit 323.
  • the display control unit 312 displays only the post-update processed image on the display device 202 based on the image signal output from the post-SW update image processing unit 321.
  • step S33 the difference calculation unit 323 calculates the difference between the pre-update processed image and the post-update processed image. Specifically, the difference calculation unit 323 calculates the difference between the pixel values of each pixel of the pre-update processed image and the post-update processed image and sums them up. The calculation result is supplied to the display control unit 312.
  • step S34 the display control unit 312 determines whether the difference is greater than a predetermined value based on the calculation result from the difference calculation unit 323.
  • step S34 If it is determined that the difference is not greater than the predetermined value, the process of step S34 is repeated, and the post-update processed image continues to be displayed on the display device 202.
  • step S35 if it is determined that the difference is greater than the predetermined value, the process proceeds to step S35.
  • step S35 the OSD processing unit 331 of the display control unit 312 performs OSD display of information notifying that the difference is larger than a predetermined value.
  • the OSD processing unit 331 performs OSD display of a notification image 361 that notifies that the difference is larger than a predetermined value on the post-update processing image displayed on the display device 202, as illustrated on the left side of FIG. .
  • the user can recognize that there is a difference in image quality between the post-update processed image and the pre-update processed image in the scene currently being viewed.
  • the user selects a display mode for comparing the post-update processed image and the pre-update processed image by performing a predetermined operation such as touching the portion of the notification image 361 on the screen of the display device 202.
  • the selection screen to do is displayed.
  • the display control unit 312 displays a selection screen provided with buttons 381 to 384 for selecting one of four display modes. In each of the four display modes, for example, the display described in the display examples 1 to 4 described above is performed.
  • the surgeon performing an operation using the endoscope 101 has a large difference between the image after the image quality is changed by the SW update and the image before the image quality is changed. These images can be displayed in a desired display form, and these images can be easily compared.
  • FIG. 13 illustrates a configuration example of an image processing device according to the fourth embodiment of the present technology.
  • 13 includes an image processing unit 411, a display control unit 412, a scene detection unit 413, a feature amount extraction unit 414, a recording control unit 415, a history information recording unit 416, a learning unit 417, and a learning information recording unit. 418.
  • the image processing unit 411 includes a post-SW update image processing unit 421 and a pre-SW update image processing unit 422.
  • the SW updated image processing unit 421 outputs an image signal of an updated processed image obtained by performing image processing after the SW is updated on the input image, as in the SW updated image processing unit 221 of FIG.
  • the SW pre-update image processing unit 422 outputs the image signal of the pre-update image that has been subjected to the image processing before the SW is updated to the input image, as with the pre-SW update image processing unit 222 of FIG.
  • the display control unit 412 notifies the user of the post-update processed image and the pre-update processed image based on the image signal output from the image processing unit 411 (the SW updated image processing unit 421 and the SW pre-update image processing unit 422). The selected one is displayed on the display device 202.
  • the display control unit 412 includes an OSD processing unit 431.
  • the OSD processing unit 431 performs OSD display on the screen of the display device 202 of information corresponding to an important flag from a scene detection unit 413 described later.
  • the scene detection unit 413 detects a highly important scene in the input image. When a scene with high importance is detected, the scene detection unit 413 supplies an important flag indicating that the scene is a scene with high importance to the display control unit 412 and the feature amount extraction unit 414.
  • the feature amount extraction unit 414 extracts a feature amount of a highly important scene detected in the input image based on the importance flag from the scene detection unit 413, and supplies it to the recording control unit 415.
  • the recording control unit 415 associates the feature amount from the feature amount extraction unit 414 with the selection information from the display control unit 412 and records it in the history information recording unit 416 as history information.
  • the selection information is information indicating which one of the post-update processed image and the pre-update processed image has been selected by the user for a highly important scene detected in the input image.
  • the learning unit 417 determines, for each feature amount, a highly important scene detected in the input image from among the post-update processed image and the pre-update processed image. Learn which was selected by the user.
  • the learning result obtained by learning is recorded in the learning information recording unit 418 as learning information.
  • FIG. 14 Flow of operation image display processing
  • step S41 the SW-updated image processing unit 421 performs image processing after the SW is updated (image processing realized by the latest version of SW) on the input image.
  • step S42 the pre-SW update image processing unit 422 performs image processing before the SW is updated (image processing realized by the previous SW version) on the input image.
  • steps S41 and S42 are performed simultaneously in parallel, but may be performed serially as described above.
  • the image signal of the post-update processed image subjected to the image processing after SW update and the image signal of the pre-update processed image subjected to the image processing prior to SW update are output to the display control unit 412.
  • the display control unit 412 displays both the post-update processed image and the pre-update processed image on the display device 202 based on the image signal output from the image processing unit 411.
  • step S43 the scene detection unit 413 determines whether a scene with high importance is detected in the input image.
  • the highly important scene is, for example, a scene where tissue incision or detachment is performed, and these are detected based on the shape of the surgical instrument and the color of the surgical site shown in the input image (surgical site image).
  • step S43 If it is determined that a scene with high importance is not detected, the process of step S43 is repeated, and both the post-update processed image and the pre-update processed image continue to be displayed on the display device 202.
  • the scene detection unit 413 supplies an important flag to the display control unit 412 and the feature amount extraction unit 414, and the process proceeds to step S44.
  • the feature amount extraction unit 414 extracts the feature amount of the highly important scene detected in the input image based on the important flag from the scene detection unit 413, and supplies it to the recording control unit 415.
  • the feature amount of a highly important scene is information corresponding to the shape of the surgical instrument, the color of the surgical part, etc., which is the reference for detecting the scene.
  • step S45 the OSD processing unit 431 of the display control unit 412 displays information indicating that the currently displayed scene is a highly important scene based on the importance flag from the scene detection unit 413. I do.
  • step S44 and step S45 may be performed in parallel.
  • the image processing apparatus 401 causes the user to select which of the post-update processed image and the pre-update processed image is to be displayed.
  • the process proceeds to step S46.
  • step S46 the display control unit 412 causes the display device 202 to display only the one selected by the user from the post-update processed image and the pre-update processed image.
  • the display control unit 412 supplies the recording control unit 415 with selection information indicating which one of the post-update processed image and the pre-update processed image is selected by the user (displayed on the display device 202).
  • step S47 the recording control unit 415 associates the feature amount from the feature amount extraction unit 414 with the selection information from the display control unit 412, and records it in the history information recording unit 416 as history information.
  • step S ⁇ b> 48 the learning unit 417 performs the post-update processing image and the pre-update processing for scenes with high importance detected in the input image for each feature amount based on the history information recorded in the history information recording unit 416. Learn which of the images was selected by the user. Here, for each feature amount, which one of the post-update processed image and the pre-update processed image is selected more by the user is learned by machine learning or the like.
  • the surgeon performing an operation using the endoscope 101 has the image after the image quality is changed by the SW update and the image before the image quality is changed for the highly important scene. Can be easily compared, and a more suitable one can be selected and displayed. In addition, for highly important scenes, it is possible to learn which display mode of the image after the image quality has changed due to the SW update and the image before the image quality has changed is more suitable for the operator. .
  • FIG. 15 illustrates a configuration example of an image processing device according to the fifth embodiment of the present technology.
  • the image processing apparatus 501 in FIG. 15 is more suitable for the surgeon among the post-update processing image and the pre-update processing image among the post-update processing image and the pre-update processing image with respect to a scene having high importance in the newly input operation section image using the learning result described above. Automatically selects the correct one for display.
  • the image processing apparatus 501 includes an image processing unit 411, a display control unit 412, a scene detection unit 413, a feature amount extraction unit 414, a learning information recording unit 418, and a learning information inquiry unit 511.
  • the image processing unit 411, the display control unit 412, the scene detection unit 413, the feature amount extraction unit 414, and the learning information recording unit 418 are the same as those shown in FIG. To do.
  • the learning information inquiry unit 511 inquires learning information corresponding to the feature quantity of the scene with high importance detected in the newly input image from the learning information recorded in the learning information recording unit 418.
  • the learning information inquiry unit 511 supplies selection information associated with the feature amount to the display control unit 412 based on the inquired learning information.
  • FIG. 16 (Flow of operation image display processing) Next, with reference to the flowchart of FIG. 16, the flow of the surgical part image display process by the image processing apparatus 501 will be described.
  • the processing in FIG. 16 is started when an operation part image (moving image) obtained by imaging the operation part is input to the image processing apparatus 501 from the endoscope 101 (camera head 105).
  • steps S51 to S54 in FIG. 16 is basically the same as the processing in steps S41 to S44 in FIG.
  • step S54 when a feature amount of a highly important scene detected in the input image is extracted, the feature amount is supplied to the learning information inquiry unit 511.
  • step S55 the learning information inquiry unit 511 inquires learning information corresponding to the feature amount from the feature amount extraction unit 414 from the learning information recorded in the learning information recording unit 418.
  • the learning information inquiry unit 511 supplies selection information associated with the feature amount from the feature amount extraction unit 414 to the display control unit 412 based on the inquired learning information.
  • step S56 based on the selection information from the learning information inquiry unit 511, the display control unit 412 causes the display device 202 to display only the one indicated by the selection information among the post-update processed image and the pre-update processed image. .
  • the technology according to the present disclosure is applied to an endoscopic surgery system
  • a system to which the technology according to the present disclosure can be applied is not limited to such an example.
  • the technology according to the present disclosure may be applied to a testing flexible endoscope system or a microscope operation system.
  • this technique can take the following structures.
  • An image processing unit that performs image processing by software on the surgical unit image;
  • a display control unit that controls display of the surgical part image that has been subjected to the image processing,
  • the image processing unit includes a pre-update processed image obtained by performing the image processing before the software update on the surgical site image, and a post-update processed image obtained by performing the image processing after the software update on the surgical site image.
  • Generate and The display control unit controls display of at least a part of at least one of the pre-update processed image and the post-update processed image.
  • the surgical image processing apparatus adds the pre-update processing image and the post-update processing image to each pixel at a predetermined ratio and displays the pixel.
  • the display control unit synthesizes and displays the first area of the pre-update processed image and the second area other than the first area of the post-update processed image (1) or (2) The surgical image processing apparatus described.
  • the first area is one area in which the screen is divided into right and left parts
  • the surgical image processing apparatus according to (8), wherein the second region is the other region in which the screen is divided into left and right parts.
  • the first area is a central area including the center of the screen;
  • a further difference calculating unit that calculates a difference between the pre-update image and the post-update image;
  • the said display control part controls the display of the information which alert
  • a scene detector for detecting a predetermined scene in the image;
  • the display control unit displays, for the detected scene, the selected one of the pre-update processing image and the post-update processing image to the user.
  • (1) or (2) apparatus (1) or (2) apparatus.
  • a feature quantity extraction unit for extracting the feature quantity of the detected scene; The extracted feature quantity is associated with selection information indicating the selected one of the pre-update processed image and the post-update processed image for the detected scene and recorded as history information.
  • the surgical image processing device further including: (15) A learning unit that learns which of the pre-update processed image and the post-update processed image is selected by the user for the detected scene for each feature amount of the scene based on the history information
  • the surgical image processing apparatus further comprising: (16) An inquiry unit for inquiring a learning result corresponding to the feature amount of the predetermined scene detected in the other image;
  • the display control unit displays either the pre-update processed image or the post-update processed image for the predetermined scene in the other image based on the inquired learning result (15).
  • An image processing unit that performs image processing by software on the surgical unit image
  • a surgical image processing apparatus comprising: a display control unit that controls display of the surgical part image subjected to the image processing; A pre-update processed image obtained by performing the image processing before the software update on the surgical part image, and an updated post-processed image obtained by performing the image processing after the software update on the surgical part image,
  • An image processing method including a step of controlling display of at least a part of at least one of the pre-update processed image and the post-update processed image.
  • An imaging device for surgery that acquires an image of the surgical site;
  • An image processing unit that performs image processing by software on the surgical part image;
  • a surgical image processing apparatus comprising: a display control unit that controls display of the surgical part image that has undergone the image processing;
  • the image processing unit includes a pre-update processed image obtained by performing the image processing before the software update on the surgical site image, and a post-update processed image obtained by performing the image processing after the software update on the surgical site image.
  • Generate The display control unit controls display of at least a part of at least one of the pre-update processed image and the post-update processed image.
  • 201 Image processing device 211 Image processing unit, 212 Display control unit, 221 Image processing unit after SW update, 222 Image processing unit before SW update, 281 Display control unit, 301 Image processing device, 311 Image processing unit, 312 Display control unit , 321 SW updated image processing unit, 322 SW pre-updated image processing unit, 323 difference calculation unit, 331 OSD processing unit, 401 image processing device, 411 image processing unit, 412 display control unit, 413 scene detection unit, 414 feature quantity Extraction unit, 415 recording control unit, 416 history information recording unit, 417 learning unit, 418 learning information recording unit, 421 SW updated image processing unit, 422 SW pre-update image processing unit, 431 OSD processing unit, 511 learning information inquiry unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

本技術は、ソフトウェア更新前と更新後の画像を容易に比較することができるようにする手術用画像処理装置、画像処理方法、及び、手術システムに関する。 画像処理部は、術部画像に、ソフトウェアによる画像処理を施し、表示制御部は、画像処理が施された術部画像の表示を制御する。画像処理部は、術部画像にソフトウェア更新前の画像処理を施した更新前処理画像と、術部画像にソフトウェア更新後の画像処理を施した更新後処理画像とを生成し、表示制御部は、更新前処理画像および更新後処理画像の少なくともいずれか一方の少なくとも一部の表示を制御する。本技術は、内視鏡手術システムのＣＣＵに適用することができる。

Description

手術用画像処理装置、画像処理方法、及び、手術システム
　本技術は、手術用画像処理装置、画像処理方法、及び、手術システムに関し、特に、ソフトウェア更新前と更新後の画像を容易に比較することができるようにする手術用画像処理装置、画像処理方法、及び、手術システムに関する。
　内視鏡手術システムにおいては、内視鏡により撮像された信号に各種の画像処理が施される。これらの画像処理はソフトウェアにより実現され、ＧＰＵなどのプロセッサが所定のプログラムに従って動作することにより、これらの画像処理を実行する。
　特許文献１には、通信回線を介して、ソフトウェアの更新などのメンテナンスを行う内視鏡システムが開示されている。
　このようなソフトウェアの更新によれば、画像処理の更新や追加を容易に行うことができる。
特開２００９－２２６１６９号公報
　しかしながら、ソフトウェアの更新により画像処理の更新や追加が行われた場合、ソフトウェアの更新前と更新後とで、画像の画質が変化することがある。このような場合、医師は、画質が変化する前の画像と、画質が変化した後の画像とを比較したいこともある。
　本技術は、このような状況に鑑みてなされたものであり、ソフトウェア更新前と更新後の画像を容易に比較するようにするものである。
　本技術の手術用画像処理装置は、術部画像に、ソフトウェアによる画像処理を施す画像処理部と、前記画像処理が施された前記術部画像の表示を制御する表示制御部とを備え、前記画像処理部は、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像とを生成し、前記表示制御部は、前記更新前処理画像および前記更新後処理画像の少なくともいずれか一方の少なくとも一部の表示を制御する。
　前記更新前処理画像と前記更新後処理画像の差分を演算する差分演算部をさらに設け、前記表示制御部には、前記差分が所定値より大きい場合、その旨を報知する情報の表示を制御させることができる。
　前記画像において所定のシーンを検出するシーン検出部をさらに設け、前記表示制御部には、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちのユーザに選択された方を表示させることができる。
　検出された前記シーンの特徴量を抽出する特徴量抽出部と、抽出された前記特徴量と、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちの前記ユーザに選択された方を示す選択情報とを対応付けて、履歴情報として記録する記録制御部とをさらに設けることができる。
　前記履歴情報に基づいて、前記シーンの前記特徴量毎に、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちのいずれが前記ユーザに選択されたかを学習する学習部をさらに設けることができる。
　他の画像において検出された所定のシーンの前記特徴量に対応する学習結果を照会する照会部をさらに設け、前記表示制御部には、照会された前記学習結果に基づいて、前記他の画像における前記所定のシーンについて、前記更新前処理画像および前記更新後処理画像のうちのいずれかを表示させることができる。
　本技術の画像処理方法は、術部画像に、ソフトウェアによる画像処理を施す画像処理部と、前記画像処理が施された前記術部画像の表示を制御する表示制御部とを備える画像処理装置が、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像を生成し、前記更新前処理画像および前記更新後処理画像の少なくともいずれかの少なくとも一部の表示を制御するステップを含む。
　本技術の手術システムは、術部画像を取得する手術用撮像装置と、前記術部画像に、ソフトウェアによる画像処理を施す画像処理部と、前記画像処理が施された前記術部画像の表示を制御する表示制御部とを有する手術用画像処理装置とを備え、前記画像処理部は、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像とを生成し、前記表示制御部は、前記更新前処理画像および前記更新後処理画像の少なくともいずれか一方の少なくとも一部の表示を制御する。
　本技術においては、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像が生成され、前記更新前処理画像および前記更新後処理画像の少なくともいずれかの少なくとも一部の表示が制御される。
　本技術によれば、ソフトウェア更新前と更新後の画像を容易に比較することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッドおよびＣＣＵの機能構成の一例を示すブロック図である。 第１の実施の形態の画像処理装置の機能構成例を示すブロック図である。 術部画像表示処理について説明するフローチャートである。 更新後処理画像および更新前処理画像の表示例を示す図である。 更新後処理画像および更新前処理画像の表示例を示す図である。 更新後処理画像および更新前処理画像の表示例を示す図である。 更新後処理画像および更新前処理画像の表示例を示す図である。 第２の実施の形態の画像処理装置の機能構成例を示すブロック図である。 第３の実施の形態の画像処理装置の機能構成例を示すブロック図である。 術部画像表示処理について説明するフローチャートである。 更新後処理画像および更新前処理画像の表示例を示す図である。 第４の実施の形態の画像処理装置の機能構成例を示すブロック図である。 術部画像表示処理について説明するフローチャートである。 第５の実施の形態の画像処理装置の機能構成例を示すブロック図である。 術部画像表示処理について説明するフローチャートである。
　以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．内視鏡手術システムの概要
　２．ソフトウェアの更新について
　３．第１の実施の形態
　４．第２の実施の形態
　５．第３の実施の形態
　６．第４の実施の形態
　７．第５の実施の形態
＜１．内視鏡手術システムの概要＞
　まず、本技術が適用される内視鏡手術システムの概要について説明する。
　図１は、本開示に係る技術が適用され得る内視鏡手術システム１００の概略的な構成の一例を示す図である。
　図１には、術者（医師）１６７が、内視鏡手術システム１００を用いて、患者ベッド１６９上の患者１７１に手術を行っている様子が示されている。内視鏡手術システム１００は、内視鏡１０１、その他の術具１１７、内視鏡１０１を支持する支持アーム装置１２７、および、内視鏡下手術のための各種の装置が搭載されたカート１３７から構成される。
　内視鏡下手術では、腹壁を切って開腹する代わりに、トロッカ１２５ａ乃至１２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ１２５ａ乃至１２５ｄから、内視鏡１０１の鏡筒１０３や、その他の術具１１７が患者１７１の体腔内に挿入される。図１の例では、その他の術具１１７として、気腹チューブ１１９、エネルギー処置具１２１、および鉗子１２３が、患者１７１の体腔内に挿入されている。エネルギー処置具１２１は、高周波電流や超音波振動により、組織の切開および剥離、または血管の封止等を行う処置具である。ただし、図示する術具１１７はあくまで一例であり、術具１１７として、例えば鑷子やレトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
　内視鏡１０１によって撮影された患者１７１の体腔内の術部の画像が、表示装置１４１に表示される。術者１６７は、表示装置１４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具１２１や鉗子１２３を用いて、例えば患部を切除する等の処置を行う。なお、図示はしないが、気腹チューブ１１９、エネルギー処置具１２１および鉗子１２３は、手術中に、術者１６７または助手等によって支持される。
　支持アーム装置１２７は、ベース部１２９から延伸するアーム部１３１を備える。アーム部１３１は、関節部１３３ａ，１３３ｂ，１３３ｃ、およびリンク１３５ａ，１３５ｂから構成されており、アーム制御装置１４５の制御により駆動される。アーム部１３１によって内視鏡１０１が支持され、その位置および姿勢が制御される。これにより、内視鏡１０１の安定的な位置の固定が実現される。
　内視鏡１０１は、先端から所定の長さの領域が患者１７１の体腔内に挿入される鏡筒１０３と、鏡筒１０３の基端に接続されるカメラヘッド１０５（撮像装置）とから構成される。図１の例では、硬性の鏡筒１０３を有するいわゆる硬性鏡として構成される内視鏡１０１が示されているが、内視鏡１０１は、軟性の鏡筒１０３を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１０３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１０１には光源装置１４３が接続されており、光源装置１４３によって生成された光が、鏡筒１０３の内部に延設されるライトガイドによって鏡筒１０３の先端まで導光され、対物レンズを介して患者１７１の体腔内の観察対象に向かって照射される。なお、内視鏡１０１は、直視鏡であってもよいし、斜視鏡または側視鏡であってもよい。
　カメラヘッド１０５の内部には光学系および撮像素子が設けられており、観察対象からの反射光（観察光）が光学系によって撮像素子に集光される。撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）１３９に送信される。カメラヘッド１０５には、その光学系を適宜駆動させることにより、倍率および焦点距離を調整する機能が搭載される。
　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド１０５には撮像素子が複数設けられてもよい。この場合、鏡筒１０３の内部には、複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
　カート１３７には各種の装置が搭載される。
　ＣＣＵ１３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、さらにはＧＰＧＰＵ（General Purpose computing on ＧＰＵ）等によって構成され、内視鏡１０１および表示装置１４１の動作を統括的に制御する。具体的には、ＣＣＵ１３９は、カメラヘッド１０５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、その画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ１３９は、画像処理を施した画像信号を表示装置１４１に提供する。また、ＣＣＵ１３９は、カメラヘッド１０５に対して制御信号を送信し、その駆動を制御する。制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
　表示装置１４１は、ＣＣＵ１３９からの制御により、ＣＣＵ１３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡１０１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）または８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、および／または３Ｄ表示に対応したものである場合には、表示装置１４１としては、それぞれに対応して、高解像度の表示が可能なもの、および／または３Ｄ表示可能なものが用いられ得る。４Ｋまたは８Ｋ等の高解像度の撮影に対応したものである場合、表示装置１４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置１４１が設けられてもよい。
　光源装置１４３は、例えばＬＥＤ（Light Emitting Diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡１０１に供給する。
　アーム制御装置１４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置１２７のアーム部１３１の駆動を制御する。
　入力装置１４７は、内視鏡手術システム１００に対する入力インタフェースである。ユーザは、入力装置１４７を介して、内視鏡手術システム１００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置１４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置１４７を介して、アーム部１３１を駆動させる旨の指示や、内視鏡１０１による撮像条件（照射光の種類、倍率および焦点距離等）を変更する旨の指示、エネルギー処置具１２１を駆動させる旨の指示等を入力する。
　入力装置１４７の種類は限定されず、入力装置１４７は各種の公知の入力装置であってよい。入力装置１４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ１５７および／またはレバー等が適用されるようにできる。入力装置１４７としてタッチパネルが用いられる場合には、そのタッチパネルは表示装置１４１の表示面上に設けられてもよい。
　また、入力装置１４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであってもよい。この場合、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置１４７は、ユーザの動きを検出可能なカメラを含み、カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われるようにしてもよい。さらに、入力装置１４７は、ユーザの声を収音可能なマイクロフォンを含み、マイクロフォンを介して音声によって各種の入力が行われるようにしてもよい。
　このように、入力装置１４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者１６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
　処置具制御装置１４９は、組織の焼灼、切開または血管の封止等のためのエネルギー処置具１２１の駆動を制御する。気腹装置１５１は、内視鏡１０１による視野の確保および術者の作業空間の確保の目的で、患者１７１の体腔を膨らめるために、気腹チューブ１１９を介して体腔内にガスを送り込む。レコーダ１５３は、手術に関する各種の情報を記録可能な装置である。プリンタ１５５は、手術に関する各種の情報を、テキスト、画像またはグラフ等各種の形式で印刷可能な装置である。
　次に、図２を参照して、内視鏡１０１のカメラヘッド１０５およびＣＣＵ１３９の機能についてより詳細に説明する。図２は、カメラヘッド１０５およびＣＣＵ１３９の機能構成の一例を示すブロック図である。
　図２に示されるように、カメラヘッド１０５は、その機能として、レンズユニット１０７、撮像部１０９、駆動部１１１、通信部１１３、およびカメラヘッド制御部１１５を有する。また、ＣＣＵ１３９は、その機能として、通信部１５９、画像処理部１６１、および制御部１６３を有する。カメラヘッド１０５とＣＣＵ１３９とは、伝送ケーブル１６５によって双方向に通信可能に接続されている。
　まず、カメラヘッド１０５の機能構成について説明する。レンズユニット１０７は、鏡筒１０３との接続部に設けられる光学系である。鏡筒１０３の先端から取り込まれた観察光は、カメラヘッド１０５まで導光され、レンズユニット１０７に入射する。レンズユニット１０７は、ズームレンズおよびフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット１０７は、撮像部１０９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズおよびフォーカスレンズは、撮像画像の倍率および焦点の調整のため、その光軸上の位置が移動可能に構成される。
　撮像部１０９は撮像素子によって構成され、レンズユニット１０７の後段に配置される。レンズユニット１０７を通過した観察光は、撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部１０９によって生成された画像信号は、通信部１１３に提供される。
　撮像部１０９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、撮像素子として、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者１６７は、術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
　また、撮像部１０９を構成する撮像素子は、３Ｄ表示に対応する右目用および左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されるようにすることもできる。３Ｄ表示が行われることにより、術者１６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１０９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１０７も複数系統設けられる。
　また、撮像部１０９は、必ずしもカメラヘッド１０５に設けられなくてもよい。例えば、撮像部１０９は、鏡筒１０３の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１１は、アクチュエータによって構成され、カメラヘッド制御部１１５からの制御により、レンズユニット１０７のズームレンズおよびフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１０９による撮像画像の倍率および焦点が適宜調整され得る。
　通信部１１３は、ＣＣＵ１３９との間で各種の情報を送受信するための通信装置によって構成される。通信部１１３は、撮像部１０９から得た画像信号をＲＡＷデータとして伝送ケーブル１６５を介してＣＣＵ１３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、画像信号は光通信によって送信されることが好ましい。手術の際には、術者１６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部１１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は光電変換モジュールによって光信号に変換された後、伝送ケーブル１６５を介してＣＣＵ１３９に送信される。
　また、通信部１１３は、ＣＣＵ１３９から、カメラヘッド１０５の駆動を制御するための制御信号を受信する。制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／または撮像画像の倍率および焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部１１３は、受信した制御信号をカメラヘッド制御部１１５に提供する。なお、ＣＣＵ１３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部１１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部１１５に提供される。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ１３９の制御部１６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能、およびＡＷＢ（Auto White Balance）機能が内視鏡１０１に搭載される。
　カメラヘッド制御部１１５は、通信部１１３を介して受信したＣＣＵ１３９からの制御信号に基づいて、カメラヘッド１０５の駆動を制御する。例えば、カメラヘッド制御部１１５は、撮像画像のフレームレートを指定する旨の情報および／または撮像時の露光を指定する旨の情報に基づいて、撮像部１０９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部１１５は、撮像画像の倍率および焦点を指定する旨の情報に基づいて、駆動部１１１を介してレンズユニット１０７のズームレンズおよびフォーカスレンズを適宜移動させる。カメラヘッド制御部１１５は、さらに、鏡筒１０３やカメラヘッド１０５を識別するための情報を記憶する機能を備えてもよい。
　なお、レンズユニット１０７や撮像部１０９等の構成を、気密性および防水性が高い密閉構造内に配置することで、カメラヘッド１０５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
　次に、ＣＣＵ１３９の機能構成について説明する。通信部１５９は、カメラヘッド１０５との間で各種の情報を送受信するための通信装置によって構成される。通信部１５９は、カメラヘッド１０５から、伝送ケーブル１６５を介して送信される画像信号を受信する。ここで、上述したように、画像信号は好適に光通信によって送信されるようにもできる。この場合、光通信に対応して、通信部１５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部１５９は、電気信号に変換した画像信号を画像処理部１６１に提供する。
　また、通信部１５９は、カメラヘッド１０５に対して、カメラヘッド１０５の駆動を制御するための制御信号を送信する。制御信号も光通信によって送信されてよい。
　画像処理部１６１は、カメラヘッド１０５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise Reduction）処理および／または手振れ補正処理等）、並びに／または拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部１６１は、ＡＥ，ＡＦ、およびＡＷＢを行うための、画像信号に対する検波処理を行う。
　画像処理部１６１は、ＣＰＵやＧＰＵ、ＧＰＧＰＵ等のプロセッサによって構成され、プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われる。なお、画像処理部１６１が複数のＧＰＵによって構成される場合には、画像処理部１６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
　制御部１６３は、内視鏡１０１による術部の撮像、およびその撮像画像の表示に関する各種の制御を行う。例えば、制御部１６３は、カメラヘッド１０５の駆動を制御するための制御信号を生成する。ここで、撮像条件がユーザによって入力されている場合には、制御部１６３は、ユーザによる入力に基づいて制御信号を生成する。また、内視鏡１０１にＡＥ機能、ＡＦ機能、およびＡＷＢ機能が搭載されている場合には、制御部１６３は、画像処理部１６１による検波処理の結果に応じて、最適な露出値、焦点距離、およびホワイトバランスを適宜算出し、制御信号を生成する。
　また、制御部１６３は、画像処理部１６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置１４１に表示させる。このとき、制御部１６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部１６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子１２３等の術具１１７、特定の生体部位、出血、エネルギー処置具１２１使用時のミスト等を認識することができる。制御部１６３は、表示装置１４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者１６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
　カメラヘッド１０５およびＣＣＵ１３９を接続する伝送ケーブル１６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、またはこれらの複合ケーブルである。
　この例では、伝送ケーブル１６５を用いて有線で通信が行われていたが、カメラヘッド１０５とＣＣＵ１３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル１６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が伝送ケーブル１６５によって妨げられる事態が解消される。
＜２．ソフトウェアの更新について＞
　ところで、上述した内視鏡手術システムにおいては、内視鏡により撮像された画像に各種の画像処理が施される。これらの画像処理はソフトウェアにより実現され、ＧＰＵなどのプロセッサが所定のプログラムに従って動作することにより、これらの画像処理を実行する。
　このようなソフトウェア（ＳＷ）の更新によれば、画像処理の更新や追加を容易に行うことができる。
　その一方、ＳＷの更新により画像処理の更新や追加が行われた場合、ＳＷの更新前と更新後とで、画像の画質が変化することがある。このような場合、医師は、画質が変化する前の画像と、画質が変化した後の画像とを比較したいこともある。さらに、このような画質の変化が、医師の術中の診断や術具の操作に影響を与えるリスクもあった。
　例えば、手振れ補正処理を追加するＳＷの更新が行われた場合、手術の多くの場面で、術部の画像が安定し、その視認性は向上する。
　一方で、素早い術具操作が求められる剥離などの場面で、手振れ補正処理により撮像から表示までのレイテンシが高まることで、術具操作が実際より遅れて見えるおそれがある。また、アフィン変換などの幾何変換により、解像度が若干低下することで、血管や神経などの微細な組織が見えづらくなるおそれもある。
　また、階調補正処理を追加するＳＷの更新が行われた場合、光源からの光が届きにくい低階調な部分の視認性を向上させることができる。しかしながら、中間の階調の部分のコントラストが低下し、血管や神経などの微細な組織が見えづらくなるおそれがある。
　さらに、構造強調処理を追加するＳＷの更新が行われた場合、血管や神経などの微細な組織が強調されて表示されることで、その部分の視認性を向上させることができるが、場合によっては、その部分が見えづらくなるおそれもある。
　このように、ＳＷの更新が行われることで術部が見えづらくなるような場合、術者にとっては、ＳＷの更新が行われる前の画像も必要となる。
　そこで、以下においては、ＳＷが更新された後であっても、ソフトウェア更新前と更新後の画像を容易に比較することができ、さらには、医師の術中の診断や術具の操作に影響を与えるリスクを回避することができる実施の形態について説明する。
＜３．第１の実施の形態＞
（画像処理装置の構成例）
　まず、図３を参照して、本技術に係る第１の実施の形態の画像処理装置の構成例について説明する。
　図３の画像処理装置２０１は、上述したＣＣＵ１３９に対応し、例えばカメラヘッド１０５から入力された術部画像（入力画像）の画像信号に画像処理を施し、表示装置２０２に出力する。
　表示装置２０２は、上述した表示装置１４１に対応し、画像処理装置２０１から出力された画像信号に基づいて画像を表示する。
　画像処理装置２０１は、画像処理部２１１および表示制御部２１２を有する。
　画像処理部２１１は、上述した画像処理部１６１に対応し、入力画像の画像信号に各種の画像処理を施す。これらの画像処理はソフトウェア（ＳＷ）により実現され、ＧＰＵなどのプロセッサが所定のプログラムに従って動作することにより、これらの画像処理を実行する。
　これらの画像処理を実現するＳＷは、例えば記録媒体から所定のプログラムがインストールされることで更新される。なお、このようなプログラムは、インターネットなどのネットワークを介してインストールされるようにしてもよい。
　画像処理部２１１は、ＳＷ更新後画像処理部２２１とＳＷ更新前画像処理部２２２とを備える。
　ＳＷ更新後画像処理部２２１は、入力画像に、ＳＷが更新された後の画像処理、すなわち最新バージョンのＳＷにより実現される画像処理を施した更新後処理画像の画像信号を出力する。
　ＳＷ更新前画像処理部２２２は、入力画像に、ＳＷが更新される前の画像処理、すなわち１つ前のバージョンのＳＷにより実現される画像処理を施した更新前処理画像の画像信号を出力する。
　ＳＷ更新後画像処理部２２１およびＳＷ更新前画像処理部２２２を、２つのＧＰＵにより構成した場合、ＳＷ更新後画像処理部２２１およびＳＷ更新前画像処理部２２２は、ＳＷ更新後の画像処理とＳＷ更新前の画像処理とを並行して、すなわち同時に行うことができる。
　また、ＳＷ更新後画像処理部２２１およびＳＷ更新前画像処理部２２２を、１つのＧＰＵにより構成し、ＳＷ更新後の画像処理とＳＷ更新前の画像処理とがシリアルに行われるようにすることもできる。
　表示制御部２１２は、画像処理部２１１（ＳＷ更新後画像処理部２２１およびＳＷ更新前画像処理部２２２）から出力された画像信号に基づいて、更新後処理画像および更新前処理画像の少なくともいずれか一方の少なくとも一部を、表示装置２０２に表示させる。また、表示制御部２１２は、ユーザの操作に応じて、表示装置２０２における更新後処理画像および更新前処理画像の表示を制御する。
（術部画像表示処理の流れ）
　次に、図４のフローチャートを参照して、画像処理装置２０１による術部画像表示処理の流れについて説明する。図４の処理は、内視鏡１０１（カメラヘッド１０５）から、術部を撮影した術部画像（動画像）が画像処理装置２０１に入力されると開始される。
　ステップＳ２１において、ＳＷ更新後画像処理部２２１は、入力された術部画像に、ＳＷが更新された後の画像処理（最新バージョンのＳＷにより実現される画像処理）を施す。
　ステップＳ２２において、ＳＷ更新前画像処理部２２２は、入力された術部画像に、ＳＷが更新される前の画像処理（１つ前のバージョンのＳＷにより実現される画像処理）を施す。
　ステップＳ２１およびＳ２２の処理は、並行して同時に行われるものとするが、上述したようにシリアルに行われるようにしてもよい。ＳＷ更新後の画像処理が施された更新後処理画像の画像信号と、ＳＷ更新前の画像処理が施された更新前処理画像の画像信号は、表示制御部２１２に出力される。
　ステップＳ２３において、表示制御部２１２は、ＳＷ更新後画像処理部２２１およびＳＷ更新前画像処理部２２２から出力された画像信号に基づいて、更新後処理画像および更新前処理画像を、表示装置２０２に表示させる。
　以上の処理によれば、内視鏡１０１により撮像された術部の画像として、ＳＷの更新により画質が変化した後の画像と、画質が変化する前の画像とが表示されるので、内視鏡１０１を用いて手術を行っている術者は、これらの画像を容易に比較することが可能となる。ひいては、ＳＷの更新による画質の変化が、医師の術中の診断や術具の操作に影響を与える可能性を低減することができる。
　ここで、表示装置２０２に表示される更新後処理画像および更新前処理画像の表示例について説明する。
（表示例１）
　図５は、更新後処理画像および更新前処理画像の第１の表示例を示している。
　図５は、更新後処理画像２５１と更新前処理画像２５２とが、１つの画面に同時に表示される様子を示している。画面左上の領域に表示される更新後処理画像２５１は、画面右上の領域に表示されるより大きく表示されている。これにより、内視鏡１０１を用いて手術を行っている術者は、更新後処理画像２５１と更新前処理画像２５２の両方を容易に比較することができる。
　なお、図５の例においては、ユーザ（術者）の操作に応じて、画面における更新後処理画像２５１および更新前処理画像２５２の表示サイズが調整されるようにすることができる。具体的には、画面において、更新後処理画像２５１が表示される領域と、更新前処理画像２５２が表示される領域とが入れ替わるようにする。
　さらに、図５の例においては、更新後処理画像２５１および更新前処理画像２５２以外にも、ＳＷ更新後の画像処理およびＳＷ更新前の画像処理それぞれにおいてパラメータを変えることで得られる複数の更新後処理画像および更新前処理画像が表示されるようにしてもよい。
（表示例２）
　図６は、更新後処理画像および更新前処理画像の第２の表示例を示している。
　図６は、更新後処理画像２５１および更新前処理画像２５２のうちユーザ（術者）に選択された方が表示される様子を示している。図６の例では、表示装置２０２には、まず更新前処理画像２５２が表示されるようにする。これにより、術部画像の表示開始の時点で、ユーザが、画質が変化した画像に戸惑うことを避けることができる。そして、ユーザの操作によって、更新前処理画像２５２と更新後処理画像２５１とが切り替わって表示される。
　なお、表示を切り替えるためのユーザインタフェースは、内視鏡１０１のカメラヘッド１０５や術具１１７など、術者が手元で瞬時に切り替え操作を行うことができるものに設けられる。
（表示例３）
　図７は、更新後処理画像および更新前処理画像の第３の表示例を示している。
　図７は、更新後処理画像２５１と更新前処理画像２５２とが、所定の比率で画素毎に加算されて表示される様子を示している。図７の例では、更新前処理画像２５２の各画素の画素値に所定の値α（α＜１）を乗じた値と、更新後処理画像２５１の各画素の画素値に所定の値（１－α）を乗じた値の和を、各画素の画素値とする出力画像２６１が表示されるようになる。
　なお、値αは、ユーザ（術者）の操作によって調整されるようにすることができる。
（表示例４）
　図８は、更新後処理画像および更新前処理画像の第４の表示例を示している。
　図８は、更新後処理画像２５１の第１の領域と、更新前処理画像２５２の第１の領域以外の第２の領域とが、合成されて表示される様子を示している。
　まず、図８のＡの例では、画面が左右に分割された右側の領域Ｄ１に、更新後処理画像２５１において領域Ｄ１に対応する部分の画像が表示され、画面が左右に分割された左側の領域Ｄ２に、更新前処理画像２５２において領域Ｄ２に対応する部分の画像が表示される。領域Ｄ１の幅ｗ、言い換えると領域Ｄ１と領域Ｄ２との境界は、ユーザ（術者）の操作によって調整されるものとする。また、ユーザの操作によって、領域Ｄ１および領域Ｄ２に表示される画像が入れ替わるようにしてもよい。
　また、図８のＢの例では、画面の中心を含む領域、具体的には、画面の中心をその中心とした円形の領域Ｄ３に、更新後処理画像２５１において領域Ｄ３に対応する部分の画像が表示され、画面の領域Ｄ３より外側の周縁領域Ｄ４に、更新前処理画像２５２において領域Ｄ４に対応する部分の画像が表示される。領域Ｄ３の半径ｒ、言い換えると領域Ｄ３と領域Ｄ４との境界は、ユーザ（術者）の操作によって調整されるものとする。また、ユーザの操作によって、領域Ｄ３および領域Ｄ４に表示される画像が入れ替わるようにしてもよい。さらに、領域Ｄ３の形状は、円形に限らず、矩形などの他の形状であってもよい。
＜４．第２の実施の形態＞
（画像処理装置の構成例）
　図９は、本技術に係る第２の実施の形態の画像処理装置の構成例を示している。
　図９の画像処理装置２７１は、入力画像の画像信号に画像処理を施し、表示装置２０２－１，２０２－２それぞれに出力する。
　表示装置２０２－１，２０２－２はそれぞれ、画像処理装置２０１から出力された画像信号に基づいて画像を表示する。
　画像処理装置２７１は、画像処理部２１１および表示制御部２８１を有する。
　図９において、画像処理部２１１は、図３に示される構成と同一であるので、その説明は省略する。
　表示制御部２８１は、画像処理部２１１（ＳＷ更新後画像処理部２２１およびＳＷ更新前画像処理部２２２）から出力された画像信号に基づいて、更新後処理画像を表示装置２０２－１に表示させるとともに、更新前処理画像を表示装置２０２－２に表示させる。
　このような構成においても、２台の表示装置にそれぞれ、内視鏡１０１により撮像された術部の画像として、ＳＷの更新により画質が変化した後の画像と、画質が変化する前の画像とが表示されるので、内視鏡１０１を用いて手術を行っている術者は、これらの画像を容易に比較することが可能となる。
＜５．第３の実施の形態＞
（画像処理装置の構成例）
　図１０は、本技術に係る第３の実施の形態の画像処理装置の構成例を示している。
　図１０の画像処理装置３０１は、画像処理部３１１および表示制御部３１２を有する。
　画像処理部３１１は、ＳＷ更新後画像処理部３２１、ＳＷ更新前画像処理部３２２、および差分演算部３２３を備える。
　ＳＷ更新後画像処理部３２１は、図３のＳＷ更新後画像処理部２２１と同様、入力画像に、ＳＷが更新された後の画像処理を施した更新後処理画像の画像信号を出力する。
　ＳＷ更新前画像処理部３２２は、図３のＳＷ更新前画像処理部２２２と同様、入力画像に、ＳＷが更新される前の画像処理を施した更新前処理画像の画像信号を出力する。
　差分演算部３２３は、更新前処理画像と更新後処理画像の差分を演算し、その演算結果を表示制御部３１２に供給する。
　表示制御部３１２は、画像処理部３１１（ＳＷ更新後画像処理部３２１およびＳＷ更新前画像処理部３２２）から出力された画像信号に基づいて、更新後処理画像および更新前処理画像の少なくとも一方の少なくとも一部を、表示装置２０２に表示させる。
　また、表示制御部３１２は、ＯＳＤ処理部３３１を備える。ＯＳＤ処理部３３１は、画像処理部３１１（差分演算部３２３）からの演算結果に応じた情報を、表示装置２０２の画面上にＯＳＤ表示する。
（術部画像表示処理の流れ）
　次に、図１１のフローチャートを参照して、画像処理装置３０１による術部画像表示処理の流れについて説明する。図１１の処理は、内視鏡１０１（カメラヘッド１０５）から、術部を撮影した術部画像（動画像）が画像処理装置３０１に入力されると開始される。
　ステップＳ３１において、ＳＷ更新後画像処理部３２１は、入力された術部画像に、ＳＷが更新された後の画像処理（最新バージョンのＳＷにより実現される画像処理）を施す。
　ステップＳ３２において、ＳＷ更新前画像処理部３２２は、入力された術部画像に、ＳＷが更新される前の画像処理（１つ前のバージョンのＳＷにより実現される画像処理）を施す。
　ステップＳ３１およびＳ３２の処理は、並行して同時に行われるものとするが、上述したようにシリアルに行われるようにしてもよい。ＳＷ更新後の画像処理が施された更新後処理画像の画像信号と、ＳＷ更新前の画像処理が施された更新前処理画像の画像信号は、表示制御部３１２と差分演算部３２３に出力される。
　なお、このとき、表示制御部３１２は、ＳＷ更新後画像処理部３２１から出力された画像信号に基づいて、更新後処理画像のみを表示装置２０２に表示させるものとする。
　ステップＳ３３において、差分演算部３２３は、更新前処理画像と更新後処理画像の差分を演算する。具体的には、差分演算部３２３は、更新前処理画像および更新後処理画像の各画素の画素値の差を算出しそれらを合計する。演算結果は、表示制御部３１２に供給される。
　ステップＳ３４において、表示制御部３１２は、差分演算部３２３からの演算結果に基づいて、差分が所定値より大きいか否かを判定する。
　差分が所定値より大きくないと判定されている場合、ステップＳ３４の処理は繰り返され、表示装置２０２には更新後処理画像が表示され続ける。
　一方、差分が所定値より大きいと判定された場合、処理はステップＳ３５に進む。
　ステップＳ３５において、表示制御部３１２のＯＳＤ処理部３３１は、差分が所定値より大きい旨を報知する情報のＯＳＤ表示を行う。例えば、ＯＳＤ処理部３３１は、図１２の左側に示されるように、表示装置２０２に表示されている更新後処理画像上に、差分が所定値より大きいことを報知する報知画像３６１をＯＳＤ表示する。これにより、ユーザは、いま見ているシーンにおいて、更新後処理画像と更新前処理画像とで画質に差があることを認識することができる。
　その後、表示装置２０２の画面において、報知画像３６１の部分がタッチされるなど、ユーザにより所定の操作がなされることで、更新後処理画像と更新前処理画像とを比較するための表示モードを選択するための選択画面が表示されるようにする。表示制御部３１２は、例えば、図１２の右側に示されるように、４つの表示モードのうちのいずれかを選択するためのボタン３８１乃至３８４が設けられた選択画面を表示する。４つの表示モードそれぞれにおいては、例えば、上述した表示例１乃至４で説明した表示が行われる。
　以上の処理によれば、内視鏡１０１を用いて手術を行っている術者は、ＳＷの更新により画質が変化した後の画像と、画質が変化する前の画像との差分が大きい場合に、それぞれを所望の表示形態で表示させて、これらの画像を容易に比較することが可能となる。
＜６．第４の実施の形態＞
（画像処理装置の構成例）
　図１３は、本技術に係る第４の実施の形態の画像処理装置の構成例を示している。
　図１３の画像処理装置４０１は、画像処理部４１１、表示制御部４１２、シーン検出部４１３、特徴量抽出部４１４、記録制御部４１５、履歴情報記録部４１６、学習部４１７、および学習情報記録部４１８を有する。
　画像処理部４１１は、ＳＷ更新後画像処理部４２１およびＳＷ更新前画像処理部４２２を備える。
　ＳＷ更新後画像処理部４２１は、図３のＳＷ更新後画像処理部２２１と同様、入力画像に、ＳＷが更新された後の画像処理を施した更新後処理画像の画像信号を出力する。
　ＳＷ更新前画像処理部４２２は、図３のＳＷ更新前画像処理部２２２と同様、入力画像に、ＳＷが更新される前の画像処理を施した更新前処理画像の画像信号を出力する。
　表示制御部４１２は、画像処理部４１１（ＳＷ更新後画像処理部４２１およびＳＷ更新前画像処理部４２２）から出力された画像信号に基づいて、更新後処理画像および更新前処理画像のうちユーザに選択された方を表示装置２０２に表示させる。
　また、表示制御部４１２は、ＯＳＤ処理部４３１を備える。ＯＳＤ処理部４３１は、後述するシーン検出部４１３からの重要フラグに応じた情報を、表示装置２０２の画面上にＯＳＤ表示する。
　シーン検出部４１３は、入力画像において重要度の高いシーンを検出する。シーン検出部４１３は、重要度の高いシーンを検出した場合、そのシーンが重要度の高いシーンであることを示す重要フラグを、表示制御部４１２と特徴量抽出部４１４に供給する。
　特徴量抽出部４１４は、シーン検出部４１３からの重要フラグに基づいて、入力画像において検出された重要度の高いシーンの特徴量を抽出し、記録制御部４１５に供給する。
　記録制御部４１５は、特徴量抽出部４１４からの特徴量と、表示制御部４１２からの選択情報とを対応付けて、履歴情報として履歴情報記録部４１６に記録する。選択情報は、入力画像において検出された重要度の高いシーンについて、更新後処理画像および更新前処理画像のうちのいずれがユーザに選択されたかを示す情報である。
　学習部４１７は、履歴情報記録部４１６に記録された履歴情報に基づいて、特徴量毎に、入力画像において検出された重要度の高いシーンについて、更新後処理画像および更新前処理画像のうちのいずれがユーザに選択されたかを学習する。学習により得られた学習結果は、学習情報として学習情報記録部４１８に記録される。
（術部画像表示処理の流れ）
　次に、図１４のフローチャートを参照して、画像処理装置４０１による術部画像表示処理の流れについて説明する。図１４の処理は、内視鏡１０１（カメラヘッド１０５）から、術部を撮影した術部画像（動画像）が画像処理装置４０１に入力されると開始される。
　ステップＳ４１において、ＳＷ更新後画像処理部４２１は、入力された画像に、ＳＷが更新された後の画像処理（最新バージョンのＳＷにより実現される画像処理）を施す。
　ステップＳ４２において、ＳＷ更新前画像処理部４２２は、入力された画像に、ＳＷが更新される前の画像処理（１つ前のバージョンのＳＷにより実現される画像処理）を施す。
　ステップＳ４１およびＳ４２の処理は、並行して同時に行われるものとするが、上述したようにシリアルに行われるようにしてもよい。ＳＷ更新後の画像処理が施された更新後処理画像の画像信号と、ＳＷ更新前の画像処理が施された更新前処理画像の画像信号は、表示制御部４１２に出力される。
　なお、このとき、表示制御部４１２は、画像処理部４１１から出力された画像信号に基づいて、更新後処理画像および更新前処理画像の両方を表示装置２０２に表示させるものとする。
　ステップＳ４３において、シーン検出部４１３は、入力画像において重要度の高いシーンを検出したか否かを判定する。重要度の高いシーンは、例えば、組織の切開や剥離などが行われるシーンとされ、これらは入力画像（術部画像）に映る術具の形状や術部の色などに基づいて検出される。
　重要度の高いシーンを検出していないと判定されている場合、ステップＳ４３の処理は繰り返され、表示装置２０２には更新後処理画像および更新前処理画像の両方が表示され続ける。
　一方、重要度の高いシーンを検出したと判定された場合、シーン検出部４１３は、重要フラグを表示制御部４１２と特徴量抽出部４１４に供給し、処理はステップＳ４４に進む。
　ステップＳ４４において、特徴量抽出部４１４は、シーン検出部４１３からの重要フラグに基づいて、入力画像において検出された重要度の高いシーンの特徴量を抽出し、記録制御部４１５に供給する。重要度の高いシーンの特徴量は、そのシーンの検出の基準となった術具の形状や術部の色などに応じた情報とされる。
　ステップＳ４５において、表示制御部４１２のＯＳＤ処理部４３１は、シーン検出部４１３からの重要フラグに基づいて、そのときに表示されているシーンが重要度の高いシーンであることを示す情報のＯＳＤ表示を行う。
　なお、ステップＳ４４とステップＳ４５の処理は、並行して行われるようにしてもよい。
　さて、ＯＳＤ表示が行われると、画像処理装置４０１は、更新後処理画像および更新前処理画像のうちのいずれを表示するかを、ユーザに選択させる。ユーザにより、更新後処理画像および更新前処理画像のうちのいずれかが選択されると、処理はステップＳ４６に進む。
　ステップＳ４６において、表示制御部４１２は、更新後処理画像および更新前処理画像のうちユーザに選択された方のみを表示装置２０２に表示させる。このとき、表示制御部４１２は、更新後処理画像および更新前処理画像のうちユーザに選択された方（表示装置２０２に表示された方）を示す選択情報を記録制御部４１５に供給する。
　ステップＳ４７において、記録制御部４１５は、特徴量抽出部４１４からの特徴量と、表示制御部４１２からの選択情報とを対応付けて、履歴情報として履歴情報記録部４１６に記録する。
　ステップＳ４８において、学習部４１７は、履歴情報記録部４１６に記録された履歴情報に基づいて、特徴量毎に、入力画像において検出された重要度の高いシーンについて、更新後処理画像および更新前処理画像のうちのいずれがユーザに選択されたかを学習する。ここでは、特徴量毎に、更新後処理画像および更新前処理画像のうちのいずれがユーザによってより多く選択されたかが、機械学習などにより学習される。
　以上の処理によれば、内視鏡１０１を用いて手術を行っている術者は、重要度の高いシーンについて、ＳＷの更新により画質が変化した後の画像と、画質が変化する前の画像とを容易に比較して、より好適な方を選択して表示させることができる。また、重要度の高いシーンについて、ＳＷの更新により画質が変化した後の画像と、画質が変化する前の画像のいずれの表示態様が、術者にとってより好適であるかを学習することができる。
＜７．第５の実施の形態＞
（画像処理装置の構成例）
　図１５は、本技術に係る第５の実施の形態の画像処理装置の構成例を示している。
　図１５の画像処理装置５０１は、上述した学習結果を用いて、新たに入力された術部画像における重要度の高いシーンについて、更新後処理画像および更新前処理画像のうち、術者にとってより好適な方を自動的に選択して表示させる。
　画像処理装置５０１は、画像処理部４１１、表示制御部４１２、シーン検出部４１３、特徴量抽出部４１４、学習情報記録部４１８、および学習情報照会部５１１を有する。
　図１５において、画像処理部４１１、表示制御部４１２、シーン検出部４１３、特徴量抽出部４１４、および学習情報記録部４１８は、図１３に示される構成それぞれと同一であるので、その説明は省略する。
　学習情報照会部５１１は、学習情報記録部４１８に記録された学習情報の中から、新たに入力された入力画像において検出された重要度の高いシーンの特徴量に対応する学習情報を照会する。学習情報照会部５１１は、照会した学習情報に基づいて、その特徴量と対応付けられている選択情報を、表示制御部４１２に供給する。
（術部画像表示処理の流れ）
　次に、図１６のフローチャートを参照して、画像処理装置５０１による術部画像表示処理の流れについて説明する。図１６の処理は、内視鏡１０１（カメラヘッド１０５）から、術部を撮影した術部画像（動画像）が画像処理装置５０１に入力されると開始される。
　なお、図１６のステップＳ５１乃至Ｓ５４における処理は、図１５のステップＳ４１乃至Ｓ４４における処理と基本的には同様であるので、その説明は省略する。
　ステップＳ５４で、入力画像において検出された重要度の高いシーンの特徴量が抽出されると、その特徴量が学習情報照会部５１１に供給される。
　ステップＳ５５において、学習情報照会部５１１は、学習情報記録部４１８に記録された学習情報の中から、特徴量抽出部４１４からの特徴量に対応する学習情報を照会する。学習情報照会部５１１は、照会した学習情報に基づいて、特徴量抽出部４１４からの特徴量と対応付けられている選択情報を、表示制御部４１２に供給する。
　ステップＳ５６において、表示制御部４１２は、学習情報照会部５１１からの選択情報に基づいて、更新後処理画像および更新前処理画像のうち、その選択情報で示される方のみを表示装置２０２に表示させる。
　以上の処理によれば、重要度の高いシーンについて、学習結果に基づいて、ＳＷの更新により画質が変化した後の画像と、画質が変化する前の画像のうち、術者にとってより好適な方を表示することができる。
　以上においては、本開示に係る技術を内視鏡手術システムに適用した例について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　さらに、本技術は以下のような構成をとることができる。
（１）
　術部画像に、ソフトウェアによる画像処理を施す画像処理部と、
　前記画像処理が施された前記術部画像の表示を制御する表示制御部と
　を備え、
　前記画像処理部は、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像とを生成し、
　前記表示制御部は、前記更新前処理画像および前記更新後処理画像の少なくともいずれか一方の少なくとも一部の表示を制御する
　手術用画像処理装置。
（２）
　前記画像処理部は、前記ソフトウェア更新前の前記画像処理と前記ソフトウェア更新後の前記画像処理とを並行して行う
　（１）に記載の手術用画像処理装置。
（３）
　前記表示制御部は、前記更新前処理画像と前記更新後処理画像とを、１つの画面に同時に表示させる
　（１）または（２）に記載の手術用画像処理装置。
（４）
　前記表示制御部は、ユーザの操作に応じて、前記画面における前記更新前処理画像および前記更新後処理画像の表示サイズを調整する
　（３）に記載の手術用画像処理装置。
（５）
　前記表示制御部は、前記更新前処理画像と前記更新後処理画像とを、それぞれ異なる表示装置に表示させる
　（１）または（２）に記載の手術用画像処理装置。
（６）
　前記表示制御部は、前記更新前処理画像および前記更新後処理画像のうちユーザに選択された方を表示させる
　（１）または（２）に記載の手術用画像処理装置。
（７）
　前記表示制御部は、前記更新前処理画像と前記更新後処理画像とを、所定の比率で画素毎に加算して表示させる
　（１）または（２）に記載の手術用画像処理装置。
（８）
　前記表示制御部は、前記更新前処理画像の第１の領域と、前記更新後処理画像の前記第１の領域以外の第２の領域とを合成して表示させる
　（１）または（２）に記載の手術用画像処理装置。
（９）
　前記第１の領域は、画面が左右に２分割された一方の領域であり、
　前記第２の領域は、前記画面が左右に２分割された他方の領域である
　（８）に記載の手術用画像処理装置。
（１０）
　前記第１の領域は、画面の中心を含む中心領域であり、
　前記第２の領域は、前記画面における前記中心領域より外側の周縁領域である
　（８）に記載の手術用画像処理装置。
（１１）
　前記第１の領域と前記第２の領域との境界は、ユーザの操作により決定される
　（８）乃至（１０）のいずれかに記載の手術用画像処理装置。
（１２）
　前記更新前処理画像と前記更新後処理画像の差分を演算する差分演算部をさらに備え、
　前記表示制御部は、前記差分が所定値より大きい場合、その旨を報知する情報の表示を制御する
　（１）または（２）に記載の手術用画像処理装置。
（１３）
　前記画像において所定のシーンを検出するシーン検出部をさらに備え、
　前記表示制御部は、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちのユーザに選択された方を表示させる
　（１）または（２）に記載の手術用画像処理装置。
（１４）
　検出された前記シーンの特徴量を抽出する特徴量抽出部と、
　抽出された前記特徴量と、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちの前記ユーザに選択された方を示す選択情報とを対応付けて、履歴情報として記録する記録制御部とをさらに備える
　（１３）に記載の手術用画像処理装置。
（１５）
　前記履歴情報に基づいて、前記シーンの前記特徴量毎に、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちのいずれが前記ユーザに選択されたかを学習する学習部をさらに備える
　（１４）に記載の手術用画像処理装置。
（１６）
　他の画像において検出された所定のシーンの前記特徴量に対応する学習結果を照会する照会部をさらに備え、
　前記表示制御部は、照会された前記学習結果に基づいて、前記他の画像における前記所定のシーンについて、前記更新前処理画像および前記更新後処理画像のうちのいずれかを表示させる
　（１５）に記載の手術用画像処理装置。
（１７）
　術部画像に、ソフトウェアによる画像処理を施す画像処理部と、
　前記画像処理が施された前記術部画像の表示を制御する表示制御部と
　を備える手術用画像処理装置が、
　前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像を生成し、
　前記更新前処理画像および前記更新後処理画像の少なくともいずれかの少なくとも一部の表示を制御する
　ステップを含む画像処理方法。
（１８）
　術部画像を取得する手術用撮像装置と、
　前記術部画像に、ソフトウェアによる画像処理を施す画像処理部と、
　前記画像処理が施された前記術部画像の表示を制御する表示制御部と
　を有する手術用画像処理装置と
　を備え、
　前記画像処理部は、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像とを生成し、
　前記表示制御部は、前記更新前処理画像および前記更新後処理画像の少なくともいずれか一方の少なくとも一部の表示を制御する
　手術システム。
　２０１　画像処理装置，　２１１　画像処理部，　２１２　表示制御部，　２２１　ＳＷ更新後画像処理部，　２２２　ＳＷ更新前画像処理部，　２８１　表示制御部，　３０１　画像処理装置，　３１１　画像処理部，　３１２　表示制御部，　３２１　ＳＷ更新後画像処理部，　３２２　ＳＷ更新前画像処理部，　３２３　差分演算部，　３３１　ＯＳＤ処理部，　４０１　画像処理装置，　４１１　画像処理部，　４１２　表示制御部，　４１３　シーン検出部，　４１４　特徴量抽出部，　４１５　記録制御部，　４１６　履歴情報記録部，　４１７　学習部，　４１８　学習情報記録部，　４２１　ＳＷ更新後画像処理部，　４２２　ＳＷ更新前画像処理部，　４３１　ＯＳＤ処理部，　５１１　学習情報照会部

Claims (18)

  1. 　術部画像に、ソフトウェアによる画像処理を施す画像処理部と、
    　前記画像処理が施された前記術部画像の表示を制御する表示制御部と
    　を備え、
    　前記画像処理部は、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像とを生成し、
    　前記表示制御部は、前記更新前処理画像および前記更新後処理画像の少なくともいずれか一方の少なくとも一部の表示を制御する
    　手術用画像処理装置。
  2. 　前記画像処理部は、前記ソフトウェア更新前の前記画像処理と前記ソフトウェア更新後の前記画像処理とを並行して行う
    　請求項１に記載の手術用画像処理装置。
  3. 　前記表示制御部は、前記更新前処理画像と前記更新後処理画像とを、１つの画面に同時に表示させる
    　請求項１に記載の手術用画像処理装置。
  4. 　前記表示制御部は、ユーザの操作に応じて、前記画面における前記更新前処理画像および前記更新後処理画像の表示サイズを調整する
    　請求項３に記載の手術用画像処理装置。
  5. 　前記表示制御部は、前記更新前処理画像と前記更新後処理画像とを、それぞれ異なる表示装置に表示させる
    　請求項１に記載の手術用画像処理装置。
  6. 　前記表示制御部は、前記更新前処理画像および前記更新後処理画像のうちユーザに選択された方を表示させる
    　請求項１に記載の手術用画像処理装置。
  7. 　前記表示制御部は、前記更新前処理画像と前記更新後処理画像とを、所定の比率で画素毎に加算して表示させる
    　請求項１に記載の手術用画像処理装置。
  8. 　前記表示制御部は、前記更新前処理画像の第１の領域と、前記更新後処理画像の前記第１の領域以外の第２の領域とを合成して表示させる
    　請求項１に記載の手術用画像処理装置。
  9. 　前記第１の領域は、画面が左右に２分割された一方の領域であり、
    　前記第２の領域は、前記画面が左右に２分割された他方の領域である
    　請求項８に記載の手術用画像処理装置。
  10. 　前記第１の領域は、画面の中心を含む中心領域であり、
    　前記第２の領域は、前記画面における前記中心領域より外側の周縁領域である
    　請求項８に記載の手術用画像処理装置。
  11. 　前記第１の領域と前記第２の領域との境界は、ユーザの操作により決定される
    　請求項８に記載の手術用画像処理装置。
  12. 　前記更新前処理画像と前記更新後処理画像の差分を演算する差分演算部をさらに備え、
    　前記表示制御部は、前記差分が所定値より大きい場合、その旨を報知する情報の表示を制御する
    　請求項１に記載の手術用画像処理装置。
  13. 　前記画像において所定のシーンを検出するシーン検出部をさらに備え、
    　前記表示制御部は、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちのユーザに選択された方を表示させる
    　請求項１に記載の手術用画像処理装置。
  14. 　検出された前記シーンの特徴量を抽出する特徴量抽出部と、
    　抽出された前記特徴量と、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちの前記ユーザに選択された方を示す選択情報とを対応付けて、履歴情報として記録する記録制御部とをさらに備える
    　請求項１３に記載の手術用画像処理装置。
  15. 　前記履歴情報に基づいて、前記シーンの前記特徴量毎に、検出された前記シーンについて、前記更新前処理画像および前記更新後処理画像のうちのいずれが前記ユーザに選択されたかを学習する学習部をさらに備える
    　請求項１４に記載の手術用画像処理装置。
  16. 　他の画像において検出された所定のシーンの前記特徴量に対応する学習結果を照会する照会部をさらに備え、
    　前記表示制御部は、照会された前記学習結果に基づいて、前記他の画像における前記所定のシーンについて、前記更新前処理画像および前記更新後処理画像のうちのいずれかを表示させる
    　請求項１５に記載の手術用画像処理装置。
  17. 　術部画像に、ソフトウェアによる画像処理を施す画像処理部と、
    　前記画像処理が施された前記術部画像の表示を制御する表示制御部と
    　を備える手術用画像処理装置が、
    　前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像を生成し、
    　前記更新前処理画像および前記更新後処理画像の少なくともいずれかの少なくとも一部の表示を制御する
    　ステップを含む画像処理方法。
  18. 　術部画像を取得する手術用撮像装置と、
    　前記術部画像に、ソフトウェアによる画像処理を施す画像処理部と、
    　前記画像処理が施された前記術部画像の表示を制御する表示制御部と
    　を有する手術用画像処理装置と
    　を備え、
    　前記画像処理部は、前記術部画像に前記ソフトウェア更新前の前記画像処理を施した更新前処理画像と、前記術部画像に前記ソフトウェア更新後の前記画像処理を施した更新後処理画像とを生成し、
    　前記表示制御部は、前記更新前処理画像および前記更新後処理画像の少なくともいずれか一方の少なくとも一部の表示を制御する
    　手術システム。
PCT/JP2018/010391 2017-03-31 2018-03-16 手術用画像処理装置、画像処理方法、及び、手術システム WO2018180573A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/496,452 US11483473B2 (en) 2017-03-31 2018-03-16 Surgical image processing apparatus, image processing method, and surgery system
CN201880020194.8A CN110536629B (zh) 2017-03-31 2018-03-16 手术图像处理设备、图像处理方法和手术***
EP18774672.2A EP3603479B1 (en) 2017-03-31 2018-03-16 Surgical image processing device, image processing method, and surgery system
JP2019509271A JP7115467B2 (ja) 2017-03-31 2018-03-16 手術用画像処理装置、画像処理方法、及び、手術システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017072244 2017-03-31
JP2017-072244 2017-03-31

Publications (1)

Publication Number Publication Date
WO2018180573A1 true WO2018180573A1 (ja) 2018-10-04

Family

ID=63675571

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010391 WO2018180573A1 (ja) 2017-03-31 2018-03-16 手術用画像処理装置、画像処理方法、及び、手術システム

Country Status (5)

Country Link
US (1) US11483473B2 (ja)
EP (1) EP3603479B1 (ja)
JP (1) JP7115467B2 (ja)
CN (1) CN110536629B (ja)
WO (1) WO2018180573A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020110278A1 (ja) * 2018-11-30 2020-06-04 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
JP7463507B2 (ja) 2020-05-27 2024-04-08 富士フイルム株式会社 内視鏡画像処理装置
WO2024111147A1 (ja) * 2022-11-25 2024-05-30 パナソニックＩｐマネジメント株式会社 画像補正装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011418B (zh) * 2021-02-09 2024-02-23 杭州海康慧影科技有限公司 确定图像中待处理区域的方法、装置、设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176582A (ja) * 2000-12-06 2002-06-21 Fuji Photo Film Co Ltd 電子機器
WO2006093225A1 (ja) * 2005-03-03 2006-09-08 Nikon Corporation カメラ付携帯電話および画像機器
JP2008186294A (ja) * 2007-01-30 2008-08-14 Toshiba Corp ソフトウェア更新装置及びソフトウェア更新システム
JP2009226169A (ja) 2008-03-25 2009-10-08 Olympus Medical Systems Corp 撮像システムおよび撮像システムのメンテナンス方法。
JP2013090194A (ja) * 2011-10-19 2013-05-13 Sony Corp サーバ装置、画像送信方法、端末装置、画像受信方法、プログラムおよび画像処理システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034775A (ja) * 1999-05-17 2001-02-09 Fuji Photo Film Co Ltd 履歴画像表示方法
US7747960B2 (en) * 2006-09-06 2010-06-29 Stereotaxis, Inc. Control for, and method of, operating at least two medical systems
EP2610857A1 (en) * 2011-12-30 2013-07-03 Samsung Electronics Co., Ltd. Display apparatus, upgrading apparatus, display system and control method thereof
JP2014138294A (ja) * 2013-01-17 2014-07-28 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9270919B2 (en) * 2013-09-24 2016-02-23 Karl Storz Imaging, Inc. Simultaneous display of two or more different sequentially processed images
WO2015105951A1 (en) 2014-01-08 2015-07-16 Board Of Regents Of The University Of Texas System System and method for intraoperative fluorescence imaging in ambient light
JP6339872B2 (ja) 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
MA41082A1 (fr) * 2015-03-01 2018-06-29 Aris Md Inc Procédure morphologique à réalité augmentée
JP2017041831A (ja) * 2015-08-21 2017-02-23 株式会社リコー 通信システム、通信管理システム、通信管理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176582A (ja) * 2000-12-06 2002-06-21 Fuji Photo Film Co Ltd 電子機器
WO2006093225A1 (ja) * 2005-03-03 2006-09-08 Nikon Corporation カメラ付携帯電話および画像機器
JP2008186294A (ja) * 2007-01-30 2008-08-14 Toshiba Corp ソフトウェア更新装置及びソフトウェア更新システム
JP2009226169A (ja) 2008-03-25 2009-10-08 Olympus Medical Systems Corp 撮像システムおよび撮像システムのメンテナンス方法。
JP2013090194A (ja) * 2011-10-19 2013-05-13 Sony Corp サーバ装置、画像送信方法、端末装置、画像受信方法、プログラムおよび画像処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3603479A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020110278A1 (ja) * 2018-11-30 2020-06-04 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
JPWO2020110278A1 (ja) * 2018-11-30 2021-10-28 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
JP7127785B2 (ja) 2018-11-30 2022-08-30 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
US11907849B2 (en) 2018-11-30 2024-02-20 Olympus Corporation Information processing system, endoscope system, information storage medium, and information processing method
JP7463507B2 (ja) 2020-05-27 2024-04-08 富士フイルム株式会社 内視鏡画像処理装置
WO2024111147A1 (ja) * 2022-11-25 2024-05-30 パナソニックＩｐマネジメント株式会社 画像補正装置

Also Published As

Publication number Publication date
CN110536629B (zh) 2022-04-15
EP3603479A4 (en) 2020-03-18
EP3603479A1 (en) 2020-02-05
JP7115467B2 (ja) 2022-08-09
US11483473B2 (en) 2022-10-25
EP3603479B1 (en) 2021-04-28
JPWO2018180573A1 (ja) 2020-02-06
US20210112197A1 (en) 2021-04-15
CN110536629A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
JP7067467B2 (ja) 医療用情報処理装置、情報処理方法、医療用情報処理システム
WO2018123613A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2018180573A1 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
US20200113413A1 (en) Surgical system and surgical imaging device
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
JP7092111B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
US10778889B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
WO2019167555A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
US11778325B2 (en) Image processing apparatus, image processing method, and image processing program
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
US20210228061A1 (en) Medical observation system, medical observation apparatus, and drive method of medical observation apparatus
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11979670B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program for blending plurality of image signals based on a peaking signal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18774672

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019509271

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018774672

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018774672

Country of ref document: EP

Effective date: 20191031