WO2017082091A1 - 手術システム、手術用制御方法、およびプログラム - Google Patents
手術システム、手術用制御方法、およびプログラム Download PDFInfo
- Publication number
- WO2017082091A1 WO2017082091A1 PCT/JP2016/082215 JP2016082215W WO2017082091A1 WO 2017082091 A1 WO2017082091 A1 WO 2017082091A1 JP 2016082215 W JP2016082215 W JP 2016082215W WO 2017082091 A1 WO2017082091 A1 WO 2017082091A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- light
- amount
- light amount
- unit
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
- G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
Definitions
- the present disclosure relates to a surgical system, a surgical control method, and a program, and in particular, a surgical system and a surgical operation that can perform high-precision image processing when the amount of light applied to a subject of a surgical imaging apparatus is changed. Control method and program.
- a living body as a subject is continuously irradiated with a certain amount of light that is not insufficient for observation of the living body. Therefore, when the amount of light is large, damage to the living body due to heat and power cost increase. Therefore, it is difficult to set the light amount to a predetermined amount or more.
- the present disclosure has been made in view of such a situation, and makes it possible to perform high-precision image processing when the amount of light applied to the subject of the surgical imaging apparatus is changed.
- the surgical operation system is a light source control that changes the amount of light irradiated to a subject imaged by a surgical imaging apparatus from a first amount of light to a second amount of light that is greater than the first amount of light.
- An image processing unit that performs image processing using a high light amount image that is an intraoperative image captured by the surgical imaging apparatus in a state where the light amount is the second light amount, and based on the second light amount
- a display control unit that adjusts the brightness of the high light quantity image to generate a display image and displays the display image on a display device.
- the surgical control method and program according to the first aspect of the present disclosure correspond to the surgical system according to the first aspect of the present disclosure.
- the amount of light applied to the subject imaged by the surgical imaging apparatus is changed from the first amount of light to a second amount of light that is greater than the first amount of light, and the amount of light is changed.
- Image processing is performed using a high light amount image that is an intraoperative image captured by the surgical imaging apparatus in the state of the second light amount, and brightness of the high light amount image is determined based on the second light amount.
- the display image is generated by adjustment, and the display image is displayed on the display device.
- the surgical operation system changes the amount of light irradiating the subject of the surgical imaging apparatus from a first amount to a second amount greater than the first amount at predetermined intervals.
- a light source control unit a low-light image that is an intraoperative image captured by the surgical imaging device when the light amount is the first light amount, and the light amount when the light amount is changed to the second light amount.
- An operation system includes an image processing unit that generates a final intraoperative image using a high-intensity image that is an intraoperative image captured by an imaging device for surgery.
- image processing can be performed. Further, according to the first and second aspects of the present disclosure, it is possible to perform high-precision image processing when changing the amount of light applied to the subject of the surgical imaging apparatus.
- FIG. 3 is a flowchart illustrating image processing of the CCU in FIG. 2. It is a block diagram which shows the structural example of the image process part 33 in 2nd Embodiment of the endoscopic surgery system to which this indication is applied.
- FIG. 1 is a diagram illustrating a configuration example of a first embodiment of an endoscopic surgery system to which the present disclosure is applied.
- the endoscopic surgery system 10 includes a cart 18 on which a display device 11, a CCU (camera control unit) 12, a light source device 13, a treatment tool device 14, a pneumoperitoneum device 15, a recorder 16, and a printer 17 are mounted.
- the endoscopic surgery system 10 includes an endoscope (laparoscope) 19, an energy treatment tool 20, forceps 21, trocars 22 to 25, a foot switch 26, and a patient bed 27.
- the endoscopic surgery system 10 is arranged in, for example, an operating room and supports an operator who performs a laparoscopic operation on an affected part included in an abdomen 30 of a patient lying on a patient bed 27.
- the display device 11 of the endoscopic surgery system 10 is configured by a stationary 2D display, a head mounted display, or the like.
- the display device 11 displays an intraoperative image or the like supplied from the CCU 12.
- the CCU 12 is connected to the endoscope 19 via a camera cable.
- the CCU 12 may be connected to the endoscope 19 wirelessly.
- the CCU 12 receives an intraoperative image captured by the endoscope 19 and transmitted via the camera cable, and supplies it to the display device 11.
- the CCU 12 supplies the received intraoperative image to the recorder 16 and the printer 17 as necessary.
- the CCU 12 (surgical system) controls the amount and wavelength of light emitted from the light source device 13 based on an operation signal supplied from the foot switch 26 and the like. Further, the CCU 12 performs image processing using the intraoperative image.
- the light source device 13 is connected to the endoscope 19 through a light guide cable.
- the light source device 13 switches the amount and wavelength of emitted light under the control of the CCU 12.
- Light for example, white light
- emitted from the light source device 13 is irradiated into the abdomen 30 that is a subject of the endoscope 19 through the light guide cable and the endoscope 19.
- the treatment instrument device 14 is a high-frequency output device, and is connected to the energy treatment instrument 20 and the foot switch 26 via a cable.
- the treatment instrument device 14 outputs a high-frequency current to the energy treatment instrument 20 in accordance with an operation signal supplied from the foot switch 26.
- the endoscope 19 (surgical imaging device) includes a camera head 19A and a scope 19B.
- the camera head 19A includes an imaging unit such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor) sensor.
- the camera head 19A performs photoelectric conversion on the light from the inside of the abdomen 30 that is incident through the scope 19B, and takes an intraoperative image as a moving image in units of frames.
- the camera head 19A supplies an intraoperative image to the CCU 12 via a camera cable.
- Scope 19B is configured by an optical system such as an illumination lens.
- the scope 19 ⁇ / b> B is inserted into the abdomen 30 through a hole of the trocar 22 attached to the abdominal wall of the abdomen 30.
- the scope 19B irradiates the light emitted from the light source device 13 into the abdomen 30, and causes the light from the abdomen 30 to enter the camera head 19A.
- the camera head 19A is provided with an imaging unit
- the scope 19B may be provided with an imaging unit.
- the energy treatment tool 20 is composed of an electric knife or the like.
- the energy treatment device 20 is inserted into the abdomen 30 through a hole in the trocar 23 attached to the abdominal wall of the abdomen 30.
- the energy treatment device 20 denatures or cuts the inside of the abdomen 30 using electric heat.
- the foot switch 26 accepts an operation by the foot of an operator or assistant.
- the foot switch 26 supplies an operation signal representing the accepted operation to the CCU 12 and the treatment instrument device 14.
- the surgeon can remove the affected part in the abdomen 30 without performing an abdominal operation in which the abdominal wall is cut and opened.
- FIG. 2 is a block diagram illustrating a configuration example of the CCU 12 of FIG.
- the accepting unit 31 determines that the AF control process is to be performed when accepting the pressing of an unillustrated AF button of the camera head 19A by an operator or the like.
- the reception unit 31 determines that the AF control process is performed when an operation for instructing a change in zoom magnification, a change in shooting mode, a change in the wavelength of light emitted from the light source device 13, or the like is received. Also good.
- the reception unit 31 does not make a determination based on an operation by an operator or the like, but when the positional relationship between the subject and the endoscope 19 changes or when a certain time has elapsed since the previous AF control process. Alternatively, it may be determined that the AF control process is performed.
- the light source control unit 32 sets the light amount of the light emitted from the light source device 13 to a default value (first light amount) only when the AF control process is performed in response to a light amount increase command supplied from the reception unit 31. To a light amount (second light amount) greater than the default value.
- the light source control unit 32 notifies the image processing unit 33 of the high light amount when the light amount of the light emitted from the light source device 13 is changed to a light amount larger than the default value (hereinafter referred to as high light amount). Further, the light source control unit 32 controls the wavelength of light emitted from the light source device 13.
- the image processing unit 33 captures an image when the light amount of the light emitted from the light source device 13 and transmitted from the camera head 19A is high in response to the AF control processing start command supplied from the reception unit 31.
- Various kinds of processing are performed using the intraoperative image (hereinafter referred to as a high light image).
- the image processing unit 33 adjusts and displays the brightness of the high light amount image based on the high light amount supplied from the light source control unit 32 and the analog gain of the camera head 19A supplied from the imaging control unit 35. It transmits to the apparatus 11 and displays it. Further, the image processing unit 33 performs AF control processing of the camera head 19A as image processing using a high light quantity image.
- the image processing unit 33 displays the intraoperative image (hereinafter referred to as a low light amount image) captured when the light amount of the light emitted from the light source device 13 transmitted from the camera head 19A is a default value as it is. It transmits to the apparatus 11 and displays it.
- a low light amount image the intraoperative image captured when the light amount of the light emitted from the light source device 13 transmitted from the camera head 19A is a default value as it is. It transmits to the apparatus 11 and displays it.
- the high light quantity image, the low light quantity image, and the intermediate result of the AF control process are stored in the memory 34 as necessary, and are read out by the image processing unit 33 at a necessary timing.
- the imaging control unit 35 may perform only one of a decrease in analog gain and an increase in shutter speed.
- FIG. 3 is a diagram illustrating a first example of the amount of light controlled by the light source control unit 32 of FIG.
- FIG. 3 represents time
- the vertical axis represents the amount of light emitted from the light source device 13. This also applies to FIGS. 4 and 11 described later.
- the reception unit 31 determines to perform the AF control process at time t ⁇ b> 1
- the light source control unit 32 is necessary for the AF control process in accordance with a command supplied from the reception unit 31. Only during a period during which an intraoperative image is captured, the amount of light emitted from the light source device 13 is changed from a default value to a high amount of light.
- the image processing unit 33 performs the AF control process using only the high light quantity image captured by the camera head 19A during this period in accordance with the command supplied from the reception unit 31.
- FIG. 4 is a diagram illustrating a second example of the amount of light controlled by the light source control unit 32 of FIG.
- the reception unit 31 determines that a certain time has elapsed since the previous AF control process, that is, periodically performs the AF control process.
- the reception unit 31 determines that the AF control process is performed at an interval of time T ⁇ b> 1
- the light source control unit 32 performs the AF control process according to a command supplied from the reception unit 31.
- the light amount of the light emitted from the light source device 13 is changed from the default value to a high light amount only during a period during which an intraoperative image necessary for imaging is taken.
- the image processing unit 33 performs the AF control process using only the high light quantity image captured by the camera head 19A during this period in accordance with the command supplied from the reception unit 31.
- FIG. 5 is a block diagram illustrating a configuration example of the image processing unit 33 in FIG.
- the AF processing unit 52 (image processing unit) performs AF control processing of the camera head 19A using the AF image supplied from the signal generation unit 51.
- the AF image is generated from a high light quantity image in which the analog gain of the camera head 19A is lowered and the shutter speed is increased by the imaging control unit 35. Therefore, the AF image is an image in which noise is reduced due to a decrease in analog gain and motion blur is reduced due to an increase in shutter speed. Therefore, the AF processing unit 52 can perform high-precision AF control processing by performing AF control processing of the camera head 19A using the AF image.
- the AE processing unit 53 Based on the analog gain (imaging gain) supplied from the imaging control unit 35 in FIG. 2 and the amount of light supplied from the light source control unit 32, the AE processing unit 53 sets the brightness of the high light image to the brightness of the low light image. So that the brightness adjustment value of the high light quantity image is determined. The AE processing unit 53 supplies the brightness adjustment value of the high light quantity image to the display control unit 54.
- the display control unit 54 adjusts the brightness (gain) of the high light amount image transmitted from the camera head 19A based on the brightness adjustment value supplied from the AE processing unit 53, and the high light amount obtained as a result thereof.
- An image (display image) is transmitted to the display device 11 of FIG. Further, the display control unit 54 transmits the low light amount image transmitted from the camera head 19A to the display device 11 as it is for display.
- the brightness of the intraoperative image displayed on the display device 11 is constant regardless of the change in the amount of light emitted from the light source device 13.
- FIG. 6 is a flowchart for explaining image processing of the CCU 12 of the endoscopic surgery system 10 of FIG. This image processing is started, for example, when imaging of an intraoperative image by the camera head 19A and light irradiation by the light source device 13 are started.
- the reception unit 31 (FIG. 2) of the CCU 12 determines whether or not to perform the AF control process of the camera head 19A.
- step S11 If it is determined in step S11 that the AF control process of the camera head 19A is to be performed, the reception unit 31 instructs the light source control unit 32 to increase the amount of light, and the image processing unit 33 and the imaging control unit 35 start the AF control process.
- the light source control unit 32 changes the light amount of the light emitted from the light source device 13 from the default value to a high light amount, and notifies the image processing unit 33 of the high light amount.
- step S13 the imaging control unit 35 decreases the analog gain of the camera head 19A from the default value and increases the shutter speed from the default value in response to a command from the reception unit 31.
- the imaging control unit 35 supplies the reduced analog gain to the image processing unit 33.
- step S17 the display control unit 54 adjusts the brightness of the high light quantity image transmitted from the camera head 19A based on the brightness adjustment value supplied from the AE processing unit 53.
- step S ⁇ b> 18 the display control unit 54 transmits the high light amount image after the brightness adjustment to the display device 11 to display it.
- step S21 the image processing unit 33 transmits the low light amount image transmitted from the camera head 19A to the display device 11 as it is, and displays it. Then, the process proceeds to step S22.
- step S22 if it is determined in step S22 that the intraoperative imaging has been completed, the process ends.
- the CCU 12 sets the light amount of the light emitted from the light source device 13 to the default value when the AF control process is not performed, the average light amount can be reduced as compared with the case where the light amount is always high. Therefore, power saving and cost reduction of the endoscopic surgery system can be achieved. Moreover, since the calorie
- ⁇ Second Embodiment> (Configuration Example of Image Processing Unit in Second Embodiment of Endoscopic Surgery System)
- the configuration of the second embodiment of the endoscopic surgery system to which the present disclosure is applied is different from the AF control process in that an object recognition process for recognizing an object in an intraoperative image is performed as an image process.
- the configuration is the same as that of FIG.
- the configuration of the CCU in the second embodiment is the same as that shown in FIG. 3 except that the reception unit 31 determines whether to perform object recognition processing instead of AF control processing, and the configuration of the image processing unit 33. This is the same as the configuration of 2.
- the determination as to whether or not the object recognition process is performed by the reception unit 31 is performed based on, for example, whether or not the operator has pressed the object recognition button of the camera head 19A.
- the reception unit 31 has received an operation for instructing a change in zoom magnification, a change in shooting mode, a change in the wavelength of light emitted from the light source device 13, and the like. It may be determined whether or not the object recognition process is performed.
- the reception unit 31 performs the object recognition process based on the change in the positional relationship between the subject and the endoscope 19 and the elapsed time from the previous object control process. It may be determined whether or not to perform.
- the configuration of the image processing unit 33 in FIG. 7 is that a signal generation unit 71, an object recognition unit 72, and a display control unit 74 are provided instead of the signal generation unit 51, the AF processing unit 52, and the display control unit 54. Different from the configuration of FIG.
- the image processing unit 33 in FIG. 7 performs object recognition processing instead of AF control processing as image processing.
- the signal generation unit 71 of the image processing unit 33 responds to the object recognition from the high light quantity image transmitted from the camera head 19A in response to the command for starting the object recognition process supplied from the reception unit 31. Generate an image.
- the signal generation unit 71 supplies the object recognition image to the object recognition unit 72.
- the object recognition unit 72 (image processing unit) performs object recognition processing using the object recognition image supplied from the signal generation unit 71. Specifically, the object recognizing unit 72 performs matching processing between the object recognition image and the image of the specific biological tissue or organ, and recognizes the specific biological tissue or organ in the object recognition image.
- the object recognition image is generated from the high light quantity image in which the analog gain of the camera head 19A is lowered and the shutter speed is increased by the imaging control unit 35. Therefore, the object recognition image is an image in which noise is reduced due to a decrease in analog gain and motion blur is reduced due to an increase in shutter speed. Therefore, the object recognition unit 72 can perform high-precision object recognition processing by performing object recognition processing using the object recognition image. The object recognition unit 72 supplies the result of the object recognition process to the display control unit 74.
- the display control unit 74 adjusts the brightness of the high light amount image transmitted from the camera head 19A based on the brightness adjustment value supplied from the AE processing unit 53, and displays the resulting high light amount image.
- the data is transmitted to the device 11 and displayed on the display device 11.
- the display control unit 74 transmits the low light amount image transmitted from the camera head 19A to the display device 11 as it is and displays it.
- the brightness of the intraoperative image displayed on the display device 11 is constant regardless of the change in the amount of light emitted from the light source device 13.
- the display control unit 74 is configured to display the object information indicating the recognized biological tissue or organ area based on the result of the object recognition process supplied from the object recognition unit 72 on the display device 11. Superimpose on an image or low-light image.
- the object information is superimposed on the point that the AF image is replaced by the object recognition image, the AF control processing is replaced by the object recognition processing, and the high light image and the low light image. Except for this point, it is the same as the image processing of FIG.
- the image processing is object recognition processing, but may be object detection processing for detecting a specific biological tissue or organ existing in the high light quantity image.
- the result of the object recognition process is not used by the display control unit 74 but may be supplied to another image processing unit (not shown) included in the CCU 12 and used for various image processing.
- ⁇ Third Embodiment> (Configuration example of the image processing unit in the third embodiment of the endoscopic surgery system)
- the configuration of the third embodiment of the endoscopic surgery system to which the present disclosure is applied is that the camera head 19A has two imaging units, and a depth detection process that detects the depth of the intraoperative image instead of the AF control process.
- the configuration is the same as that of FIG. 1 except that it is performed as image processing and the display device 11 performs 3D display.
- the configuration of the CCU in the third embodiment is different from that shown in FIG. 3 except that the reception unit 31 determines whether to perform depth detection processing instead of AF control processing, and the configuration of the image processing unit 33. This is the same as the configuration of 2.
- the determination as to whether or not the depth detection process is performed by the reception unit 31 is made, for example, based on whether or not the operator has pressed the depth detection button of the camera head 19A.
- the reception unit 31 has received an operation for instructing a change in zoom magnification, a change in shooting mode, a change in the wavelength of light emitted from the light source device 13, and the like. It may be determined whether or not to perform depth detection processing.
- the reception unit 31 performs the depth detection process based on the change in the positional relationship between the subject and the endoscope 19 and the elapsed time from the previous depth detection process. It may be determined whether or not to perform.
- FIG. 8 is a block diagram illustrating a configuration example of the image processing unit 33 in the third embodiment of the endoscopic surgery system to which the present disclosure is applied.
- the configuration of the image processing unit 33 in FIG. 8 is that a signal generation unit 91, a depth detection unit 92, and a display control unit 94 are provided instead of the signal generation unit 51, the AF processing unit 52, and the display control unit 54. Different from the configuration of FIG.
- the image processing unit 33 in FIG. 8 performs depth detection processing, not AF control processing, as image processing.
- the signal generation unit 91 of the image processing unit 33 includes a left-eye generation unit 101 and a right-eye generation unit 102.
- the left-eye generation unit 101 responds to the depth detection processing start command supplied from the reception unit 31, out of the two-viewpoint high-light images captured by the two imaging units transmitted from the camera head 19 ⁇ / b> A. Then, a high light quantity image captured by the left imaging unit toward the subject is acquired.
- the left eye generation unit 101 generates a depth detection image from the acquired high-light quantity image, and supplies the depth detection image to the depth detection unit 92 as the left eye image.
- the right-eye generation unit 102 captures the right side of the two-viewpoint high-intensity image transmitted from the camera head 19A toward the subject in response to the command to start the depth detection process supplied from the reception unit 31.
- the high light quantity image imaged by the unit is acquired.
- the right eye generation unit 102 generates a depth detection image from the acquired high-light quantity image, and supplies the depth detection image to the depth detection unit 92 as a right eye image.
- the depth detection unit 92 (image processing unit) performs depth detection processing using the left-eye image supplied from the left-eye generation unit 101 and the right-eye image supplied from the right-eye generation unit 102. Specifically, the depth detection unit 92 performs matching processing between the image for the left eye and the image for the right eye, and detects a difference in position on the image of a pair of pixels having a high degree of similarity as the depth. This depth corresponds to the distance in the depth direction (optical axis direction) between the imaging unit and the subject.
- the display control unit 94 Based on the brightness adjustment value supplied from the AE processing unit 53, the display control unit 94 adjusts the brightness of the two-viewpoint high-intensity image transmitted from the camera head 19A, and obtains the high level obtained as a result. The light quantity image is transmitted to the display device 11. Further, the display control unit 94 transmits the two-viewpoint low-light image transmitted from the camera head 19A to the display device 11 as it is.
- the display device 11 displays the two-viewpoint high-light image or low-light image supplied from the display controller 94 in 3D using the depth map supplied from the depth detector 92 as necessary. As described above, the brightness of the intra-operative image of the two viewpoints displayed in 3D on the display device 11 is constant regardless of the change in the amount of light emitted from the light source device 13.
- the image processing of the CCU 12 of the third embodiment is that the AF image is replaced by the left eye image and the right eye image, the AF control processing is replaced by the depth detection processing, and the high light image and the low light image are depth detected. Since it is the same as the image processing of FIG. 6 except that 3D display is performed based on the processing result, description thereof is omitted.
- the CCU 12 of the third embodiment changes the light amount of light emitted from the light source device 13 to a high light amount when performing the depth detection processing, the depth detection processing can be performed using a high light amount image. Accordingly, the CCU 12 can perform the depth detection process with higher accuracy than the case where the depth detection process is performed using the low light quantity image.
- the display device 11 may display a high light amount image or a low light amount image of any one of the two viewpoints in 2D. Further, the depth map may be supplied not to the display device 11 but to another image processing unit (not shown) included in the CCU 12 and used for various types of image processing.
- ⁇ Fourth embodiment> (Configuration example of image processing unit in the fourth embodiment of the endoscopic surgery system)
- the configuration is the same as in FIG.
- the configuration of the CCU in the fourth embodiment is different from that shown in FIG. 3 except that the reception unit 31 determines whether to perform motion analysis processing instead of AF control processing, and the configuration of the image processing unit 33. This is the same as the configuration of 2.
- the determination as to whether or not to perform the motion analysis process by the accepting unit 31 is made, for example, based on whether or not pressing by a surgeon or the like of the motion analysis button of the camera head 19A is accepted.
- the reception unit 31 has received an operation for instructing a change in zoom magnification, a change in shooting mode, a change in the wavelength of light emitted from the light source device 13, and the like. It may be determined whether or not the motion analysis process is performed.
- the reception unit 31 performs the motion analysis process based on the change in the positional relationship between the subject and the endoscope 19 and the elapsed time from the previous motion analysis process. It may be determined whether or not to perform.
- FIG. 9 is a block diagram illustrating a configuration example of the image processing unit 33 in the fourth embodiment of the endoscopic surgery system to which the present disclosure is applied.
- the configuration of the image processing unit 33 in FIG. 9 is that a signal generation unit 121, a motion analysis processing unit 122, and a display control unit 124 are provided instead of the signal generation unit 51, the AF processing unit 52, and the display control unit 54. Different from the configuration of FIG.
- the image processing unit 33 in FIG. 9 performs a motion analysis process, not an AF control process, as the image process.
- the signal generation unit 121 of the image processing unit 33 responds to the motion analysis process start command supplied from the reception unit 31 and uses the motion analysis image from the high light amount image transmitted from the camera head 19A. Is generated and supplied to the motion analysis processing unit 122.
- the motion analysis processing unit 122 holds the motion analysis image supplied from the signal generation unit 121.
- the motion analysis processing unit 122 (image processing unit) performs a motion analysis process using the held motion analysis image of the past frame and the motion analysis image of the current frame. Specifically, the motion analysis processing unit 122 performs block matching, a gradient method, or the like using the past motion analysis image and the current motion analysis image, thereby moving the motion of the subject included in the motion analysis image. Detect and hold a vector.
- the motion analysis processing unit 122 analyzes the motion vector period based on the motion vector of each frame.
- the motion analysis image is generated from a high light quantity image in which the analog gain of the camera head 19A is lowered and the shutter speed is increased by the imaging control unit 35. Therefore, the motion analysis image is an image in which noise is reduced due to a decrease in analog gain and motion blur is reduced due to an increase in shutter speed. Therefore, the motion analysis processing unit 122 can perform high-precision motion analysis processing by performing motion analysis processing using the motion analysis image.
- the motion analysis processing unit 122 supplies the display control unit 124 with analysis information representing a motion vector cycle obtained as a result of the motion analysis processing.
- the display control unit 124 adjusts the brightness of the high light amount image transmitted from the camera head 19A based on the brightness adjustment value supplied from the AE processing unit 53, and displays the resulting high light amount image.
- the data is transmitted to the device 11 and displayed on the display device 11. Further, the display control unit 124 transmits the low light amount image transmitted from the camera head 19 ⁇ / b> A to the display device 11 as it is for display.
- the brightness of the intraoperative image displayed on the display device 11 is constant regardless of the change in the amount of light emitted from the light source device 13.
- the display control unit 124 displays, on the display device 11, a high amount of light that is displayed on the display device 11, such as period information indicating the region of the subject having the same period of motion vectors, based on the analysis information supplied from the motion analysis processing unit 122. Superimpose on an image or low-light image.
- the CCU 12 of the fourth embodiment changes the light amount of the light emitted from the light source device 13 to a high light amount when performing the motion analysis processing, the motion analysis processing can be performed using the high light amount image. Therefore, the CCU 12 can perform the motion analysis process with higher accuracy than the case where the motion analysis process is performed using the low light quantity image.
- the analysis information is not used by the display control unit 74 but may be supplied to another image processing unit (not shown) included in the CCU 12 and used for various image processing.
- the light source control unit 32 determines the amount of light emitted from the light source device 13 as a predetermined number of frame periods (hereinafter referred to as a low light amount period). 1) except that the image processing unit 33 is changed from the default value to the one or more frame periods shorter than the interval (hereinafter referred to as a high light amount period), and the image processing unit 33 is the same. It is.
- the light source control unit 32 changes the light amount of the light emitted from the light source device 13 from the default value to the high light amount only during the high light amount period at intervals of the low light amount period.
- 2 is the same as the configuration of FIG. 2 except that the reception unit 31 is not provided and the image processing unit 33 is omitted.
- FIG. 10 is a block diagram illustrating a configuration example of the image processing unit 33 in the fifth embodiment of the endoscopic surgery system to which the present disclosure is applied.
- the image processing unit 33 in FIG. 10 includes a high light amount image acquisition unit 141, a low light amount image acquisition unit 142, a motion detection unit 143, and an interpolation unit 144.
- the high light amount image acquisition unit 141 of the image processing unit 33 acquires a high light amount image captured and transmitted by the camera head 19A during the high light amount period, and supplies the high light amount image to the interpolation unit 144.
- the low light amount image acquisition unit 142 acquires a low light amount image that is captured and transmitted by the camera head 19A during the low light amount period, and supplies the low light amount image to the motion detection unit 143.
- the motion detection unit 143 holds the low light amount image supplied from the low light amount image acquisition unit 142.
- the motion detection unit 143 detects the motion vector of the subject using the low-light image one frame before and the low-light image of the current frame held for each frame.
- the motion detection unit 143 supplies the motion vector of each frame to the interpolation unit 144.
- the interpolating unit 144 outputs the high light amount image supplied from the high light amount image acquiring unit 141 to the display device 11 as a final intraoperative image for display and holds it.
- the interpolating unit 144 performs motion compensation on the held high light amount image based on the motion vector supplied from the motion detecting unit 143 using JointJBilateral Filter, Guided Filter, or the like, thereby reducing the low light amount.
- An interpolated image for interpolating the high light quantity image of the image frame is generated.
- the interpolation unit 144 outputs the interpolated image as a final intraoperative image to the display device 11 for display. As described above, the final intraoperative image becomes an image equivalent to the high light amount image of all frames.
- FIG. 11 is a diagram illustrating an example of a high light amount period and a low light amount period.
- the light source controller 32 emits the light source device 13 only during the high light amount period T3 of one or more frames that are shorter than the interval T2 at the interval of the low light amount period T2. Change the light intensity from the default value to a high intensity.
- the high light quantity image is an intraoperative image in which the analog gain of the camera head 19A is reduced by the imaging control unit 35 and the shutter speed is increased, and is a high-definition image in which noise and motion blur are reduced.
- the number of frames of the low light image is larger than that of the high light image. That is, the resolution in the time direction of the low light quantity image is higher than that of the high light quantity image. However, it is a low-definition image with a lot of noise and motion blur.
- the motion detection unit 143 detects a motion vector of each frame using a low light quantity image with a high resolution in the time direction, and the interpolation unit 144 performs high definition based on the motion vector. Motion compensation is performed for a high-intensity image. As a result, a high-definition and high-frame-rate high light quantity image is generated.
- FIG. 12 is a flowchart for explaining image processing of the CCU 12 in the fifth embodiment. This image processing is started, for example, when imaging of an intraoperative image by the camera head 19A and light irradiation by the light source device 13 are started.
- the high light quantity image acquisition unit 141 (FIG. 10) of the image processing unit 33 determines whether or not the current frame is a frame of a high light quantity period.
- the high light quantity image acquisition unit 141 acquires a high light quantity image captured and transmitted by the camera head 19A.
- the high light quantity image acquisition unit 141 supplies the high light quantity image to the interpolation unit 144.
- step S33 the interpolating unit 144 holds the high light amount image supplied from the high light amount image acquiring unit 141, and outputs and displays the final light image on the display device 11 as it is. Then, the process proceeds to step S38.
- step S34 the low light amount image acquisition unit 142 acquires a low light amount image captured and transmitted by the camera head 19A. To do.
- the high light amount image acquisition unit 141 supplies the low light amount image to the motion detection unit 143, and the motion detection unit 143 holds the low light amount image.
- step S35 the motion detection unit 143 detects the motion vector of the subject using the held low-light image one frame before and the low-light image of the current frame, and supplies the detected motion vector to the interpolation unit 144.
- step S ⁇ b> 36 the interpolation unit 144 performs motion compensation on the held high light amount image based on the motion vector supplied from the motion detection unit 143, and the frame of the low light amount image corresponding to the motion vector. Generate an interpolated image.
- step S37 the interpolation unit 144 outputs the interpolation image as a final intraoperative image to the display device 11 for display. Then, the process proceeds to step S38.
- step S38 the CCU 12 determines whether or not imaging of an intraoperative image by the camera head 19A is completed. If it is determined in step S38 that imaging of an intraoperative image has not ended, the process returns to step S31, and the subsequent processes are repeated.
- step S38 if it is determined in step S38 that the intraoperative imaging has been completed, the process ends.
- the motion detection unit 143 detects a motion vector of each frame using a low light quantity image with high resolution in the time direction, and the interpolation unit 144 uses the motion vector based on the motion vector.
- Interpolation is performed by performing motion compensation on a high-definition, high-intensity image. Therefore, it is possible to perform interpolation with higher accuracy than in the case of performing interpolation using only a high light quantity image.
- the display device 11 it is possible to cause the display device 11 to display intra-operative images of all frames equivalent to the case where the light amount emitted from the light source device 13 is always high. Therefore, the brightness of the intraoperative image displayed on the display device 11 is constant.
- the light source control unit 32 changes the light amount of the light emitted from the light source device 13 from the default value to the high light amount only during the high light amount period.
- the amount of light can be reduced. Therefore, power saving and cost reduction of the endoscopic surgery system can be achieved.
- produced with the light irradiated from the light source device 13 can be suppressed, the damage to the abdominal part 30 can be reduced.
- ⁇ Sixth embodiment> (Description of computer to which the present disclosure is applied)
- the series of processes of the CCU 12 described above can be executed by hardware or can be executed by software.
- a program constituting the software is installed in the computer.
- the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
- FIG. 13 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing of the CCU 12 by a program.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- An input / output interface 205 is further connected to the bus 204.
- An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
- the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
- the output unit 207 includes a display, a speaker, and the like.
- the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
- the communication unit 209 includes a network interface and the like.
- the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
- the CPU 201 loads the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. A series of processing is performed.
- the program executed by the computer 200 can be provided by being recorded in, for example, a removable medium 211 such as a package medium.
- the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
- the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
- the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
- the program can be installed in the ROM 202 or the storage unit 208 in advance.
- the program executed by the computer 200 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as in parallel or when a call is made. It may be a program in which processing is performed.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
- the image processing by the image processing unit 33 may be processing other than AF control processing, object recognition processing, depth detection processing, motion analysis processing, and interpolation processing.
- the image processing unit 33 may perform a plurality of image processing. You may make it perform.
- the type of light quantity may be three or more types.
- the light source device 13 may emit a high amount of light during a period other than the period during which an intraoperative image necessary for image processing is captured.
- this indication can also take the following structures.
- a light source controller that changes the amount of light applied to the subject imaged by the surgical imaging apparatus from a first amount of light to a second amount of light that is greater than the first amount of light;
- An image processing unit that performs image processing using a high light amount image that is an intraoperative image captured by the surgical imaging apparatus in a state where the light amount is the second light amount;
- a surgery system comprising: a display control unit configured to generate a display image by adjusting brightness of the high light amount image based on the second light amount, and to display the display image on a display device.
- the surgical operation system according to any one of (1) to (5), wherein the image processing unit is configured to perform object recognition processing for recognizing an object in the high light amount image using the high light amount image.
- the image processing unit is configured to perform a depth detection process that detects the depth of the high light amount image using the high light amount image.
- the image processing unit is configured to perform a motion analysis process that analyzes a motion of a subject in the high light amount image using the high light amount image. system.
- the surgical operation system according to any one of (1) to (9), further including: a light source unit that emits light to the subject.
- Surgery system A light source control step of changing the amount of light irradiated to the subject imaged by the surgical imaging apparatus from a first amount of light to a second amount of light greater than the first amount of light; An image processing step of performing image processing using a high light amount image that is an intraoperative image captured by the surgical imaging apparatus in a state where the light amount is the second light amount; A surgical control method comprising: a display control step of adjusting a brightness of the high light amount image based on the second light amount to generate a display image and displaying the display image on a display device.
- Computer A light source controller that changes the amount of light applied to the subject imaged by the surgical imaging apparatus from a first amount of light to a second amount of light that is greater than the first amount of light;
- An image processing unit that performs image processing using a high light amount image that is an intraoperative image captured by the surgical imaging apparatus in a state where the light amount is the second light amount;
- a light source controller that changes the amount of light irradiating the subject of the surgical imaging apparatus at a predetermined interval from a first amount of light to a second amount of light greater than the first amount of light; By the surgical imaging apparatus when the light quantity is changed to the second light quantity and the low light quantity image which is an intraoperative image taken by the surgical imaging apparatus when the light quantity is the first light quantity.
- An operation system comprising: an image processing unit that generates a final intraoperative image using a high-intensity image that is a captured intraoperative image.
- the light source control unit is configured to change the light amount to the second light amount for a period shorter than the predetermined interval.
- the image processing unit A motion detector that detects the motion of the subject using the low light quantity image; Based on the motion detected by the motion detector, motion compensation is performed on the high light quantity image to generate an interpolation image for interpolating the high light quantity image, and the interpolation image, the high light quantity image,
- Surgery system A light source control step of changing a light amount of light radiated to a subject of the surgical imaging apparatus at a predetermined interval from a first light amount to a second light amount larger than the first light amount; By the surgical imaging apparatus when the light quantity is changed to the second light quantity and the low light quantity image which is an intraoperative image taken by the surgical imaging apparatus when the light quantity is the first light quantity.
- Computer A light source controller that changes the amount of light irradiating the subject of the surgical imaging apparatus at a predetermined interval from a first amount of light to a second amount of light greater than the first amount of light; By the surgical imaging apparatus when the light quantity is changed to the second light quantity and the low light quantity image which is an intraoperative image taken by the surgical imaging apparatus when the light quantity is the first light quantity.
- a program for functioning as an image processing unit that generates a final intraoperative image using a high-intensity image that is a captured intraoperative image.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Astronomy & Astrophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Stroboscope Apparatuses (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
本開示は、手術用撮像装置の被写体に照射する光量を変化させる場合に高精度の画像処理を行うことができるようにする手術システム、手術用制御方法、およびプログラムに関する。 光源制御部は、内視鏡により撮像される被写体に照射する光の光量を、デフォルト値からデフォルト値より多い高光量に変更する。画像処理部は、光量が高光量である状態で内視鏡により撮像された術中画像である高光量画像を用いて画像処理を行う。画像処理部は、高光量に基づいて高光量画像の明るさを調整して表示画像を生成し、表示画像を表示装置に表示させる。本開示は、例えば、内視鏡手術システム等に適用することができる。
Description
本開示は、手術システム、手術用制御方法、およびプログラムに関し、特に、手術用撮像装置の被写体に照射する光量を変化させる場合に高精度の画像処理を行うことができるようにした手術システム、手術用制御方法、およびプログラムに関する。
一般的に、内視鏡で術中画像を撮像する手術システムでは、生体の観察において不足のない一定の光量の光が、被写体としての生体に照射され続ける。従って、光量が多い場合、熱による生体へのダメージおよび電力コストが大きくなる。よって、光量を所定量以上にすることは難しい。
そこで、一時的に被写体に照射する光量を増加させる内視鏡が考案されている(例えば、特許文献1および2参照)。
しかしながら、内視鏡等の手術用撮像装置の被写体に照射する光量を変化させる場合に、高精度の画像処理を行うことについては考えられていなかった。
本開示は、このような状況に鑑みてなされたものであり、手術用撮像装置の被写体に照射する光量を変化させる場合に高精度の画像処理を行うことができるようにするものである。
本開示の第1の側面の手術システムは、手術用撮像装置により撮像される被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御部と、前記光量が前記第2の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、前記第2の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部とを備える手術システムである。
本開示の第1の側面の手術用制御方法およびプログラムは、本開示の第1の側面の手術システムに対応する。
本開示の第1の側面においては、手術用撮像装置により撮像される被写体に照射する光の光量が、第1の光量から前記第1の光量より多い第2の光量に変更され、前記光量が前記第2の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理が行われ、前記第2の光量に基づいて前記高光量画像の明るさが調整されて表示画像が生成され、前記表示画像が表示装置に表示される。
本開示の第2の側面の手術システムは、所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御部と、前記光量が前記第1の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第2の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部とを備える手術システムである。
本開示の第2の側面においては、所定の間隔で、手術用撮像装置の被写体に照射する光の光量が、第1の光量から前記第1の光量より多い第2の光量に変更され、前記光量が前記第1の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第2の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像が生成される。
本開示の第1および第2の側面によれば、画像処理を行うことができる。また、本開示の第1および第2の側面によれば、手術用撮像装置の被写体に照射する光量を変化させる場合に高精度の画像処理を行うことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、本開示を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態:内視鏡手術システム(図1乃至図6)
2.第2実施の形態:内視鏡手術システム(図7)
3.第3実施の形態:内視鏡手術システム(図8)
4.第4実施の形態:内視鏡手術システム(図9)
5.第5実施の形態:内視鏡手術システム(図10乃至図12)
6.第6実施の形態:コンピュータ(図13)
1.第1実施の形態:内視鏡手術システム(図1乃至図6)
2.第2実施の形態:内視鏡手術システム(図7)
3.第3実施の形態:内視鏡手術システム(図8)
4.第4実施の形態:内視鏡手術システム(図9)
5.第5実施の形態:内視鏡手術システム(図10乃至図12)
6.第6実施の形態:コンピュータ(図13)
<第1実施の形態>
(内視鏡手術システムの第1実施の形態の構成例)
図1は、本開示を適用した内視鏡手術システムの第1実施の形態の構成例を示す図である。
(内視鏡手術システムの第1実施の形態の構成例)
図1は、本開示を適用した内視鏡手術システムの第1実施の形態の構成例を示す図である。
内視鏡手術システム10は、表示装置11、CCU(カメラコントロールユニット)12、光源装置13、処置具用装置14、気腹装置15、レコーダ16、およびプリンタ17が搭載されたカート18を備える。また、内視鏡手術システム10は、内視鏡(腹腔鏡)19、エネルギ処置具20、鉗子21、トロッカ22乃至25、フットスイッチ26、および患者ベッド27を有する。内視鏡手術システム10は、例えば手術室に配置され、患者ベッド27に横たわった患者の腹部30に含まれる患部に対して腹腔鏡下手術を行う術者を支援する。
具体的には、内視鏡手術システム10の表示装置11は、据え置き型の2Dディスプレイやヘッドマウントディスプレイなどにより構成される。表示装置11は、CCU12から供給される術中画像等を表示する。
CCU12は、カメラケーブルを介して内視鏡19と接続する。なお、CCU12は、内視鏡19と無線で接続していてもよい。CCU12は、内視鏡19により撮像され、カメラケーブルを介して送信されてくる術中画像を受信し、表示装置11に供給する。CCU12は、必要に応じて、受信された術中画像をレコーダ16やプリンタ17に供給する。
また、CCU12(手術システム)は、フットスイッチ26から供給される操作信号等に基づいて、光源装置13から出射される光の量や波長を制御する。さらに、CCU12は、術中画像を用いて画像処理を行う。
光源装置13は、ライトガイドケーブルを介して内視鏡19と接続する。光源装置13は、CCU12の制御により、出射する光の量や波長を切り換える。光源装置13(光源部)から出射された光(例えば白色光)は、ライトガイドケーブルと内視鏡19を介して、内視鏡19の被写体である腹部30の内部に照射される。
処置具用装置14は、高周波出力装置であり、ケーブルを介してエネルギ処置具20およびフットスイッチ26と接続する。処置具用装置14は、フットスイッチ26から供給される操作信号に応じて、エネルギ処置具20に高周波電流を出力する。
気腹装置15は、送気手段および吸気手段を備え、腹部30の腹壁に取り付けられた開孔器具であるトロッカ24の孔から、腹部30の内部に空気を送気する。
レコーダ16は、CCU12から供給される術中画像を記録する。プリンタ17は、CCUから供給される術中画像を印刷する。
内視鏡19(手術用撮像装置)は、カメラヘッド19Aとスコープ19Bにより構成される。カメラヘッド19Aは、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)センサなどの撮像部を備える。カメラヘッド19Aは、スコープ19Bを介して入射される、腹部30の内部からの光に対して光電変換を行い、動画像である術中画像をフレーム単位で撮像する。カメラヘッド19Aは、術中画像を、カメラケーブルを介してCCU12に供給する。
スコープ19Bは、照明レンズなどの光学系により構成される。スコープ19Bは、腹部30の腹壁に取り付けられたトロッカ22の孔から、腹部30の内部に挿入される。スコープ19Bは、光源装置13から出射された光を腹部30の内部に照射し、腹部30の内部からの光をカメラヘッド19Aに入射させる。
なお、ここでは、カメラヘッド19Aが撮像部を備えるものとするが、スコープ19Bが撮像部を備えるようにしてもよい。
エネルギ処置具20は、電気メスなどにより構成される。エネルギ処置具20は、腹部30の腹壁に取り付けられたトロッカ23の孔から、腹部30の内部に挿入される。エネルギ処置具20は、腹部30の内部を、電気熱を用いて変性させたり、切断したりする。
鉗子21は、腹部30の腹壁に取り付けられたトロッカ25の孔から、腹部30の内部に挿入される。鉗子21は、腹部30の内部を把持する。内視鏡19、エネルギ処置具20、および鉗子21は、術者、助手、スコピスト、ロボット等により把持される。
フットスイッチ26は、術者や助手等の足による操作を受け付ける。フットスイッチ26は、受け付けた操作を表す操作信号を、CCU12や処置具用装置14に供給する。
術者は、以上のように構成される内視鏡手術システム10を用いることにより、腹壁を切って開腹する開腹手術を行わずに、腹部30内の患部を切除することができる。
(CCUの構成例)
図2は、図1のCCU12の構成例を示すブロック図である。
図2は、図1のCCU12の構成例を示すブロック図である。
図2のCCU12は、受付部31、光源制御部32、画像処理部33、メモリ34、および撮像制御部35により構成される。
CCU12の受付部31は、フットスイッチ26や図示せぬ操作ボタンなどの術者等による操作を受け付ける。受付部31は、その操作に応じて、カメラヘッド19AのAF(オートフォーカス)制御処理を行うかどうかを判定する。
例えば、受付部31は、カメラヘッド19Aが有する図示せぬAFボタンの術者等による押下を受け付けたとき、AF制御処理を行うと判定する。なお、受付部31は、ズーム倍率の変更、撮影モードの変更、光源装置13から出射される光の波長の変更等を指示する操作を受け付けたとき、AF制御処理を行うと判定するようにしてもよい。
また、受付部31は、術者等による操作に基づいて判定するのではなく、被写体と内視鏡19との位置関係が変化した場合や、前回のAF制御処理から一定時間が経過した場合に、AF制御処理を行うと判定するようにしてもよい。
受付部31は、カメラヘッド19AのAF制御処理を行うと判定した場合、光量の増加を光源制御部32に指令し、AF制御処理の開始を画像処理部33と撮像制御部35に指令する。
光源制御部32は、受付部31から供給される光量の増加の指令に応じて、AF制御処理が行われる場合にのみ、光源装置13が出射する光の光量をデフォルト値(第1の光量)からデフォルト値より多い光量(第2の光量)に変更する。光源制御部32は、光源装置13が出射する光の光量をデフォルト値より多い光量(以下、高光量という)に変更したとき、高光量を画像処理部33に通知する。また、光源制御部32は、光源装置13が出射する光の波長を制御する。
画像処理部33は、受付部31から供給されるAF制御処理の開始の指令に応じて、カメラヘッド19Aから送信されてくる、光源装置13が出射する光の光量が高光量であるときに撮像された術中画像(以下、高光量画像という)を用いて各種の処理を行う。例えば、画像処理部33は、光源制御部32から供給される高光量と、撮像制御部35から供給されるカメラヘッド19Aのアナログゲインとに基づいて、高光量画像の明るさを調整して表示装置11に送信し、表示させる。また、画像処理部33は、高光量画像を用いてカメラヘッド19AのAF制御処理を画像処理として行う。
また、画像処理部33は、カメラヘッド19Aから送信されてくる、光源装置13が出射する光の光量がデフォルト値であるときに撮像された術中画像(以下、低光量画像という)を、そのまま表示装置11に送信し、表示させる。
高光量画像、低光量画像、およびAF制御処理の途中結果は、必要に応じてメモリ34に記憶され、画像処理部33により、必要なタイミングで読み出される。
撮像制御部35は、受付部31から供給されるAF制御処理の開始の指令に応じて、カメラヘッド19Aにおけるアナログゲインとシャッタ速度を制御する。具体的には、受付部31からAF制御処理の開始の指令が供給された場合、AF制御処理が行われる間、光源装置13が出射する光の光量は高光量になる。従って、その間、撮像制御部35は、カメラヘッド19Aのアナログゲインを低下させ、シャッタ速度を上昇させる(露光時間を短縮する)。撮像制御部35は、カメラヘッド19Aのアナログゲインを画像処理部33に供給する。
なお、撮像制御部35は、アナログゲインの低下とシャッタ速度の上昇のいずれか一方のみを行うようにしてもよい。
(光量の第1の例)
図3は、図2の光源制御部32により制御される光量の第1の例を示す図である。
図3は、図2の光源制御部32により制御される光量の第1の例を示す図である。
なお、図3の横軸は時間を表し、縦軸は、光源装置13が出射する光の光量を表している。このことは、後述する図4および図11においても同様である。
図3の例では、受付部31は、術者等からの操作を受け付けたとき、被写体と内視鏡19との位置関係が変化したときなどをトリガとして、AF制御処理を行うと判定する。
この場合、図3に示すように、時刻t1において、受付部31がAF制御処理を行うと判定すると、光源制御部32は、受付部31から供給される指令に応じて、AF制御処理に必要な術中画像を撮像する期間だけ、光源装置13が出射する光の光量をデフォルト値から高光量に変更する。画像処理部33は、受付部31から供給される指令に応じて、この期間にカメラヘッド19Aにより撮像された高光量画像のみを用いてAF制御処理を行う。
(光量の第2の例)
図4は、図2の光源制御部32により制御される光量の第2の例を示す図である。
図4は、図2の光源制御部32により制御される光量の第2の例を示す図である。
図4の例では、受付部31は、前回のAF制御処理から一定時間が経過した場合、即ち定期的にAF制御処理を行うと判定する。
この場合、図4に示すように、時間T1の間隔で、受付部31がAF制御処理を行うと判定すると、光源制御部32は、受付部31から供給される指令に応じて、AF制御処理に必要な術中画像を撮像する期間だけ、光源装置13が出射する光の光量をデフォルト値から高光量に変更する。画像処理部33は、受付部31から供給される指令に応じて、この期間にカメラヘッド19Aにより撮像された高光量画像のみを用いてAF制御処理を行う。
(画像処理部の構成例)
図5は、図2の画像処理部33の構成例を示すブロック図である。
図5は、図2の画像処理部33の構成例を示すブロック図である。
図5の画像処理部33は、信号生成部51、AF処理部52、AE処理部53、および表示制御部54により構成される。
画像処理部33の信号生成部51は、図2の受付部31から供給されるAF制御処理の開始の指令に応じて、カメラヘッド19Aから送信されてくる高光量画像から、AF用画像を生成する。AF用画像とは、例えば、高光量画像を低解像度化した画像である。信号生成部51は、AF用画像をAF処理部52に供給する。
AF処理部52(画像処理部)は、信号生成部51から供給されるAF用画像を用いて、カメラヘッド19AのAF制御処理を行う。ここで、AF用画像は、撮像制御部35によりカメラヘッド19Aのアナログゲインが低下され、シャッタ速度が上昇された高光量画像から生成されたものである。従って、AF用画像は、アナログゲインの低下によりノイズが減少し、シャッタ速度の上昇により動きボケが低減された画像である。よって、AF処理部52は、AF用画像を用いてカメラヘッド19AのAF制御処理を行うことにより、高精度のAF制御処理を行うことが可能である。
AE処理部53は、図2の撮像制御部35から供給されるアナログゲイン(撮像ゲイン)と光源制御部32から供給される光量とに基づいて、高光量画像の明るさが低光量画像の明るさと同一になるように、高光量画像の明るさの調整値を決定する。AE処理部53は、高光量画像の明るさの調整値を表示制御部54に供給する。
表示制御部54は、AE処理部53から供給される明るさの調整値に基づいて、カメラヘッド19Aから送信されてくる高光量画像の明るさ(ゲイン)を調整し、その結果得られる高光量画像(表示画像)を図2の表示装置11に送信して、表示装置11に表示させる。また、表示制御部54は、カメラヘッド19Aから送信されてくる低光量画像をそのまま表示装置11に送信して表示させる。以上により、表示装置11に表示される術中画像の明るさは、光源装置13から出射される光の光量の変化によらず一定となる。
(内視鏡手術システムの画像処理の説明)
図6は、図1の内視鏡手術システム10のCCU12の画像処理を説明するフローチャートである。この画像処理は、例えば、カメラヘッド19Aによる術中画像の撮像および光源装置13による光の照射が開始されたとき、開始される。
図6は、図1の内視鏡手術システム10のCCU12の画像処理を説明するフローチャートである。この画像処理は、例えば、カメラヘッド19Aによる術中画像の撮像および光源装置13による光の照射が開始されたとき、開始される。
図6のステップS11において、CCU12の受付部31(図2)は、カメラヘッド19AのAF制御処理を行うかどうかを判定する。
ステップS11でカメラヘッド19AのAF制御処理を行うと判定された場合、受付部31は、光量の増加を光源制御部32に指令し、AF制御処理の開始を画像処理部33と撮像制御部35に指令する。そして、ステップS12において、光源制御部32は、光源装置13が出射する光の光量をデフォルト値から高光量に変更し、高光量を画像処理部33に通知する。
ステップS13において、撮像制御部35は、受付部31からの指令に応じて、カメラヘッド19Aのアナログゲインをデフォルト値から低下させ、シャッタ速度をデフォルト値から上昇させる。撮像制御部35は、低下後のアナログゲインを画像処理部33に供給する。
ステップS14において、画像処理部33の信号生成部51(図5)は、カメラヘッド19Aから送信されてくる高光量画像から、AF用画像を生成し、AF処理部52に供給する。
ステップS15において、AF処理部52は、信号生成部51から供給されるAF用画像を用いてAF制御処理を行う。
ステップS16において、AE処理部53は、撮像制御部35から供給されるアナログゲインと光源制御部32から供給される高光量とに基づいて、高光量画像の明るさが低光量画像の明るさと同一になるように、高光量画像の明るさの調整値を決定する。AE処理部53は、高光量画像の明るさの調整値を表示制御部54に供給する。
ステップS17において、表示制御部54は、AE処理部53から供給される明るさの調整値に基づいて、カメラヘッド19Aから送信されてくる高光量画像の明るさを調整する。ステップS18において、表示制御部54は、明るさの調整後の高光量画像を表示装置11に送信し、表示させる。
ステップS19において、光源制御部32は、光源装置13が出射する光の光量をデフォルト値に戻す。ステップS20において、撮像制御部35は、カメラヘッド19Aのアナログゲインおよびシャッタ速度をデフォルト値に戻し、処理をステップS22に進める。
一方、ステップS11でAF制御処理を行わないと判定された場合、ステップS21において、画像処理部33は、カメラヘッド19Aから送信されてくる低光量画像をそのまま表示装置11に送信し、表示させる。そして、処理はステップS22に進む。
ステップS22において、CCU12は、カメラヘッド19Aによる術中画像の撮像が終了したかどうかを判定する。ステップS22で術中画像の撮像が終了していないと判定された場合、処理はステップS11に戻り、以降の処理が繰り返される。
一方、ステップS22で術中画像の撮像が終了したと判定された場合、処理は終了する。
以上のように、CCU12は、AF制御処理を行う場合に光源装置13が出射する光の光量を高光量に変更するので、高光量画像を用いてAF制御処理を行うことができる。従って、CCU12は、低光量画像を用いてAF制御処理を行う場合に比べて、高精度のAF制御処理を行うことができる。
また、CCU12は、AF制御処理を行わない場合に光源装置13が出射する光の光量をデフォルト値にするので、常に高光量にする場合に比べて、平均光量を低下させることができる。従って、内視鏡手術システムの省電力化および低コスト化を図ることができる。また、光源装置13から照射された光により発生する熱量を抑制することができるため、腹部30へのダメージを軽減することができる。
さらに、CCU12は、高光量に基づいて、高光量画像の明るさを、低光量画像の明るさと同一になるように調整するので、光源装置13が出射する光の光量によって、表示装置11に表示される術中画像の明るさが変化することを防止することができる。
<第2実施の形態>
(内視鏡手術システムの第2実施の形態における画像処理部の構成例)
本開示を適用した内視鏡手術システムの第2実施の形態の構成は、AF制御処理の代わりに、術中画像内の物体を認識する物体認識処理が画像処理として行われる点を除いて、図1の構成と同一である。
(内視鏡手術システムの第2実施の形態における画像処理部の構成例)
本開示を適用した内視鏡手術システムの第2実施の形態の構成は、AF制御処理の代わりに、術中画像内の物体を認識する物体認識処理が画像処理として行われる点を除いて、図1の構成と同一である。
具体的には、第2実施の形態におけるCCUの構成は、受付部31がAF制御処理ではなく物体認識処理を行うかどうかを判定する点、および、画像処理部33の構成を除いて、図2の構成と同一である。
受付部31による物体認識処理を行うかどうかの判定は、例えば、カメラヘッド19Aが有する物体認識ボタンの術者等による押下が受け付けられたかどうかにより行われる。なお、受付部31は、AF制御処理を行うかどうかの判定と同様に、ズーム倍率の変更、撮影モードの変更、光源装置13から出射される光の波長の変更等を指示する操作を受け付けたかどうかにより、物体認識処理を行うかどうかの判定を行ってもよい。また、受付部31は、AF制御処理を行うかどうかの判定と同様に、被写体と内視鏡19との位置関係の変化や、前回の物体制御処理からの経過時間に基づいて、物体認識処理を行うかどうかの判定を行ってもよい。
図7は、本開示を適用した内視鏡手術システムの第2実施の形態における画像処理部33の構成例を示すブロック図である。
図7に示す構成のうち、図5の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図7の画像処理部33の構成は、信号生成部51、AF処理部52、表示制御部54の代わりに、信号生成部71、物体認識部72、表示制御部74が設けられる点が、図5の構成と異なる。図7の画像処理部33は、画像処理として、AF制御処理ではなく、物体認識処理を行う。
具体的には、画像処理部33の信号生成部71は、受付部31から供給される物体認識処理の開始の指令に応じて、カメラヘッド19Aから送信されてくる高光量画像から、物体認識用画像を生成する。信号生成部71は、物体認識用画像を物体認識部72に供給する。
物体認識部72(画像処理部)は、信号生成部71から供給される物体認識用画像を用いて物体認識処理を行う。具体的には、物体認識部72は、物体認識用画像と、特定の生体組織や臓器の画像とのマッチング処理を行い、物体認識用画像内の特定の生体組織や臓器を認識する。
ここで、物体認識用画像は、撮像制御部35によりカメラヘッド19Aのアナログゲインが低下され、シャッタ速度が上昇された高光量画像から生成されたものである。従って、物体認識用画像は、アナログゲインの低下によりノイズが減少し、シャッタ速度の上昇により動きボケが低減された画像である。よって、物体認識部72は、物体認識用画像を用いて物体認識処理を行うことにより、高精度の物体認識処理を行うことが可能である。物体認識部72は、物体認識処理の結果を表示制御部74に供給する。
表示制御部74は、AE処理部53から供給される明るさの調整値に基づいて、カメラヘッド19Aから送信されてくる高光量画像の明るさを調整し、その結果得られる高光量画像を表示装置11に送信して、表示装置11に表示させる。また、表示制御部74は、カメラヘッド19Aから送信されてくる低光量画像をそのまま表示装置11に送信して表示させる。以上により、表示装置11に表示される術中画像の明るさは、光源装置13から出射される光量の変化によらず一定となる。
また、表示制御部74は、物体認識部72から供給される物体認識処理の結果に基づいて、認識された生体組織や臓器の領域を示す物体情報などを、表示装置11に表示中の高光量画像または低光量画像に重畳する。
第2実施の形態のCCU12の画像処理は、AF用画像が物体認識用画像に代わる点、AF制御処理が物体認識処理に代わる点、および高光量画像および低光量画像に物体情報が重畳される点を除いて、図6の画像処理と同様であるので、説明は省略する。
第2実施の形態のCCU12は、物体認識処理を行う場合に光源装置13が出射する光の光量を高光量に変更するので、高光量画像を用いて物体認識処理を行うことができる。従って、CCU12は、低光量画像を用いて物体認識処理を行う場合に比べて、高精度の物体認識処理を行うことができる。
なお、第2実施の形態では、画像処理が物体認識処理であるようにしたが、高光量画像内に存在する特定の生体組織や臓器を検出する物体検出処理であってもよい。また、物体認識処理の結果は、表示制御部74で用いられるのではなく、CCU12が有する図示せぬ他の画像処理部に供給され、各種の画像処理に用いられてもよい。
<第3実施の形態>
(内視鏡手術システムの第3実施の形態における画像処理部の構成例)
本開示を適用した内視鏡手術システムの第3実施の形態の構成は、カメラヘッド19Aが2つの撮像部を有する点、AF制御処理の代わりに、術中画像のデプスを検出するデプス検出処理が画像処理として行われる点、および表示装置11が3D表示を行う点を除いて、図1の構成と同一である。
(内視鏡手術システムの第3実施の形態における画像処理部の構成例)
本開示を適用した内視鏡手術システムの第3実施の形態の構成は、カメラヘッド19Aが2つの撮像部を有する点、AF制御処理の代わりに、術中画像のデプスを検出するデプス検出処理が画像処理として行われる点、および表示装置11が3D表示を行う点を除いて、図1の構成と同一である。
具体的には、第3実施の形態におけるCCUの構成は、受付部31がAF制御処理ではなくデプス検出処理を行うかどうかを判定する点、および、画像処理部33の構成を除いて、図2の構成と同一である。
受付部31によるデプス検出処理を行うかどうかの判定は、例えば、カメラヘッド19Aが有するデプス検出ボタンの術者等による押下が受け付けられたかどうかにより行われる。なお、受付部31は、AF制御処理を行うかどうかの判定と同様に、ズーム倍率の変更、撮影モードの変更、光源装置13から出射される光の波長の変更等を指示する操作を受け付けたかどうかにより、デプス検出処理を行うかどうかの判定を行ってもよい。また、受付部31は、AF制御処理を行うかどうかの判定と同様に、被写体と内視鏡19との位置関係の変化や、前回のデプス検出処理からの経過時間に基づいて、デプス検出処理を行うかどうかの判定を行ってもよい。
図8は、本開示を適用した内視鏡手術システムの第3実施の形態における画像処理部33の構成例を示すブロック図である。
図8に示す構成のうち、図5の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図8の画像処理部33の構成は、信号生成部51、AF処理部52、表示制御部54の代わりに、信号生成部91、デプス検出部92、表示制御部94が設けられる点が、図5の構成と異なる。図8の画像処理部33は、画像処理として、AF制御処理ではなく、デプス検出処理を行う。
具体的には、画像処理部33の信号生成部91は、左目用生成部101と右目用生成部102により構成される。左目用生成部101は、受付部31から供給されるデプス検出処理の開始の指令に応じて、カメラヘッド19Aから送信されてくる2つの撮像部により撮像された2視点の高光量画像のうちの、被写体に向かって左側の撮像部により撮像された高光量画像を取得する。左目用生成部101は、取得された高光量画像からデプス検出用画像を生成し、左目用画像としてデプス検出部92に供給する。
右目用生成部102は、受付部31から供給されるデプス検出処理の開始の指令に応じて、カメラヘッド19Aから送信されてくる2視点の高光量画像のうちの、被写体に向かって右側の撮像部により撮像された高光量画像を取得する。右目用生成部102は、取得された高光量画像からデプス検出用画像を生成し、右目用画像としてデプス検出部92に供給する。
デプス検出部92(画像処理部)は、左目用生成部101から供給される左目用画像と右目用生成部102から供給される右目用画像とを用いて、デプス検出処理を行う。具体的には、デプス検出部92は、左目用画像と右目用画像とのマッチング処理を行い、類似度が高い画素のペアの画像上の位置の差分をデプスとして検出する。このデプスは、撮像部と被写体との奥行き方向(光軸方向)の距離に対応する。
ここで、左目用画像と右目用画像は、撮像制御部35によりカメラヘッド19Aのアナログゲインが低下され、シャッタ速度が上昇された高光量画像から生成されたものである。従って、左目用画像と右目用画像は、アナログゲインの低下によりノイズが減少し、シャッタ速度の上昇により動きボケが低減された画像である。よって、デプス検出部92は、左目用画像と右目用画像を用いてデプス検出処理を行うことにより、高精度のデプス検出処理を行うことが可能である。デプス検出部92は、デプス検出処理の結果得られる各画素のデプスを表すデプスマップを表示装置11に供給する。
表示制御部94は、AE処理部53から供給される明るさの調整値に基づいて、カメラヘッド19Aから送信されてくる2視点の高光量画像の明るさをそれぞれ調整し、その結果得られる高光量画像を表示装置11に送信する。また、表示制御部94は、カメラヘッド19Aから送信されてくる2視点の低光量画像をそのまま表示装置11に送信する。
表示装置11は、必要に応じてデプス検出部92から供給されるデプスマップを用いて、表示制御部94から供給される2視点の高光量画像または低光量画像を3D表示する。以上により、表示装置11に3D表示される2視点の術中画像の明るさは、光源装置13から出射される光量の変化によらず一定となる。
第3実施の形態のCCU12の画像処理は、AF用画像が左目用画像および右目用画像に代わる点、AF制御処理がデプス検出処理に代わる点、および、高光量画像および低光量画像がデプス検出処理の結果に基づいて3D表示される点を除いて、図6の画像処理と同様であるので、説明は省略する。
第3実施の形態のCCU12は、デプス検出処理を行う場合に光源装置13が出射する光の光量を高光量に変更するので、高光量画像を用いてデプス検出処理を行うことができる。従って、CCU12は、低光量画像を用いてデプス検出処理を行う場合に比べて、高精度のデプス検出処理を行うことができる。
なお、第3実施の形態において、表示装置11は、2視点のうちのいずれか一方の視点の高光量画像または低光量画像を2D表示するようにしてもよい。また、デプスマップは、表示装置11ではなく、CCU12が有する図示せぬ他の画像処理部に供給され、各種の画像処理に用いられてもよい。
<第4実施の形態>
(内視鏡手術システムの第4実施の形態における画像処理部の構成例)
本開示を適用した内視鏡手術システムの第4実施の形態の構成は、AF制御処理の代わりに、術中画像内の被写体の動きを解析する動き解析処理が画像処理として行われる点を除いて、図1の構成と同一である。
(内視鏡手術システムの第4実施の形態における画像処理部の構成例)
本開示を適用した内視鏡手術システムの第4実施の形態の構成は、AF制御処理の代わりに、術中画像内の被写体の動きを解析する動き解析処理が画像処理として行われる点を除いて、図1の構成と同一である。
具体的には、第4実施の形態におけるCCUの構成は、受付部31がAF制御処理ではなく動き解析処理を行うかどうかを判定する点、および、画像処理部33の構成を除いて、図2の構成と同一である。
受付部31による動き解析処理を行うかどうかの判定は、例えば、カメラヘッド19Aが有する動き解析ボタンの術者等による押下が受け付けられたかどうかにより行われる。なお、受付部31は、AF制御処理を行うかどうかの判定と同様に、ズーム倍率の変更、撮影モードの変更、光源装置13から出射される光の波長の変更等を指示する操作を受け付けたかどうかにより、動き解析処理を行うかどうかの判定を行ってもよい。また、受付部31は、AF制御処理を行うかどうかの判定と同様に、被写体と内視鏡19との位置関係の変化や、前回の動き解析処理からの経過時間に基づいて、動き解析処理を行うかどうかの判定を行ってもよい。
図9は、本開示を適用した内視鏡手術システムの第4実施の形態における画像処理部33の構成例を示すブロック図である。
図9に示す構成のうち、図5の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図9の画像処理部33の構成は、信号生成部51、AF処理部52、表示制御部54の代わりに、信号生成部121、動き解析処理部122、表示制御部124が設けられる点が、図5の構成と異なる。図9の画像処理部33は、画像処理として、AF制御処理ではなく、動き解析処理を行う。
具体的には、画像処理部33の信号生成部121は、受付部31から供給される動き解析処理の開始の指令に応じて、カメラヘッド19Aから送信されてくる高光量画像から動き解析用画像を生成し、動き解析処理部122に供給する。
動き解析処理部122は、信号生成部121から供給される動き解析用画像を保持する。動き解析処理部122(画像処理部)は、保持されている過去のフレームの動き解析用画像と現在のフレームの動き解析用画像とを用いて、動き解析処理を行う。具体的には、動き解析処理部122は、過去の動き解析用画像と現在の動き解析用画像とを用いてブロックマッチングや勾配法等を行うことにより、動き解析用画像に含まれる被写体の動きベクトルを検出し、保持する。動き解析処理部122は、各フレームの動きベクトルに基づいて動きベクトルの周期などを解析する。
ここで、動き解析用画像は、撮像制御部35によりカメラヘッド19Aのアナログゲインが低下され、シャッタ速度が上昇された高光量画像から生成されたものである。従って、動き解析用画像は、アナログゲインの低下によりノイズが減少し、シャッタ速度の上昇により動きボケが低減された画像である。よって、動き解析処理部122は、動き解析用画像を用いて動き解析処理を行うことにより、高精度の動き解析処理を行うことが可能である。動き解析処理部122は、動き解析処理の結果得られる動きベクトルの周期などを表す解析情報を表示制御部124に供給する。
表示制御部124は、AE処理部53から供給される明るさの調整値に基づいて、カメラヘッド19Aから送信されてくる高光量画像の明るさを調整し、その結果得られる高光量画像を表示装置11に送信して、表示装置11に表示させる。また、表示制御部124は、カメラヘッド19Aから送信されてくる低光量画像をそのまま表示装置11に送信して表示させる。以上により、表示装置11に表示される術中画像の明るさは、光源装置13から出射される光量の変化によらず一定となる。
また、表示制御部124は、動き解析処理部122から供給される解析情報に基づいて、動きベクトルの周期が同一である被写体の領域を示す周期情報などを、表示装置11に表示中の高光量画像または低光量画像に重畳する。
第4実施の形態のCCU12の画像処理は、AF用画像が動き解析用画像に代わる点、AF制御処理が動き解析処理に代わる点、および高光量画像および低光量画像に周期情報が重畳される点を除いて、図6の画像処理と同様であるので、説明は省略する。
第4実施の形態のCCU12は、動き解析処理を行う場合に光源装置13が出射する光の光量を高光量に変更するので、高光量画像を用いて動き解析処理を行うことができる。従って、CCU12は、低光量画像を用いて動き解析処理を行う場合に比べて、高精度の動き解析処理を行うことができる。
なお、第4実施の形態において、解析情報は、表示制御部74で用いられるのではなく、CCU12が有する図示せぬ他の画像処理部に供給され、各種の画像処理に用いられてもよい。
<第5実施の形態>
(内視鏡手術システムの第5実施の形態における画像処理部の構成例)
本開示を適用した内視鏡手術システムの第5実施の形態の構成は、光源制御部32が、光源装置13が出射する光の光量を、所定数のフレームの期間(以下、低光量期間という)の間隔で、その間隔より短い1以上のフレームの期間(以下、高光量期間という)だけデフォルト値から高光量に変更する点、および、画像処理部33を除いて、図1の構成と同一である。
(内視鏡手術システムの第5実施の形態における画像処理部の構成例)
本開示を適用した内視鏡手術システムの第5実施の形態の構成は、光源制御部32が、光源装置13が出射する光の光量を、所定数のフレームの期間(以下、低光量期間という)の間隔で、その間隔より短い1以上のフレームの期間(以下、高光量期間という)だけデフォルト値から高光量に変更する点、および、画像処理部33を除いて、図1の構成と同一である。
具体的には、第5実施の形態におけるCCUの構成は、光源制御部32が、光源装置13が出射する光の光量を、低光量期間の間隔で高光量期間だけデフォルト値から高光量に変更する点、受付部31が設けられない点、および、画像処理部33を除いて、図2の構成と同一である。
図10は、本開示を適用した内視鏡手術システムの第5実施の形態における画像処理部33の構成例を示すブロック図である。
図10の画像処理部33は、高光量画像取得部141、低光量画像取得部142、動き検出部143、および補間部144により構成される。
画像処理部33の高光量画像取得部141は、高光量期間にカメラヘッド19Aにより撮像され、送信されてくる高光量画像を取得し、補間部144に供給する。
低光量画像取得部142は、低光量期間にカメラヘッド19Aにより撮像され、送信されてくる低光量画像を取得し、動き検出部143に供給する。
動き検出部143は、低光量画像取得部142から供給される低光量画像を保持する。動き検出部143は、フレームごとに、保持されている1フレーム前の低光量画像と現在のフレームの低光量画像とを用いて、被写体の動きベクトルを検出する。動き検出部143は、各フレームの動きベクトルを補間部144に供給する。
補間部144は、高光量画像取得部141から供給される高光量画像を最終的な術中画像として表示装置11に出力して表示させるとともに、保持する。補間部144は、Joint Bilateral Filter や、Guided Filterなどを用いて、動き検出部143から供給される動きベクトルに基づいて、保持されている高光量画像に対して動き補償を行うことにより、低光量画像のフレームの高光量画像を補間する補間画像を生成する。補間部144は、補間画像を最終的な術中画像として表示装置11に出力して表示させる。以上により、最終的な術中画像は、全フレームの高光量画像と同等の画像となる。
(高光量期間と低光量期間の例)
図11は、高光量期間と低光量期間の例を示す図である。
図11は、高光量期間と低光量期間の例を示す図である。
図11に示すように、第5実施の形態では、光源制御部32は、低光量期間T2の間隔で、その間隔T2より短い1以上のフレームの高光量期間T3だけ、光源装置13が出射する光の光量をデフォルト値から高光量に変更する。
従って、高光量画像のフレーム数は、低光量画像に比べて少ない。即ち、高光量画像の時間方向の解像度は、低光量画像に比べて低い。しかしながら、高光量画像は、撮像制御部35によりカメラヘッド19Aのアナログゲインが低下され、シャッタ速度が上昇された術中画像であり、ノイズおよび動きボケが低減された高精細な画像である。
一方、低光量画像のフレーム数は、高光量画像に比べて多い。即ち、低光量画像の時間方向の解像度は、高光量画像に比べて高い。しかしながら、ノイズおよび動きボケが多い低精細な画像である。
従って、第5実施の形態では、動き検出部143が、時間方向の解像度が高い低光量画像を用いて各フレームの動きベクトルを検出し、補間部144が、その動きベクトルに基づいて、高精細な高光量画像に対して動き補償を行う。これにより、高精細でハイフレームレートの高光量画像が生成される。
(内視鏡手術システムの画像処理の説明)
図12は、第5実施の形態におけるCCU12の画像処理を説明するフローチャートである。この画像処理は、例えば、カメラヘッド19Aによる術中画像の撮像および光源装置13による光の照射が開始されたとき、開始される。
図12は、第5実施の形態におけるCCU12の画像処理を説明するフローチャートである。この画像処理は、例えば、カメラヘッド19Aによる術中画像の撮像および光源装置13による光の照射が開始されたとき、開始される。
図12のステップS31において、画像処理部33の高光量画像取得部141(図10)は、現在のフレームが高光量期間のフレームであるかどうかを判定する。ステップS31で現在のフレームが高光量期間のフレームであると判定された場合、ステップS32において、高光量画像取得部141は、カメラヘッド19Aにより撮像され、送信されてくる高光量画像を取得する。高光量画像取得部141は、高光量画像を補間部144に供給する。
ステップS33において、補間部144は、高光量画像取得部141から供給される高光量画像を保持するとともに、そのまま最終的な術中画像として表示装置11に出力し、表示させる。そして、処理はステップS38に進む。
一方、ステップS31で現在のフレームが高光量期間のフレームではないと判定された場合、ステップS34において、低光量画像取得部142は、カメラヘッド19Aにより撮像され、送信されてくる低光量画像を取得する。高光量画像取得部141は、低光量画像を動き検出部143に供給し、動き検出部143は、その低光量画像を保持する。
ステップS35において、動き検出部143は、保持されている1フレーム前の低光量画像と現在のフレームの低光量画像とを用いて、被写体の動きベクトルを検出し、補間部144に供給する。
ステップS36において、補間部144は、動き検出部143から供給される動きベクトルに基づいて、保持されている高光量画像に対して動き補償を行い、その動きベクトルに対応する低光量画像のフレームの補間画像を生成する。
ステップS37において、補間部144は、補間画像を最終的な術中画像として表示装置11に出力して表示させる。そして、処理はステップS38に進む。
ステップS38において、CCU12は、カメラヘッド19Aによる術中画像の撮像が終了したかどうかを判定する。ステップS38で術中画像の撮像が終了していないと判定された場合、処理はステップS31に戻り、以降の処理が繰り返される。
一方、ステップS38で術中画像の撮像が終了したと判定された場合、処理は終了する。
以上のように、第5実施の形態では、動き検出部143が、時間方向の解像度が高い低光量画像を用いて各フレームの動きベクトルを検出し、補間部144が、その動きベクトルに基づいて、高精細な高光量画像に対して動き補償を行うことにより、補間を行う。従って、高光量画像のみを用いて補間を行う場合に比べて高精度の補間を行うことができる。また、低光量画像のみを用いて補間を行う場合に比べて高精細な補間画像を生成することができる。
その結果、光源装置13が出射する光の光量が常に高光量である場合と同等の全フレームの術中画像を表示装置11に表示させることができる。従って、表示装置11に表示される術中画像の明るさは一定である。
また、第5実施の形態において、光源制御部32は、高光量期間だけ光源装置13が出射する光の光量をデフォルト値から高光量に変更するので、常に高光量にされる場合に比べて平均光量を低下させることができる。従って、内視鏡手術システムの省電力化および低コスト化を図ることができる。また、光源装置13から照射された光により発生する熱量を抑制することができるため、腹部30へのダメージを軽減することができる。
<第6実施の形態>
(本開示を適用したコンピュータの説明)
上述したCCU12の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
(本開示を適用したコンピュータの説明)
上述したCCU12の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図13は、上述したCCU12の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ200において、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、及びドライブ210が接続されている。
入力部206は、キーボード、マウス、マイクロフォンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。
以上のように構成されるコンピュータ200では、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ200(CPU201)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア211に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ200では、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
なお、コンピュータ200が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、画像処理部33による画像処理は、AF制御処理、物体認識処理、デプス検出処理、動き解析処理、補間処理以外の処理であってもよいし、画像処理部33は、複数の画像処理を行うようにしてもよい。また、光量の種類は、3以上の種類であってもよい。さらに、第1乃至第4実施の形態において、画像処理に必要な術中画像を撮像する期間以外の期間にも、光源装置13が高光量の光を出射するようにしてもよい。
なお、本開示は、以下のような構成もとることができる。
(1)
手術用撮像装置により撮像される被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御部と、
前記光量が前記第2の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、
前記第2の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部と
を備える手術システム。
(2)
前記光源制御部は、前記画像処理が行われる場合にのみ前記光量を前記第2の光量に変更する
ように構成された
前記(1)に記載の手術システム。
(3)
前記手術用撮像装置は、前記光量が前記第2の光量に変更されたとき、撮像ゲインを低下させる
ように構成された
前記(1)または(2)に記載の手術システム。
(4)
前記表示制御部は、前記第2の光量と前記撮像ゲインに基づいて前記高光量画像の明るさを調整する
ように構成された
前記(3)に記載の手術システム。
(5)
前記手術用撮像装置は、前記光量が前記第2の光量に変更されたとき、露光時間を短縮する
ように構成された
前記(1)乃至(4)のいずれかに記載の手術システム。
(6)
前記画像処理部は、前記高光量画像を用いて前記手術用撮像装置のフォーカスを制御するフォーカス制御処理を行う
ように構成された
前記(1)乃至(5)のいずれかに記載の手術システム。
(7)
前記画像処理部は、前記高光量画像を用いて前記高光量画像内の物体を認識する物体認識処理を行う
ように構成された
前記(1)乃至(5)のいずれかに記載の手術システム。
(8)
前記画像処理部は、前記高光量画像を用いて前記高光量画像のデプスを検出するデプス検出処理を行う
ように構成された
前記(1)乃至(5)のいずれかに記載の手術システム。
(9)
前記画像処理部は、前記高光量画像を用いて前記高光量画像内の被写体の動きを解析する動き解析処理を行う
ように構成された
前記(1)乃至(5)のいずれかに記載の手術システム。
(10)
前記被写体に光を照射する光源部
をさらに備える
前記(1)乃至(9)のいずれかに記載の手術システム。
(11)
手術システムが、
手術用撮像装置により撮像される被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御ステップと、
前記光量が前記第2の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理ステップと、
前記第2の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御ステップと
を含む手術用制御方法。
(12)
コンピュータを、
手術用撮像装置により撮像される被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御部と、
前記光量が前記第2の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、
前記第2の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部と
して機能させるためのプログラム。
(13)
所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御部と、
前記光量が前記第1の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第2の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部と
を備える手術システム。
(14)
前記光源制御部は、前記所定の間隔より短い期間だけ、前記光量を前記第2の光量に変更する
ように構成された
前記(13)に記載の手術システム。
(15)
前記画像処理部は、
前記低光量画像を用いて前記被写体の動きを検出する動き検出部と、
前記動き検出部により検出された前記動きに基づいて、前記高光量画像に対して動き補償を行うことにより、前記高光量画像を補間する補間画像を生成し、前記補間画像と前記高光量画像とを前記最終的な術中画像として出力する補間部と
を備える
前記(13)または(14)に記載の手術システム。
(16)
前記被写体に光を照射する光源部
をさらに備える
前記(13)乃至(15)のいずれかに記載の手術システム。
(17)
手術システムが、
所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御ステップと、
前記光量が前記第1の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第2の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理ステップと
を含む手術用制御方法。
(18)
コンピュータを、
所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御部と、
前記光量が前記第1の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第2の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部と
して機能させるためのプログラム。
手術用撮像装置により撮像される被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御部と、
前記光量が前記第2の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、
前記第2の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部と
を備える手術システム。
(2)
前記光源制御部は、前記画像処理が行われる場合にのみ前記光量を前記第2の光量に変更する
ように構成された
前記(1)に記載の手術システム。
(3)
前記手術用撮像装置は、前記光量が前記第2の光量に変更されたとき、撮像ゲインを低下させる
ように構成された
前記(1)または(2)に記載の手術システム。
(4)
前記表示制御部は、前記第2の光量と前記撮像ゲインに基づいて前記高光量画像の明るさを調整する
ように構成された
前記(3)に記載の手術システム。
(5)
前記手術用撮像装置は、前記光量が前記第2の光量に変更されたとき、露光時間を短縮する
ように構成された
前記(1)乃至(4)のいずれかに記載の手術システム。
(6)
前記画像処理部は、前記高光量画像を用いて前記手術用撮像装置のフォーカスを制御するフォーカス制御処理を行う
ように構成された
前記(1)乃至(5)のいずれかに記載の手術システム。
(7)
前記画像処理部は、前記高光量画像を用いて前記高光量画像内の物体を認識する物体認識処理を行う
ように構成された
前記(1)乃至(5)のいずれかに記載の手術システム。
(8)
前記画像処理部は、前記高光量画像を用いて前記高光量画像のデプスを検出するデプス検出処理を行う
ように構成された
前記(1)乃至(5)のいずれかに記載の手術システム。
(9)
前記画像処理部は、前記高光量画像を用いて前記高光量画像内の被写体の動きを解析する動き解析処理を行う
ように構成された
前記(1)乃至(5)のいずれかに記載の手術システム。
(10)
前記被写体に光を照射する光源部
をさらに備える
前記(1)乃至(9)のいずれかに記載の手術システム。
(11)
手術システムが、
手術用撮像装置により撮像される被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御ステップと、
前記光量が前記第2の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理ステップと、
前記第2の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御ステップと
を含む手術用制御方法。
(12)
コンピュータを、
手術用撮像装置により撮像される被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御部と、
前記光量が前記第2の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、
前記第2の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部と
して機能させるためのプログラム。
(13)
所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御部と、
前記光量が前記第1の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第2の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部と
を備える手術システム。
(14)
前記光源制御部は、前記所定の間隔より短い期間だけ、前記光量を前記第2の光量に変更する
ように構成された
前記(13)に記載の手術システム。
(15)
前記画像処理部は、
前記低光量画像を用いて前記被写体の動きを検出する動き検出部と、
前記動き検出部により検出された前記動きに基づいて、前記高光量画像に対して動き補償を行うことにより、前記高光量画像を補間する補間画像を生成し、前記補間画像と前記高光量画像とを前記最終的な術中画像として出力する補間部と
を備える
前記(13)または(14)に記載の手術システム。
(16)
前記被写体に光を照射する光源部
をさらに備える
前記(13)乃至(15)のいずれかに記載の手術システム。
(17)
手術システムが、
所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御ステップと、
前記光量が前記第1の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第2の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理ステップと
を含む手術用制御方法。
(18)
コンピュータを、
所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御部と、
前記光量が前記第1の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第2の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部と
して機能させるためのプログラム。
10 内視鏡手術システム, 11 表示装置, 12 CCU, 13 光源装置, 19 内視鏡, 32 光源制御部, 33 画像処理部, 52 AF処理部, 54 表示制御部, 144 補間部
Claims (18)
- 手術用撮像装置により撮像される被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御部と、
前記光量が前記第2の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、
前記第2の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部と
を備える手術システム。 - 前記光源制御部は、前記画像処理が行われる場合にのみ前記光量を前記第2の光量に変更する
ように構成された
請求項1に記載の手術システム。 - 前記手術用撮像装置は、前記光量が前記第2の光量に変更されたとき、撮像ゲインを低下させる
ように構成された
請求項1に記載の手術システム。 - 前記表示制御部は、前記第2の光量と前記撮像ゲインに基づいて前記高光量画像の明るさを調整する
ように構成された
請求項3に記載の手術システム。 - 前記手術用撮像装置は、前記光量が前記第2の光量に変更されたとき、露光時間を短縮する
ように構成された
請求項1に記載の手術システム。 - 前記画像処理部は、前記高光量画像を用いて前記手術用撮像装置のフォーカスを制御するフォーカス制御処理を行う
ように構成された
請求項1に記載の手術システム。 - 前記画像処理部は、前記高光量画像を用いて前記高光量画像内の物体を認識する物体認識処理を行う
ように構成された
請求項1に記載の手術システム。 - 前記画像処理部は、前記高光量画像を用いて前記高光量画像のデプスを検出するデプス検出処理を行う
ように構成された
請求項1に記載の手術システム。 - 前記画像処理部は、前記高光量画像を用いて前記高光量画像内の被写体の動きを解析する動き解析処理を行う
ように構成された
請求項1に記載の手術システム。 - 前記被写体に光を照射する光源部
をさらに備える
請求項1に記載の手術システム。 - 手術システムが、
手術用撮像装置により撮像される被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御ステップと、
前記光量が前記第2の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理ステップと、
前記第2の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御ステップと
を含む手術用制御方法。 - コンピュータを、
手術用撮像装置により撮像される被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御部と、
前記光量が前記第2の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、
前記第2の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部と
して機能させるためのプログラム。 - 所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御部と、
前記光量が前記第1の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第2の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部と
を備える手術システム。 - 前記光源制御部は、前記所定の間隔より短い期間だけ、前記光量を前記第2の光量に変更する
ように構成された
請求項13に記載の手術システム。 - 前記画像処理部は、
前記低光量画像を用いて前記被写体の動きを検出する動き検出部と、
前記動き検出部により検出された前記動きに基づいて、前記高光量画像に対して動き補償を行うことにより、前記高光量画像を補間する補間画像を生成し、前記補間画像と前記高光量画像とを前記最終的な術中画像として出力する補間部と
を備える
請求項13に記載の手術システム。 - 前記被写体に光を照射する光源部
をさらに備える
請求項13に記載の手術システム。 - 手術システムが、
所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御ステップと、
前記光量が前記第1の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第2の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理ステップと
を含む手術用制御方法。 - コンピュータを、
所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第1の光量から前記第1の光量より多い第2の光量に変更する光源制御部と、
前記光量が前記第1の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第2の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部と
して機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/772,606 US20190117052A1 (en) | 2015-11-13 | 2016-10-31 | Surgical system, surgical control method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-222898 | 2015-11-13 | ||
JP2015222898A JP2017086648A (ja) | 2015-11-13 | 2015-11-13 | 手術システム、手術用制御方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017082091A1 true WO2017082091A1 (ja) | 2017-05-18 |
Family
ID=58695355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/082215 WO2017082091A1 (ja) | 2015-11-13 | 2016-10-31 | 手術システム、手術用制御方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20190117052A1 (ja) |
JP (1) | JP2017086648A (ja) |
WO (1) | WO2017082091A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018225346A1 (ja) * | 2017-06-05 | 2018-12-13 | ソニー株式会社 | 医療用システム及び制御ユニット |
JP2021081290A (ja) * | 2019-11-19 | 2021-05-27 | ソニーグループ株式会社 | 測距装置及び測距方法 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63163809A (ja) * | 1986-12-26 | 1988-07-07 | Olympus Optical Co Ltd | 内視鏡装置 |
JPH06261256A (ja) * | 1993-03-04 | 1994-09-16 | Fuji Photo Optical Co Ltd | 固体撮像素子を用いた撮像装置 |
JPH11244229A (ja) * | 1998-02-27 | 1999-09-14 | Fuji Photo Optical Co Ltd | 電子内視鏡装置 |
JPH11261901A (ja) * | 1998-03-12 | 1999-09-24 | Nec Corp | 固体撮像装置の駆動方法 |
JP2006149939A (ja) * | 2004-12-01 | 2006-06-15 | Pentax Corp | 内視鏡用光源装置 |
JP2006149933A (ja) * | 2004-12-01 | 2006-06-15 | Pentax Corp | 内視鏡装置 |
JP2008029621A (ja) * | 2006-07-28 | 2008-02-14 | Olympus Medical Systems Corp | 内視鏡装置及びその撮像方法 |
JP2008049168A (ja) * | 2006-08-25 | 2008-03-06 | Carl Zeiss Surgical Gmbh | 照明装置を備えた手術用顕微鏡 |
JP2008229210A (ja) * | 2007-03-23 | 2008-10-02 | Hoya Corp | 電子内視鏡システムの画像処理プロセッサ |
JP2009045366A (ja) * | 2007-08-22 | 2009-03-05 | Olympus Medical Systems Corp | 内視鏡 |
JP2009125297A (ja) * | 2007-11-22 | 2009-06-11 | Olympus Medical Systems Corp | 内視鏡システム |
JP2012146555A (ja) * | 2011-01-13 | 2012-08-02 | Shoichi Nakamura | 医療用光源装置 |
WO2013084521A1 (ja) * | 2011-12-06 | 2013-06-13 | 日本エー・シー・ピー株式会社 | 医療用光源装置 |
JP2013183912A (ja) * | 2012-03-08 | 2013-09-19 | Olympus Corp | 画像要約装置及びプログラム |
JP2014226231A (ja) * | 2013-05-21 | 2014-12-08 | Hoya株式会社 | 内視鏡装置 |
JP2015000093A (ja) * | 2013-06-13 | 2015-01-05 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
JP2015008782A (ja) * | 2013-06-27 | 2015-01-19 | オリンパス株式会社 | 画像処理装置、内視鏡装置及び画像処理方法 |
-
2015
- 2015-11-13 JP JP2015222898A patent/JP2017086648A/ja active Pending
-
2016
- 2016-10-31 US US15/772,606 patent/US20190117052A1/en not_active Abandoned
- 2016-10-31 WO PCT/JP2016/082215 patent/WO2017082091A1/ja active Application Filing
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63163809A (ja) * | 1986-12-26 | 1988-07-07 | Olympus Optical Co Ltd | 内視鏡装置 |
JPH06261256A (ja) * | 1993-03-04 | 1994-09-16 | Fuji Photo Optical Co Ltd | 固体撮像素子を用いた撮像装置 |
JPH11244229A (ja) * | 1998-02-27 | 1999-09-14 | Fuji Photo Optical Co Ltd | 電子内視鏡装置 |
JPH11261901A (ja) * | 1998-03-12 | 1999-09-24 | Nec Corp | 固体撮像装置の駆動方法 |
JP2006149939A (ja) * | 2004-12-01 | 2006-06-15 | Pentax Corp | 内視鏡用光源装置 |
JP2006149933A (ja) * | 2004-12-01 | 2006-06-15 | Pentax Corp | 内視鏡装置 |
JP2008029621A (ja) * | 2006-07-28 | 2008-02-14 | Olympus Medical Systems Corp | 内視鏡装置及びその撮像方法 |
JP2008049168A (ja) * | 2006-08-25 | 2008-03-06 | Carl Zeiss Surgical Gmbh | 照明装置を備えた手術用顕微鏡 |
JP2008229210A (ja) * | 2007-03-23 | 2008-10-02 | Hoya Corp | 電子内視鏡システムの画像処理プロセッサ |
JP2009045366A (ja) * | 2007-08-22 | 2009-03-05 | Olympus Medical Systems Corp | 内視鏡 |
JP2009125297A (ja) * | 2007-11-22 | 2009-06-11 | Olympus Medical Systems Corp | 内視鏡システム |
JP2012146555A (ja) * | 2011-01-13 | 2012-08-02 | Shoichi Nakamura | 医療用光源装置 |
WO2013084521A1 (ja) * | 2011-12-06 | 2013-06-13 | 日本エー・シー・ピー株式会社 | 医療用光源装置 |
JP2013183912A (ja) * | 2012-03-08 | 2013-09-19 | Olympus Corp | 画像要約装置及びプログラム |
JP2014226231A (ja) * | 2013-05-21 | 2014-12-08 | Hoya株式会社 | 内視鏡装置 |
JP2015000093A (ja) * | 2013-06-13 | 2015-01-05 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
JP2015008782A (ja) * | 2013-06-27 | 2015-01-19 | オリンパス株式会社 | 画像処理装置、内視鏡装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2017086648A (ja) | 2017-05-25 |
US20190117052A1 (en) | 2019-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11216941B2 (en) | Medical image processing apparatus, medical image processing method, and program | |
CN110099599B (zh) | 医学图像处理设备、医学图像处理方法和程序 | |
US11744440B2 (en) | Information processing apparatus, information processing method, and endoscope system for processing images based on surgical scenes | |
US11457801B2 (en) | Image processing device, image processing method, and endoscope system | |
WO2018079259A1 (ja) | 信号処理装置および方法、並びにプログラム | |
CN107847107B (zh) | 医疗用观察装置与医疗用观察方法 | |
WO2019187502A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
US11729519B2 (en) | Video signal processing apparatus, video signal processing method, and image-capturing apparatus | |
WO2017082091A1 (ja) | 手術システム、手術用制御方法、およびプログラム | |
US11523065B2 (en) | Imaging device and gain setting method | |
JP7063321B2 (ja) | 撮像装置、映像信号処理装置および映像信号処理方法 | |
WO2018173605A1 (ja) | 手術用制御装置、制御方法、手術システム、およびプログラム | |
WO2021020132A1 (ja) | 内視鏡手術システム、画像処理装置、および画像処理方法 | |
WO2021140923A1 (ja) | 医療画像生成装置、医療画像生成方法および医療画像生成プログラム | |
US11676242B2 (en) | Image processing apparatus and image processing method | |
JP7140113B2 (ja) | 内視鏡 | |
WO2018179875A1 (ja) | 撮像装置とフォーカス制御方法およびフォーカス判定方法 | |
JP6344608B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び、手術システム | |
WO2022249572A1 (ja) | 画像処理装置、画像処理方法及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16864054 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16864054 Country of ref document: EP Kind code of ref document: A1 |