WO2020121373A1 - 画像記録装置 - Google Patents
画像記録装置 Download PDFInfo
- Publication number
- WO2020121373A1 WO2020121373A1 PCT/JP2018/045286 JP2018045286W WO2020121373A1 WO 2020121373 A1 WO2020121373 A1 WO 2020121373A1 JP 2018045286 W JP2018045286 W JP 2018045286W WO 2020121373 A1 WO2020121373 A1 WO 2020121373A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- recording
- unit
- color
- control unit
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
Definitions
- the present invention relates to an image recording apparatus suitable for recording an image acquired by the indocyanine green fluorescence contrast method.
- ICG fluorescence contrast method may be adopted in neurosurgery.
- the ICG fluorescence contrast method is a technique for observing in-vivo tissues such as blood vessels by capturing near infrared rays emitted by ICG binding to ⁇ 1 lipoprotein in blood with a medical camera.
- ICG playback function This is an important function that is used to support cerebral vascular bypass surgery and the like, and can confirm blood vessel running and blood flow by recording ICG observation points and playing back in loop.
- Patent Document 1 proposes a technique relating to color assignment that enables observation with high contrast.
- Patent Document 2 discloses a surgery support system having a mode for recording when the brightness of fluorescence emission exceeds a predetermined value.
- An object of the present invention is to provide an image recording apparatus capable of automating ICG image recording by determining an image according to a procedure.
- An image recording apparatus sets a setting unit that records setting information corresponding to at least one of a procedure and a scene during the procedure, and sets a color and a detection level to be detected from a fluorescence image based on the setting information.
- the color image determination unit to determine whether the input fluorescence image is available for identification of the examination, and the period of time determined to be available for identification by the color image determination unit.
- FIG. 1 is a block diagram showing an image recording apparatus according to a first embodiment of the present invention.
- FIG. 2 is an explanatory diagram showing the overall configuration of an endoscope system including the image recording device of FIG. 1. Explanatory drawing for demonstrating the setting information memorize
- FIG. 3 is a block diagram showing an example of a specific configuration of an image determination unit 30 in FIG. 1. A graph for explaining a period determined as an identification image, in which the horizontal axis represents time and the vertical axis represents color level. A graph for explaining a period determined as an identification image, in which the horizontal axis represents time and the vertical axis represents color level.
- Explanatory drawing for demonstrating the 2nd Embodiment of this invention. Explanatory drawing for demonstrating the 2nd Embodiment of this invention.
- Explanatory drawing for demonstrating the 2nd Embodiment of this invention. Explanatory drawing for demonstrating the 3rd Embodiment of this invention.
- FIG. 1 is a block diagram showing an image recording apparatus according to the first embodiment of the present invention.
- 2 is an explanatory diagram showing the overall configuration of an endoscope system including the image recording apparatus of FIG.
- the determination of recognizing a color is adopted in the determination of the ICG image, and the color detection accuracy is changed according to the procedure to improve the determination accuracy of the ICG image regardless of the procedure and ensure recording. It is possible to automate.
- the endoscope system 1 includes an endoscope 2, a camera control unit 10 mounted on a cart 11, a monitor 15, and an image recording device 20.
- the endoscope 2 has an insertion portion 3 that is inserted into the body, and the insertion portion 3 is formed of, for example, a hard rigid endoscope.
- the endoscope 2 has an operation portion 6 on the proximal end side of the insertion portion 3 and has a bending portion 4 and a distal end portion 5 on the distal end side.
- the operation section 6 is provided with a bending lever 7 for bending the bending section 4 of the insertion section 2.
- the operation unit 6 is also provided with a scope switch 8 used for various operations.
- a cable 9 extends from the operation unit 6, and the extended end of the cable 9 is connected to the camera control unit 10.
- the camera control unit 10 includes an image processing device (video processor) and a light source device, which are not shown, and is configured to control the imaging of the endoscope 2.
- the light source device of the camera control unit 10 can emit white light for normal observation in the normal observation mode and also emits excitation light (near infrared light) for ICG observation in the ICG observation mode (fluorescence observation mode). You can do it.
- the light from the light source device is configured to be transmitted by a light guide (not shown) inserted through the cable 9, the operation portion 6 and the insertion portion 3 and emitted from the tip portion 5 to the subject as illumination light.
- An image pickup unit (not shown) is arranged at the tip 5.
- the reflected light from the subject due to the illumination light is incident on the imaging unit provided at the tip portion 5.
- the image pickup unit is configured to have an image sensor such as a CCD or CMOS sensor.
- the image capturing section photoelectrically converts the reflected light (optical image of the subject) incident on the image capturing surface of the image sensor from the subject to obtain an image capturing signal.
- the image pickup unit is controlled by the camera control unit 10 so as not only to pick up a subject optical image by normal light, but also a subject optical image based on fluorescence generated from the ICG by the excitation light applied to the subject. Can also be imaged.
- the image pickup signal from the image pickup unit is supplied to the camera control unit 10 via the cable 9.
- the video processor in the camera control unit 10 receives the image pickup signal from the image pickup unit and performs a predetermined signal processing on the received image pickup signal to generate an observed image of the subject.
- the video processor may perform distortion correction, gamma correction, enhancement processing, white balance correction processing, or the like on the observed image.
- the camera control unit 10 outputs the observed image to the monitor 15 and the image recording device 20.
- the observation image in the normal observation mode may be referred to as a laparoscopic image
- the observation image in the ICG observation mode may be referred to as an ICG image or a fluorescence image.
- the observation image obtained in the normal observation mode is not limited to the laparoscopic image.
- the monitor 15 is composed of a liquid crystal panel or the like, and displays an observation image from the camera control unit 10.
- the image recording device 20 includes a control unit 21, an input signal detection unit 22, an image determination unit 30, a recording unit 24, an operation panel 25, a mode recording/setting unit 26, and a reproduced image generation unit 27. ..
- the control unit 21, the image determination unit 30, and the mode recording/setting unit 26 may be configured by a processor using a CPU, an FPGA, or the like, and may operate according to a program stored in a memory (not shown). However, some or all of the functions may be realized by an electronic circuit of hardware.
- the image recording device 20 includes one or more input terminals (not shown).
- the camera control unit 10 can also generate a laparoscopic image and an ICG image as an observation image based on an image pickup signal from one endoscope 2 and output the laparoscopic image and the ICG image to the image recording device 20. Further, the camera control unit 10 receives the image pickup signal from the endoscope (not shown) operating in the normal observation mode and the image pickup signal from the endoscope (not shown) operating in the ICG observation mode at the same time or at different timings, The laparoscopic image and the ICG image may be generated simultaneously or at different timings based on these image pickup signals and output to the image recording device 20.
- the image recording device 20 includes a plurality of input terminals for a laparoscopic image and an ICG image, and receives the laparoscopic image and the ICG image from the camera control unit 10 simultaneously or at different timings. It may be like this. Further, the image recording device 20 may be provided with one input terminal for both the laparoscopic image and the ICG image, and may receive the laparoscopic image or the ICG image from the camera control unit 10 while switching the images.
- the input signal detection unit 22 detects whether the input image is a laparoscopic image or an ICG image, and gives the laparoscopic image to the control unit 21 and gives the ICG image to the image determination unit 30. There is.
- the input signal detection unit 22 may detect the laparoscopic image and the ICG image by image analysis of the input observation image.
- the control unit 21 is configured to read setting information from the mode recording/setting unit 26 as a setting unit and operate according to the setting information.
- the control unit 21 can generate recording data based on an observation image input directly from the input signal detection unit 22 or via the image determination unit 30 and output the recording data to the recording unit 24.
- the recording unit 24 can be configured by a predetermined recording medium, such as a hard disk device or a memory medium.
- the recording unit 24 is controlled by the control unit 21 to record an image in a predetermined format.
- the reproduction image generation unit 27 reads the observation image recorded in the recording unit 24 and generates a reproduction image.
- the reproduced image generation unit 27 can output the generated reproduced image. Note that the example of FIG. 1 shows an example in which the reproduced image generation unit 27 is capable of outputting two systems, but may be capable of outputting one system or three or more systems.
- the reproduction image generation unit 27 can also output a control output for reproduction control of the reproduction image to be output.
- the reproduction image generation unit 27 can switch the output destination monitor by control output.
- the reproduced image generation unit 27 performs a plurality of operations such as switching of images to be output, switching of composite output by PIP (picture in picture)/POP (picture out picture), and synchronous playback of a plurality of recorded observation images. Have a mode.
- the control unit 21 not only controls recording according to a command based on the operation of the scope switch 8 of the endoscope 2 supplied from the camera control unit 10, but also according to the setting of the mode recording/setting unit 26. It is designed to control recording.
- the image determination unit 30 has an ICG portion having a characteristic as an ICG image from the input ICG image, that is, an ICG portion capable of identifying and diagnosing various tests according to the setting of the mode recording/setting unit 26. An image (hereinafter referred to as an identification image) is detected.
- the image determination unit 30 is configured to determine the identification image according to the setting information of the mode recording/setting unit 26. Then, the control unit 21 controls each unit according to the setting of the mode recording/setting unit 26 and controls the recording.
- FIG. 3 and 4 are explanatory diagrams for explaining the setting information stored in the mode recording/setting unit 26.
- FIG. 3 shows an example of settable items
- FIG. 4 shows an example of setting information stored in the mode recording/setting unit 26.
- the operation panel 25 receives an operation input by the user and outputs an operation signal to the mode recording/setting unit 26.
- the mode recording/setting unit 26 generates setting information based on the operation signal and stores the setting information in an internal and external storage medium (not shown).
- the mode recording/setting unit 26 On a display screen (not shown) of the operation panel 25, for example, information on setting items and setting values that can be set as setting information is displayed and registered in the mode recording/setting unit 26 by a touch operation on the panel by the user.
- the setting item and the setting value may be designated.
- the initial value of the setting value determined in advance by the system may be registered in the mode recording/setting unit 26.
- the setting information may be manually created by the user and registered in the mode recording/setting unit 26, and the setting information recorded in a recording medium (not shown) may be fetched via a predetermined interface.
- the mode recording/setting unit 26 may be registered. Further, the setting information may be read from a server on the network via a communication interface (not shown).
- the user can also give information about the current procedure to the control unit 21 by operating the operation panel 25.
- the control unit 21 may receive information about the current procedure from the camera control unit 10 or a central control system (not shown).
- the example in FIG. 3 shows that setting items (procedure), color, detection sensitivity, recording method, playback method, operation method, and auto live can be set.
- digestive surgery, obstetrics and gynecology, urological surgery,... can be designated as the setting value of the setting item (manipulation).
- green, blue, white,... can be specified as the color, low, medium, high,... Can be specified as the detection sensitivity
- manual, automatic, or automatic recording can be specified as the recording method. ..
- As the reproduction method normal reproduction, slow reproduction, loop reproduction, and fast-forward reproduction can be designated, and normally, PIP, POP, and 3 screens can be designated as reproduction outputs.
- a video processor, a foot switch, a keyboard,... Can be designated as an operation method, and OFF and ON can be designated as an auto live.
- the color and the detection sensitivity can be registered in the mode recording/setting unit 26 as the conditions for detecting the identification image as described later, and the color and the detection sensitivity of the setting items specify the detection condition.
- FIG. 4 shows an example of the setting information designated by the user and registered in the mode recording/setting unit 26 among the setting items and setting values in FIG.
- a manual recording method is designated for digestive surgery.
- the recording method of the setting item specifies the method of recording the identification image.
- the identification image is not detected, and thus the setting values of the color and the detection sensitivity are not set.
- the operation for recording indicates that the video processor is designated by the set value of the operation method.
- Auto is specified as the recording method for obstetrics and gynecology. This auto specifies that the recording is automatically ended after a predetermined time determined by the system from the user's instruction to start the recording. When this recording method is adopted, the identification image is not detected, so that the setting values of color and detection sensitivity are not set. Further, the operation for recording indicates that the foot switch is designated by the set value of the operation method.
- Automatic recording is specified as a recording method for urological surgery.
- the image determination unit 30 determines the identification image, and the start and end of recording are determined according to the determination result.
- the color and detection sensitivity are set in order to detect the identification image.
- white is used as the color and low is used as the detection sensitivity.
- the setting value of the operation method is not set.
- PIP picture-in-picture
- POP picture-out-picture
- the recording method, color, and detection sensitivity may be automatically registered in the mode recording/setting unit 26 by the control unit 21 by setting a procedure.
- FIG. 5 is a block diagram showing an example of a specific configuration of the image determination unit 30 in FIG.
- the ICG image is input to the image determination unit 30 from the input signal detection unit 22.
- the image determination unit 30 outputs the input ICG image as it is to the control unit 21, and also outputs it to the color image detection unit 31.
- the image determination unit 30 has a setting information storage unit 34. Information necessary for detecting the identification image is read from the mode recording/setting unit 26 and stored in the setting information storage unit 34.
- the setting information storage unit 34 stores at least information about color, detection sensitivity, and recording method.
- the judgment control unit 33 controls the color image detection unit 31 and the color image judgment unit 32.
- the determination control unit 33 is provided with information [A1] of a procedure or a medical scene based on, for example, the operation of the operation panel 25, refers to the setting information storage unit 34 based on this information, reads the setting information, and reads the read setting.
- Various operation parameters for controlling the color image detection unit 31 and the color image determination unit 32 are generated based on the information.
- the determination control unit 33 generates a color parameter (detection color parameter) used to detect the identification image based on the color setting information and outputs the color parameter to the color image detection unit 31. Further, the determination control unit 33 generates a determination level parameter (detection level parameter) for detecting the identification image based on the detection level setting information, and outputs the parameter to the color image determination unit 32.
- the color image detecting unit 31 detects the level of the specified color of the input ICG image with the detected color parameter specified, and outputs the level as numerical information to the color image determining unit 32. For example, the color image detection unit 31 may output a numerical value that represents the level of the designated color as a percentage.
- the color image detection unit 31 may be configured to output the average value of the detected color levels for the entire image of the input ICG image, and detect the organ to be inspected by image analysis, The average value of the level of the organ part may be output. Further, for example, by providing the color image detection unit 31 with the information of the range designation by the user received by the determination control unit 33, the color image detection unit 31 outputs the average value of the levels for the designated range. May be.
- the color image detection unit 31 may obtain the average value for a certain period as the average value, or may obtain the average value in a specific range. Further, the color image detection unit 31 may be configured to obtain and output not only the average value but also the peak value (real-time value).
- the color image determination unit 32 determines whether or not the input level exceeds a threshold based on the detection level designated by the detection level parameter. When the level of the designated color exceeds the threshold, the color image determination unit 32 determines that the input ICG image is an image that can be used for identification (identification image).
- the color image determination unit 32 When automatic recording is designated by the determination control unit 33, the color image determination unit 32 outputs a recording start instruction signal for starting recording at the timing determined as an identification image, and determines that the image is not an identification image. A recording stop instruction signal for stopping recording is output at a timing.
- 6 and 7 are graphs for explaining the period determined as an identification image, in which the horizontal axis represents time and the vertical axis represents color level. Even in the same procedure, different colors and detection levels may be set in the setting information storage unit 34 according to various medical scenes during the procedure. For example, depending on the medical scene, it may be necessary to confirm the blood flow of the entire organ, or only the blood flow of the reconstructed blood vessel.
- a period in which the green level exceeds the detection level of 20% is identified as an identification image.
- FIG. 6 shows an example of this case, and the curve shows the green level output from the color image detection unit 31.
- the range in which this level exceeds 20% is determined as the identification image, and the period of this identification image is set as the recording period.
- a period in which the green level exceeds the detection level of 60% is identified as an identification image.
- FIG. 7 shows an example of this case, and the curve shows the green level output from the color image detecting unit 31.
- the range in which this level exceeds 60% is determined as the identification image, and the period of this identification image is set as the recording period.
- the example in which the period of the identification image is used as the recording period has been described, but a hysteresis characteristic may be given to start and stop of recording.
- the recording is stopped when the color level is lower than the detection level by a predetermined level, and the recording is stopped when the color level is higher than the detection level by a predetermined level. It may be started.
- a pre-recording function is provided in which moving images for the entire period from the start of the inspection are recorded and a recorded image of the identification image is obtained from a predetermined period before the period of the identification image is determined using this recorded image. Good.
- a delay stop function may be provided to stop recording after a lapse of a predetermined period after the period of the identification image ends.
- FIG. 8 is a graph for explaining the period determined as an identification image, in which the horizontal axis represents time and the vertical axis represents color level.
- the user operates the operation panel 25 to specify the setting information in the mode recording/setting unit 26 and perform registration. Now, it is assumed that the mode recording/setting unit 26 holds the setting information shown in FIG. Predetermined setting information is read into the setting information storage unit 34 of the image determination unit 30 for determination of the identification image.
- the camera control unit 10 supplies illumination light to the endoscope 2 and controls the image pickup unit to output an image pickup signal.
- the camera control unit 10 performs predetermined signal processing on the image pickup signal, acquires a laparoscopic image as an observation image in the normal observation mode, and acquires an ICG image as an observation image in the ICG observation mode.
- the camera control unit 10 outputs the acquired observation image to the image recording device 20.
- the camera control unit 10 may output the laparoscopic image and the ICG image to the image recording device 20 at the same time.
- the input signal detection unit 22 of the image recording device 20 detects whether the input observation image is a laparoscopic image or an ICG image, outputs the laparoscopic image to the control unit 21, and the ICG image is an image. It outputs to the determination unit 30.
- the control unit 21 can generate recording data based on the laparoscopic image and output the recording data to the recording unit 24.
- the laparoscopic image is recorded in the recording unit 24 by the recording operation of the user.
- the input signal detection unit 22 When detecting the ICG image, the input signal detection unit 22 outputs the input ICG image to the image determination unit 30.
- the image determination unit 30 gives the input ICG image as it is to the control unit 21, and also gives it to the color image detection unit 31.
- the determination control unit 33 of the image determination unit 30 reads the setting information stored in the setting information storage unit 34, sets the detection color parameter in the color image detection unit 31, and sets the detection level parameter in the color image determination unit 32. Set.
- the determination control unit 33 reads out setting information corresponding to digestive surgery. As shown in FIG. 4, in the case of gastroenterological surgery, the recording method is manual, and the determination control unit 33 stops the operations of the color image detection unit 31 and the color image determination unit 32.
- a command based on the switch operation of the scope switch 8 of the endoscope 2 is also input to the control unit 21 from the camera control unit 10.
- the recording method is manual, the recording of the ICG image is controlled according to the operation of the scope switch 8.
- the recording of the ICG image in the recording unit 24 is started at the operation timing of the operator's scope switch 8, and the recording of the ICG image in the recording unit 24 is stopped at the operation timing of the operator's scope switch 8.
- obstetrics and gynecology should be designated as a procedure.
- the determination control unit 33 reads out the setting information corresponding to the obstetrics and gynecology department.
- FIG. 4 shows an example in which the recording method is set to auto in the case of obstetrics and gynecology. In this case, the determination control unit 33 stops the operations of the color image detection unit 31 and the color image determination unit 32.
- the control unit 21 When the operator performs a recording start operation with the scope switch 8, a recording start command based on this operation is given to the control unit 21.
- the control unit 21 starts recording the ICG image in the recording unit 24 by a command based on the recording start operation of the scope switch 8. Further, the control unit 21 starts a timer (not shown) from the start of this recording and measures a predetermined time. Then, the control unit 21 stops the recording of the ICG image in the recording unit 24 after the lapse of a predetermined time.
- the recording method is automatic, the recording of the ICG image is automatically ended after a predetermined period from the recording start operation by the operator.
- urological surgery shall be specified as a procedure.
- the determination control unit 33 reads out setting information corresponding to urological surgery. As shown in FIG. 4, in the case of urological surgery, the recording method is automatic recording, and the determination control unit 33 sets parameters in the color image detection unit 31 and the color image determination unit 32 based on the setting information.
- the image pickup signal obtained from the endoscope 2 in the ICG observation mode is given to the camera control unit 10, and the image pickup signal obtained from another endoscope (not shown) in the normal observation mode is given. Shall be given to.
- the camera control unit 10 generates a laparoscopic image and an ICG image.
- the laparoscopic image and the ICG image are supplied from the input signal detection unit 22 to the control unit 21.
- the control unit 21 records the laparoscopic image in the recording unit 24 according to the operation of the scope switch 8 of the endoscope 2, and automatically records the ICG image in accordance with FIG. To do.
- the color image detection unit 31 detects the white level of the input ICG image and outputs the detection result to the color image determination unit 32. Now, it is assumed that the level shown by the curve in FIG. 8 is obtained. In the color image determination unit 32, for example, 10% is set as the low detection level parameter. In this case, when the level of the curve in FIG. 8 exceeds 10%, the color image determination unit 32 outputs the recording start instruction signal to the control unit 21 on the assumption that the identification image is input. As a result, the control unit 21 starts recording the input ICG image (identification image) in the recording unit 24 regardless of whether or not the operator has performed an operation.
- the color image determination unit 32 outputs a recording stop instruction signal to the control unit 21, assuming that an image that cannot be used as an identification image is input when the level of the curve in FIG. 8 decreases to 10% or less.
- the control unit 21 stops the recording of the input ICG image (identification image) in the recording unit 24 regardless of the presence or absence of the operator's operation.
- the recording method is automatic recording, the ICG image in the period determined as the input period of the identification image is automatically recorded regardless of the operation of the operator.
- the color to be determined and its detection level are set according to the procedure, and the determination accuracy of the identification image can be significantly improved. This makes it possible to automatically record an identification image that enables reliable identification of an examination regardless of the procedure.
- the determination in which the color is recognized is adopted in the determination of the ICG image, and the determination accuracy can be improved. Further, the color and the detection level of the color are changed according to the procedure or the scene, the determination accuracy of the ICG image can be improved regardless of the procedure or the scene, and the identification image that enables the identification of the inspection is surely obtained. It is possible to record automatically.
- the identification image is recorded during the period when the input ICG image is determined to be the identification image (identification period).
- the timing before and after the predetermined period of the start timing of the identification period is described.
- the recording may be started from and the recording may be ended at a timing before and after a predetermined period of the end timing of the identification period.
- (Second embodiment) 9 to 11 are explanatory views for explaining the second embodiment of the present invention.
- the hardware configuration of this embodiment is the same as that of the first embodiment.
- the present embodiment shows a specific example during reproduction.
- FIG. 9 shows an example of setting information recorded in the mode recording/setting unit 26.
- the control unit 21 controls the operation mode of the reproduced image generating unit 27 based on the user operation and the setting information of the mode recording/setting unit 26.
- the reproduced image generation unit 27 generates a reproduced image according to the control of the control unit 21 and the setting information of the mode recording/setting unit 26.
- the control unit 21 outputs a command to the reproduction image generation unit 27 according to the reproduction start operation and the stop operation of the operator.
- the reproduction image generation unit 27 is controlled by the control unit 21 to read the observation image recorded in the recording unit 24 and generate a reproduction image.
- the operation mode may be designated by the control unit 21 according to the setting information of the mode recording/setting unit 26. For example, when loop reproduction is designated by the setting information, when a reproduction start instruction is given from the control unit 21, a reproduction image generated based on the observation image recorded in the recording unit 24 is repeatedly reproduced. To do.
- Fig. 9 shows an example in which a playback method is specified for each procedure.
- a normal screen output by normal reproduction is designated.
- the reproduction image generation unit 27 reads the observation image recorded in the recording unit 24 and reproduces it at the normal speed.
- the reproduced image from the reproduced image generator 27 is supplied to the monitor 15 or the like and displayed on the display screen.
- the reproduction image generation unit 27 reads the observation image recorded in the recording unit 24.
- the PIP screen is designated, and a reproduced image for displaying on the parent-child screen is generated.
- the reproduction image generation unit 27 generates a reproduction image in the PIP method in which the observation image is the parent image and the ICG image is the child image in the recording period designated by the operator, and this reproduction is performed. Play back images in slow motion.
- FIG. 10 shows an example of a reproduced image reproduced and displayed on the display screen 15a of the monitor 15 in this case.
- the display screen 15a includes a parent screen 41 and a child screen 42, a laparoscopic image 43a is displayed on the parent screen 41 as a parent image, and an ICG image 43b is displayed on the child screen 42 as a child image. Is displayed.
- the ICG image 43b is displayed in a display form in which the fluorescent portion 44 (hatched portion) that can be used for inspection identification is clearly visible.
- the fluorescent portion 44 changes with the passage of time, but the slow reproduction makes it easy to confirm.
- the reproduction image generation unit 27 reads the observation image recorded in the recording unit 24.
- three screens are designated, and a reproduced image for displaying on three screens is generated.
- the observation in the normal observation mode and the observation in the ICG observation mode are simultaneously performed, the laparoscopic image and the ICG image are simultaneously acquired, and are recorded in the recording unit 24.
- the reproduced image generation unit 27 is given the observation image currently being acquired from the control unit 21.
- the reproduction image generation unit 27 generates, for example, a reproduction image in a three-screen method in which the current observation image is the first image, the laparoscopic image is the second image, and the ICG image is the third image. To do.
- the laparoscopic image and the ICG image read out from the recording unit 24 are continuously loop-reproduced for a recording period based on the operation of the operator.
- the screen configuration and the target of loop reproduction can be changed as appropriate.
- FIG. 10 shows an example of a reproduced image reproduced and displayed on the display screen 15a of the monitor 15 in this case.
- the display screen 15a includes a first screen 45, a second screen 46, and a third screen 47.
- a current observation image 45a is displayed on the first screen 45
- a laparoscopic image 46a during a predetermined recording period is loop-reproduced and displayed on the second screen 46
- an ICG image 47a during a predetermined recording period is displayed on the third screen 47. Is displayed in loop playback.
- the operator can confirm the laparoscopic image 46a and the ICG image 47a during the recording period necessary for identifying the examination while confirming the current observation image, and the examination can be easily identified.
- the recorded observation image can be reproduced by an arbitrary reproduction method and screen configuration, and the identification of the inspection becomes easy. Also, since the playback method and screen configuration are automatically set according to the procedure based on the setting information, the optimal playback method and screen configuration according to the procedure can be performed without requiring complicated setting work. Can be confirmed.
- FIG. 12 is an explanatory diagram for explaining the third embodiment of the present invention.
- the hardware configuration of this embodiment is the same as that of the first embodiment.
- the present embodiment improves the operability for recording/reproducing an ICG image.
- FIG. 12 shows an example of the setting information recorded in the mode recording/setting unit 26.
- FIG. 12 is for controlling the operation by the scope switch 8 of the endoscope 2 operating in the ICG observation mode.
- FIG. 12 shows an example in which the scope switch 8 is composed of four switches SW1 to SW4.
- Each switch SW1 to SW4 of the scope switch 8 is assigned to a predetermined command in the normal observation mode.
- the camera control unit 10 is configured to supply the command assigned to the operated switch to the control unit 21 of the image recording apparatus 20.
- the camera control unit 10 When the switches SW1 to SW4 are operated in the ICG observation mode, the camera control unit 10 replaces the commands assigned to these switches with the information for identifying each of the switches SW1 to SW4, for example, the switch number, and outputs the image recording device. It is configured to supply to 20 control units 21. Further, when the endoscope 2 is driven in the ICG observation mode, the camera control unit 10 transmits information indicating the ICG observation mode to the control unit 21 of the image recording device 20.
- the camera control unit 10 operates in the normal observation mode when two endoscopes, that is, the endoscope operating in the normal observation mode and the endoscope operating in the ICG observation mode, are connected.
- the assigned command is transmitted to the image recording device 20 when the scope switch of the endoscope is operated, and the switch number is transmitted to the image recording device 20 when the scope switch of the endoscope operating in the ICG observation mode is operated.
- the ICG mode in FIG. 12 sets the operation during normal ICG observation by the endoscope 2, and the ICG playback mode sets the operation during playback of the recorded ICG image.
- the operations assigned to the switches SW1 to SW4 are different for each procedure.
- switches SW1 to SW4 are assigned zoom (Zoom), release (Release), manual recording (ICG Maunal REC), and playback mode start (ICG PB On), respectively.
- switches SW1 to SW4 are assigned zoom, release, automatic recording (ICG Auto REC), and playback mode start (ICG PB On), respectively.
- switches SW1 to SW4 are assigned automatic reproduction (ICG PB Auto), release, zoom and recording (REC), respectively.
- switches SW1 to SW4 In ICG playback mode, for example, for digestive surgery, switches SW1 to SW4 have A/B selection (A/B Sel), 1 second before (-1 sec), 1 second after (+1 sec), and playback mode, respectively. End (ICG PB Off) is assigned. Further, in the field of obstetrics and gynecology, switches SW1 to SW4 are assigned capture (Capture), rewind (REW), fast forward (FF), and playback mode end (ICG PB Off), respectively. With regard to urological surgery, switches SW1 to SW4 are not assigned (N/A).
- the user registers the setting information in the mode recording/setting unit 26 by operating the operation panel 25, for example.
- the endoscope 2 is operated in the ICG observation mode.
- the camera control unit 10 transmits information indicating that the ICG observation mode is in effect to the control unit 21 of the image recording device 20.
- the switch operation of the scope switch 8 is operated, the camera control unit 10 sends the switch number of each switch to the control unit 21.
- the control unit 21 receives the switch number information based on the operation of the scope switch 8 and uses the switch number to set the mode recording/setting unit 26.
- the operation specified by the setting information is performed by referring to the setting information.
- the control unit 21 also receives information about the current procedure from the camera control unit 10 or a central control system (not shown). Alternatively, the user operates the operation panel 25 to input information on the current procedure. Accordingly, the control unit 21 recognizes that the current procedure is, for example, gastroenterological surgery, obstetrics and gynecology, urological surgery, or the like.
- the control unit 21 determines that the manual recording operation has been performed, and gives the input observation image to the recording unit 24 for recording. To start.
- the control unit 21 determines that the manual recording end operation has been performed, and stops recording the observation image.
- ICG observation is performed in obstetrics and gynecology with the endoscope 2.
- the control unit 21 determines that automatic recording is designated.
- the information of the period during which the identification image is detected by the determination of the image determination unit 30 is supplied to the control unit 21, and the control unit 21 detects the identification image based on the information from the image determination unit 30.
- the ICG image is recorded in the recording unit 24 during the period. It is assumed that an observation image in the AB period is recorded, where the recording start time is A and the recording end time is B.
- the control unit 21 determines that the zoom operation is performed, and the observation image is displayed. Enlarge or reduce processing.
- the control unit 21 determines that the release operation has been performed, and records the still image of the input observation image in the recording unit 24.
- control unit 21 switches between the ICG mode and the ICG reproduction mode when the switch SW4 is operated in ICG observation in gastroenterological surgery and gynecology. That is, when the switch SW4 is operated in the ICG mode, the ICG reproduction mode is entered, and when the switch SW4 is operated in the ICG reproduction mode, the ICG mode is entered.
- the control unit 21 instructs the reproduction image generation unit 27 to reproduce the observation image recorded in the recording unit 24.
- the reproduced image generation unit 27 reads the observation image from the recording unit 24 to generate a reproduced image, and outputs the generated reproduced image to the monitor 15. In this way, the observation image can be reproduced and displayed on the display screen of the monitor 15.
- the control unit 21 alternately switches the start time A and the end time B for each operation. Further, when the switch SW2 is operated, the reproduction start position A or the reproduction end position B is moved forward by 1 second for each operation, and when the switch SW3 is operated, the reproduction is started by 1 second for each operation. The start position A or the reproduction end position B is moved backward.
- the number of seconds to move for each operation is not limited to 1 second, but can be set appropriately.
- switches SW2 and SW3 can only be moved within the recorded AB period. Further, for example, when recording is performed for a period longer than the AB period by the operation of the switch SW3 in the ICG mode by using a buffer (not shown), the switches SW2 and SW3 are set within this recording range. The operation is valid.
- the switch SW1 when the switch SW1 is operated during reproduction of the ICG moving image, an image of the operation timing is captured and recorded in the recording unit 24.
- the switch SW2 When the switch SW2 is operated, the reproduction position is rewound, and when the switch SW3 is operated, the reproduction position is fast forwarded.
- the control unit 21 determines that the release operation is performed when the switch SW2 is operated, and the zoom operation is performed when the switch SW3 is operated. judge. When the switch SW4 is operated, it is determined that the recording start and recording end operations have been performed.
- the switch SW1 in ICG mode in urological surgery has a function of automatically reproducing. For example, when the switch SW1 is continuously pressed for a predetermined time or more (hereinafter referred to as long press), the control unit 21 starts recording at that timing and stops recording after a predetermined time set in advance. Further, the control unit 21 automatically reproduces the recording period after the recording is stopped. If the switch SW1 is continuously pressed for a predetermined time or less during reproduction (hereinafter referred to as a short press), the reproduction position is returned to the beginning position of the recording, and if the switch SW1 is shortly pressed except during reproduction, the recording is stopped. Replay from the beginning position.
- long press when the switch SW1 is continuously pressed for a predetermined time or more (hereinafter referred to as long press), the control unit 21 starts recording at that timing and stops recording after a predetermined time set in advance. Further, the control unit 21 automatically reproduces the recording period after the recording is stopped. If the switch SW1 is continuously pressed for a predetermined time or less
- the setting information indicating the correspondence between each switch of the scope switch and the operation the information identifying each switch of the scope switch is transmitted instead of the command assigned to the scope switch, By referring to the setting information based on this information, the recording/reproducing operation of the ICG image is controlled. This makes it possible to easily record and reproduce the ICG image.
- the setting information can be set differently depending on the procedure and the scene, and desired operability can be obtained according to the procedure and the scene.
- it can be operated by a device arranged in the sterilization area such as a scope switch, and a drape operation in advance is unnecessary.
- a relatively large number of functions can be assigned with a small number of switches. It is possible. For example, by operating a scope switch, a keyboard, a foot switch, etc., it is possible to instruct recording and playback of an ICG image, and at the time of playback, stop, playback, pause, loop on/off by operating each of the above switches. It is also possible to execute a plurality of playback modes such as slow playback, reverse playback playback, fast reverse playback, and fast forward playback. Furthermore, it is also possible to automatically perform playback reproduction after the recording is stopped.
- the functions of the mode recording/setting unit 26, the image determination unit 30, and the control unit 21 in each of the above embodiments may be provided in the camera control unit 10 or the video processor in the camera control unit 10.
- the camera control unit 10 may output the command assigned to each switch of the scope switch 8 based on the setting information. Therefore, in this case, a general recording device can be adopted as the recording device.
- the portion described as “unit” may be configured by a dedicated circuit or a combination of a plurality of general-purpose circuits, and if necessary, a microcomputer that operates according to pre-programmed software.
- a processor such as a CPU, or a sequencer such as an FPGA may be combined.
- the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements within a range not departing from the gist of the invention at an implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in each of the above embodiments. For example, some of all the constituent elements shown in the embodiment may be deleted. Furthermore, the constituent elements of different embodiments may be combined appropriately.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Endoscopes (AREA)
Abstract
画像記録装置は、手技及び手技中のシーンの少なくとも一方に対応する設定情報を記録する設定部と、前記設定情報に基づいて蛍光画像から検出する色及び検出レベルを設定する判定制御部と、入力された前記蛍光画像から前記判定制御部が指定した色のレベルを検出する色画像検出部と、前記色画像検出部が検出した色のレベルを前記検出レベルに基づく閾値と比較することで、入力された前記蛍光画像が検査の同定に利用可能であるか否かを判定する色画像判定部と、前記色画像判定部によって同定に利用可能であると判定された期間の前記蛍光画像を記録する制御部とを具備する。
Description
本発明は、インドシアニングリーン蛍光造影法により取得した画像の記録に好適な画像記録装置に関する。
従来、脳神経外科手術において、ICG(インドシアニングリーン)蛍光造影法が採用されることがある。ICG蛍光造影法は、ICGが血中のα1リポプロテインと結合することで発する近赤外線を医療用カメラによって捉え、血管を初めとする生体内組織を観察する手技である。
脳神経外科手術に採用される手術用顕微鏡システムにおいては、ICGプレイバック機能を有するものがある。脳血管バイパス手術等の支援に用いられ、ICG観察箇所を録画してループ再生することで、血管走行と血流を確認することができる重要な機能である。
近年、内視鏡下外科手術においても、例えば肝臓や胃の手術において、センチネルリンパ節同定のため、ICG観察が行われるようになってきている。このような腹腔鏡下におけるICG蛍光ナビゲーション手術について、特許文献1においては、高コントラストでの観察を可能にする色割り当てに関する技術が提案されている。
また、特許文献2においては、蛍光発光の輝度が所定の値以上になった場合に記録するモードを備えた手術支援システムが開示されている。
しかしながら、内視鏡を用いたICG観察は、各種手技に利用されるようになってきており、手技毎にICG画像の特性が異なることから、特許文献2の技術を用いても記録すべきICG画像の判定は困難である。このため、ICG画像の記録を確実に自動化することはできないという問題がっあた。
本発明は、手技に応じた画像の判定を行うことで、ICG画像の記録を自動化することができる画像記録装置を提供することを目的とする。
本発明の一態様による画像記録装置は、手技及び手技中のシーンの少なくとも一方に対応する設定情報を記録する設定部と、前記設定情報に基づいて蛍光画像から検出する色及び検出レベルを設定する判定制御部と、入力された前記蛍光画像から前記判定制御部が指定した色のレベルを検出する色画像検出部と、前記色画像検出部が検出した色のレベルを前記検出レベルに基づく閾値と比較することで、入力された前記蛍光画像が検査の同定に利用可能であるか否かを判定する色画像判定部と、前記色画像判定部によって同定に利用可能であると判定された期間の前記蛍光画像を記録する制御部とを具備する。
以下、図面を参照して本発明の実施形態について詳細に説明する。
(第1の実施形態)
図1は本発明の第1実施の形態に係る画像記録装置を示すブロック図である。また、図2は図1の画像記録装置を含む内視鏡システムの全体構成を示す説明図である。本実施形態はICG画像の判定に際して色を認識した判定を採用すると共に、手技に応じて色の検出精度を変更することにより、手技に拘わらずICG画像の判定精度を向上させ、記録を確実に自動化することを可能にするものである。
図1は本発明の第1実施の形態に係る画像記録装置を示すブロック図である。また、図2は図1の画像記録装置を含む内視鏡システムの全体構成を示す説明図である。本実施形態はICG画像の判定に際して色を認識した判定を採用すると共に、手技に応じて色の検出精度を変更することにより、手技に拘わらずICG画像の判定精度を向上させ、記録を確実に自動化することを可能にするものである。
まず、図2を用いて内視鏡システム1の全体構成を説明する。図2に示すように、内視鏡システム1は、内視鏡2と、カート11上に載置されたカメラコントロールユニット10、モニタ15及び画像記録装置20とにより構成されている。内視鏡2は、体内に挿入される挿入部3を有し、例えば挿入部3が硬性の硬性内視鏡により構成されている。内視鏡2は、挿入部3の基端側に操作部6を有し、先端側に湾曲部4及び先端部5を有する。操作部6には、挿入部2の湾曲部4を湾曲させるための湾曲レバー7が設けられている。また、操作部6には、各種操作に用いるスコープスイッチ8も設けられている。
操作部6からはケーブル9が延出されており、ケーブル9の延出端部はカメラコントロールユニット10に接続されている。カメラコントロールユニット10は、図示しない画像処理装置(ビデオプロセッサ)及び光源装置を備えており、内視鏡2の撮像を制御するように構成されている。
カメラコントロールユニット10の光源装置は、通常観察モードにおいて通常観察用の白色光を発光することができると共に、ICG観察モード(蛍光観察モード)においてICG観察用の励起光(近赤外光)を発光することができるようになっている。光源装置からの光は、ケーブル9、操作部6及び挿入部3内を挿通された図示しないライトガイドにより伝送されて先端部5から照明光として被写体に照射されるように構成されている。
先端部5には、図示しない撮像部が配設されている。照明光による被写体からの反射光は、先端部5に設けられた撮像部に入射する。撮像部は、CCD又はCMOSセンサ等のイメージセンサを有して構成されている。撮像部は、イメージセンサの撮像面に入射された被写体からの反射光(被写体光学像)を光電変換して撮像信号を得る。本実施形態においては、撮像部は、カメラコントロールユニット10に制御されて、通常光による被写体光学像を撮像するだけでなく、被写体に照射された励起光によってICGから発生する蛍光に基づく被写体光学像を撮像することもできるようになっている。
撮像部からの撮像信号は、ケーブル9を介してカメラコントロールユニット10に供給される。カメラコントロールユニット10内のビデオプロセッサは、撮像部からの撮像信号を受信し、受信した撮像信号に対して所定の信号処理を施すことにより被写体の観察画像を生成する。例えば、ビデオプロセッサは、観察画像に歪補正、ガンマ補正、強調処理やホワイトバランス補正処理等を施してもよい。カメラコントロールユニット10は観察画像をモニタ15及び画像記録装置20に出力する。なお、以下の説明では、通常観察モードにおける観察画像を腹腔鏡画像といい、ICG観察モードにおける観察画像をICG画像又は蛍光画像ということもある。なお、通常観察モードによって得られる観察画像としては腹腔鏡画像に限らない。
モニタ15は、液晶パネル等によって構成されており、カメラコントロールユニット10からの観察画像を表示するようになっている。
図1において、画像記録装置20は、制御部21、入力信号検知部22、画像判定部30、記録部24、操作パネル25、モード記録・設定部26及び再生画像生成部27により構成されている。制御部21、画像判定部30及びモード記録・設定部26は、CPUやFPGA等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
画像記録装置20は、1つ又は複数の図示しない入力端子を備えている。カメラコントロールユニット10は、1台の内視鏡2からの撮像信号に基づいて観察画像として腹腔鏡画像及びICG画像を生成して画像記録装置20に出力することもできる。また、カメラコントロールユニット10は、通常観察モードで動作する図示しない内視鏡からの撮像信号と、ICG観察モードで動作する図示しない内視鏡からの撮像信号とを同時に又は異なるタイミングで受信し、これらの撮像信号に基づいて腹腔鏡画像及びICG画像を同時に又は異なるタイミングで生成して画像記録装置20に出力するようになっていてもよい。
画像記録装置20は、腹腔鏡画像用の入力端子とICG画像用の入力端子との複数の入力端子を備えて、カメラコントロールユニット10からの腹腔鏡画像及びICG画像を同時に又は異なるタイミングで受信するようになっていてもよい。また、画像記録装置20は、腹腔鏡画像とICG画像兼用の1つの入力端子を備えて、カメラコントロールユニット10から腹腔鏡画像又はICG画像を切換えながら受信するようになっていてもよい。
入力信号検知部22は、入力画像が腹腔鏡画像であるかICG画像であるかを検知し、腹腔鏡画像については制御部21に与え、ICG画像については画像判定部30に与えるようになっている。なお、入力信号検知部22は、入力された観察画像の画像解析によって、腹腔鏡画像とICG画像とを検知してもよい。
制御部21は、設定部としてのモード記録・設定部26から設定情報を読み出し、設定情報に従って動作するように構成されている。制御部21は、入力信号検知部22から直接又は画像判定部30を介して入力された観察画像に基づく記録データを生成して記録部24に出力することができるようになっている。記録部24は、所定の記録媒体、例えば、ハードディスク装置やメモリ媒体等により構成することができる。記録部24は、制御部21に記録が制御されて、画像を所定のフォーマットで記録するようになっている。
再生画像生成部27は、記録部24に記録された観察画像を読み出して再生画像を生成する。再生画像生成部27は、生成した再生画像を出力することができるようになっている。なお、図1の例では再生画像生成部27は2系統の出力が可能な例を示しているが、1系統の出力又は3系統以上の出力が可能であってもよい。また、再生画像生成部27は、出力する再生画像の再生制御のための制御出力も出力することができるようになっている。
例えば、再生画像生成部27は、制御出力により、出力先のモニタの切換えも可能である。なお、再生画像生成部27は、出力する画像の切換え、PIP(ピクチャインピクチャ)/POP(ピクチャアウトピクチャ)による合成出力の切換え、記録された複数の観察画像に対する同期再生できるなど、複数の動作モードを有する。
本実施形態においては、制御部21は、カメラコントロールユニット10から供給される内視鏡2のスコープスイッチ8の操作に基づくコマンドに従って記録を制御するだけでなく、モード記録・設定部26の設定に従って記録を制御するようになっている。また、画像判定部30は、モード記録・設定部26の設定に従って、入力されたICG画像からICG画像としての特徴を有する部分、即ち、各種検査の同定および診断を可能にする画像部分を有するICG画像(以下、同定画像という)を検出するようになっている。この場合において、画像判定部30は、モード記録・設定部26の設定情報に従って、同定画像の判定を行うようになっている。そして、制御部21は、モード記録・設定部26の設定に応じて各部を制御すると共に、記録を制御するようになっている。
図3及び図4はモード記録・設定部26に記憶される設定情報を説明するための説明図である。図3は設定可能な項目の一例を示しており、図4はモード記録・設定部26に記憶されている設定情報の一例を示している。
操作パネル25は、ユーザによる操作入力を受け付けて、操作信号をモード記録・設定部26に出力するようになっている。モード記録・設定部26は、操作信号に基づいて、設定情報を生成して図示しない内部および外部の記憶媒体に記憶させる。
操作パネル25の図示しない表示画面上に、例えば、設定情報として設定可能な設定項目及びその設定値の情報を表示させて、ユーザのパネルへのタッチ操作によって、モード記録・設定部26に登録する設定項目及び設定値を指定するようになっていてもよい。また、所定の設定項目については、予めシステムにおいて決定した設定値の初期値がモード記録・設定部26に登録されるようになっていてもよい。また、設定情報は、ユーザが手入力によって作成してモード記録・設定部26に登録するようになっていてもよく、図示しない記録媒体に記録された設定情報を所定のインタフェースを介して取り込んでモード記録・設定部26に登録するようになっていてもよい。また、図示しない通信インタフェースを介してネットワーク上のサーバから設定情報を読み込むようになっていてもよい。
ユーザは、操作パネル25を操作することで、現在の手技についての情報を制御部21に与えることも可能である。なお、制御部21は、カメラコントロールユニット10や図示しない集中制御システムから現在の手技についての情報を受信するようになっていてもよい。
図3の例では、設定項目として、設定(手技)、色、検知感度、録画方法、再生方法、操作方法及びオートライブが設定可能であることを示している。図3の例では、設定(手技)の設定項目の設定値として、消化器外科、産婦人科、泌尿器外科、…が指定可能である。また、色として、緑色、青色、白色、…が指定可能であり、検知感度として、低、中、高、…が指定可能であり、録画方法として、マニュアル、オート、自動記録が指定可能である。また、再生方法としては、通常再生、スロー再生、ループ再生、早送り再生が指定可能であり、再生出力として通常、PIP、POP及び3画面が指定可能である。また、操作方法としてビデオプロセッサ、フットスイッチ、キーボード、…が指定可能であり、オートライブとしてOFF及びONが指定可能である。
本実施形態では、同定画像を検知する場合の条件として後述するように色及び検知感度をモード記録・設定部26に登録可能であり、設定項目の色及び検知感度は、この検知条件を特定するためのものである
図4は図3の設定項目及び設定値のうちユーザによって指定されてモード記録・設定部26に登録された設定情報の一例を示している。図4の例では、消化器外科については、録画方法がマニュアルが指定されている。設定項目の録画方法は、同定画像を録画する方法を指定するものである。同定画像の録画方法がマニュアルの場合には、同定画像の検知は行われないので、色及び検知感度の設定値は未設定である。また、録画のための操作は、操作方法の設定値によりビデオプロセッサが指定されることを示している。
図4は図3の設定項目及び設定値のうちユーザによって指定されてモード記録・設定部26に登録された設定情報の一例を示している。図4の例では、消化器外科については、録画方法がマニュアルが指定されている。設定項目の録画方法は、同定画像を録画する方法を指定するものである。同定画像の録画方法がマニュアルの場合には、同定画像の検知は行われないので、色及び検知感度の設定値は未設定である。また、録画のための操作は、操作方法の設定値によりビデオプロセッサが指定されることを示している。
産婦人科については、録画方法としてオートが指定されている。このオートは、ユーザによる録画開始の指示からシステムにおいて決められた所定時間後に自動的に録画を終了することを指定するものである。この録画方法を採用する場合には、同定画像の検知は行われないので、色及び検知感度の設定値は未設定である。また、録画のための操作は、操作方法の設定値によりフットスイッチが指定されることを示している。
泌尿器科外科については、録画方法として自動記録が指定されている。この自動記録は、画像判定部30によって同定画像の判定を行い、この判定結果に従って録画の開始及び終了を決定するものである。この録画方法を採用する場合には、同定画像の検知のために、色及び検知感度の設定が行われる。図4の例では色として白が採用され、検知感度としては低が採用されることを示している。また、録画は自動化されるので、操作方法の設定値は未設定となる。
なお、例えば、消化器外科において、自動記録を採用する場合には、同定画像の検知のために、色については例えば緑色が指定され、検知感度としては例えば中が指定される。また、例えば、産婦人科において、自動記録を採用する場合には、同定画像の検知のために、色については例えば白色が指定され、検知感度としては例えば高が指定される。
なお、記録された観察画像の再生方法として、消化器外科については通常再生が指定され、産婦人科については、PIP(ピクチャインピクチャ)が採用され、泌尿器外科についてはPOP(ピクチャアウトピクチャ)が採用されることが一例として示してある。
なお、録画方法、色及び検知感度については、手技を設定することで、制御部21によりモード記録・設定部26に自動的に登録されるようになっていてもよい。
図5は図1中の画像判定部30の具体的な構成の一例を示すブロック図である。
画像判定部30には、入力信号検知部22からICG画像が入力される。画像判定部30は、入力されたICG画像をそのまま制御部21に出力すると共に、色画像検出部31にも出力する。画像判定部30は、設定情報記憶部34を有している。設定情報記憶部34には、同定画像を検出するために必要な情報がモード記録・設定部26から読み出されて記憶されるようになっている。例えば、設定情報記憶部34には、少なくとも、色、検知感度及び録画方法に関する情報が記憶される。
判定制御部33は、色画像検出部31及び色画像判定部32を制御するものである。判定制御部33は、例えば操作パネル25の操作に基づいて手技や医療シーンの情報[A1]が与えられ、この情報に基づいて設定情報記憶部34を参照して設定情報を読み出し、読み出した設定情報に基づいて色画像検出部31及び色画像判定部32を制御するための各種動作パラメータを生成する。判定制御部33は色の設定情報に基づいて、同定画像の検出に用いる色のパラメータ(検出色パラメータ)を生成して色画像検出部31に出力する。また、判定制御部33は検出レベル設定情報に基づいて、同定画像の検出の判定レベルのパラメータ(検出レベルパラメータ)を生成して色画像判定部32に出力する。
色画像検出部31は、検出色パラメータが指定されて、入力されたICG画像の指定された色についてのレベルを検出して、数値情報として色画像判定部32に出力する。例えば、色画像検出部31は、指定された色のレベルをパーセントによって表した数値を出力するようになっていてもよい。なお、色画像検出部31は、入力されたICG画像の画像全体についての検出色のレベルの平均値を出力するようになっていてもよく、また、検査対象の臓器を画像解析によって検出し、当該臓器部分のレベルの平均値を出力するようになっていてもよい。また、例えば、判定制御部33が受け付けたユーザによる範囲指定の情報を色画像検出部31に与えることで、色画像検出部31は指定された範囲についてのレベルの平均値を出力するようになっていてもよい。
なお、色画像検出部31は、上記平均値としては一定期間の平均値を求めてもよく、特定範囲の平均値をもとめてもよい。また、色画像検出部31は、平均値だけでなく、ピーク値(リアルタイム値)を求めて出力するようになっていてもよい。
なお、色画像検出部31は、上記平均値としては一定期間の平均値を求めてもよく、特定範囲の平均値をもとめてもよい。また、色画像検出部31は、平均値だけでなく、ピーク値(リアルタイム値)を求めて出力するようになっていてもよい。
色画像判定部32は、入力されたレベルが、検出レベルパラメータによって指定された検出レベルに基づく閾値を超えたか否かを判定する。色画像判定部32は、指定された色のレベルが閾値を超えた場合には、入力されたICG画像は同定に利用可能な画像(同定画像)であるものと判定する。
色画像判定部32は、判定制御部33によって自動記録が指定されている場合には、同定画像と判定したタイミングにおいて記録を開始するための記録開始指示信号を出力し、同定画像でないと判定したタイミングにおいて記録を停止するための記録停止指示信号を出力するようになっている。
図6及び図7は横軸に時間をとり縦軸に色のレベルをとって、同定画像と判定される期間を説明するためのグラフである。設定情報記憶部34には、同一手技であっても、当該手技中の各種医療シーンに応じて、異なる色や検出レベルが設定されるようになっていてもよい。例えば、医療シーンによっては、一臓器全体の血流を確認する必要がある場合もあり、また、再建した血管の血流のみを確認すればよい場合もある。
例えば、消化器外科において、1つの臓器全体の血流を確認する場合には、色を緑色として検出レベルを20%とすることで、緑色のレベルが検出レベル20%を超える期間を同定画像と判定してもよい。図6はこの場合の例を示しており、曲線は色画像検出部31から出力される緑色のレベルを示している。このレベルが20%を超える範囲が同定画像として判定され、この同定画像の期間が記録期間として設定される。
また、例えば、消化器外科において、1つの再建した血管を確認する場合には、色を緑色として検出レベルを60%とすることで、緑色のレベルが検出レベル60%を超える期間を同定画像と判定してもよい。図7はこの場合の例を示しており、曲線は色画像検出部31から出力される緑色のレベルを示している。このレベルが60%を超える範囲が同定画像として判定され、この同定画像の期間が記録期間として設定される。
また、同定画像の期間を記録期間とする例を説明したが、記録の開始及び停止にヒステリシス特性を持たせてもよい。例えば、一旦記録を開始すると検出レベルよりも所定レベルだけ色のレベルが低下した場合に記録を停止し、一旦記録を停止すると検出レベルよりも所定レベルだけ色のレベルが高くなった場合に記録を開始するようにしてもよい。また、検査の開始からの全期間の動画像を記録しておき、この録画画像を利用して同定画像の期間と判定された所定期間前から同定画像の記録画像を得るプリ録画機能を設けてもよい。また、同定画像の期間が終了した後、所定期間経過後に記録を停止させる遅延停止機能を設けてもよい。
また、同定画像の期間を記録期間とする例を説明したが、記録の開始及び停止にヒステリシス特性を持たせてもよい。例えば、一旦記録を開始すると検出レベルよりも所定レベルだけ色のレベルが低下した場合に記録を停止し、一旦記録を停止すると検出レベルよりも所定レベルだけ色のレベルが高くなった場合に記録を開始するようにしてもよい。また、検査の開始からの全期間の動画像を記録しておき、この録画画像を利用して同定画像の期間と判定された所定期間前から同定画像の記録画像を得るプリ録画機能を設けてもよい。また、同定画像の期間が終了した後、所定期間経過後に記録を停止させる遅延停止機能を設けてもよい。
次に、このように構成された実施形態の動作について図8を参照して説明する。図8は横軸に時間をとり縦軸に色のレベルをとって、同定画像と判定される期間を説明するためのグラフである。
ユーザは、操作パネル25を操作して、モード記録・設定部26に対して設定情報を指定して登録を行う。いま、モード記録・設定部26に、図4に示す設定情報が保持されているものとする。画像判定部30の設定情報記憶部34には、同定画像の判定のために、所定の設定情報が読み込まれる。
カメラコントロールユニット10は内視鏡2に照明光を供給すると共に、撮像部を制御して撮像信号を出力する。カメラコントロールユニット10は、撮像信号に対して所定の信号処理を施して、通常観察モード時に腹腔鏡画像を観察画像として取得し、ICG観察モード時にICG画像を観察画像として取得する。カメラコントロールユニット10は、取得した観察画像を画像記録装置20に出力する。なお、カメラコントロールユニット10は、腹腔鏡画像とICG画像とを同時に画像記録装置20に出力する場合もある。
画像記録装置20の入力信号検知部22は、入力された観察画像が腹腔鏡画像であるかICG画像であるかを検知し、腹腔鏡画像についは制御部21に出力し、ICG画像については画像判定部30に出力する。制御部21は、腹腔鏡画像が入力されると、この腹腔鏡画像に基づく記録データを生成して記録部24に出力することができる。こうして、ユーザの記録操作により、記録部24に腹腔鏡画像が記録される。
ここで、ICG観察モードによる観察が行われて、ICG画像が画像記録装置20に入力されるものとする。入力信号検知部22は、ICG画像を検知すると、入力されたICG画像を画像判定部30に出力する。画像判定部30は入力されたICG画像をそのまま制御部21に与えると共に、色画像検出部31にも与える。画像判定部30の判定制御部33は、設定情報記憶部34に記憶されている設定情報を読み出して、検出色パラメータを色画像検出部31に設定し、検出レベルパラメータを色画像判定部32に設定する。
いま、手技として消化器外科が指定されるものとする。判定制御部33は、消化器外科に対応する設定情報を読み出す。図4に示すように、消化器外科の場合には録画方法はマニュアルであり、判定制御部33は、色画像検出部31及び色画像判定部32の動作を停止させる。
制御部21には、カメラコントロールユニット10から内視鏡2のスコープスイッチ8のスイッチ操作に基づくコマンドも入力されている。録画方法がマニュアルの場合には、スコープスイッチ8の操作に応じてICG画像の記録が制御される。こうして、術者のスコープスイッチ8の操作タイミングで、ICG画像の記録部24への記録が開始され、術者のスコープスイッチ8の操作タイミングで、ICG画像の記録部24への記録が停止する。
また、手技として産婦人科が指定されるものとする。判定制御部33は、産婦人科に対応する設定情報を読み出す。図4では一例として、産婦人科の場合には録画方法をオートに設定する例を示している。この場合には、判定制御部33は、色画像検出部31及び色画像判定部32の動作を停止させる。
術者がスコープスイッチ8によって録画開始操作を行うと、この操作に基づく録画開始のコマンドが制御部21に与えられる。この場合には、制御部21は、スコープスイッチ8の録画開始操作に基づくコマンドによってICG画像の記録部24への記録を開始する。また、制御部21は、この記録の開始から図示しないタイマを起動して所定時間を計測する。そして、制御部21は、所定時間が経過すると、ICG画像の記録部24への記録を停止する。
こうして、録画方法がオートの場合には、術者の記録開始操作から所定期間後にICG画像の記録は自動的に終了する。
こうして、録画方法がオートの場合には、術者の記録開始操作から所定期間後にICG画像の記録は自動的に終了する。
また、手技として泌尿器外科が指定されるものとする。判定制御部33は、泌尿器外科に対応する設定情報を読み出す。図4に示すように、泌尿器外科の場合には録画方法は自動記録であり、判定制御部33は、色画像検出部31及び色画像判定部32に、設定情報に基づくパラメータを設定する。
いま、例えば、内視鏡2からICG観察モードにおいて取得された撮像信号がカメラコントロールユニット10に与えられると共に、図示しない他の内視鏡から通常観察モードにおいて取得された撮像信号がカメラコントロールユニット10に与えられるものとする。
この場合には、カメラコントロールユニット10は、腹腔鏡画像及びICG画像を生成する。腹腔鏡画像及びICG画像は、入力信号検知部22から制御部21に供給される。この場合には、例えば、制御部21は、腹腔鏡画像については内視鏡2のスコープスイッチ8の操作に応じて記録部24へ記録を行い、ICG画像については、図4に従って、自動記録を行う。
色画像検出部31は、入力されたICG画像について白のレベルを検出し、検出結果を色画像判定部32に出力する。いま、図8の曲線に示すレベルが得られるものとする。色画像判定部32には、検出レベルパラメータの低として例えば10%が設定されているものとする。この場合には、色画像判定部32は、図8の曲線のレベルが10%を超えると同定画像が入力されているものとして、記録開始指示信号を制御部21に出力する。これにより、制御部21は、術者の操作の有無に拘わらず、入力されたICG画像(同定画像)の記録部24への記録を開始する。
また、色画像判定部32は、図8の曲線のレベルが10%以下に低下すると同定画像として用いることができない画像が入力されているものとして、記録停止指示信号を制御部21に出力する。これにより、制御部21は、術者の操作の有無に拘わらず、入力されたICG画像(同定画像)の記録部24への記録を停止する。こうして、記録方法が自動記録の場合には、術者の操作に拘わらず、同定画像の入力期間と判定された期間のICG画像が自動的に記録される。
同定画像の判定に際して、判定すべき色とその検出レベルを手技に応じて設定しており、同定画像の判定精度を著しく向上させることができる。これにより、手技に拘わらず、確実に検査の同定を可能にする同定画像を自動記録することが可能となる。
このように本実施形態においては、ICG画像の判定に際して色を認識した判定を採用しており、判定精度を向上させることができる。更に、手技やシーンに応じて色及び色の検出レベルを変更しており、手技やシーンに拘わらずICG画像の判定精度を向上させることができ、検査の同定を可能にする同定画像を確実に自動記録することが可能である。
なお、録画方法の自動記録では、録画の開始及び終了を同定画像の判定によって自動化する例を示したが、録画の開始及び終了の少なくとも一方を自動化するようになっていてもよい。
また、本実施の形態においては、入力されたICG画像が同定画像と判定された期間(同定期間)において同定画像の録画を行うものと説明したが、同定期間の開始タイミングの所定期間前後のタイミングから記録を開始し、同定期間の終了タイミングの所定期間前後のタイミングに記録を終了するようにしてもよい。
(第2の実施形態)
図9から図11は本発明の第2の実施形態を説明するための説明図である。本実施の形態のハードウェア構成は第1の実施形態と同様である。本実施形態は再生時の具体例を示すものである。
図9から図11は本発明の第2の実施形態を説明するための説明図である。本実施の形態のハードウェア構成は第1の実施形態と同様である。本実施形態は再生時の具体例を示すものである。
図9はモード記録・設定部26に記録される設定情報の一例を示している。制御部21は、ユーザ操作及びモード記録・設定部26の設定情報に基づいて再生画像生成部27の動作モードを制御する。再生画像生成部27は、制御部21による制御及びモード記録・設定部26の設定情報に従って、再生画像の生成を行う。例えば、制御部21は、術者の再生開始操作、停止操作に従ってコマンドを再生画像生成部27に出力する。この場合には、再生画像生成部27は、制御部21に制御されて、記録部24に記録されている観察画像を読み出して再生画像を生成する。
また、再生画像生成部27は、制御部21によって、モード記録・設定部26の設定情報に従った動作モードが指定されることもある。例えば、設定情報によってループ再生が指定されている場合には、制御部21から再生の開始の指示が与えられると、記録部24に記録されている観察画像に基づいて生成した再生画像を繰り返し再生する。
図9では手技毎に再生方法が指定された例を示している。図9の例では、消化器外科については、通常再生による通常の画面出力が指定される。この指定に従った場合、再生画像生成部27は、記録部24に記録されている観察画像を読み出して通常速度で再生を行う。再生画像生成部27からの再生画像はモニタ15等に供給されて表示画面に表示される。
また、図9の例では、産婦人科については、スロー再生によるPIP画面出力が指定される。この指定に従った場合、再生画像生成部27は、記録部24に記録されている観察画像を読み出す。この場合には、PIP画面が指定されており、親子画面での表示を行うための再生画像が生成される。例えば、通常観察モード及びICG観察モードによる観察が同時に行われて腹腔鏡画像及びICG画像が同時に取得されて、記録部24に記録されているものとする。この場合には、再生画像生成部27は、術者によって指定された録画期間について、例えば、観察画像を親画像とし、ICG画像を子画像とするPIP方式での再生画像を生成し、この再生画像をスロー再生する。
図10はこの場合においてモニタ15の表示画面15aに再生表示される再生画像の一例を示している。図10の例では、表示画面15aは親画面41及び子画面42により構成されており、親画面41には親画像として腹腔鏡画像43aが表示され、子画面42には子画像としてICG画像43bが表示されている。ICG画像43bは、検査の同定に利用できる蛍光部分44(斜線部)が鮮明に視認できる表示形態で表示されている。この蛍光部分44は、時間の経過と共に変化するが、スロー再生することによって、その確認が容易となっている。
図9の例では、産婦人科については、ループ再生による3画面出力が指定される。この指定に従った場合、再生画像生成部27は、記録部24に記録されている観察画像を読み出す。この場合には、3画面が指定されており、3画面での表示を行うための再生画像が生成される。例えば、通常観察モード及びICG観察モードによる観察が同時に行われて腹腔鏡画像及びICG画像が同時に取得されて、記録部24に記録されているものとする。また、再生画像生成部27には、制御部21から現在取得されつつある観察画像が与えられているものとする。
この場合には、再生画像生成部27は、例えば、現在の観察画像を第1画像とし、腹腔鏡画像を第2画像とし、ICG画像を第3画像とする3画面方式での再生画像を生成する。なお、記録部24から読み出して生成される腹腔鏡画像及びICG画像については、術者の操作に基づく録画期間だけ連続的にループ再生する。この画面構成及びループ再生の対象については適宜変更可能である。
図10はこの場合においてモニタ15の表示画面15aに再生表示される再生画像の一例を示している。図10の例では、表示画面15aは第1画面45、第2画面46及び第3画面47により構成されている。第1画面45には現在の観察画像45aが表示され、第2画面46には所定の録画期間における腹腔鏡画像46aがループ再生表示され、第3画面47には所定の録画期間におけるICG画像47aがループ再生表示されている。これにより、術者は、現在の観察画像を確認しながら、検査の同定に必要な録画期間における腹腔鏡画像46a及びICG画像47aを確認することができ、検査の同定が容易となる。
このように本実施形態においては、記録した観察画像を任意の再生方法及び画面構成で再生することができ、検査の同定が容易となる。また、再生方法及び画面構成については、設定情報に基づいて手技に応じて自動的に設定されるので、煩雑な設定作業を必要とすることなく、手技に応じた最適な再生方法及び画面構成での確認が可能である。
(第3の実施形態)
図12は本発明の第3の実施形態を説明するための説明図である。本実施の形態のハードウェア構成は第1の実施形態と同様である。本実施形態はICG画像の記録再生のための操作性を向上させるものである。
図12は本発明の第3の実施形態を説明するための説明図である。本実施の形態のハードウェア構成は第1の実施形態と同様である。本実施形態はICG画像の記録再生のための操作性を向上させるものである。
図12はモード記録・設定部26に記録されている設定情報の一例を示している。図12はICG観察モードで動作中の内視鏡2のスコープスイッチ8による操作を制御するためのものである。図12はスコープスイッチ8が4つのスイッチSW1~SW4により構成されている例を示している。
スコープスイッチ8の各スイッチSW1~SW4は、通常観察モード時には、所定のコマンドに割り当てられている。カメラコントロールユニット10は、これらのスイッチSW1~SW4が操作されると、操作されたスイッチに割り当てられたコマンドを画像記録装置20の制御部21に供給されるように構成されている。
カメラコントロールユニット10は、ICG観察モード時においてスイッチSW1~SW4が操作されると、これらのスイッチに割り当てられたコマンドに代えて、各スイッチSW1~SW4を識別する情報、例えばスイッチ番号を画像記録装置20の制御部21に供給するように構成されている。また、カメラコントロールユニット10は、内視鏡2をICG観察モードで駆動する場合には、ICG観察モードであることを示す情報を画像記録装置20の制御部21に送信する。
なお、カメラコントロールユニット10は、通常観察モードで動作する内視鏡とICG観察モードで動作する内視鏡との2台の内視鏡が接続されている場合には、通常観察モードで動作する内視鏡のスコープスイッチの操作時には割り当てられたコマンドを画像記録装置20に送信し、ICG観察モードで動作する内視鏡のスコープスイッチの操作時にはスイッチ番号を画像記録装置20に送信する。
図12のICGモードは、内視鏡2による通常のICG観察時の動作を設定するものであり、ICG再生モードは、記録されたICG画像の再生時の動作を設定するものである。図12に示すように、本実施形態においては、手技毎にスイッチSW1~SW4に割り当てられる動作は異なる。
ICGモードでは、例えば、消化器外科について、スイッチSW1~SW4には、それぞれズーム(Zoom)、レリーズ(Release)、マニュアル記録(ICG Maunual REC)及び再生モード開始(ICG PB On)が割り当てられる。また、産婦人科については、スイッチSW1~SW4には、それぞれズーム、レリーズ、自動記録(ICG Auto REC)及び再生モード開始(ICG PB On)が割り当てられる。また、泌尿器外科については、スイッチSW1~SW4には、それぞれ自動再生(ICG PB Auto)、レリーズ、ズーム及び記録(REC)が割り当てられる。
ICG再生モードでは、例えば、消化器外科について、スイッチSW1~SW4には、それぞれA/B選択(A/B Sel)、1秒前(-1 sec)、1秒後(+1 sec)及び再生モード終了(ICG PB Off)が割り当てられる。また、産婦人科については、スイッチSW1~SW4には、それぞれキャプチャ(Capture)、巻戻し(REW)、早送り(FF)及び再生モード終了(ICG PB Off)が割り当てられる。なお、泌尿器外科については、スイッチSW1~SW4の割り当てはない(N/A)。
次に、このように構成された実施形態の動作について説明する。
ユーザは、例えば操作パネル25の操作によって、モード記録・設定部26に設定情報を登録する。いま、内視鏡2をICG観察モードにて動作させるものとする。この場合には、カメラコントロールユニット10は、ICG観察モードであることを示す情報を画像記録装置20の制御部21に送信する。また、スコープスイッチ8のスイッチ操作が操作されると、カメラコントロールユニット10は、各スイッチのスイッチ番号を制御部21に送信する。
制御部21は、カメラコントロールユニット10からICG観察モードが指定された場合には、スコープスイッチ8の操作に基づくスイッチ番号の情報が与えられると、当該スイッチ番号を用いてモード記録・設定部26の設定情報を参照することにより、設定情報により指定された動作を行う。
また、制御部21は、カメラコントロールユニット10や図示しない集中制御システム等から、現在の手技についての情報を受信する。あるいは、ユーザが操作パネル25を操作して、現在の手技についての情報を入力する。これにより、制御部21は、現在の手技が例えば消化器外科、産婦人科、泌尿器外科等であることを認識する。
いま、内視鏡2によって消化器外科におけるICG観察が行われているものとし、図12のICGモードであるものとする。この場合には、例えば、スコープスイッチ8のスイッチSW3が操作されると、制御部21は、マニュアル記録操作が行われたものと判定して、入力された観察画像を記録部24に与えて記録を開始する。また、制御部21は、観察画像の記録中にスコープスイッチ8のスイッチSW3が操作されると、マニュアル記録の終了操作が行われたものと判定して、観察画像の記録を停止する。
また、内視鏡2によって産婦人科におけるICG観察が行われているものとする。この場合には、スコープスイッチ8のスイッチSW3が操作されると、制御部21は、自動記録が指定されたものと判定する。この場合には、画像判定部30の判定によって同定画像が検出されている期間の情報が制御部21に供給され、制御部21は、画像判定部30からの情報によって、同定画像が検出されている期間においてICG画像を記録部24に記録する。なお、記録の開始時刻をA、終了時刻をBとして、A-B期間の観察画像が記録されるものとする。
制御部21は、泌尿器外科においてスイッチSW3が操作された場合、又は消化器外科及び産婦人科においてスイッチSW1が操作された場合には、ズーム操作が行われたものと判定して、観察画像の拡大又は縮小処理を行う。また、制御部21は、スイッチSW2が操作された場合には、レリーズ操作が行われたものと判定して、入力された観察画像の静止画を記録部24に記録する。
また、制御部21は、消化器外科及び産婦人科におけるICG観察において、スイッチSW4が操作されると、ICGモードとICG再生モードとのモードの切換えを行う。即ち、ICGモード時にスイッチSW4が操作されるとICG再生モードに移行し、ICG再生モード時にスイッチSW4が操作されるとICGモードに移行する。制御部21は、スイッチSW4によってICG再生モードが指定されると、記録部24に記録されている観察画像の再生を再生画像生成部27に指示する。再生画像生成部27は、記録部24から観察画像を読み出して再生画像を生成し、生成した再生画像をモニタ15に出力する。こうして、モニタ15の表示画面上において、観察画像を再生して表示することができる。
消化器外科におけるICG再生モードにおいて、スイッチSW1が操作されると、この操作毎に、制御部21は開始時刻Aと終了時刻Bとを交互に切換えて選択する。更に、スイッチSW2が操作されると、この操作毎に1秒ずつ再生開始位置A又は再生終了位置Bを前に移動させ、また、スイッチSW3が操作されると、この操作毎に1秒ずつ再生開始位置A又は再生終了位置Bを後ろに移動させる。なお、操作毎に移動する秒数は、1秒に限らず適宜設定可能である。
なお、スイッチSW2,SW3の操作は、記録されているA-B期間内の移動のみが可能である。また、例えば図示しないバッファを利用することで、ICGモードにおけるスイッチSW3の操作によるA-B期間よりも長い期間の録画が行われている場合には、この録画範囲内において、スイッチSW2,SW3の操作は有効となる。
また、産婦人科のICG再生モード時には、ICG動画像の再生時にスイッチSW1が操作されると、操作タイミングの画像がキャプチャされて記録部24に記録される。また、スイッチSW2が操作されると、再生位置の巻戻しが行われ、スイッチSW3が操作されると再生位置の早送りが行われる。
なお、泌尿器外科におけるICGモード時には、制御部21は、スイッチSW2が操作されるとレリーズ操作が行われたものと判定し、スイッチSW3が操作された場合には、ズーム操作が行われたものと判定する。また、スイッチSW4が操作された場合には、記録開始及び記録終了操作が行われたものと判定する。
また、泌尿器外科におけるICGモード時のスイッチSW1には、自動的に再生する機能が付加される。例えば、制御部21は、スイッチSW1が所定時間以上継続して押される(以下、長押しという)と、そのタイミングで記録を開始し、予め設定された所定時間後に記録を停止する制御を行う。更に、制御部21は、この記録停止後に、自動的に記録期間の再生を行う。なお、再生中にスイッチSW1が所定時間以下継続して押される(以下、短押しという)と、再生位置を記録の先頭位置に戻し、再生時以外にスイッチSW1が短押しされると、記録の先頭位置から再度再生を行う。なお、スイッチSW1の長押しでは、上書き録画が行われる。このようなオペレーションは適宜設定変更可能であり、例えば、短押しにより記録を開始し、長押しにより再生を行う等の設定も可能である。
上記実施形態では、スコープスイッチの各スイッチと各動作との割当てを記述した設定情報を用いる例を説明したが、設定情報に、キーボード、フットスイッチ等の各種操作機器と各動作との割当てを記述することで、スコープスイッチだけでなく、キーボード、フットスイッチ等の各種操作機器を用いて、ICG画像の記録再生動作等を制御可能である。
このように本実施形態においては、例えばスコープスイッチの各スイッチと動作との対応を示す設定情報を用い、スコープスイッチに割り当てられたコマンドに代えてスコープスイッチの各スイッチを識別する情報を送信させ、この情報に基づいて設定情報を参照することで、ICG画像の記録再生動作を制御するようになっている。これにより、ICG画像の記録、再生を簡単に行うことが可能である。しかも、設定情報には、手技やシーンに応じて異なる設定を行うことができ、手技やシーンに応じて所望の操作性を得ることができる。また、スコープスイッチ等の滅菌域に配置された装置によって操作が可能であり、事前のドレープ操作が不要である。
また、スコープスイッチの1つのスイッチに、ICG画像の記録時に用いるICGモードとICG画像の再生時に用いるICG再生モードとの切換え機能を割り当てることにより、少ないスイッチの数で、比較的多くの機能を割り当てることが可能である。例えば、スコープスイッチ、キーボード、フットスイッチ等の操作により、ICG画像の録画、再生を指示することができ、更に再生時には、上記各スイッチの操作によって、停止、再生、一時停止、ループのオン/オフ、スロー再生、逆戻し再生、早戻し再生、早送り再生など、複数の再生モードの実行も可能である。更に、記録停止後に自動でプレイバック再生することも可能である。
なお、上記各実施形態におけるモード記録・設定部26、画像判定部30及び制御部21の機能をカメラコントロールユニット10やカメラコントロールユニット10内のビデオプロセッサに設けるようにしてもよい。この場合には、カメラコントロールユニット10からスコープスイッチ8の各スイッチに設定情報に基づいて割り当てられたコマンドを出力させるようにすればよい。従って、この場合には、記録機器としては、一般的な記録装置を採用することができる。
なお、実施形態中で、「部」として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、CPUなどのプロセッサ、あるいはFPGAなどシーケンサを組み合わせて構成されてもよい。
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
Claims (8)
- 手技及び手技中のシーンの少なくとも一方に対応する設定情報を記録する設定部と、
前記設定情報に基づいて蛍光画像から検出する色及び検出レベルを設定する判定制御部と、
入力された前記蛍光画像から前記判定制御部が指定した色のレベルを検出する色画像検出部と、
前記色画像検出部が検出した色のレベルを前記検出レベルに基づく閾値と比較することで、入力された前記蛍光画像が検査の同定に利用可能であるか否かを判定する色画像判定部と、
前記色画像判定部によって同定に利用可能であると判定された期間の前記蛍光画像を記録する制御部と
を具備したことを特徴とする画像記録装置。 - 前記設定部は、前記設定情報をユーザ操作に基づいて設定するか又は前記手技及び手技中のシーンの少なくとも一方に基づく初期値に設定する
ことを特徴とする請求項1に記載の画像記録装置。 - 前記判定制御部が設定する色及び検出レベルは、前記手技及び手技中のシーンの少なくとも一方に応じた初期値に設定される
ことを特徴とする請求項2に記載の画像記録装置。 - 前記判定制御部は、前記設定情報によって自動記録が指定されている場合に、前記蛍光画像から検出する色を前記色画像検出部に指定し、前記検出レベルを前記色画像判定部に指定する
ことを特徴とする請求項1に記載の画像記録装置。 - 前記判定制御部は、同一手技であっても手技中のシーンによっては、前記色及び検出レベルの設定を変更する
ことを特徴とする請求項1に記載の画像記録装置。 - 前記制御部は、通常観察モードによって取得された観察画像と蛍光観察モードによって取得された前記蛍光画像とを同時に記録可能であり、
前記通常観察モードによって取得された観察画像についてはユーザ操作に基づいて記録の開始及び終了を制御し、
前記蛍光画像については前記色画像判定部の判定結果に基づいて記録の開始及び終了を制御する
ことを特徴とする請求項1に記載の画像記録装置。 - 記録された前記蛍光画像に基づく再生画像を生成する再生画像生成部を更に具備し、
前記再生画像生成部は、前記制御部による制御及び前記設定情報に基づく再生動作を行う
ことを特徴とする請求項1に記載の画像記録装置。 - 前記制御部は、通常観察モードによって取得された観察画像と蛍光観察モードによって取得された前記蛍光画像とを同時に記録可能であり、
前記再生画像生成部は、前記通常観察モードによって取得された観察画像と前記蛍光画像とをピクチャインピクチャ又はピクチャアウトピクチャ方式で同時に表示するための再生画像を生成する
ことを特徴とする請求項7に記載の画像記録装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020558810A JP7123166B2 (ja) | 2018-12-10 | 2018-12-10 | 画像記録装置、画像記録装置の作動方法及び内視鏡システム |
CN201880100094.6A CN113164007B (zh) | 2018-12-10 | 2018-12-10 | 图像记录装置、图像记录方法以及内窥镜*** |
PCT/JP2018/045286 WO2020121373A1 (ja) | 2018-12-10 | 2018-12-10 | 画像記録装置 |
US17/342,667 US12003891B2 (en) | 2018-12-10 | 2021-06-09 | Image recording apparatus, image recording method, and endoscope system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/045286 WO2020121373A1 (ja) | 2018-12-10 | 2018-12-10 | 画像記録装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/342,667 Continuation US12003891B2 (en) | 2018-12-10 | 2021-06-09 | Image recording apparatus, image recording method, and endoscope system |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020121373A1 true WO2020121373A1 (ja) | 2020-06-18 |
Family
ID=71076830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/045286 WO2020121373A1 (ja) | 2018-12-10 | 2018-12-10 | 画像記録装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US12003891B2 (ja) |
JP (1) | JP7123166B2 (ja) |
CN (1) | CN113164007B (ja) |
WO (1) | WO2020121373A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07171115A (ja) * | 1993-12-17 | 1995-07-11 | Toshiba Corp | 画像診断装置 |
JP2004165728A (ja) * | 2002-11-08 | 2004-06-10 | Olympus Corp | 制御システム |
JP2006149483A (ja) * | 2004-11-25 | 2006-06-15 | Olympus Corp | 電子内視鏡装置及び色ずれ補正装置 |
JP2006187427A (ja) * | 2005-01-05 | 2006-07-20 | Pentax Corp | 電子内視鏡システム |
JP2007075518A (ja) * | 2005-09-16 | 2007-03-29 | Olympus Medical Systems Corp | 送気装置及び送気装置を有する手術システム |
JP2016198369A (ja) * | 2015-04-13 | 2016-12-01 | 富士フイルム株式会社 | 内視鏡用光源装置及び内視鏡システム |
WO2017061495A1 (ja) * | 2015-10-08 | 2017-04-13 | オリンパス株式会社 | 内視鏡システム |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2042075C (en) * | 1991-05-08 | 2001-01-23 | Branko Palcic | Endoscopic imaging system |
JPH10322631A (ja) * | 1997-05-15 | 1998-12-04 | Nikon Corp | 画像記録装置および電子カメラ |
JP2001299676A (ja) * | 2000-04-25 | 2001-10-30 | Fuji Photo Film Co Ltd | センチネルリンパ節検出方法および検出システム |
JP2002119463A (ja) * | 2000-10-13 | 2002-04-23 | Fuji Photo Film Co Ltd | 蛍光画像保存装置 |
JP2004024496A (ja) * | 2002-06-25 | 2004-01-29 | Fuji Photo Film Co Ltd | 蛍光診断画像生成方法および装置 |
US20040030367A1 (en) | 2002-08-09 | 2004-02-12 | Olympus Optical Co., Ltd. | Medical control device, control method for medical control device, medical system device and control system |
CN1493250A (zh) * | 2002-10-31 | 2004-05-05 | ƽ | 内窥镜诊断癌前病变的装置 |
JP2005006856A (ja) * | 2003-06-18 | 2005-01-13 | Olympus Corp | 内視鏡装置 |
DE202005003411U1 (de) * | 2005-02-24 | 2006-07-06 | Karl Storz Gmbh & Co. Kg | Multifunktionales Fluoreszenzdiagnosesystem |
JP2006271870A (ja) * | 2005-03-30 | 2006-10-12 | Olympus Medical Systems Corp | 内視鏡用画像処理装置 |
JP4882345B2 (ja) * | 2005-11-10 | 2012-02-22 | 富士ゼロックス株式会社 | 複写装置および複写方法 |
JP4954573B2 (ja) * | 2006-02-28 | 2012-06-20 | オリンパス株式会社 | 内視鏡システム |
JP5278854B2 (ja) * | 2007-12-10 | 2013-09-04 | 富士フイルム株式会社 | 画像処理システムおよびプログラム |
EP2254456A1 (en) * | 2008-01-24 | 2010-12-01 | Lifeguard Surgical Systems | Common bile duct surgical imaging system |
JP5336749B2 (ja) * | 2008-03-24 | 2013-11-06 | オリンパス株式会社 | カプセル型医療装置とその作動方法 |
JP2009039561A (ja) | 2008-10-27 | 2009-02-26 | Olympus Corp | 内視鏡装置 |
JP5393507B2 (ja) * | 2010-01-28 | 2014-01-22 | 株式会社モリタ製作所 | 内視鏡システム |
JP2011250926A (ja) * | 2010-06-01 | 2011-12-15 | Fujifilm Corp | 電子内視鏡システム |
JP2012090889A (ja) * | 2010-10-28 | 2012-05-17 | Olympus Corp | 蛍光観察装置 |
CN101972133A (zh) * | 2010-11-10 | 2011-02-16 | 天津市企美科技发展有限公司 | 多功能荧光诊断及光动力治疗内窥镜诊疗*** |
WO2012081336A1 (ja) * | 2010-12-13 | 2012-06-21 | オリンパスメディカルシステムズ株式会社 | 医療装置 |
JP5550574B2 (ja) * | 2011-01-27 | 2014-07-16 | 富士フイルム株式会社 | 電子内視鏡システム |
JP2012183216A (ja) * | 2011-03-07 | 2012-09-27 | Fujifilm Corp | 内視鏡装置 |
JP5200193B2 (ja) * | 2011-03-15 | 2013-05-15 | オリンパスメディカルシステムズ株式会社 | 医療装置 |
WO2013111684A1 (ja) * | 2012-01-26 | 2013-08-01 | オリンパスメディカルシステムズ株式会社 | 医療情報記録装置 |
JP2017000838A (ja) * | 2012-06-01 | 2017-01-05 | ソニー株式会社 | 医療用装置及び制御方法 |
EP2881030A4 (en) * | 2012-12-26 | 2016-03-09 | Olympus Corp | IMAGE RECORDING DEVICE AND IMAGE RECORDING METHOD |
JP2014198144A (ja) | 2013-03-29 | 2014-10-23 | ソニー株式会社 | 画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システム |
CN104853690B (zh) * | 2013-06-05 | 2017-09-26 | 奥林巴斯株式会社 | 医疗辅助装置以及医疗设备的分场景设定信息的处理方法 |
JP2015012992A (ja) | 2013-07-05 | 2015-01-22 | パナソニック株式会社 | 手術支援システム |
JP5804138B1 (ja) * | 2014-05-21 | 2015-11-04 | カシオ計算機株式会社 | 検出装置、検出方法及びプログラム |
EP2996105A1 (en) * | 2014-09-12 | 2016-03-16 | Universita Di Pisa | Augmented reality surgical simulator, particularly for deformable anatomical structures |
JP6422816B2 (ja) * | 2015-04-28 | 2018-11-14 | 富士フイルム株式会社 | 内視鏡システム |
US20170224205A1 (en) * | 2016-02-04 | 2017-08-10 | Wright State University | Light endoscope system for imaging, light delivery, and therapy response monitoring |
CN109152584B (zh) * | 2016-03-17 | 2022-03-04 | 特里斯医疗有限公司 | 凝块排出和可视化装置及使用方法 |
-
2018
- 2018-12-10 CN CN201880100094.6A patent/CN113164007B/zh active Active
- 2018-12-10 WO PCT/JP2018/045286 patent/WO2020121373A1/ja active Application Filing
- 2018-12-10 JP JP2020558810A patent/JP7123166B2/ja active Active
-
2021
- 2021-06-09 US US17/342,667 patent/US12003891B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07171115A (ja) * | 1993-12-17 | 1995-07-11 | Toshiba Corp | 画像診断装置 |
JP2004165728A (ja) * | 2002-11-08 | 2004-06-10 | Olympus Corp | 制御システム |
JP2006149483A (ja) * | 2004-11-25 | 2006-06-15 | Olympus Corp | 電子内視鏡装置及び色ずれ補正装置 |
JP2006187427A (ja) * | 2005-01-05 | 2006-07-20 | Pentax Corp | 電子内視鏡システム |
JP2007075518A (ja) * | 2005-09-16 | 2007-03-29 | Olympus Medical Systems Corp | 送気装置及び送気装置を有する手術システム |
JP2016198369A (ja) * | 2015-04-13 | 2016-12-01 | 富士フイルム株式会社 | 内視鏡用光源装置及び内視鏡システム |
WO2017061495A1 (ja) * | 2015-10-08 | 2017-04-13 | オリンパス株式会社 | 内視鏡システム |
Also Published As
Publication number | Publication date |
---|---|
JP7123166B2 (ja) | 2022-08-22 |
JPWO2020121373A1 (ja) | 2021-09-30 |
CN113164007B (zh) | 2024-07-05 |
US20210298584A1 (en) | 2021-09-30 |
CN113164007A (zh) | 2021-07-23 |
US12003891B2 (en) | 2024-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9332890B2 (en) | Processor for electronic endoscope and electronic endoscope apparatus | |
JP2006271871A (ja) | 内視鏡用画像処理装置 | |
WO2015049962A1 (ja) | 内視鏡システム | |
WO2015020093A1 (ja) | 手術画像観察装置 | |
JP2015195845A (ja) | 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法 | |
JP2006271870A (ja) | 内視鏡用画像処理装置 | |
US20180092509A1 (en) | Image recording device | |
KR20040069332A (ko) | 내시경 화상 처리 장치 | |
JP5308884B2 (ja) | 内視鏡用プロセッサ装置、およびその作動方法 | |
JP5601970B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡装置 | |
JP2005124823A (ja) | 内視鏡装置 | |
WO2020121373A1 (ja) | 画像記録装置 | |
WO2018043585A1 (ja) | 内視鏡装置、情報処理装置およびプログラム | |
JP3650142B2 (ja) | 画像処理装置 | |
JP2018007960A (ja) | 内視鏡装置 | |
JP3373055B2 (ja) | X線透視診断装置を有する内視鏡検査システム | |
JP2021133083A (ja) | 医用画像録画装置およびx線撮像装置 | |
JP4555012B2 (ja) | 電子内視鏡システム | |
JP3336703B2 (ja) | 超音波内視鏡のハードコピー装置 | |
JP2017006260A (ja) | 内視鏡装置 | |
JPH10165363A (ja) | 内視鏡用撮像信号処理装置 | |
JP2902662B2 (ja) | 画像フリーズ用信号処理装置 | |
JPS5969036A (ja) | 内視鏡 | |
JP2003144386A (ja) | 内視鏡画像ファイリングシステム | |
JP2003125279A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18943120 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020558810 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18943120 Country of ref document: EP Kind code of ref document: A1 |