WO2018220801A1 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
WO2018220801A1
WO2018220801A1 PCT/JP2017/020488 JP2017020488W WO2018220801A1 WO 2018220801 A1 WO2018220801 A1 WO 2018220801A1 JP 2017020488 W JP2017020488 W JP 2017020488W WO 2018220801 A1 WO2018220801 A1 WO 2018220801A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
brightness adjustment
synchronization signal
image
signal
Prior art date
Application number
PCT/JP2017/020488
Other languages
English (en)
French (fr)
Inventor
俊二 武井
尚也 杉本
善朗 岡崎
和敏 熊谷
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/020488 priority Critical patent/WO2018220801A1/ja
Publication of WO2018220801A1 publication Critical patent/WO2018220801A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an endoscope apparatus.
  • an endoscope in which white light and special light are alternately irradiated to a subject, and dimming of white light and special light is performed separately in synchronization with each irradiation timing (see, for example, Patent Document 1) .)
  • an endoscope apparatus which acquires a still image in diastole of the heart in synchronization with the beating of the heart (for example, see Patent Document 2).
  • the left atrial appendage moves largely in the anteroposterior direction of the endoscopic image by the beating of the heart.
  • a big change occurs in the brightness of.
  • Such a large change in brightness of the endoscopic image can interfere with the procedure.
  • the illumination light can be dimmed at a preset timing, the illumination light can not be properly dimmed in synchronization with the movement of the living body.
  • the endoscope apparatus described in Patent Document 2 it is possible to obtain a high-definition still image without blurring in synchronization with the pulsation, but when the time change of the brightness due to the pulsation occurs in the moving image Can not obtain moving images of appropriate brightness.
  • the present invention has been made in view of the above-described circumstances, and it is possible to obtain a moving image of appropriate brightness by suppressing temporal change in brightness of the image due to pulsation in moving image shooting of the heart.
  • An object of the present invention is to provide an endoscope apparatus.
  • an imaging unit for capturing a moving image of a living body to acquire time-series image signals
  • a biological information acquisition unit for acquiring information on movement of the heart of the living body
  • the biological information acquisition unit A synchronization signal generation unit that generates a synchronization signal based on the information, and a brightness adjustment signal generation unit that generates a brightness adjustment signal that is modulated in synchronization with the synchronization signal generated by the synchronization signal generation unit
  • a brightness adjustment unit configured to adjust the brightness of the image signal based on the brightness adjustment signal generated by the brightness adjustment signal generation unit.
  • the biological information acquisition unit acquires information on the movement of the heart which is the imaging target of the imaging unit, and based on the movement of the heart, a periodic synchronization signal synchronized with the pulsation of the heart generates a synchronization signal. Generated by the department. Then, based on such a synchronization signal, a brightness adjustment signal modulated in synchronization with the pulsation of the heart is generated by the brightness adjustment signal generation unit. Therefore, the brightness adjustment unit can adjust the brightness of the image signal in synchronization with the heart beat so as to suppress the brightness of the image signal due to the heart beat based on the brightness adjustment signal. . This makes it possible to obtain a moving image of appropriate brightness in moving image shooting of the heart by the imaging unit.
  • the light source unit may output illumination light for illuminating the inside of the living body
  • the brightness adjustment unit may output the light amount of the illumination light output from the light source unit based on the brightness adjustment signal. You may adjust the In this way, the brightness of the illumination light that illuminates the heart changes in synchronization with the beat, and the image pickup unit can acquire an image signal whose brightness has already been adjusted.
  • the brightness adjustment unit may adjust at least one of the gain of the imaging unit and the exposure time based on the brightness adjustment signal. By doing this, by changing at least one of the gain of the imaging unit and the exposure time in synchronization with the pulse, it is possible to obtain an image signal whose brightness has already been adjusted by the imaging unit.
  • the image processing unit may be configured to multiply the image signal acquired by the imaging unit by a digital gain, and the brightness adjustment unit may adjust the digital gain based on the brightness adjustment signal. .
  • the brightness of the image signal can be adjusted only by the arithmetic processing.
  • the brightness adjustment signal generation unit may generate the brightness adjustment signal in which the median and the amplitude are set based on the brightness value of the image signal. By doing this, the brightness of the image signal can be adjusted more appropriately.
  • the biological information acquisition unit acquires an electrocardiogram waveform of the heart output from the electrocardiograph
  • the synchronization signal generation unit uses the electrocardiogram waveform acquired by the biological information acquisition unit.
  • the synchronization signal may be generated on the basis of this.
  • the synchronization signal generation unit may generate the synchronization signal based on rising of a predetermined waveform in the electrocardiogram waveform. Since the electrocardiographic waveform periodically changes in time in response to changes in cardiac dynamics, information on cardiac dynamics can be obtained from the electrocardiographic waveform.
  • the biological information acquisition unit calculates a temporal change of luminance of the time-series image signal
  • the synchronization signal generation unit is based on the temporal change of the luminance calculated by the biological information acquisition unit.
  • the synchronization signal may be generated. Since the brightness of the image signal periodically changes with time according to the change of the movement of the heart, it is possible to obtain information on the movement of the heart from the change of the brightness of the image signal without using an external device.
  • the biological information acquisition unit acquires the invasive blood pressure of the living body output from the blood pressure monitor, and the synchronization signal generation unit is based on the invasive blood pressure acquired by the biological information acquisition unit.
  • the synchronization signal may be generated.
  • the invasive blood pressure periodically changes in time according to the change in cardiac dynamics, so information on cardiac dynamics can be obtained from the invasive blood pressure.
  • the present invention it is possible to obtain a moving image of appropriate brightness by suppressing temporal change in brightness of the image due to pulsation in moving image shooting of the heart.
  • An endoscope apparatus 10 is, as shown in FIG. 1, an endoscope 1 which is inserted into a pericardial cavity of a patient (living body) P and observes the pericardial cavity, and the endoscope 1
  • a light source device (light source unit) 2 for supplying illumination light for illuminating the pericardial cavity to the proximal end of the endoscope 1; and an endoscope 1 connected to the proximal end of the endoscope 1
  • an endoscope processor 3 for processing the image signal acquired by A monitor 4 for displaying an image is connected to the endoscope processor 3.
  • the endoscope 1 includes an illumination optical system 5 that emits illumination light, and an imaging unit 6 that captures a moving image of the pericardial cavity to obtain time-series image signals.
  • the illumination optical system 5 is, for example, a light guide disposed from the light source device 2 to the tip of the endoscope 1 through the inside of the endoscope 1, and guides illumination light supplied from the light source device 2 to The light is emitted from the tip of the endoscope 1.
  • the imaging unit 6 has an imaging element such as a CMOS image sensor.
  • the imaging unit 6 acquires a time-series image signal by capturing a moving image of reflected light of illumination light returning from the pericardial cavity to the tip of the endoscope 1 with an imaging element, and the image signal is transmitted to the endoscope processor 3.
  • the image processing unit 31 (described later) is transmitted.
  • the endoscope processor 3 includes an image processing unit 31, an input unit (biological information acquisition unit) 32, a synchronization signal generation unit 33, and a brightness adjustment signal generation unit 34.
  • the endoscope processor 3 has an interface (not shown) for transmitting and receiving signals to and from peripheral devices.
  • the image processing unit 31 generates an image from the image signal received from the imaging unit 6.
  • the generated image is output from the image processing unit 31 to the monitor 4 and displayed on the monitor 4.
  • the input unit 32 is provided in the interface.
  • the input unit 32 is connected to the patient P and connected to an electrocardiograph 40 that measures an electrocardiographic waveform of the patient P, and the electrocardiographic waveform output from the electrocardiograph 40 is input.
  • the electrocardiogram waveform input to the input unit 32 is transmitted to the synchronization signal generation unit 33.
  • the synchronization signal generation unit 33 generates a synchronization signal that periodically changes in time in synchronization with the heartbeat based on a predetermined waveform in the electrocardiogram waveform.
  • Each waveform in the electrocardiogram waveform appears in the same cycle as the beat according to the movement of the heart A. Therefore, the synchronization signal based on the predetermined waveform in the electrocardiogram waveform is a periodic signal synchronized with the beat.
  • the synchronization signal generation unit 33 detects the rise of the QRS wave in the electrocardiogram waveform as a trigger, and the voltage rises from the low level to the high level at the rise of the QRS wave, and then maintains the high level for t seconds. , Generate a rectangular wave synchronous signal whose voltage falls from high level to low level t seconds after the rise of the QRS wave.
  • the generated synchronization signal is transmitted from the synchronization signal generation unit 33 to the brightness adjustment signal generation unit 34.
  • the atrium is filled with blood at the equivalent volume diastole corresponding to the fall timing of the T wave of the electrocardiogram waveform, and the atria expand most.
  • the left atrial appendage B attached to the left atrium most closely approaches the tip of the endoscope 1 due to rapid dilation of the atrium during an isovolumetric diastole.
  • the length (t seconds) of the high level period is from the rise of the QRS wave to the point immediately after the QRS wave so that the timing of the fall of the synchronization signal from high level to low level coincides with the isovolume relaxation period.
  • the length is set to be substantially equal to the time until the fall of the T wave.
  • the brightness adjustment signal generation unit 34 generates a brightness adjustment signal modulated in synchronization with the synchronization signal received from the synchronization signal generation unit 33. Specifically, in the brightness adjustment signal generation unit 34, the voltage is maximized at the rising timing of the synchronization signal, and the voltage is periodically and continuously so that the voltage is minimized at the falling timing of the synchronization signal. And a smooth time-varying waveform signal (eg, a sine wave signal) is generated as a brightness adjustment signal. As a result, the brightness adjustment signal is periodically generated in synchronization with the pulse so that the voltage becomes maximum at the rising edge of the QRS wave and the voltage becomes minimum at the same volume relaxation period. The generated brightness adjustment signal is transmitted from the brightness adjustment signal generation unit 34 to the light adjustment control unit 22 (described later) of the light source device 2.
  • the light adjustment control unit 22 described later
  • the median value of the brightness adjustment signal is set such that the average value of the luminance values of a plurality of time-series images in a fixed period is an optimal value.
  • the maximum value and the minimum value of the brightness adjustment signal are set based on the maximum value and the minimum value of the luminances of a plurality of images of time series in a fixed period, respectively. For example, since the human heart A beats 1 to 1.5 times per second in normal times, an image acquired in 2 seconds (for example, an image of 120 frames in the case of an image signal of 60 fps) has a median value And used to set the amplitude. In order to reduce the amount of calculation, a part of all the frames acquired in 2 seconds may be thinned to reduce the number of frames used for the calculation.
  • the calculation of the median, the maximum value, and the minimum value is performed, for example, in the image processing unit 31, and the calculation of the calculated median, maximum value, and minimum value is transmitted to the brightness adjustment signal generation unit 34.
  • the light source device 2 includes a light source 21 and a light adjustment control unit (brightness adjustment unit) 22 that controls the amount of light emitted from the light source 21 based on the brightness adjustment signal received from the brightness adjustment signal generation unit 34.
  • the light source 21 is a white lamp light source such as a xenon lamp.
  • the light adjustment control unit 22 causes the light source 21 to emit illumination light having a light amount corresponding to the voltage of the brightness adjustment signal.
  • the light quantity of the illumination light output from the light source device 2 to the endoscope 1 becomes maximum at the rise of the QRS wave as shown in FIG. 2 like the voltage of the brightness adjustment signal, and isovolumetric relaxation Periodically and continuously, it changes time smoothly in synchronization with the pulse so that it becomes local minimum in period.
  • the brightness of the image signal acquired by the imaging unit 6 is adjusted in synchronization with the pulsation by dimming the illumination light emitted to the heart A.
  • the light source 21 may be an LED instead of the lamp light source.
  • the dimming control unit 22 may control the emitted light amount of the illumination light by controlling the pulse emission of the LED and the number of pulses per second.
  • the endoscope apparatus 10 configured as described above will be described using an example of observation of the left atrial appendage B in a left atrial appendage ligation procedure.
  • the endoscope 1 is extended from outside the body to the pericardial cavity of the patient P while observing the moving image displayed on the monitor 4
  • the percutaneously inserted endoscope 1 is placed at a position where the left atrial appendage B is observed in the image.
  • the movement of the left atrial appendage B by the pulsation of the heart A causes the distance between the tip of the endoscope 1 and the left atrial appendage B to periodically change with time.
  • an electrocardiographic waveform measured by the electrocardiograph 40 connected to the patient P is input from the input unit 32 into the endoscope processor 3 (step S1).
  • the synchronization signal generation unit 33 generates a synchronization signal synchronized with the pulse based on the QRS wave in the electrocardiogram waveform (step S2).
  • the image processing unit 31 generates an image from the image signal input from the imaging unit 6, and based on the brightness value of the image, the median value, the maximum value and the minimum value for the brightness adjustment signal Is calculated (step S3).
  • step S4 based on the synchronization signal generated by the synchronization signal generation unit 33 and the median, maximum value and minimum value calculated by the image processing unit 31, synchronization with the synchronization signal is performed.
  • the brightness adjustment signal thus modulated is generated (step S4).
  • the amount of light emitted from the light source 21 is controlled by the dimming control unit 22 based on the brightness adjustment signal from the brightness adjustment signal generation unit 34 (step S5).
  • the light quantity of the illumination light irradiated to the heart A from the tip of the endoscope 1 in the pericardial cavity changes periodically and continuously smoothly.
  • the illumination light is minimum when the left auricle B approaches the tip of the endoscope 1 and is maximum when the left atrial appendage B is most separated from the tip of the endoscope 1. It is periodically dimmed in synchronization with the beat of the.
  • the illumination light becomes darker as the left atrial appendage B approaches the tip of the endoscope 1 based on the information of the movement of the heart A obtained from the electrocardiographic waveform of the patient P, and the left The illumination light is dimmed in synchronization with the pulse so that the illumination light becomes brighter as the auricle B moves away from the tip of the endoscope 1.
  • This has the advantage of being able to obtain moving images of appropriate brightness by suppressing fluctuations in the brightness of the image signal due to the pulsation of the heart A.
  • the isovolume relaxation in which the left atrial appendage B most approaches the tip of the endoscope 1 It is possible to control the light amount of the illumination light without delaying the approach of the left auricle B to the tip of the endoscope 1 so that the light amount of the illumination light is minimized at the timing of the period.
  • the falling edge of the T wave may be used as a trigger to generate a synchronization signal.
  • the left appendage B approaches the tip of the endoscope 1 almost simultaneously with the falling of the T wave. Therefore, the decrease in the emitted light amount of the illumination light may be delayed with respect to the approach of the left auricle B.
  • an error detection unit (not shown) that detects a disturbance of the electrocardiogram waveform may be further provided.
  • the electrocardiographic waveform may be temporarily disturbed by, for example, moving the body of the patient P or touching the patient P during endoscopic observation.
  • the error detection unit By detecting such a temporary disturbance of the electrocardiogram waveform by the error detection unit, it is possible to prevent the fluctuation of the emitted light quantity of the illumination light in response to the disturbance of the electrocardiogram waveform.
  • FIG. 4 shows the operation of adjusting the brightness of the image signal when the error detection unit is provided.
  • the error detection unit is provided, for example, between the input unit 32 and the synchronization signal generation unit 33.
  • the error detection unit receives an electrocardiogram waveform from the input unit 32 (step S1), Fourier transforms the electrocardiogram waveform, and calculates a frequency component included in the electrocardiogram waveform (step S11). Are monitored (step S12).
  • the error detection unit detects noise that is a frequency component other than the frequency band of the heartbeat (YES in step S11)
  • the error detection signal is transmitted to the synchronization signal generation unit 33 to transmit the synchronization signal to the synchronization signal generation unit 33.
  • the brightness adjustment signal generation unit 34 continues to output the brightness adjustment signal generated last to the dimming control unit 22 (step S14).
  • frequency components other than the frequency band of the heartbeat are removed from the frequency components obtained by the Fourier transform, and then inverse Fourier transform is performed to generate an electrocardiogram waveform from which noise is removed and generated.
  • a noise filter may be provided to output the electrocardiogram waveform to the synchronization signal generator 33.
  • an endoscope apparatus according to a second embodiment of the present invention will be described with reference to FIGS. 5 and 6.
  • a configuration different from the first embodiment will be described, and the configuration common to the first embodiment is assigned the same reference numeral and the description will be omitted.
  • the endoscope apparatus 20 according to the present embodiment is different from the first embodiment in that a synchronization signal is generated based on a temporal change in luminance of a time-series image instead of an electrocardiogram waveform.
  • the endoscope apparatus 10 includes an endoscope 1, a light source device 2, an endoscope processor 301, and a monitor 4 as shown in FIG. 5.
  • the endoscope processor 301 includes an image processing unit 31, a brightness calculation unit 35, a brightness memory 36, a brightness difference calculation unit (biological information acquisition unit) 37, a determination unit 38, a synchronization signal generation unit 33, brightness, And an amplitude adjustment signal generation unit 34.
  • the image processing unit 31 adds the generated image to the monitor 4 and transmits the image to the luminance calculation unit 35.
  • the luminance calculator 35 sequentially calculates the average luminance Y of a predetermined attention area in each image received from the image processor 31, as shown in FIG.
  • the region of interest is set by the operator via, for example, a user interface (not shown).
  • the average luminance Y calculated by the luminance calculator 35 is stored in the luminance memory 36 in time series.
  • the luminance difference calculation unit 37 reads the latest two average luminances Y from the luminance memory 36. Next, the luminance difference calculation unit 37 subtracts the average luminance Y of the image acquired earlier from the average luminance Y of the image acquired later to calculate the difference Y_sub of the two average luminances Y.
  • the difference Y_sub represents the time change of the average luminance Y of the image.
  • the calculated difference Y_sub is transmitted to the determination unit 38.
  • the determination unit 38 determines whether the sign of the difference Y_sub is positive or negative, and transmits the determination result to the synchronization signal generation unit 33.
  • the synchronization signal generation unit 33 generates a pulse signal as a synchronization signal t seconds after the time when the sign of the difference Y_sub changes from positive to negative, and outputs the pulse signal to the brightness adjustment signal generation unit 34.
  • the synchronization signal based on the change in the sign of the difference Y_sub is a periodic signal synchronized with the beat.
  • the difference Y_sub changes from positive to negative, and the atrium extends most and the left atrial appendage B is the tip of the endoscope 1
  • the difference Y_sub changes from negative to positive in the isovolumetric diastole closest to.
  • the length of time (t seconds) from the detection of the change from negative to positive of the difference Y_sub to the output of the pulse signal is made so that the timing of the output of the pulse signal coincides with the isovolume relaxation period.
  • the length is set to be substantially equal to the time from the most contraction timing to the most expansion timing of the atrium.
  • the brightness adjustment signal generation unit 34 generates a brightness adjustment signal modulated in synchronization with the pulse signal in response to the pulse signal input from the synchronization signal generation unit 33. Specifically, the brightness adjustment signal generation unit 34 generates a waveform signal (for example, a sine wave) whose voltage changes periodically and continuously smoothly so that the voltage is maximized when the pulse signal is input. (Wave signal) is generated as a brightness adjustment signal. As a result, a brightness adjustment signal that periodically changes in time in synchronization with the pulse is generated so that the voltage becomes minimum in the isovolume relaxation period. The generated brightness adjustment signal is transmitted from the brightness adjustment signal generation unit 34 to the dimming control unit 22 of the light source device 2.
  • a waveform signal for example, a sine wave
  • the median value of the brightness adjustment signal is set based on a weighted average of the maximum value and the minimum value of the average luminance Y of a plurality of time-series images in a predetermined period.
  • the amplitude of the brightness adjustment signal is set based on the difference between the maximum value and the minimum value of the average luminance Y of a plurality of time-series images in a fixed period.
  • the calculation of the median and the amplitude is performed, for example, in the image processor 31, and the calculation of the calculated median, maximum and minimum is transmitted to the brightness adjustment signal generator 34.
  • the operation of the endoscope apparatus 20 configured as described above will be described.
  • the endoscope apparatus 20 in the brightness calculation unit 35, the average brightness Y of the images generated in the image processing unit 31 is calculated in order and stored in the brightness memory 36 in time series.
  • the luminance difference calculation unit 37 the latest two average luminances Y are read out from the luminance memory 36, and the difference Y_sub representing the temporal change of the average luminance Y of the image is calculated.
  • the determination unit 38 determines whether the difference Y_sub is positive or negative, and a pulse signal is output from the synchronization signal generation unit 33 t seconds after the time when the difference Y_sub changes from positive to negative.
  • the brightness adjustment signal generation unit 34 based on the synchronization signal input from the synchronization signal generation unit 33, the brightness adjustment signal modulated in synchronization with the synchronization signal is generated.
  • the subsequent operation of the light source device 2 is the same as that of the first embodiment.
  • the illumination light becomes darker as the left auricle B approaches the tip of the endoscope 1 based on the periodic time change of the brightness of the image, and the illumination light becomes more distant from the tip of the endoscope 1
  • the illumination light is dimmed in synchronization with the pulse so that This has the advantage of being able to obtain moving images of appropriate brightness by suppressing fluctuations in the brightness of the image signal due to the pulsation of the heart A. Moreover, there is an advantage that the white out of the image due to the left atrial appendage B rapidly approaching the tip of the endoscope 1 can be prevented.
  • the luminance of the image is used to detect the pulsation of the heart A, but instead, R, G, or B image signals constituting the image may be used.
  • FIG. 7 and 8 an endoscope apparatus according to a third embodiment of the present invention will be described with reference to FIGS. 7 and 8.
  • FIG. 1 a configuration different from the first embodiment will be described, and the configuration common to the first embodiment is assigned the same reference numeral and the description will be omitted.
  • the endoscope apparatus 30 according to the present embodiment is different from the first embodiment in that a synchronization signal is generated based on a blood pressure signal waveform of invasive blood pressure, instead of an electrocardiogram waveform.
  • the endoscope device 30 includes an endoscope 1, a light source device 2, an endoscope processor 3, and a monitor 4.
  • the input unit (biological information acquisition unit) 32 is connected to an arterial pressure measuring device (sphygmomanometer) 50 that is connected to the patient P and measures the blood pressure of the patient P, and the invasive blood pressure output from the arterial pressure measuring device 50 Blood pressure signal waveform is input.
  • an arterial pressure measuring device 50 for example, a device in which a catheter 50a is placed in the aorta C and the blood pressure is measured by a pressure transducer is used.
  • the blood pressure signal waveform input to the input unit 32 is transmitted to the synchronization signal generation unit 33.
  • the synchronization signal generator 33 generates a synchronization signal that changes in time in synchronization with a periodic time change of the blood pressure signal waveform, based on the blood pressure signal waveform. Invasive blood pressure changes with time in the same cycle as the beating according to the movement of the heart A. Therefore, the synchronization signal based on the blood pressure signal waveform is a periodic signal synchronized with the beat.
  • the synchronization signal generation unit 33 detects the rise of the blood pressure signal waveform as a trigger, and the voltage rises from the low level to the high level at the rise of the blood pressure signal waveform and then maintains the high level for t seconds.
  • a rectangular wave synchronous signal is generated in which the voltage falls from high level to low level t seconds after the rise of the waveform.
  • the generated synchronization signal is transmitted from the synchronization signal generation unit 33 to the brightness adjustment signal generation unit 34.
  • the processes of the image processing unit 31 and the brightness adjustment signal generation unit 34 are the same as in the first embodiment.
  • the invasive blood pressure periodically changes periodically in synchronization with the pulsation of the heart A, and an isosteric diastole appears in the middle of the fall of the blood pressure signal waveform.
  • the length (t seconds) of the high level period is set so that the timing of falling from the high level to the low level of the synchronization signal coincides with the isovolume relaxation period.
  • the blood pressure signal waveform measured by the arterial pressure measuring apparatus 50 connected to the patient P is input from the input unit 32 into the endoscope processor 3.
  • the synchronization signal generation unit 33 generates a synchronization signal synchronized with the pulse based on the blood pressure signal waveform.
  • the image processing unit 31 generates an image from the image signal input from the imaging unit 6, and based on the brightness value of the image, the median value, the maximum value and the minimum value for the brightness adjustment signal Is calculated.
  • the brightness adjustment signal generation unit 34 based on the synchronization signal generated by the synchronization signal generation unit 33 and the median, maximum value and minimum value calculated by the image processing unit 31, synchronization with the synchronization signal is performed. A modulated brightness adjustment signal is generated.
  • the subsequent operation of the light source device 2 is the same as that of the first embodiment.
  • the illumination light becomes darker as the left atrial appendage B approaches the tip of the endoscope 1 based on the information of the movement of the heart A obtained from the blood pressure signal waveform of the patient P.
  • the illumination light is dimmed in synchronization with the pulse so that the illumination light becomes brighter as the auricle B moves away from the tip of the endoscope 1.
  • the left atrial appendage B most approaches the tip of the endoscope 1 by using the rising of the blood pressure signal waveform that appears before the isovolume relaxation period as a trigger for generation of the synchronization signal. Control can be performed without delay with respect to the approach of the left atrial appendage B to the tip of the endoscope 1 so that the light amount of the illumination light becomes minimum at the timing of an isovolume relaxation period.
  • the brightness of the image signal acquired by the imaging unit 6 is adjusted by adjusting the emission light amount of the illumination light emitted from the light source device 2.
  • the control unit (not shown, brightness adjustment unit) in the endoscope processor 3 controls at least one of the gain and the exposure time of the imaging device in the imaging unit 6 to adjust the brightness of the image signal. You may
  • the control unit causes the gain to increase as the voltage of the brightness adjustment signal increases, or the exposure time increases. Control the imaging device.
  • the brightness of the image signal can be appropriately adjusted in synchronization with the pulsation of the heart A also by adjusting the gain of the imaging device and the exposure time.
  • the brightness of the image signal may be adjusted by adjusting the digital gain of the image processing unit 31.
  • the brightness adjustment signal generated in the brightness adjustment signal generation unit 34 is sent to the image processing unit 31 as shown in FIG. Will be sent.
  • the image processing unit (brightness adjustment unit) 31 has a gain processing unit 31a that sets a digital gain to be multiplied by the image signal based on the brightness adjustment signal.
  • the gain processing unit 31a sets a digital gain so as to periodically change over time in synchronization with the brightness adjustment signal.
  • the image processing unit 31 generates an image from the image signal multiplied by the digital gain.
  • the brightness of the image signal can be appropriately adjusted in synchronization with the pulsation of the heart A also by digital processing of the image signal.
  • the brightness adjustment of the image signal by digital gain and the brightness adjustment of the image signal by dimming of the illumination light may be performed in combination. In this way, it is possible to prevent halation in the image which is difficult to eliminate by adjusting the digital gain by dimming the illumination light.
  • the observation site of the heart A with the endoscope 1 is not limited to this. Even when a site other than the left atrial appendage B is observed, the distance between the tip of the endoscope 1 and the observation site periodically changes with time due to the pulsation of the heart A, so that the brightness of the image is periodic. Time change occurs. Therefore, the endoscope apparatuses 10, 20, and 30 of the present embodiment can be suitably applied to observation of a region other than the left atrial appendage B.
  • a waveform serving as a trigger for generation of a synchronization signal, the length of high-level time of the synchronization signal (t seconds), and the like are appropriately set according to the observation part. .
  • endoscope 2 light source device (light source unit) 21 light source 22 light control unit (brightness adjustment unit) 3 Endoscope Processor 31 Image Processing Unit 32 Input Unit (Biometric Information Acquisition Unit) 33 synchronization signal generation unit 34 brightness adjustment signal generation unit 35 luminance calculation unit 36 luminance memory 37 luminance difference calculation unit (biological information acquisition unit) 38 determination unit 4 monitor 5 illumination optical system 6 imaging unit 10, 20, 30 endoscope device 40 electrocardiograph 50 arterial pressure measuring device (sphygmomanometer) P patient (living body) A Heart B Left atrial appendage

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡装置（１０）は、生体内を動画撮影して時系列の画像信号を取得する撮像部（６）と、生体の心臓の動態に関する情報を取得する生体情報取得部（３２）と、心臓の動態の情報に基づいて同期信号を生成する同期信号生成部（３３）と、同期信号に同期して変調された明るさ調整信号を生成する明るさ調整信号生成部（３４）と、明るさ調整信号に基づいて画像信号の明るさを調整する明るさ調整部（２２）とを備える。

Description

内視鏡装置
　本発明は、内視鏡装置に関するものである。
　従来、白色光と特殊光を交互に被写体に照射し、白色光および特殊光の調光をそれぞれの照射タイミングに同期して個別に行う内視鏡が知られている（例えば、特許文献１参照。）
　一方、心臓の拍動に同期して、心臓の拡張期に静止画像を取得する内視鏡装置が知られている（例えば、特許文献２参照。）。
特開２０１３－２３３２１９号公報 特開２００８－９３２２０号公報
　心膜腔内に配置した内視鏡で左心耳を観察しながら左心耳を結紮する手技において、心臓の拍動によって左心耳が内視鏡画像の前後方向に大きく動くことで、内視鏡画像の明るさに大きな変化が生じる。このような内視鏡画像の明るさの大きな変化は、手技の妨げとなり得る。
　特許文献１に記載の技術によれば、予め設定されたタイミングで照明光を調光することはできるが、生体の動きに同期して照明光を適切に調光することはできない。
　特許文献２に記載の内視鏡装置によれば、拍動に同期してブレのない高精細な静止画像を得ることができるが、動画像に拍動による明るさの時間変化が生じる場合には、適切な明るさの動画像を得ることができない。
　本発明は、上述した事情に鑑みてなされたものであって、心臓の動画撮影において、拍動による画像の明るさの時間変化を抑制して適切な明るさの動画像を得ることができる内視鏡装置を提供することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の一態様は、生体内を動画撮影して時系列の画像信号を取得する撮像部と、前記生体の心臓の動態に関する情報を取得する生体情報取得部と、該生体情報取得部によって取得された前記情報に基づいて同期信号を生成する同期信号生成部と、該同期信号生成部によって生成された前記同期信号に同期して変調された明るさ調整信号を生成する明るさ調整信号生成部と、該明るさ調整信号生成部によって生成された前記明るさ調整信号に基づいて前記画像信号の明るさを調整する明るさ調整部とを備える内視鏡装置である。
　本態様によれば、撮像部の撮影対象である心臓の動態に関する情報が生体情報取得部によって取得され、心臓の動態に基づいて、心臓の拍動に同期した周期的な同期信号が同期信号生成部によって生成される。そして、このような同期信号に基づいて、心臓の拍動に同期して変調された明るさ調整信号が明るさ調整信号生成部によって生成される。したがって、明るさ調整部は、明るさ調整信号に基づいて、心臓の拍動による画像信号の明るさを抑制するように画像信号の明るさを心臓の拍動に同期して調整することができる。これにより、撮像部による心臓の動画撮影において、適切な明るさの動画像を得ることができる。
　上記態様においては、前記生体内を照明するための照明光を出力する光源部を備え、前記明るさ調整部が、前記明るさ調整信号に基づいて前記光源部から出力される前記照明光の光量を調整してもよい。
　このようにすることで、心臓を照明する照明光の明るさが拍動に同期して変化することで、既に明るさが調整された画像信号を撮像部によって取得することができる。
　上記態様においては、前記明るさ調整部が、前記明るさ調整信号に基づいて、前記撮像部のゲインおよび露光時間のうち少なくとも一方を調整してもよい。
　このようにすることで、撮像部のゲインおよび露光時間のうち少なくとも一方が拍動に同期して変化することで、既に明るさが調整された画像信号を撮像部によって取得することができる。
　上記態様においては、前記撮像部によって取得された前記画像信号にデジタルゲインを乗じる画像処理部を備え、前記明るさ調整部が、前記明るさ調整信号に基づいて前記デジタルゲインを調整してもよい。
　このようにすることで、演算処理のみで画像信号の明るさを調整することができる。
　上記態様においては、前記明るさ調整信号生成部が、前記画像信号の輝度値に基づいて中央値および振幅が設定された前記明るさ調整信号を生成してもよい。
　このようにすることで、画像信号の明るさをより適切に調整することができる。
　上記態様においては、前記生体情報取得部が、心電計から出力される前記心臓の心電波形を取得し、前記同期信号生成部は、前記生体情報取得部によって取得された前記心電波形に基づいて前記同期信号を生成してもよい。この場合、前記同期信号生成部が、前記心電波形内の所定の波形の立ち上がりに基づいて前記同期信号を生成してもよい。
　心臓の動態の変化に応じて心電波形は周期的に時間変化するので、心電波形から心臓の動態に関する情報を取得することができる。
　上記態様においては、前記生体情報取得部が、前記時系列の画像信号の輝度の時間変化を算出し、前記同期信号生成部が、前記生体情報取得部によって算出された前記輝度の時間変化に基づいて前記同期信号を生成してもよい。
　心臓の動態の変化に応じて画像信号の輝度は周期的に時間変化するので、外部の装置を使用することなく、画像信号の輝度の時間変化から心臓の動態に関する情報を取得することができる。
　上記態様においては、前記生体情報取得部が、血圧計から出力される前記生体の観血血圧を取得し、前記同期信号生成部が、前記生体情報取得部によって取得された前記観血血圧に基づいて前記同期信号を生成してもよい。
　心臓の動態の変化に応じて観血血圧は周期的に時間変化するので、観血血圧から心臓の動態に関する情報を取得することができる。
　本発明によれば、心臓の動画撮影において、拍動による画像の明るさの時間変化を抑制して適切な明るさの動画像を得ることができるという効果を奏する。
本発明の第１の実施形態に係る内視鏡装置の全体構成図である。 心臓内の血圧、心電波形、同期信号、明るさ調整信号および照明光の光量の関係を説明する図である。 図１の内視鏡装置による画像信号の明るさ調整に係る動作を示すフローチャートである。 図１の内視鏡装置の変形例による画像信号の明るさ調整に係る動作を示すフローチャートである。 本発明の第２の実施形態に係る内視鏡装置の全体構成図である。 内視鏡画像の平均輝度および輝度差、同期信号、明るさ調整信号および照明光の光量の関係を説明する図である。 本発明の第３の実施形態に係る内視鏡装置の全体構成図である。 血圧信号波形、同期信号、明るさ調整信号および照明光の光量の関係を説明する図である。 第１の実施形態に係る内視鏡装置の変形例の全体構成図である。
（第１の実施形態）
　本発明の第１の実施形態に係る内視鏡装置１０について図１から図４を参照して説明する。
　本実施形態に係る内視鏡装置１０は、図１に示されるように、患者（生体）Ｐの心膜腔内に挿入され心膜腔内を観察する内視鏡１と、内視鏡１の基端部に接続され心膜腔内を照明するための照明光を内視鏡１に供給する光源装置（光源部）２と、内視鏡１の基端部に接続され内視鏡１によって取得された画像信号を処理する内視鏡プロセッサ３とを備えている。内視鏡プロセッサ３には、画像を表示するモニタ４が接続されている。
　内視鏡１は、照明光を射出する照明光学系５と、心膜腔内を動画撮影して時系列の画像信号を取得する撮像部６とを備えている。
　照明光学系５は、例えば、内視鏡１内を通って光源装置２から内視鏡１の先端まで配置されたライトガイドであり、光源装置２から供給された照明光を導光して内視鏡１の先端から射出する。
　撮像部６は、ＣＭＯＳイメージセンサのような撮像素子を有する。撮像部６は、心膜腔内から内視鏡１の先端に戻る照明光の反射光を撮像素子によって動画撮影することで時系列の画像信号を取得し、画像信号を内視鏡プロセッサ３内の画像処理部３１（後述）に送信する。
　内視鏡プロセッサ３は、画像処理部３１と、入力部（生体情報取得部）３２と、同期信号生成部３３と、明るさ調整信号生成部３４とを備えている。また、内視鏡プロセッサ３は、周辺装置との間で信号を送受信するインタフェース（図示略）を有している。
　画像処理部３１は、撮像部６から受信した画像信号から画像を生成する。生成された画像は、画像処理部３１からモニタ４に出力されてモニタ４に表示される。
　入力部３２は、インタフェースに設けられている。入力部３２は、患者Ｐに接続され患者Ｐの心電波形を測定する心電計４０と接続され、心電計４０から出力された心電波形が入力される。入力部３２に入力された心電波形は、同期信号生成部３３に送信される。
　同期信号生成部３３は、図２に示されるように、心電波形内の所定の波形に基づいて、心拍に同期して周期的に時間変化する同期信号を生成する。心電波形内の各波形は、心臓Ａの動態に応じて拍動と同一の周期で出現する。したがって、心電波形内の所定の波形に基づく同期信号は、拍動に同期した周期的な信号となる。
　具体的には、同期信号生成部３３は、心電波形内のＱＲＳ波の立ち上がりをトリガとして検知し、ＱＲＳ波の立ち上がりにおいて電圧がローレベルからハイレベルに立ち上がり、その後ｔ秒間ハイレベルを維持し、ＱＲＳ波の立ち上がりからｔ秒後に電圧がハイレベルからローレベルに立ち下がる矩形波状の同期信号を生成する。生成された同期信号は、同期信号生成部３３から明るさ調整信号生成部３４に送信される。
　心電波形と心臓Ａの動態との関係に関して、心電波形のＴ波の立ち下りのタイミングに相当する等容弛緩期に、心房内に血液が充満して心房が最も拡張する。内視鏡１による左心耳Ｂの観察において、左心房に付随する左心耳Ｂは、等容弛緩期に、心房の急激な拡張によって内視鏡１の先端に最も接近する。上記同期信号のハイレベルからローレベルへの立ち下がりのタイミングが等容弛緩期に一致するように、ハイレベルの期間の長さ（ｔ秒）は、ＱＲＳ波の立ち上がりから該ＱＲＳ波の直後のＴ波の立ち下がりまでの時間と略等しい長さに設定される。
　明るさ調整信号生成部３４は、同期信号生成部３３から受信した同期信号に同期して変調された明るさ調整信号を生成する。具体的には、明るさ調整信号生成部３４は、同期信号の立ち上がりのタイミングで電圧が極大となり、同期信号の立ち下がりのタイミングで電圧が極小となるように、電圧が周期的にかつ連続的に滑らかに時間変化する波形信号（例えば、正弦波信号）を明るさ調整信号として生成する。これにより、ＱＲＳ波の立ち上がりで電圧が極大となり、等容弛緩期に電圧が極小となるように、拍動に同期して周期的に時間変化する明るさ調整信号が生成される。生成された明るさ調整信号は、明るさ調整信号生成部３４から光源装置２の調光制御部２２（後述）に送信される。
　明るさ調整信号の中央値は、一定期間内の時系列の複数の画像の輝度値の平均値が最適値となるように設定される。明るさ調整信号の最大値および最小値は、一定期間内の時系列の複数の画像の輝度の最大値および最小値にそれぞれ基づいて設定される。
　例えば、ヒトの心臓Ａは、平常時には１秒間に１～１．５回程度拍動するので、２秒間に取得される画像（例えば、６０ｆｐｓの画像信号の場合、１２０フレームの画像）が中央値および振幅の設定に使用される。計算量を低減するために、２秒間に取得された全フレームのうち一部を間引いて計算に用いるフレームの数を減らしてもよい。中央値、最大値および最小値の計算は、例えば画像処理部３１において行われ、算出された中央値、最大値および最小値の計算が明るさ調整信号生成部３４に送信される。
　光源装置２は、光源２１と、明るさ調整信号生成部３４から受信する明るさ調整信号に基づいて光源２１の射出光量を制御する調光制御部（明るさ調整部）２２とを備えている。
　光源２１は、キセノンランプのような白色のランプ光源である。
　調光制御部２２は、明るさ調整信号の電圧に相当する光量の照明光を光源２１から射出させる。これにより、光源装置２から内視鏡１に出力される照明光の光量は、明るさ調整信号の電圧と同様に、図２に示されるように、ＱＲＳ波の立ち上がりで極大となり、等容弛緩期で極小となるように、拍動に同期して周期的にかつ連続的に滑らかに時間変化する。このようにして心臓Ａに照射される照明光が調光されることで、撮像部６によって取得される画像信号の明るさが拍動に同期して調整されるようになっている。
　光源２１は、ランプ光源に代えて、ＬＥＤであってもよい。光源２１がＬＥＤである場合、調光制御部２２は、ＬＥＤのパルス発光と１秒間当たりのパルス数とを制御することで、照明光の射出光量を制御してもよい。
　次に、このように構成された内視鏡装置１０の作用について、左心耳結紮手技における左心耳Ｂの観察を例に説明する。
　本実施形態に係る内視鏡装置１０を用いて左心耳Ｂを観察するためには、モニタ４に表示される動画を観察しながら、内視鏡１を体外から患者Ｐの心膜腔内まで経皮的に挿入し、画像内に左心耳Ｂが観察される位置に内視鏡１を配置する。心臓Ａの拍動によって左心耳Ｂが動くことで、内視鏡１の先端と左心耳Ｂとの距離は周期的に時間変化する。
　ここで、図３に示されるように、患者Ｐに接続された心電計４０によって測定された心電波形が内視鏡プロセッサ３内に入力部３２から入力される（ステップＳ１）。内視鏡プロセッサ３内では、同期信号生成部３３において心電波形内のＱＲＳ波に基づいて拍動に同期した同期信号が生成される（ステップＳ２）。同期信号の生成と並行して、画像処理部３１において、撮像部６から入力される画像信号から画像が生成され、画像の輝度値から、明るさ調整信号用の中央値、最大値および最小値が算出される（ステップＳ３）。
　次に、明るさ調整信号生成部３４において、同期信号生成部３３によって生成された同期信号と画像処理部３１によって算出された中央値、最大値および最小値とに基づいて、同期信号に同期して変調された明るさ調整信号が生成される（ステップＳ４）。
　次に、光源装置２において、明るさ調整信号生成部３４からの明るさ調整信号に基づいて光源２１の射出光量が調光制御部２２によって制御される（ステップＳ５）。これにより、心膜腔内で内視鏡１の先端から心臓Ａに照射される照明光の光量が周期的にかつ連続的に滑らかに変化する。具体的には、照明光は、左心耳Ｂが内視鏡１の先端に最も近づくときに最小となり、左心耳Ｂが内視鏡１の先端から最も離れるときに最大となるように、心臓Ａの拍動に同期して周期的に調光される。
　このように、本実施形態によれば、患者Ｐの心電波形から得られる心臓Ａの動態の情報に基づいて、左心耳Ｂが内視鏡１の先端に近付くにつれて照明光が暗くなり、左心耳Ｂが内視鏡１の先端から遠ざかるにつれて照明光が明るくなるように、照明光が拍動に同期して調光される。これにより、心臓Ａの拍動による画像信号の明るさの変動を抑制して、適切な明るさの動画像を得ることができるという利点がある。また、左心耳Ｂが内視鏡１の先端に急接近することによる画像の白とびを防止することができるという利点がある。
　また、本実施形態によれば、同期信号の生成のトリガとして、等容弛緩期の前に現れるＱＲＳ波を利用することで、左心耳Ｂが内視鏡１の先端に最も接近する等容弛緩期のタイミングで照明光の光量が極小となるように、左心耳Ｂの内視鏡１の先端への接近に対して遅れることなく照明光の光量を制御することができる。ＱＲＳ波に代えてＴ波の立ち下がりをトリガにして同期信号を生成してもよいが、この場合には、Ｔ波の立ち下がりと略同時に左心耳Ｂが内視鏡１の先端に最接近するため、左心耳Ｂの接近に対して照明光の射出光量の低下が遅れる可能性がある。
　本実施形態においては、心電波形の乱れを検知するエラー検知部（図示略）がさらに設けられていてもよい。
　例えば、内視鏡観察中に患者Ｐの身体を動かしたり医師が患者Ｐに触れたりする等して心電波形が一時的に乱れることがあり得る。このような一時的な心電波形の乱れをエラー検知部によって検知することで、心電波形の乱れに応答した照明光の射出光量の変動を防止することができる。
　図４は、エラー検知部が設けられている場合の画像信号の明るさ調整の動作を示している。
　エラー検知部は、例えば、入力部３２と同期信号生成部３３との間に設けられる。エラー検知部は、入力部３２から心電波形を受信し（ステップＳ１）、心電波形をフーリエ変換することで心電波形に含まれる周波数成分を算出し（ステップＳ１１）、算出された周波数成分をモニタリングする（ステップＳ１２）。
　エラー検知部は、心拍の周波数帯域以外の周波数成分である雑音を検知したときに（ステップＳ１１のＹＥＳ）、エラー検知信号を同期信号生成部３３に送信することで同期信号生成部３３に同期信号の生成を一時的に停止させる（ステップＳ１３）。明るさ調整信号生成部３４は、同期信号生成部３３からの同期信号の入力が途絶えたときに、最後に生成した明るさ調整信号を調光制御部２２に出力し続ける（ステップＳ１４）。これにより、心電波形に乱れが生じたときには、照明光が一定の周期で調光される。
　エラー検知部に代えて、フーリエ変換によって得られた周波数成分から心拍の周波数帯域以外の周波数成分を除去し、その後に逆フーリエ変換することで雑音が除去された心電波形を生成し、生成された心電波形を同期信号生成部３３に出力するノイズフィルタが設けられていてもよい。
（第２の実施形態）
　次に、本発明の第２の実施形態に係る内視鏡装置について図５および図６を参照して説明する。
　本実施形態においては、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
　本実施形態に係る内視鏡装置２０は、心電波形に代えて、時系列の画像の輝度の時間変化に基づいて同期信号を生成する点において、第１の実施形態と異なっている。
　内視鏡装置１０は、図５に示されるように、内視鏡１と、光源装置２と、内視鏡プロセッサ３０１と、モニタ４とを備えている。
　内視鏡プロセッサ３０１は、画像処理部３１と、輝度算出部３５と、輝度メモリ３６と、輝度差算出部（生体情報取得部）３７と、判定部３８と、同期信号生成部３３と、明るさ調整信号生成部３４とを備えている。
　画像処理部３１は、生成された画像をモニタ４に加えて輝度算出部３５に送信する。
　輝度算出部３５は、図６に示されるように、画像処理部３１から受信した各画像内の所定の注目領域の平均輝度Ｙを順番に算出する。注目領域は、例えば、図示しないユーザインタフェース等を介して操作者によって設定される。輝度算出部３５によって算出された平均輝度Ｙは、輝度メモリ３６に時系列に記憶される。
　輝度差算出部３７は、最新の２つの平均輝度Ｙを輝度メモリ３６から読み出す。次に、輝度差算出部３７は、後に取得された画像の平均輝度Ｙから先に取得された画像の平均輝度Ｙを減算することで、２つの平均輝度Ｙの差Ｙ＿ｓｕｂを算出する。差Ｙ＿ｓｕｂは、画像の平均輝度Ｙの時間変化を表す。算出された差Ｙ＿ｓｕｂは、判定部３８に送信される。
　判定部３８は、差Ｙ＿ｓｕｂの符号が正であるか、または負であるかを判定し、判定結果を同期信号生成部３３に送信する。
　同期信号生成部３３は、差Ｙ＿ｓｕｂの符号が正から負へ変化した時刻からｔ秒後にパルス信号を同期信号として発生して明るさ調整信号生成部３４に出力する。
　内視鏡１による左心耳Ｂの観察において、左心耳Ｂが内視鏡１の先端に近付く心房の拡張期間では、画像の明るさが漸次増大するので差Ｙ＿ｓｕｂが正の値となる。一方、左心耳Ｂが内視鏡１の先端から遠ざかる心房の収縮期間では、画像の明るさが漸次低下するので、差Ｙ＿ｓｕｂが負の値となる。このように、差Ｙ＿ｓｕｂの符号は、心房の収縮および拡張のような心臓Ａの動態を表し、拍動と同一の周期で変化する。したがって、差Ｙ＿ｓｕｂの符号の変化に基づく同期信号は、拍動に同期した周期的な信号となる。
　ここで、心房が最も収縮して左心耳Ｂが内視鏡１の先端から最も離れるときに差Ｙ＿ｓｕｂが正から負へ変化し、心房が最も拡張して左心耳Ｂが内視鏡１の先端に最も近づく等容弛緩期に、差Ｙ＿ｓｕｂが負から正へ変化する。パルス信号の出力のタイミングが等容弛緩期に一致するように、差Ｙ＿ｓｕｂの負から正への変化が検知されてからパルス信号を出力するまでの時間の長さ（ｔ秒）は、心房が最も収縮するタイミングから心房が最も拡張するタイミングまでの時間と略等しい長さに設定される。
　明るさ調整信号生成部３４は、同期信号生成部３３から入力されるパルス信号に応答し、パルス信号に同期して変調された明るさ調整信号を生成する。具体的には、明るさ調整信号生成部３４は、パルス信号が入力されたときに電圧が極大となるように、電圧が周期的にかつ連続的に滑らかに時間変化する波形信号（例えば、正弦波信号）を明るさ調整信号として生成する。これにより、等容弛緩期に電圧が極小となるように、拍動に同期して周期的に時間変化する明るさ調整信号が生成される。生成された明るさ調整信号は、明るさ調整信号生成部３４から光源装置２の調光制御部２２に送信される。
　明るさ調整信号の中央値は、一定期間内の時系列の複数の画像の平均輝度Ｙの最大値と最小値の加重平均に基づいて設定される。明るさ調整信号の振幅は、一定期間内の時系列の複数の画像の平均輝度Ｙの最大値と最小値の差分に基づいて設定される。中央値および振幅の計算は、例えば画像処理部３１において行われ、算出された中央値、最大値および最小値の計算が明るさ調整信号生成部３４に送信される
　次に、このように構成された内視鏡装置２０の作用について説明する。
　本実施形態に係る内視鏡装置２０によれば、輝度算出部３５において、画像処理部３１において生成される画像の平均輝度Ｙが順番に算出されて輝度メモリ３６に時系列に記憶される。次に、輝度差算出部３７において、輝度メモリ３６から最新の２つの平均輝度Ｙが読み出され、画像の平均輝度Ｙの時間変化を表す差Ｙ＿ｓｕｂが算出される。
　次に、判定部３８において、差Ｙ＿ｓｕｂの正負が判定され、差Ｙ＿ｓｕｂが正から負に変化した時刻からｔ秒後に、同期信号生成部３３からパルス信号が出力される。次に、明るさ調整信号生成部３４において、同期信号生成部３３から入力された同期信号に基づいて、同期信号に同期して変調された明るさ調整信号が生成される。
　この後の光源装置２の動作は、第１の実施形態と同一である。
　心臓Ａの拍動に同期した照明光の調光が行われている状況においても、画像の明るさを完全に一定にすることは困難であり、画像の明るさには心臓Ａの拍動に同期した周期的な変化が残る。本実施形態によれば、画像の明るさの周期的な時間変化を利用することで、心電計４０のような外部装置を使用することなく、心臓Ａの動態に関する情報を取得することができる。
　そして、画像の明るさの周期的な時間変化に基づいて、左心耳Ｂが内視鏡１の先端に近付くにつれて照明光が暗くなり、左心耳Ｂが内視鏡１の先端から遠ざかるにつれて照明光が明るくなるように、照明光が拍動に同期して調光される。これにより、心臓Ａの拍動による画像信号の明るさの変動を抑制して、適切な明るさの動画像を得ることができるという利点がある。また、左心耳Ｂが内視鏡１の先端に急接近することによる画像の白とびを防止することができるという利点がある。
　本実施形態においては、心臓Ａの拍動を検知するために画像の輝度を用いることとしたが、これに代えて、画像を構成するＲ、Ｇ、またはＢの画像信号を用いてもよい。
（第３の実施形態）
　次に、本発明の第３の実施形態に係る内視鏡装置について図７および図８を参照して説明する。
　本実施形態においては、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
　本実施形態に係る内視鏡装置３０は、心電波形に代えて、観血血圧の血圧信号波形に基づいて同期信号を生成する点において、第１の実施形態と異なっている。
　内視鏡装置３０は、図７に示されるように、内視鏡１と、光源装置２と、内視鏡プロセッサ３と、モニタ４とを備えている。
　入力部（生体情報取得部）３２は、患者Ｐに接続され患者Ｐの動脈の血圧を測定する動脈圧測定装置（血圧計）５０と接続され、動脈圧測定装置５０から出力された観血血圧の血圧信号波形が入力される。動脈圧測定装置５０としては、例えば、大動脈Ｃ内にカテーテル５０ａを留置し、圧トランスデューサによって血圧を測定するものが使用される。入力部３２に入力された血圧信号波形は、同期信号生成部３３に送信される。
　同期信号生成部３３は、図８に示されるように、血圧信号波形に基づいて、血圧信号波形の周期的な時間変化に同期して時間変化する同期信号を生成する。観血血圧は、心臓Ａの動態に応じて拍動と同一の周期で時間変化する。したがって、血圧信号波形に基づく同期信号は、拍動に同期した周期的な信号となる。
　具体的には、同期信号生成部３３は、血圧信号波形の立ち上がりをトリガとして検知し、血圧信号波形の立ち上がりにおいて電圧がローレベルからハイレベルに立ち上がり、その後ｔ秒間ハイレベルを維持し、血圧信号波形の立ち上がりからｔ秒後に電圧がハイレベルからローレベルに立ち下がる矩形波状の同期信号を生成する。生成された同期信号は、同期信号生成部３３から明るさ調整信号生成部３４に送信される。
　画像処理部３１および明るさ調整信号生成部３４の処理は、第１の実施形態と同一である。
　血圧信号波形と心臓Ａの動態との関係に関して、観血血圧は心臓Ａの拍動に同期して周期的に時間変化し、血圧信号波形の立ち下がりの途中で等容弛緩期が現れる。上記同期信号のハイレベルからローレベルに立ち下がりのタイミングが等容弛緩期に一致するように、ハイレベルの期間の長さ（ｔ秒）は設定される。
　次に、このように構成された内視鏡装置３０の作用について説明する。
　本実施形態に係る内視鏡装置３０によれば、患者Ｐに接続された動脈圧測定装置５０によって測定された血圧信号波形が内視鏡プロセッサ３内に入力部３２から入力される。内視鏡プロセッサ３内では、同期信号生成部３３において血圧信号波形に基づいて拍動に同期した同期信号が生成される。同期信号の生成と並行して、画像処理部３１において、撮像部６から入力される画像信号から画像が生成され、画像の輝度値から、明るさ調整信号用の中央値、最大値および最小値が算出される。
　次に、明るさ調整信号生成部３４において、同期信号生成部３３によって生成された同期信号と画像処理部３１によって算出された中央値、最大値および最小値とに基づいて、同期信号に同期して変調された明るさ調整信号が生成される。
　この後の光源装置２の動作は、第１の実施形態と同一である。
　このように、本実施形態によれば、患者Ｐの血圧信号波形から得られる心臓Ａの動態の情報に基づいて、左心耳Ｂが内視鏡１の先端に近付くにつれて照明光が暗くなり、左心耳Ｂが内視鏡１の先端から遠ざかるにつれて照明光が明るくなるように、照明光が拍動に同期して調光される。これにより、心臓Ａの拍動による画像信号の明るさの変動を抑制して、適切な明るさの動画像を得ることができるという利点がある。また、左心耳Ｂが内視鏡１の先端に急接近することによる画像の白とびを防止することができるという利点がある。
　また、本実施形態によれば、同期信号の生成のトリガとして、等容弛緩期の前に現れる血圧信号波形の立ち上がりを利用することで、左心耳Ｂが内視鏡１の先端に最も接近する等容弛緩期のタイミングで照明光の光量が極小となるように、左心耳Ｂの内視鏡１の先端への接近に対して遅れることなく制御することができる。
　第１から第３の実施形態においては、光源装置２から射出される照明光の射出光量を調整することで、撮像部６によって取得される画像信号の明るさを調整することとしたが、これに代えて、内視鏡プロセッサ３内の制御部（図示略、明るさ調整部）が撮像部６における撮像素子のゲインおよび露光時間のうち少なくとも一方を制御することで画像信号の明るさを調整してもよい。
　例えば、制御部は、明るさ調整信号生成部３４から受信する明るさ調整信号に基づいて、明るさ調整信号の電圧が大きい程、ゲインが大きくなるように、または露光時間が長くなるように、撮像素子を制御する。このように、撮像素子のゲインおよび露光時間の調整によっても、心臓Ａの拍動に同期して画像信号の明るさを適切に調整することができる。
　あるいは、照明光の光量調整に代えて、画像処理部３１のデジタルゲインを調整することで画像信号の明るさを調整してもよい。
　例えば、心電信号に基づいて同期信号を生成する第１の実施形態の場合、図９に示されるように、明るさ調整信号生成部３４において生成された明るさ調整信号が画像処理部３１に送信される。
　画像処理部（明るさ調整部）３１は、画像信号に乗じるデジタルゲインを明るさ調整信号に基づいて設定するゲイン処理部３１ａを有する。ゲイン処理部３１ａは、明るさ調整信号に同期して、周期的に時間変化するようにデジタルゲインを設定する。画像処理部３１は、デジタルゲインを乗じた画像信号から画像を生成する。
　このように、画像信号のデジタル処理によっても、心臓Ａの拍動に同期して画像信号の明るさを適切に調整することができる。
　デジタルゲインによる画像信号の明るさ調整と、照明光の調光による画像信号の明るさ調整とを組み合わせて行ってもよい。このようにすることで、デジタルゲインの調整では解消することが困難な画像内のハレーションを照明光の調光によって防ぐことができる。
　第１から第３の実施形態においては、内視鏡１で左心耳Ｂを観察する場合について説明したが、内視鏡１による心臓Ａの観察部位はこれに限定されるものではない。
　左心耳Ｂ以外の部位を観察する場合にも、心臓Ａの拍動によって内視鏡１の先端と観察部位との距離が周期的に時間変化することで、画像の明るさには周期的な時間変化が生じる。したがって、左心耳Ｂ以外の部位の観察にも、本実施形態の内視鏡装置１０，２０，３０を好適に適用することができる。心臓Ａの他の部位を観察する場合には、観察部位に応じて、同期信号の生成のトリガとする波形や、同期信号のハイレベルの時間の長さ（ｔ秒）等が適宜設定される。
１　内視鏡
２　光源装置（光源部）
２１　光源
２２　調光制御部（明るさ調整部）
３　内視鏡プロセッサ
３１　画像処理部
３２　入力部（生体情報取得部）
３３　同期信号生成部
３４　明るさ調整信号生成部
３５　輝度算出部
３６　輝度メモリ
３７　輝度差算出部（生体情報取得部）
３８　判定部
４　モニタ
５　照明光学系
６　撮像部
１０，２０，３０　内視鏡装置
４０　心電計
５０　動脈圧測定装置（血圧計）
Ｐ　患者（生体）
Ａ　心臓
Ｂ　左心耳

Claims (9)

  1. 　生体内を動画撮影して時系列の画像信号を取得する撮像部と、
    　前記生体の心臓の動態に関する情報を取得する生体情報取得部と、
    　該生体情報取得部によって取得された前記情報に基づいて同期信号を生成する同期信号生成部と、
    　該同期信号生成部によって生成された前記同期信号に同期して変調された明るさ調整信号を生成する明るさ調整信号生成部と、
    　該明るさ調整信号生成部によって生成された前記明るさ調整信号に基づいて、前記画像信号の明るさを調整する明るさ調整部とを備える内視鏡装置。
  2. 　前記生体内を照明するための照明光を出力する光源部を備え、
    　前記明るさ調整部が、前記明るさ調整信号に基づいて前記光源部から出力される前記照明光の光量を調整する請求項１に記載の内視鏡装置。
  3. 　前記明るさ調整部が、前記明るさ調整信号に基づいて、前記撮像部のゲインおよび露光時間のうち少なくとも一方を調整する請求項１に記載の内視鏡装置。
  4. 　前記撮像部によって取得された前記画像信号にデジタルゲインを乗じる画像処理部を備え、
    　前記明るさ調整部が、前記明るさ調整信号に基づいて前記デジタルゲインを調整する請求項１の内視鏡装置。
  5. 　前記明るさ調整信号生成部が、前記画像信号の輝度値に基づいて中央値および振幅が設定された前記明るさ調整信号を生成する請求項１から請求項４のいずれかに記載の内視鏡装置。
  6. 　前記生体情報取得部が、心電計から出力される前記心臓の心電波形を取得し、
    　前記同期信号生成部は、前記生体情報取得部によって取得された前記心電波形に基づいて前記同期信号を生成する請求項１から請求項５のいずれかに記載の内視鏡装置。
  7. 　前記同期信号生成部が、前記心電波形内の所定の波形の立ち上がりに基づいて前記同期信号を生成する請求項６に記載の内視鏡装置。
  8. 　前記生体情報取得部が、前記時系列の画像信号の輝度の時間変化を算出し、
    　前記同期信号生成部が、前記生体情報取得部によって算出された前記輝度の時間変化に基づいて前記同期信号を生成する請求項１から請求項５のいずれかに記載の内視鏡装置。
  9. 　前記生体情報取得部が、血圧計から出力される前記生体の観血血圧を取得し、
    　前記同期信号生成部が、前記生体情報取得部によって取得された前記観血血圧に基づいて前記同期信号を生成する請求項１から請求項５のいずれかに記載の内視鏡装置。
PCT/JP2017/020488 2017-06-01 2017-06-01 内視鏡装置 WO2018220801A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020488 WO2018220801A1 (ja) 2017-06-01 2017-06-01 内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020488 WO2018220801A1 (ja) 2017-06-01 2017-06-01 内視鏡装置

Publications (1)

Publication Number Publication Date
WO2018220801A1 true WO2018220801A1 (ja) 2018-12-06

Family

ID=64455849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020488 WO2018220801A1 (ja) 2017-06-01 2017-06-01 内視鏡装置

Country Status (1)

Country Link
WO (1) WO2018220801A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6241636A (ja) * 1985-08-16 1987-02-23 オリンパス光学工業株式会社 内視鏡用撮影装置
JPS63163809A (ja) * 1986-12-26 1988-07-07 Olympus Optical Co Ltd 内視鏡装置
JPH04329922A (ja) * 1991-04-30 1992-11-18 Fujikura Ltd 心臓血管内視鏡装置
WO2015114906A1 (ja) * 2014-01-29 2015-08-06 オリンパス株式会社 撮像システムおよび撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6241636A (ja) * 1985-08-16 1987-02-23 オリンパス光学工業株式会社 内視鏡用撮影装置
JPS63163809A (ja) * 1986-12-26 1988-07-07 Olympus Optical Co Ltd 内視鏡装置
JPH04329922A (ja) * 1991-04-30 1992-11-18 Fujikura Ltd 心臓血管内視鏡装置
WO2015114906A1 (ja) * 2014-01-29 2015-08-06 オリンパス株式会社 撮像システムおよび撮像装置

Similar Documents

Publication Publication Date Title
US8172763B2 (en) Imaging and analysis of movement of erythrocytes in blood vessels in relation to the cardiac cycle
US11457801B2 (en) Image processing device, image processing method, and endoscope system
JP4490014B2 (ja) 画像獲得と心周期を同期させてデュアルエネルギー撮影を行うシステムと方法
US9019427B2 (en) Method for stroboscopically examining repeating processes and arrangement for performing said method
US8971493B2 (en) System for image scanning and acquisition with low-dose radiation
US8255038B2 (en) System and method for non-uniform image scanning and acquisition
US8858443B2 (en) System for cardiac ultrasound image acquisition
JPWO2018025457A1 (ja) 制御装置、制御システム、および制御方法
JP5775986B2 (ja) 内視鏡システム
JP2014028124A (ja) 医用画像処理装置及びｘ線診断装置
US20180098683A1 (en) Image processing device, image processing method, and surgical system
JP2007000630A (ja) 運動する対象物をイメージングするための方法及び装置
US9474492B2 (en) Adaptive ECG trigger signal jitter detection and compensation for imaging systems
US20130274601A1 (en) Ultrasound diagnosis apparatus, image processing apparatus, and image processing method
JP2012239757A (ja) 医療機器及び医療用プロセッサ
WO2018220801A1 (ja) 内視鏡装置
JP2012090701A (ja) 電子内視鏡用プロセッサ及び電子内視鏡装置
JP2008093220A (ja) プロセッサおよび電子内視鏡システム
JP4804980B2 (ja) 赤外観察システム
US11244478B2 (en) Medical image processing device, system, method, and program
WO2018159346A1 (ja) 画像処理装置および方法、並びに内視鏡システム
JP6043025B2 (ja) 撮像システム及び画像処理装置
JP2016042922A (ja) 光音響画像化装置
WO2017082091A1 (ja) 手術システム、手術用制御方法、およびプログラム
JP7140113B2 (ja) 内視鏡

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17912149

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17912149

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP