WO2019244406A1 - 内視鏡システム及び内視鏡システムの作動方法 - Google Patents

内視鏡システム及び内視鏡システムの作動方法 Download PDF

Info

Publication number
WO2019244406A1
WO2019244406A1 PCT/JP2019/007350 JP2019007350W WO2019244406A1 WO 2019244406 A1 WO2019244406 A1 WO 2019244406A1 JP 2019007350 W JP2019007350 W JP 2019007350W WO 2019244406 A1 WO2019244406 A1 WO 2019244406A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
observation mode
endoscope
unit
motion detection
Prior art date
Application number
PCT/JP2019/007350
Other languages
English (en)
French (fr)
Inventor
理沙 新井
大記 有吉
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2019244406A1 publication Critical patent/WO2019244406A1/ja
Priority to US17/126,460 priority Critical patent/US11986147B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor

Definitions

  • the present invention relates to an endoscope system and an operation method of the endoscope system, and particularly to an endoscope system used for observation of a living tissue and an operation method of the endoscope system.
  • a technique for assisting diagnosis of an abnormal site present in a subject for example, an image obtained by imaging a subject including a living tissue present in the subject is obtained.
  • a technique is known in which a process is performed on an endoscope image to generate and display a diagnosis support image having a color and / or a pattern capable of specifying an abnormal part included in the endoscope image.
  • Japanese Unexamined Patent Application Publication No. 2006-223481 discloses a process for processing an endoscope image obtained by imaging an object irradiated with RGB plane-sequential light with an electronic endoscope.
  • a configuration is disclosed in which a pseudo-color image is generated and displayed in accordance with the distribution state of IHb (hemoglobin index) values in a region of interest set in the endoscope image by performing the application.
  • IHb hemoglobin index
  • the above-described diagnosis support image is generally displayed in a display mode in which it is difficult to grasp the anatomical feature and / or the anatomical position of the subject. Therefore, for example, in a state where the above-described diagnosis support image is displayed, there is a possibility that accidental damage to living tissue due to operation of the endoscope by a user such as an operator may easily occur. A point occurs.
  • Japanese Patent Application Laid-Open No. 2006-223481 does not specifically disclose a method capable of solving the above-described problem. Therefore, according to the configuration disclosed in Japanese Patent Application Laid-Open No. 2006-223481, it is possible to ensure safety when performing observation using an image obtained by processing at least one of a color and a pattern of an endoscope image. There is a problem corresponding to the above-mentioned problem that it cannot be performed.
  • the present invention has been made in view of the above-described circumstances, and is an endoscope capable of ensuring safety when performing observation using an image obtained by processing at least one of a color and a pattern of an endoscope image. It is an object to provide a mirror system and a method of operating an endoscope system.
  • An endoscope system generates one of first illumination light and second illumination light as illumination light for illuminating a subject present inside a subject.
  • a light source unit configured, an imaging unit configured to capture an image of a subject illuminated by the illumination light to obtain an image, and illuminate an observation mode for observing the subject with the first illumination light.
  • a first observation mode in which a first image obtained by imaging the subject is displayed on a display device, and a second observation mode obtained by imaging the subject illuminated by the second illumination light.
  • a switching instruction unit capable of giving an instruction for setting to a second observation mode for displaying on the display device a third image obtained by processing at least one of the color and the pattern of the image And the first image or the second image
  • a movement detection unit configured to detect a movement of a distal end portion of the endoscope provided with the imaging unit based on the image of the imaging unit; and the observation mode is set to the first mode based on a detection result of the movement detection unit.
  • the light source unit may include, as the illumination light for illuminating a subject existing inside the subject, of the first illumination light and the second illumination light.
  • the imaging unit captures an image by capturing an image of a subject illuminated by the illumination light
  • the switching instruction unit sets an observation mode for observing the subject by the first illumination light.
  • a first observation mode in which a first image obtained by imaging the illuminated object is displayed on a display device, and a first observation mode obtained by imaging the object illuminated by the second illumination light An instruction for setting to a second observation mode in which a third image obtained by processing at least one of the color and the pattern of the second image is displayed on the display device, and the motion detection unit performs Based on the first image or the second image Detecting the movement of the distal end of the endoscope provided with the imaging unit, and the control unit changing the observation mode from the first observation mode to the second observation based on the detection result of the movement detection unit.
  • the observation mode performed by the switching instruction unit is changed to the second observation mode. Disable the instruction to set to.
  • FIG. 1 is a diagram showing a configuration of a main part of an endoscope system according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of a wavelength band of light emitted from the light source device of the endoscope system according to the embodiment.
  • 4 is a flowchart illustrating a part of a specific example of processing and the like performed in the endoscope system according to the embodiment.
  • 5 is a flowchart showing a continuation of the processing in FIG. 4;
  • FIGS. 1 to 7 relate to an embodiment of the present invention.
  • the endoscope system 1 can be inserted into a subject and outputs an endoscope image obtained by imaging a subject such as a living tissue existing in the subject.
  • An endoscope 2 configured as described above, and a light source device 3 configured to supply illumination light used for observing the subject via a light guide 7 inserted and disposed inside the endoscope 2,
  • a processor 4 configured to perform an operation for outputting a display image corresponding to an endoscope image output from the endoscope 2 and a display image or the like output from the processor 4 are displayed on a screen.
  • a display device 5 configured as described above.
  • FIG. 1 is a diagram illustrating a configuration of a main part of the endoscope system according to the embodiment.
  • the endoscope 2 has an elongated insertion portion 2a that can be inserted into the subject, and an operation portion 2b provided on the base end side of the insertion portion 2a.
  • the endoscope 2 can be attached to and detached from the processor 4 via a universal cable (not shown) having a built-in signal line used for transmitting an endoscope image or the like output from an imaging unit 21 (described later). It is configured to be connected to.
  • the endoscope 2 is configured to be detachably connected to the light source device 3 via a light guide cable (not shown) in which at least a part of the light guide 7 is built.
  • the distal end portion 2c of the insertion portion 2a includes an imaging unit 21 for imaging a subject such as a living tissue in the subject, an emission end of the light guide 7, and illumination light transmitted by the light guide 7 to the subject.
  • An illumination optical system 22 for irradiation is provided.
  • the imaging unit 21 is configured to capture an object illuminated by the illumination light passing through the illumination optical system 22 to generate an endoscope image, and to output the generated endoscope image to the processor 4. . That is, the imaging unit 21 is configured to capture an object illuminated by the illumination light passing through the illumination optical system 22 and obtain an endoscope image.
  • the imaging section 21 includes an objective optical system 21a, an imaging element 21b, and an analog front end (hereinafter, abbreviated as AFE) 21c.
  • the objective optical system 21a has, for example, an optical element such as a lens, and is configured to image return light (reflected light) emitted from a subject illuminated by the illumination light passing through the illumination optical system 22.
  • the image sensor 21b includes an image sensor such as a CCD or a CMOS, for example. Also, on the imaging surface of the imaging element 21b, a color filter of a primary color Bayer array for dispersing return light incident from the objective optical system 21a into three colors of red, green, and blue, and light passing through the color filter is provided. And a plurality of pixels arranged in a matrix for imaging. Further, the image sensor 21b is configured to generate an image signal by imaging the return light imaged by the objective optical system 21a, and to output the generated image signal to the AFE 21c. Further, the imaging device 21b is configured to perform an operation according to a control signal output from the processor 4.
  • the AFE 21c generates an endoscope image (endoscope image data) by performing predetermined signal processing such as noise reduction processing and A / D conversion processing on an imaging signal output from the imaging element 21b. It is configured to output the generated endoscope image to the processor 4.
  • the operation unit 2b has a shape that can be held and operated by a user.
  • the operation unit 2b is provided with a scope switch 23 including one or more switches capable of giving an instruction to the processor 4 according to a user's input operation.
  • the scope switch 23 is instructed to set (switch) the observation mode of the endoscope system 1 to one of the normal observation mode and the diagnosis support mode in accordance with a user operation.
  • the scope switch 23 is capable of giving a release instruction for recording, as a still image, an endoscope image obtained by imaging the subject with the endoscope 2 in response to a user operation.
  • a switch (not shown) is provided.
  • the scope switch 23 has a function as a switching instruction unit, and sets the observation mode (of the endoscope system 1) when observing the subject imaged by the endoscope 2 to the endoscope image WDI (described later). ) Is displayed on the display device 5, and a diagnosis support image SDS (described later) obtained by processing at least one of the color and the pattern of the endoscope image SDI (described later) is displayed on the display device 5. It is configured such that an instruction to set one of the modes can be given.
  • the light source device 3 has a function as a light source unit, and generates one of the illumination light WL and the illumination light SL (both will be described later) as illumination light for illuminating a subject existing in the subject. Is configured to occur. Further, the light source device 3 includes a light emitting unit 31, a multiplexer 32, a condenser lens 33, and a light source control unit 34.
  • the light emitting unit 31 includes a blue light source 31a, a green light source 31b, a red light source 31c, and a narrow band light source 31d.
  • the blue light source 31a is configured to have a light emitting element such as a blue LED, for example. Further, the blue light source 31a is configured to generate blue light (hereinafter, referred to as Bb light) having intensity in a blue region. Specifically, as shown in FIG. 2, for example, the blue light source 31a is configured to generate light having intensity in a wavelength band of 400 nm to 500 nm as Bb light. Further, the blue light source 31a is configured to emit light or extinguish according to a light source drive signal supplied from the light source control unit 34. Further, the blue light source 31a is configured to emit light with a light emission amount according to the light source drive signal supplied from the light source control unit 34.
  • FIG. 2 is a diagram illustrating an example of a wavelength band of light emitted from the light source device of the endoscope system according to the embodiment.
  • the green light source 31b has a light emitting element such as a green LED, for example. Further, the green light source 31b is configured to generate green light (hereinafter, referred to as Bg light) having intensity in a green region. Specifically, for example, as shown in FIG. 2, the green light source 31b is configured to generate light having intensity in a wavelength band of 500 nm to 600 nm as Bg light. Further, the green light source 31b is configured to emit light or extinguish in accordance with a light source drive signal supplied from the light source control unit 34. The green light source 31b is configured to emit light with a light emission amount according to the light source drive signal supplied from the light source control unit 34.
  • Bg light green light having intensity in a green region.
  • the green light source 31b is configured to generate light having intensity in a wavelength band of 500 nm to 600 nm as Bg light.
  • the green light source 31b is configured to emit light or extinguish in accordance with a light source drive signal supplied from the
  • the red light source 31c is configured to have a light emitting element such as a red LED, for example.
  • the red light source 31c is configured to generate red light (hereinafter, referred to as Br light) having intensity in a red region.
  • the red light source 31c is configured to generate light having an intensity in a wavelength band of 600 nm to 700 nm as Br light.
  • the red light source 31c is configured to emit light or extinguish in accordance with a light source drive signal supplied from the light source control unit 34.
  • the red light source 31c is configured to emit light with a light emission amount according to the light source drive signal supplied from the light source control unit 34.
  • the narrow band light source 31d is configured to include a light emitting element such as a blue LED, for example.
  • the narrow-band light source 31d is configured to generate narrow-band light (hereinafter, referred to as Nb light) having intensity in the blue region and having a wavelength band narrower than Bb light.
  • Nb light narrow-band light
  • the narrow-band light source 31d is configured to generate, as Nb light, light having a center wavelength set at around 465 nm and having a wavelength band narrower than Bb light. . That is, the center wavelength of the Nb light is set as a wavelength that matches or substantially matches the peak wavelength in the absorption characteristics of plasma as illustrated in FIG.
  • the narrow-band light source 31d is configured to emit or extinguish light in accordance with a light source drive signal supplied from the light source control unit 34. Further, the narrow-band light source 31d is configured to emit light with a light emission amount according to the light source drive signal supplied from the light source control unit 34.
  • FIG. 3 is a diagram illustrating an example of the light absorption characteristics of plasma.
  • the center wavelength of the Nb light may be set to any wavelength belonging to a range from 415 nm to 495 nm.
  • the multiplexer 32 is configured so that each light emitted from the light emitting unit 31 can be multiplexed and incident on the condenser lens 33.
  • the condensing lens 33 is configured to condense the light incident through the multiplexer 32 and emit the light to the incident end of the light guide 7.
  • the light source control unit 34 includes, for example, a control circuit and a drive circuit.
  • the light source control unit 34 is configured to generate and output a light source drive signal for driving each light source of the light emitting unit 31 according to a control signal output from the processor 4.
  • the processor 4 includes an image processing unit 41, a display control unit 42, an input I / F (interface) 43, and a control unit 44.
  • the image processing unit 41 includes, for example, an image processing circuit and the like.
  • the image processing unit 41 performs image processing such as white balance adjustment and gamma correction on the endoscope image output from the endoscope 2 and performs display control on the endoscope image on which the image processing has been performed. It is configured to output to the unit 42 and the control unit 44.
  • the display control unit 42 includes, for example, a display control circuit and the like. Further, the display control unit 42 is configured to perform an operation for outputting a display image according to the control signal output from the control unit 44 to the display device 5. Further, the display control unit 42 is configured to include a calculation unit 42a and a display image generation unit 42b.
  • the calculation unit 42a is configured to perform a calculation process using an endoscope image output via the image processing unit 41. A specific example of the processing performed by the arithmetic unit 42a will be described later.
  • the display image generation unit 42b processes at least one of the color and the pattern of the endoscope image output through the image processing unit 41 based on the processing result obtained by the calculation processing of the calculation unit 42a, It is configured to perform processing for generating a diagnosis support image having visual information capable of specifying an abnormal part included in the endoscope image. A specific example of the process performed by the display image generation unit 42b will be described later.
  • the input I / F 43 is provided with one or more switches capable of giving an instruction to the control unit 44 according to a user's input operation. Specifically, for example, the input I / F 43 is instructed to set (switch) the observation mode of the endoscope system 1 to one of the normal observation mode and the diagnosis support mode in accordance with a user operation. An observation mode changeover switch (not shown) is provided. Further, the input I / F 43 can issue a release instruction for recording, as a still image, an endoscope image obtained by capturing an image of a subject with the endoscope 2 in accordance with a user operation, for example. A release switch (not shown) is provided.
  • the input I / F 43 has a function as a switching instruction unit, and sets the observation mode (of the endoscope system 1) when observing the subject imaged by the endoscope 2 to the endoscope image WDI.
  • One of a normal observation mode to be displayed on the display device 5 and a diagnosis support mode to display a diagnosis support image SDS obtained by processing at least one of the color and the pattern of the endoscope image SDI on the display device 5 It is configured to be able to give an instruction to perform.
  • the control unit 44 includes, for example, a control circuit and the like. In addition, the control unit 44 is configured to perform an operation according to an instruction given by the scope switch 23 or the input I / F 43. In addition, the control unit 44 is configured to generate and output a control signal for controlling the operation of the image sensor 21b. The control unit 44 is configured to generate and output a control signal for controlling the operation of each light source of the light emitting unit 31 via the light source control unit 34.
  • the control unit 44 includes an image recording unit 44a and a motion detection unit 44b.
  • the image recording unit 44a is configured to perform an operation for recording an endoscope image output via the image processing unit 41 as a motion detection image.
  • the image recording unit 44a is configured to perform an operation for recording an endoscope image output via the image processing unit 41 as a release image (still image) when a release instruction is issued. I have.
  • the motion detection unit 44b is configured to perform a motion detection process for calculating a feature amount indicating the motion of the tip 2c based on the motion detection image recorded in the image recording unit 44a. A specific example of the processing performed by the motion detection unit 44b will be described later.
  • each unit of the processor 4 may be configured as an individual electronic circuit, or may be configured as a circuit block in an integrated circuit such as an FPGA (Field Programmable Gate Array).
  • the processor 4 may include one or more CPUs.
  • a computer (not shown) reads a program for executing the functions of each unit of the processor 4 from a storage medium such as a memory, and responds to the read program. May be performed.
  • the display device 5 includes, for example, an LCD (liquid crystal display) or the like, and is configured to display a display image or the like output from the processor 4.
  • LCD liquid crystal display
  • FIG. 4 is a flowchart illustrating a part of a specific example of processing and the like performed in the endoscope system according to the embodiment.
  • FIG. 5 is a flowchart showing a continuation of the processing in FIG.
  • a user such as an operator operates the scope switch 23 or the observation mode changeover switch of the input I / F 43 after connecting each part of the endoscope system 1 and turning on the power.
  • the instruction for setting the observation mode to the normal observation mode is performed.
  • control unit 44 When detecting that an instruction for setting the observation mode of the endoscope system 1 to the normal observation mode has been issued, the control unit 44 generates a control signal for causing an operation according to the normal observation mode to be performed. And output (step S1 in FIG. 4). In addition, the control unit 44 performs an operation for maintaining the observation mode of the endoscope system 1 in the normal observation mode or changes the observation mode of the endoscope system 1 in accordance with a processing result or the like obtained by processing described later. An operation for switching from the diagnosis support mode to the normal observation mode is performed (step S1 in FIG. 4).
  • step S ⁇ b> 1 of FIG. 4 the control unit 44 generates a control signal for causing the light source device 3 to emit Bb light, Bg light, and Br light, and outputs the control signal to the light source control unit 34. Further, the control unit 44 generates a control signal for causing the display device 5 to display an endoscope image WDI (described later) output via the image processing unit 41 in step S1 of FIG. Output to In step S1 in FIG. 4, the control unit 44 causes the image recording unit 44a to record the endoscope image WDI for the predetermined period PA output via the image processing unit 41 as the motion detection image MDI.
  • the predetermined period PA may be set as a period according to, for example, the size of the nasal cavity of the subject.
  • the light source control unit 34 simultaneously emits the blue light source 31a, the green light source 31b, and the red light source 31c in the normal observation mode while extinguishing the narrow band light source 31d in response to the control signal output from the control unit 44.
  • a light source drive signal for causing the light source to generate is output.
  • the illumination light WL including the Bb light, the Bg light, and the Br light is emitted from the light source device 3 (the light emitting unit 31).
  • the endoscope image WDI obtained by irradiating the subject with light and imaging the return light (reflected light) of the illumination light WL is output from the imaging unit 21 to the image processing unit 41.
  • the image processing unit 41 performs image processing such as white balance adjustment and gamma correction on the endoscope image WDI output from the endoscope 2 and performs display control on the endoscope image WDI on which the image processing has been performed. Output to the section 42 and the control section 44.
  • the display control unit 42 operates in response to the control signal output from the control unit 44 to output the endoscope image WDI output via the image processing unit 41 to the display device 5 as a display image in the normal observation mode. I do.
  • the image recording unit 44a performs an operation for sequentially recording the endoscope images WDI for a predetermined period PA output via the image processing unit 41 as the motion detection image MDI in the normal observation mode. It should be noted that each of the motion detection images MDI recorded in the image recording unit 44a is provided with time information such as a time stamp that can specify the time recorded by the image recording unit 44a. I do.
  • the user inserts the insertion section 2a of the endoscope 2 into the subject's nasal cavity while confirming the endoscope image WDI displayed on the display device 5, and also examines the desired subject existing in the subject's nasal cavity.
  • the tip 2c is arranged in the vicinity. Thereafter, the user operates the scope switch 23 or the observation mode changeover switch of the input I / F 43 in a state in which the distal end portion 2c of the endoscope 2 is arranged near the desired subject, so that the endoscope system 1 can be operated.
  • An instruction to set the observation mode to the diagnosis support mode is issued.
  • the control unit 44 performs a determination process regarding whether or not an instruction to set the observation mode of the endoscope system 1 to the diagnosis support mode has been performed (step S2 in FIG. 4).
  • the control unit 44 performs the operation of step S1 in FIG. 4 when an instruction to set the observation mode of the endoscope system 1 to the diagnosis support mode cannot be detected (S2: NO). That is, when the operation of step S1 is performed via step S2 in FIG. 4, the observation mode of the endoscope system 1 is maintained in the normal observation mode, and the display image displayed on the display device 5 is endoscoped. The mirror image WDI is maintained.
  • control unit 44 If the control unit 44 can detect an instruction to set the observation mode of the endoscope system 1 to the diagnosis support mode (S2: YES), the control unit 44 outputs the predetermined period PB output via the image processing unit 41.
  • the image recording unit 44a records the minute endoscope image WDI as the motion detection image MDI.
  • the predetermined period PB may be set as, for example, a period according to the size of the nasal cavity of the subject.
  • the image recording unit 44a outputs from the image processing unit 41 during a predetermined period PB starting from the timing at which an instruction to set the observation mode of the endoscope system 1 to the diagnosis support mode (by the control unit 44) is started.
  • the operation for sequentially recording the endoscope image WDI to be performed as the motion detection image MDI is performed.
  • the predetermined period PA before the instruction for setting the observation mode of the endoscope system 1 to the diagnosis support mode is performed, and the predetermined period PA after the instruction is performed.
  • the endoscope image WDI output from the image processing unit 41 is sequentially recorded in the image recording unit 44a as a motion detection image MDI in each of a predetermined period PB corresponding to a period that is continuous with.
  • the motion detection unit 44b is based on the motion detection image MDI recorded in the image recording unit 44a, and indicates the motion of the distal end 2c immediately before the observation mode of the endoscope system 1 switches from the normal observation mode to the diagnosis support mode.
  • a motion detection process for calculating the amount FVA is performed (Step S3 in FIG. 4). That is, the movement detection unit 44b detects the movement of the distal end 2c of the endoscope 2 provided with the imaging unit 21 based on the endoscope image WDI recorded in the image recording unit 44a. In addition, the motion detection unit 44b acquires the feature value FVA as a detection result of the motion of the tip 2c.
  • the motion detection unit 44b includes, for example, a motion detection image MDIA and a motion detection image recorded after the motion detection image MDIA among a plurality of motion detection images MDI recorded in the image recording unit 44a. MDIB and two motion detection images.
  • the motion detection unit 44b calculates a time corresponding to a time lag generated when the two motion detection images MDIA and MDIB are recorded, based on the time information added to the two motion detection images MDIA and MDIB, respectively. Calculate the interval TNA.
  • the motion detection unit 44b calculates the time interval TNA, a calculation value CVA calculated based on the pixel value of the motion detection image MDIA, and a calculation value CVB calculated based on the pixel value of the motion detection image MDIB.
  • the feature amount FVA is calculated by performing an operation by applying the following equation (1).
  • calculation values CVA and CVB may be calculated using any of the calculation methods listed below.
  • the calculated values CVA and CVB are collectively described as a calculated value CVX, and the motion detection image used for calculating the calculated value CVX is described as MDIX. .
  • the calculation value CVX is calculated, for example, as an average value of the blue pixel value Vbm, the green pixel value Vgm, and the red pixel value Vrm of all the pixels included in the predetermined calculation area CRA set in the motion detection image MDIX. May be used.
  • the calculation value CVX is, for example, the calculation of (Vrm + Vgm) / Vbm in each pixel included in the predetermined calculation area CRA set in the motion detection image MDIX (the sum of the pixel value Vrm and the pixel value Vgm is specified by the pixel value Vbm. To calculate the average value of the values obtained by the calculation.
  • the operation value CVX may be calculated as, for example, an average value of blue pixel values Vbm of all pixels included in a predetermined calculation area CRA set in the motion detection image MDIX.
  • the operation value CVX may be calculated as, for example, an average value of red pixel values Vrm of all pixels included in a predetermined calculation area CRA set in the motion detection image MDIX.
  • the operation value CVX may be calculated as, for example, an average value of red pixel values Vgm of all pixels included in a predetermined calculation area CRA set in the motion detection image MDIX.
  • the predetermined calculation area CRA may be set as the entire area of the motion detection image MDIX, or may be set as a partial area of the motion detection image MDIX.
  • the predetermined calculation area CRA may be, for example, a rectangular frame-shaped area (see FIG. 6) set according to the distance from the end of the motion detection image MDIX, or It may be a rectangular area (see FIG. 7) set according to the distance from the center of the detection image MDIX.
  • 6 and 7 are diagrams showing specific examples of the calculation area set in the motion detection image.
  • the motion detection unit 44b performs a process for detecting the motion of the tip 2c, as a process for detecting the motion of the tip 2c, the pixel value of each pixel included in the predetermined calculation area CRA set according to the distance from the center of the motion detection image MDI. A process of calculating a feature amount is performed based on.
  • the motion detection unit 44b performs the process of detecting the motion of the tip 2c by using the pixel of each pixel included in the predetermined calculation area CRA set according to the distance from the end of the motion detection image MDI.
  • a process of calculating a feature value based on the value is performed.
  • the control unit 44 performs a determination process on whether there is a possibility that a dangerous state caused by the movement of the tip 2c may occur based on the feature amount FVA calculated by the movement detection unit 44b (step in FIG. 4). S4).
  • step S1 in FIG. 4 is performed. That is, based on the detection result of the motion detection unit 44b, the control unit 44 generates a dangerous state caused by the movement of the distal end 2c immediately before the observation mode of the endoscope system 1 switches from the normal observation mode to the diagnosis support mode. If it is detected that there is a possibility that the observation mode will be changed, the instruction for setting the observation mode to the diagnosis support mode made at the scope switch 23 or the input I / F 43 is invalidated.
  • step S1 When the operation of step S1 is performed through steps S2 to S4, the instruction detected in step S2 of FIG. 4 is invalidated, and the observation mode of the endoscope system 1 is set to normal observation. While the mode is maintained, the display image displayed on the display device 5 is maintained as the endoscope image WDI.
  • the control unit 44 determines that there is no possibility that a dangerous state caused by the movement of the tip 2c may occur. After obtaining the determination result (S4: NO), a control signal for causing the operation according to the diagnosis support mode to be performed is generated and output (step S5 in FIG. 4). In addition, the control unit 44 performs an operation for maintaining the observation mode of the endoscope system 1 in the diagnosis support mode in accordance with a processing result obtained by processing described later (step S5 in FIG. 4).
  • the control unit 44 generates a control signal for causing the light source device 3 to emit the Nb light, the Bg light, and the Br light in step S5 of FIG. 4 and outputs the control signal to the light source control unit 34.
  • the control unit 44 causes the image recording unit 44a to record an endoscope image SDI (described later) for a predetermined period PC output via the image processing unit 41 as a motion detection image MDI.
  • the predetermined period PC may be set as, for example, a period corresponding to the size of the nasal cavity of the subject.
  • the control unit 44 generates a control signal for causing the display device 5 to display the diagnosis support image SDS corresponding to the endoscope image SDI output via the image processing unit 41 in step S5 of FIG. Output to the display control unit 42.
  • the light source control unit 34 simultaneously emits the green light source 31b, the red light source 31c, and the narrow band light source 31d while extinguishing the blue light source 31a in the diagnosis support mode according to the control signal output from the control unit 44.
  • a light source drive signal for causing the light source to generate is output.
  • the illumination light SL including the Nb light, the Bg light, and the Br light is emitted from the light source device 3 (the light emitting unit 31).
  • An endoscope image SDI obtained by irradiating the subject with light and returning light (reflected light) of the illumination light SL is output from the imaging unit 21 to the image processing unit 41.
  • the image processing unit 41 performs image processing such as white balance adjustment and gamma correction on the endoscope image SDI output from the endoscope 2 and displays and controls the endoscope image SDI on which the image processing has been performed. It outputs to each of the section 42 and the control section 44.
  • the display control unit 42 generates a diagnosis support image SDS corresponding to the endoscope image SDI output via the image processing unit 41 in the diagnosis support mode in accordance with the control signal output from the control unit 44, and An operation for outputting the generated diagnosis support image SDS to the display device 5 as a display image is performed.
  • the calculation unit 42a calculates, for each pixel of the endoscope image SDI output via the image processing unit 41, an index value IVA indicating the degree of abnormality of the living tissue included in the endoscope image SDI. I do. Then, the calculation unit 42a acquires the calculation result of the index value IVA at each pixel of the endoscope image SDI as the processing result of the calculation processing.
  • the index value IVA is (Vrn + Vgn). ) / Vbn, Vrn / Vgn, Vrn / Vbn, and Vgn / Vbn.
  • the index value IVA is calculated by an arithmetic operation using an expression obtained by inverting the denominator and the numerator of any one of (Vrn + Vgn) / Vbn, Vrn / Vgn, Vrn / Vbn, and Vgn / Vbn. It may be.
  • the index value IVA is a value obtained by normalizing the sum of Vrn and Vgn by Vbn, a value obtained by normalizing Vrn by Vgn, a value obtained by normalizing Vrn by Vbn, and a value obtained by normalizing Vgn by Vbn. May be calculated as any one of the following.
  • the display image generation unit 42b processes at least one of the color and the pattern of the endoscope image SDI output through the image processing unit 41 based on the processing result obtained by the calculation processing of the calculation unit 42a. And generating a diagnosis support image SDS having visual information capable of specifying an abnormal part included in the endoscope image.
  • the display image generation unit 42b converts the index value IVA calculated in each pixel of the endoscope image SDI into a plurality of numerical ranges.
  • a diagnosis support image SDS is generated by performing a process of classifying the pixel information into any one of the pixels and performing a process of replacing pixel information included in each pixel with pixel information corresponding to a color and / or pattern corresponding to the numerical range after the classification. I do. According to such processing, diagnosis support in which different colors and / or patterns are added to the normal part included in the endoscope image SDI and the abnormal part included in the endoscope image SDI. An image SDS is generated.
  • the image recording unit 44a performs an operation for sequentially recording the endoscope images SDI for a predetermined period PC output through the image processing unit 41 as the motion detection image MDI in the diagnosis support mode.
  • the motion detection unit 44b is based on the motion detection image MDI recorded in the image recording unit 44a, and is a feature amount indicating the motion of the distal end portion 2c when the observation mode of the endoscope system 1 is set to the diagnosis support mode.
  • a motion detection process for calculating FVB is performed (step S6 in FIG. 4). That is, the movement detection unit 44b detects the movement of the distal end 2c of the endoscope 2 provided with the imaging unit 21 based on the endoscope image SDI recorded in the image recording unit 44a. In addition, the motion detection unit 44b acquires the feature value FVB as a detection result of the motion of the tip 2c.
  • the motion detection unit 44b calculates the calculated values CVA and CVB using one of the above-described methods of calculating the index value IVA, and calculates the calculated values CVA and CVB,
  • the feature amount FVB is calculated by applying the time interval TNA calculated using the above-described calculation method and the above-described formula (1) to each other to perform calculation.
  • the control unit 44 performs a determination process on whether there is a possibility that a dangerous state caused by the movement of the tip 2c may occur based on the feature amount FVB calculated by the movement detection unit 44b (step in FIG. 4). S7).
  • the control unit 44 determines that there is no possibility that a dangerous state caused by the movement of the tip 2c may occur. After the determination result is obtained (S7: NO), the operation of step S8 in FIG. 5 described later is performed.
  • step S1 in FIG. 4 is performed. That is, when the control unit 44 detects that there is a possibility that a dangerous state caused by the movement of the distal end portion 2c in the diagnosis support mode may occur based on the detection result of the movement detection unit 44b, the endoscope system 1 Is performed to set the observation mode to the normal observation mode.
  • step S1 when the operation of step S1 is performed through steps S5 to S7, the observation mode of the endoscope system 1 is switched from the diagnosis support mode to the normal observation mode according to the movement of the distal end portion 2c in the diagnosis support mode.
  • the display image displayed on the display device 5 is switched from the diagnosis support image SDS to the endoscope image WDI.
  • the threshold value THB may be set, for example, as a single value that can be used in each site in the nasal cavity, or set as a plurality of values that can be used properly according to a plurality of sites in the nasal cavity. It may be. Specifically, for example, a threshold value THB1 for the paranasal sinuses and a threshold value THB2 for the middle nasal passage set to a value smaller than the threshold value THB1 are usable as the threshold value THB usable in the process of step S7 in FIG. Each may be set. In such a case, for example, a switch or the like capable of giving an instruction to select a threshold value THB used in the process of step S7 in FIG. 4 from one of the threshold values THB1 and THB2 is provided by a scope. It may be provided in the switch 23 or the input I / F 43.
  • the control unit 44 detects that there is a possibility that a dangerous state caused by the movement of the tip 2c may occur based on the detection result of the movement detection unit 44b.
  • an operation of generating a control signal for causing the display device 5 to display visual information such as a character string capable of reporting the detected dangerous state together with the diagnosis support image SDS and outputting the control signal to the display control unit 42 is performed. It may be performed.
  • the diagnosis support mode for example, a display image in which an alert message indicating that the tip 2c is approaching the wall surface (mucous membrane) in the nasal cavity is superimposed on the diagnosis support image SDS is displayed. It can be displayed on the display device 5.
  • a sound corresponding to the above-described alert message may be generated from a speaker (not shown) or the like.
  • control unit 44 sets the observation mode of the endoscope system 1 to the diagnosis support mode in accordance with an instruction given by the scope switch 23 or the input I / F 43 (see FIG. 4).
  • control is performed to set the observation mode of the endoscope system 1 to the normal observation mode (step of FIG. 4).
  • the operation of S1 may be performed).
  • the motion detection unit 44b performs processing for detecting the motion of the distal end portion 2c in at least one of step S3 and step S6 in FIG. 4 from a predetermined reference image SGI.
  • the absolute value of the difference between the contrast value CTA calculated based on the acquired line profile and the contrast value CTB calculated based on the line profile acquired from the motion detection image MDI recorded in the image recording unit 44a may be performed as a feature value FVC indicating the movement of the tip 2c.
  • the control unit 44 detects that the feature value FVC becomes equal to or larger than the threshold value THC in at least one motion detection image MDI recorded in the image recording unit 44a.
  • the control unit 44 detects that the feature value FVC is less than the threshold value THC in all the motion detection images MDI recorded in the image recording unit 44a.
  • the control unit 44 detects that the feature value FVC is less than the threshold value THC in all the motion detection images MDI recorded in the image recording unit 44a.
  • the control unit 44 detects that the feature value FVC is less than the threshold value THC in all the motion detection images MDI recorded in the image recording unit 44a.
  • the predetermined reference image SGI for example, an image in which a structure such as a middle turbinate or a hollow existing in the nasal cavity is included near the center can be used.
  • the control unit 44 performs a determination process regarding whether or not an instruction to set the observation mode of the endoscope system 1 to the normal observation mode has been performed (Step S8 in FIG. 5).
  • control unit 44 When the control unit 44 cannot detect an instruction for setting the observation mode of the endoscope system 1 to the normal observation mode (S8: NO), the control unit 44 performs an operation of step S9 in FIG. 5 described later. .
  • the control unit 44 performs the operation of step S1 in FIG. 4 when detecting an instruction for setting the observation mode of the endoscope system 1 to the diagnosis support mode (S8: YES). That is, when the operation of step S1 is performed via step S8, the observation mode of the endoscope system 1 is switched from the diagnosis support mode to the normal observation mode in accordance with the operation of the observation mode switch in the diagnosis support mode.
  • the display image displayed on the display device 5 is switched from the diagnosis support image SDS to the endoscope image WDI.
  • the control unit 44 performs a determination process regarding whether or not a release instruction has been issued (step S9 in FIG. 5).
  • step S5 If the release instruction cannot be detected (S9: NO), the control unit 44 performs the operation of step S5 in FIG. That is, when the operation of step S5 is performed via steps S8 and S9, the observation mode of the endoscope system 1 is maintained in the diagnosis support mode, and the display image displayed on the display device 5 is the diagnosis support mode. Maintained in the image SDS.
  • the control unit 44 causes the image recording unit 44a to record the endoscope image SDI output through the image processing unit 41 as the release image SDR ( After step S10 in FIG. 5, the operation in step S5 in FIG. 4 is performed. That is, when the operation of step S5 is performed via steps S8 to S10, the observation mode of the endoscope system 1 is maintained in the diagnosis support mode, and the display image displayed on the display device 5 is the diagnosis support mode. Maintained in the image SDS.
  • the control unit 44 when the control unit 44 can detect the release instruction in step S9 in FIG. 5, the control unit 44 uses the endoscope image SDI output through the image processing unit 41 as the release image SDR. After performing the operation for recording in the recording unit 44a, control for setting the observation mode of the endoscope system 1 to the normal observation mode may be performed (the operation of step S1 in FIG. 4 is performed). Good. According to such an operation, the observation mode of the endoscope system 1 is switched from the diagnosis support mode to the normal observation mode in accordance with the operation of the release switch in the diagnosis support mode, and the display displayed on the display device 5 is displayed. The image is switched from the diagnosis support image SDS to the endoscope image WDI.
  • a dangerous state caused by the movement of the distal end portion 2c may occur immediately before the observation mode of the endoscope system 1 is switched from the normal observation mode to the diagnosis support mode.
  • the operation for shifting the observation mode of the endoscope system 1 to the diagnosis support mode is interrupted.
  • the endoscope system in the diagnosis support mode, when it is confirmed that a dangerous state may occur due to the movement of the distal end portion 2c, the endoscope system may be used. An operation for shifting one observation mode to the normal observation mode or an operation for notifying the dangerous state is performed. Therefore, according to the present embodiment, it is possible to ensure safety when observing an image obtained by processing at least one of the color and the pattern of the endoscope image.
  • diagnosis support mode control for emitting the same illumination light WL as the illumination light in the normal observation mode from the light source device 3 is performed, and the illumination is performed. Control is performed so that the display device 5 displays a diagnosis support image WDS obtained by processing at least one of the color and the pattern of the endoscope image WDI obtained by imaging the subject irradiated with the light WL. May be.
  • diagnosis support image WDS may be generated using, for example, the same method as the diagnosis support image SDS.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内視鏡システムは、第1及び第2の照明光のうちのいずれかを発生する光源部と、被写体を撮像して画像を得る撮像部と、第1の照明光により照明された被写体を撮像して得られた画像を表示させる第1の観察モード、及び、第2の照明光により照明された被写体を撮像して得られた画像の色及び模様のうちの少なくとも一方を加工した画像を表示させる第2の観察モードのうちのいずれかに設定するための指示を行うことが可能な切替指示部と、撮像部が設けられた内視鏡の先端部の動きを検出する動き検出部と、内視鏡の先端部の動きに起因する危険な状態が発生するおそれがある場合に、第2の観察モードに設定するための指示を無効にする制御部と、を有する。

Description

内視鏡システム及び内視鏡システムの作動方法
 本発明は、内視鏡システム及び内視鏡システムの作動方法に関し、特に、生体組織の観察に用いられる内視鏡システム及び内視鏡システムの作動方法に関するものである。
 医療分野の内視鏡観察においては、被検体内に存在する異常部位の診断を支援するための技術として、例えば、当該被検体内に存在する生体組織を含む被写体を撮像して得られた内視鏡画像に対して処理を施すことにより、当該内視鏡画像に含まれる異常部位を特定可能な色及び/または模様を有する診断支援画像を生成して表示させる技術が従来知られている。
 具体的には、例えば、日本国特開2006-223481号公報には、RGBの面順次光が照射された被写体を電子内視鏡で撮像して得られた内視鏡画像に対して処理を施すことにより、当該内視鏡画像に設定された関心領域におけるIHb(ヘモグロビンインデックス)の値の分布状態に応じた擬似カラー画像を生成して表示させる構成が開示されている。
 ここで、前述の診断支援画像は、一般的に、被写体の解剖学的特徴及び/または解剖学的位置を把握することが困難な表示態様で表示される。そのため、例えば、前述の診断支援画像が表示されている状態においては、術者等のユーザによる内視鏡の操作に起因する生体組織の偶発的な損傷が発生し易くなるおそれがある、という問題点が生じる。
 しかし、日本国特開2006-223481号公報には、前述の問題点を解消可能な手法について特に開示等されていない。そのため、日本国特開2006-223481号公報に開示された構成によれば、内視鏡画像の色及び模様のうちの少なくとも一方を加工した画像による観察を行う際の安全性を確保することができない、という前述の問題点に応じた課題が生じている。
 本発明は、前述した事情に鑑みてなされたものであり、内視鏡画像の色及び模様のうちの少なくとも一方を加工した画像による観察を行う際の安全性を確保することが可能な内視鏡システム及び内視鏡システムの作動方法を提供することを目的としている。
 本発明の一態様の内視鏡システムは、被検体の内部に存在する被写体を照明するための照明光として、第1の照明光及び第2の照明光のうちのいずれかを発生するように構成された光源部と、前記照明光により照明された被写体を撮像して画像を得るように構成された撮像部と、前記被写体を観察する際の観察モードを、前記第1の照明光により照明された前記被写体を撮像して得られた第1の画像を表示装置に表示させる第1の観察モード、及び、前記第2の照明光により照明された前記被写体を撮像して得られた第2の画像の色及び模様のうちの少なくとも一方を加工した第3の画像を前記表示装置に表示させる第2の観察モードのうちのいずれかに設定するための指示を行うことが可能な切替指示部と、前記第1の画像または前記第2の画像に基づき、前記撮像部が設けられた内視鏡の先端部の動きを検出するように構成された動き検出部と、前記動き検出部の検出結果に基づき、前記観察モードが前記第1の観察モードから前記第2の観察モードへ切り替わる直前における前記内視鏡の先端部の動きに起因する危険な状態が発生するおそれがあることを検出した場合に、前記切替指示部においてなされた前記観察モードを前記第2の観察モードに設定するための指示を無効にするように構成された制御部と、を有する。
 本発明の一態様の内視鏡システムの作動方法は、光源部が、被検体の内部に存在する被写体を照明するための照明光として、第1の照明光及び第2の照明光のうちのいずれかを発生し、撮像部が、前記照明光により照明された被写体を撮像して画像を取得し、切替指示部が、前記被写体を観察する際の観察モードを、前記第1の照明光により照明された前記被写体を撮像して得られた第1の画像を表示装置に表示させる第1の観察モード、及び、前記第2の照明光により照明された前記被写体を撮像して得られた第2の画像の色及び模様のうちの少なくとも一方を加工した第3の画像を前記表示装置に表示させる第2の観察モードのうちのいずれかに設定するための指示を行い、動き検出部が、前記第1の画像または前記第2の画像に基づき、前記撮像部が設けられた内視鏡の先端部の動きを検出し、制御部が、前記動き検出部の検出結果に基づき、前記観察モードが前記第1の観察モードから前記第2の観察モードへ切り替わる直前における前記内視鏡の先端部の動きに起因する危険な状態が発生するおそれがあることを検出した場合に、前記切替指示部においてなされた前記観察モードを前記第2の観察モードに設定するための指示を無効にする。
実施形態に係る内視鏡システムの要部の構成を示す図。 実施形態に係る内視鏡システムの光源装置から発せられる光の波長帯域の一例を示す図。 血漿の吸光特性の一例を示す図。 実施形態に係る内視鏡システムにおいて行われる処理等の具体例の一部を示すフローチャート。 図4の処理の続きを示すフローチャート。 動き検出用画像に設定される計算領域の具体例を示す図。 動き検出用画像に設定される計算領域の具体例を示す図。
 以下、本発明の実施形態について、図面を参照しつつ説明を行う。
 図1から図7は、本発明の実施形態に係るものである。
 内視鏡システム1は、図1に示すように、被検体内に挿入可能であるとともに、当該被検体内に存在する生体組織等の被写体を撮像して得られた内視鏡画像を出力するように構成された内視鏡2と、内視鏡2の内部に挿通配置されたライトガイド7を介して当該被写体の観察に用いられる照明光を供給するように構成された光源装置3と、内視鏡2から出力される内視鏡画像に応じた表示画像を出力するための動作を行うように構成されたプロセッサ4と、プロセッサ4から出力される表示画像等を画面上に表示するように構成された表示装置5と、を有している。図1は、実施形態に係る内視鏡システムの要部の構成を示す図である。
 内視鏡2は、被検体内に挿入可能な細長形状に形成された挿入部2aと、挿入部2aの基端側に設けられた操作部2bと、を有している。また、内視鏡2は、例えば、撮像部21(後述)から出力される内視鏡画像等の伝送に用いられる信号線が内蔵されたユニバーサルケーブル(不図示)を介し、プロセッサ4に着脱可能に接続されるように構成されている。また、内視鏡2は、ライトガイド7の少なくとも一部が内蔵されたライトガイドケーブル(不図示)を介し、光源装置3に着脱可能に接続されるように構成されている。
 挿入部2aの先端部2cには、被検体内の生体組織等の被写体を撮像するための撮像部21と、ライトガイド7の出射端部と、ライトガイド7により伝送された照明光を被写体へ照射する照明光学系22と、が設けられている。
 撮像部21は、照明光学系22を経た照明光により照明された被写体を撮像して内視鏡画像を生成するとともに、当該生成した内視鏡画像をプロセッサ4へ出力するように構成されている。すなわち、撮像部21は、照明光学系22を経た照明光が照明された被写体を撮像して内視鏡画像を得るように構成されている。また、撮像部21は、対物光学系21aと、撮像素子21bと、アナログフロントエンド(以降、AFEと略記する)21cと、を有して構成されている。
 対物光学系21aは、例えば、レンズ等の光学素子を有し、照明光学系22を経た照明光により照明された被写体から発せられる戻り光(反射光)を結像するように構成されている。
 撮像素子21bは、例えば、CCDまたはCMOSのようなイメージセンサを具備して構成されている。また、撮像素子21bの撮像面には、対物光学系21aから入射した戻り光を赤色、緑色及び青色の3色に分光するための原色ベイヤー配列のカラーフィルタと、当該カラーフィルタを通過した光を撮像するためにマトリクス状に配設された複数の画素と、が設けられている。また、撮像素子21bは、対物光学系21aにより結像された戻り光を撮像することにより撮像信号を生成し、当該生成した撮像信号をAFE21cへ出力するように構成されている。また、撮像素子21bは、プロセッサ4から出力される制御信号に応じた動作を行うように構成されている。
 AFE21cは、撮像素子21bから出力される撮像信号に対してノイズ低減処理及びA/D変換処理等の所定の信号処理を施すことにより内視鏡画像(内視鏡画像データ)を生成し、当該生成した内視鏡画像をプロセッサ4へ出力するように構成されている。
 操作部2bは、ユーザが把持して操作することが可能な形状を具備して構成されている。また、操作部2bには、ユーザの入力操作に応じた指示をプロセッサ4に対して行うことが可能な1つ以上のスイッチを具備して構成されたスコープスイッチ23が設けられている。具体的には、スコープスイッチ23には、例えば、ユーザの操作に応じ、内視鏡システム1の観察モードを通常観察モードまたは診断支援モードのいずれかに設定する(切り替える)ための指示を行うことが可能な観察モード切替スイッチ(不図示)が設けられている。また、スコープスイッチ23には、例えば、ユーザの操作に応じ、内視鏡2により被写体を撮像して得られた内視鏡画像を静止画像として記録させるためのレリーズ指示を行うことが可能なレリーズスイッチ(不図示)が設けられている。
 すなわち、スコープスイッチ23は、切替指示部としての機能を具備し、内視鏡2により撮像された被写体を観察する際の(内視鏡システム1の)観察モードを、内視鏡画像WDI(後述)を表示装置5に表示させる通常観察モード、及び、内視鏡画像SDI(後述)の色及び模様のうちの少なくとも一方を加工した診断支援画像SDS(後述)を表示装置5に表示させる診断支援モードのうちのいずれかに設定するための指示を行うことができるように構成されている。
 光源装置3は、光源部としての機能を有し、被検体内に存在する被写体を照明するための照明光として、照明光WL及び照明光SL(いずれも後述)のうちのいずれかを発生する発生するように構成されている。また、光源装置3は、発光部31と、合波器32と、集光レンズ33と、光源制御部34と、を有して構成されている。
 発光部31は、青色光源31aと、緑色光源31bと、赤色光源31cと、狭帯域光源31dと、を有して構成されている。
 青色光源31aは、例えば、青色LED等の発光素子を有して構成されている。また、青色光源31aは、青色域に強度を有する青色光(以降、Bb光と称する)を発生するように構成されている。具体的には、青色光源31aは、例えば、図2に示すように、400nm~500nmの波長帯域に強度を有する光をBb光として発生するよう構成されている。また、青色光源31aは、光源制御部34から供給される光源駆動信号に応じて発光または消光するように構成されている。また、青色光源31aは、光源制御部34から供給される光源駆動信号に応じた発光光量で発光するように構成されている。図2は、実施形態に係る内視鏡システムの光源装置から発せられる光の波長帯域の一例を示す図である。
 緑色光源31bは、例えば、緑色LED等の発光素子を有して構成されている。また、緑色光源31bは、緑色域に強度を有する緑色光(以降、Bg光と称する)を発生するように構成されている。具体的には、緑色光源31bは、例えば、図2に示すように、500nm~600nmの波長帯域に強度を有する光をBg光として発生するよう構成されている。また、緑色光源31bは、光源制御部34から供給される光源駆動信号に応じて発光または消光するように構成されている。また、緑色光源31bは、光源制御部34から供給される光源駆動信号に応じた発光光量で発光するように構成されている。
 赤色光源31cは、例えば、赤色LED等の発光素子を有して構成されている。また、赤色光源31cは、赤色域に強度を有する赤色光(以降、Br光と称する)を発生するように構成されている。具体的には、赤色光源31cは、例えば、図2に示すように、600nm~700nmの波長帯域に強度を有する光をBr光として発生するよう構成されている。また、赤色光源31cは、光源制御部34から供給される光源駆動信号に応じて発光または消光するように構成されている。また、赤色光源31cは、光源制御部34から供給される光源駆動信号に応じた発光光量で発光するように構成されている。
 狭帯域光源31dは、例えば、青色LED等の発光素子を有して構成されている。また、狭帯域光源31dは、青色域に強度を有するとともにBb光よりも狭い波長帯域を有する狭帯域光(以降、Nb光と称する)を発生するように構成されている。具体的には、狭帯域光源31dは、例えば、図2に示すように、中心波長が465nm付近に設定されかつBb光よりも狭い波長帯域を有する光をNb光として発生するよう構成されている。すなわち、Nb光の中心波長は、図3に例示するような血漿の吸光特性におけるピーク波長に一致するまたは略一致する波長として設定されている。また、狭帯域光源31dは、光源制御部34から供給される光源駆動信号に応じて発光または消光するように構成されている。また、狭帯域光源31dは、光源制御部34から供給される光源駆動信号に応じた発光光量で発光するように構成されている。図3は、血漿の吸光特性の一例を示す図である。
 なお、本実施形態においては、Nb光の中心波長が、415nmから495nmまでの範囲に属するいずれかの波長に設定されていればよい。
 合波器32は、発光部31から発せられた各光を合波して集光レンズ33に入射させることができるように構成されている。
 集光レンズ33は、合波器32を経て入射した光を集光してライトガイド7の入射端部へ出射するように構成されている。
 光源制御部34は、例えば、制御回路及びドライブ回路等を具備して構成されている。また、光源制御部34は、プロセッサ4から出力される制御信号に応じ、発光部31の各光源を駆動させるための光源駆動信号を生成して出力するように構成されている。
 プロセッサ4は、画像処理部41と、表示制御部42と、入力I/F(インターフェース)43と、制御部44と、を有して構成されている。
 画像処理部41は、例えば、画像処理回路等を具備して構成されている。また、画像処理部41は、内視鏡2から出力される内視鏡画像に対してホワイトバランス調整及びガンマ補正等の画像処理を施すとともに、当該画像処理を施した内視鏡画像を表示制御部42及び制御部44へ出力するように構成されている。
 表示制御部42は、例えば、表示制御回路等を具備して構成されている。また、表示制御部42は、制御部44から出力される制御信号に応じた表示画像を表示装置5へ出力するための動作を行うように構成されている。また、表示制御部42は、演算部42aと、表示画像生成部42bと、を有して構成されている。
 演算部42aは、画像処理部41を経て出力される内視鏡画像を用いた演算処理を行うように構成されている。なお、演算部42aにより行われる処理の具体例については、後程説明する。
 表示画像生成部42bは、演算部42aの演算処理により得られた処理結果に基づいて画像処理部41を経て出力される内視鏡画像の色及び模様のうちの少なくとも一方を加工することにより、当該内視鏡画像に含まれる異常部位を特定可能な視覚情報を有する診断支援画像を生成するための処理を行うように構成されている。なお、表示画像生成部42bにより行われる処理の具体例については、後程説明する。
 入力I/F43には、ユーザの入力操作に応じた指示を制御部44に対して行うことが可能な1つ以上のスイッチが設けられている。具体的には、入力I/F43には、例えば、ユーザの操作に応じ、内視鏡システム1の観察モードを通常観察モードまたは診断支援モードのいずれかに設定する(切り替える)ための指示を行うことが可能な観察モード切替スイッチ(不図示)が設けられている。また、入力I/F43には、例えば、ユーザの操作に応じ、内視鏡2により被写体を撮像して得られた内視鏡画像を静止画像として記録させるためのレリーズ指示を行うことが可能なレリーズスイッチ(不図示)が設けられている。
 すなわち、入力I/F43は、切替指示部としての機能を具備し、内視鏡2により撮像された被写体を観察する際の(内視鏡システム1の)観察モードを、内視鏡画像WDIを表示装置5に表示させる通常観察モード、及び、内視鏡画像SDIの色及び模様のうちの少なくとも一方を加工した診断支援画像SDSを表示装置5に表示させる診断支援モードのうちのいずれかに設定するための指示を行うことができるように構成されている。
 制御部44は、例えば、制御回路等を具備して構成されている。また、制御部44は、スコープスイッチ23または入力I/F43において行われた指示に応じた動作を行うように構成されている。また、制御部44は、撮像素子21bの動作を制御するための制御信号を生成して出力するように構成されている。また、制御部44は、光源制御部34を介して発光部31の各光源の動作を制御するための制御信号を生成して出力するように構成されている。また、制御部44は、画像記録部44aと、動き検出部44bと、を有して構成されている。
 画像記録部44aは、画像処理部41を経て出力される内視鏡画像を動き検出用画像として記録するための動作を行うように構成されている。また、画像記録部44aは、レリーズ指示が行われた際に、画像処理部41を経て出力される内視鏡画像をレリーズ画像(静止画像)として記録するための動作を行うように構成されている。
 動き検出部44bは、画像記録部44aに記録された動き検出用画像に基づき、先端部2cの動きを示す特徴量を算出するための動き検出処理を行うように構成されている。なお、動き検出部44bにより行われる処理の具体例については、後程説明する。
 なお、本実施形態においては、プロセッサ4の各部が、個々の電子回路として構成されていてもよく、または、FPGA(Field Programmable Gate Array)等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、プロセッサ4が1つ以上のCPUを具備して構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、図示しないコンピュータが、プロセッサ4の各部の機能を実行させるためのプログラムをメモリ等の記憶媒体から読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。
 表示装置5は、例えば、LCD(液晶ディスプレイ)等を具備し、プロセッサ4から出力される表示画像等を表示することができるように構成されている。
 続いて、本実施形態の作用について、図4及び図5等を参照しつつ説明する。なお、以降においては、挿入部2aが被験者の鼻腔内に挿入されるとともに、当該被験者の鼻腔内に存在する生体組織(粘膜等)を含む被写体が撮像部21により撮像される場合を例に挙げて説明する。図4は、実施形態に係る内視鏡システムにおいて行われる処理等の具体例の一部を示すフローチャートである。図5は、図4の処理の続きを示すフローチャートである。
 術者等のユーザは、例えば、内視鏡システム1の各部を接続して電源を投入した後、スコープスイッチ23または入力I/F43の観察モード切替スイッチを操作することにより、内視鏡システム1の観察モードを通常観察モードに設定するための指示を行う。
 制御部44は、内視鏡システム1の観察モードを通常観察モードに設定するための指示が行われたことを検知した際に、通常観察モードに応じた動作を行わせるための制御信号を生成して出力する(図4のステップS1)。また、制御部44は、後述の処理により得られた処理結果等に応じ、内視鏡システム1の観察モードを通常観察モードに維持するための動作、または、内視鏡システム1の観察モードを診断支援モードから通常観察モードへ切り替えるための動作を行う(図4のステップS1)。
 制御部44は、図4のステップS1において、Bb光、Bg光及びBr光を光源装置3から出射させるための制御信号を生成して光源制御部34へ出力する。また、制御部44は、図4のステップS1において、画像処理部41を経て出力される内視鏡画像WDI(後述)を表示装置5に表示させるための制御信号を生成して表示制御部42へ出力する。また、制御部44は、図4のステップS1において、画像処理部41を経て出力される所定期間PA分の内視鏡画像WDIを動き検出用画像MDIとして画像記録部44aに記録させる。なお、所定期間PAは、例えば、被験者の鼻腔のサイズ等に応じた期間として設定されていればよい。
 光源制御部34は、制御部44から出力される制御信号に応じ、通常観察モードにおいて、狭帯域光源31dを消光させつつ、青色光源31aと、緑色光源31bと、赤色光源31cと、を同時に発光させるための光源駆動信号を生成して出力する。そして、このような光源制御部34の動作に応じ、通常観察モードにおいて、Bb光、Bg光及びBr光を含む照明光WLが光源装置3(発光部31)から発せられ、当該照明光WLが被写体に照射され、当該照明光WLの戻り光(反射光)を撮像することにより得られた内視鏡画像WDIが撮像部21から画像処理部41へ出力される。
 画像処理部41は、内視鏡2から出力される内視鏡画像WDIに対してホワイトバランス調整及びガンマ補正等の画像処理を施すとともに、当該画像処理を施した内視鏡画像WDIを表示制御部42及び制御部44へ出力する。
 表示制御部42は、制御部44から出力される制御信号に応じ、通常観察モードにおいて、画像処理部41を経て出力される内視鏡画像WDIを表示画像として表示装置5へ出力するための動作を行う。
 画像記録部44aは、通常観察モードにおいて、画像処理部41を経て出力される所定期間PA分の内視鏡画像WDIを動き検出用画像MDIとして順次記録するための動作を行う。なお、画像記録部44aに記録される動き検出用画像MDI各々には、例えば、タイムスタンプ等のような、画像記録部44aにより記録された時刻を特定可能な時刻情報が付与されているものとする。
 ユーザは、表示装置5に表示される内視鏡画像WDIを確認しつつ、内視鏡2の挿入部2aを被験者の鼻腔内へ挿入するとともに、当該被験者の鼻腔内に存在する所望の被写体の近傍に先端部2cを配置する。その後、ユーザは、内視鏡2の先端部2cを所望の被写体の近傍に配置した状態において、スコープスイッチ23または入力I/F43の観察モード切替スイッチを操作することにより、内視鏡システム1の観察モードを診断支援モードに設定するための指示を行う。
 制御部44は、内視鏡システム1の観察モードを診断支援モードに設定するための指示が行われたか否かに係る判定処理を行う(図4のステップS2)。
 制御部44は、内視鏡システム1の観察モードを診断支援モードに設定するための指示を検出することができなかった場合(S2:NO)に、図4のステップS1の動作を行う。すなわち、図4のステップS2を経てステップS1の動作が行われる場合には、内視鏡システム1の観察モードが通常観察モードに維持されるとともに、表示装置5に表示される表示画像が内視鏡画像WDIに維持される。
 制御部44は、内視鏡システム1の観察モードを診断支援モードに設定するための指示を検出することができた場合(S2:YES)に、画像処理部41を経て出力される所定期間PB分の内視鏡画像WDIを動き検出用画像MDIとして画像記録部44aに記録させる。なお、所定期間PBは、例えば、被験者の鼻腔のサイズ等に応じた期間として設定されていればよい。
 画像記録部44aは、内視鏡システム1の観察モードを診断支援モードに設定するための指示が(制御部44により)検出されたタイミングを起点とする所定期間PBにおいて、画像処理部41から出力される内視鏡画像WDIを動き検出用画像MDIとして順次記録するための動作を行う。
 すなわち、本実施形態によれば、内視鏡システム1の観察モードを診断支援モードに設定するための指示が行われるより前の所定期間PAと、当該指示が行われた後の当該所定期間PAに連続する期間に相当する所定期間PBと、のそれぞれにおいて、画像処理部41から出力される内視鏡画像WDIが動き検出用画像MDIとして画像記録部44aに順次記録される。
 動き検出部44bは、画像記録部44aに記録された動き検出用画像MDIに基づき、内視鏡システム1の観察モードが通常観察モードから診断支援モードへ切り替わる直前における先端部2cの動きを示す特徴量FVAを算出するための動き検出処理を行う(図4のステップS3)。すなわち、動き検出部44bは、画像記録部44aに記録された内視鏡画像WDIに基づき、撮像部21が設けられた内視鏡2の先端部2cの動きを検出する。また、動き検出部44bは、特徴量FVAを先端部2cの動きの検出結果として取得する。
 ここで、動き検出部44bにより行われる処理の具体例について、以下に説明する。
 動き検出部44bは、例えば、画像記録部44aに記録された複数の動き検出用画像MDIの中から、動き検出用画像MDIAと、当該動き検出用画像MDIAよりも後に記録された動き検出用画像MDIBと、の2つの動き検出用画像を抽出する。また、動き検出部44bは、2つの動き検出用画像MDIA及びMDIBにそれぞれ付加されている時刻情報に基づき、当該2つの動き検出用画像MDIA及びMDIBを記録する際に生じたタイムラグに相当する時間間隔TNAを算出する。また、動き検出部44bは、時間間隔TNAと、動き検出用画像MDIAの画素値に基づいて算出した演算値CVAと、動き検出用画像MDIBの画素値に基づいて算出した演算値CVBと、を下記数式(1)に適用して演算を行うことにより特徴量FVAを算出する。
FVA=(CVB-CVA)/TNA …(1)
 本実施形態によれば、共通の算出方法を用いて演算値CVA及びCVBを算出する限りにおいては、以下に列挙するいずれかの算出方法を用いて演算値CVA及びCVBを算出してもよい。なお、以降においては、説明の簡単のため、演算値CVA及びCVBを総称して演算値CVXと記述するとともに、当該演算値CVXの算出に用いられる動き検出用画像をMDIXとして記述するものとする。
 演算値CVXは、例えば、動き検出用画像MDIXに設定された所定の計算領域CRAに含まれる全画素における青色の画素値Vbm、緑色の画素値Vgm及び赤色の画素値Vrmの平均値として算出されるものであってもよい。
 演算値CVXは、例えば、動き検出用画像MDIXに設定された所定の計算領域CRAに含まれる各画素において(Vrm+Vgm)/Vbmの演算(画素値Vrm及び画素値Vgmの和を画素値Vbmにより規格化するための演算)を行うとともに、当該演算により得られた各値の平均値として算出されるものであってもよい。
 演算値CVXは、例えば、動き検出用画像MDIXに設定された所定の計算領域CRAに含まれる全画素における青色の画素値Vbmの平均値として算出されるものであってもよい。
 演算値CVXは、例えば、動き検出用画像MDIXに設定された所定の計算領域CRAに含まれる全画素における赤色の画素値Vrmの平均値として算出されるものであってもよい。
 演算値CVXは、例えば、動き検出用画像MDIXに設定された所定の計算領域CRAに含まれる全画素における赤色の画素値Vgmの平均値として算出されるものであってもよい。
 所定の計算領域CRAは、動き検出用画像MDIXの全域として設定されていてもよく、または、動き検出用画像MDIXの一部の領域として設定されていてもよい。具体的には、所定の計算領域CRAは、例えば、動き検出用画像MDIXの端部からの距離に応じて設定された矩形枠状の領域(図6参照)であってもよく、または、動き検出用画像MDIXの中心からの距離に応じて設定された矩形状の領域(図7参照)であってもよい。図6及び図7は、動き検出用画像に設定される計算領域の具体例を示す図である。
 すなわち、動き検出部44bは、先端部2cの動きを検出するための処理として、動き検出用画像MDIの中心からの距離に応じて設定された所定の計算領域CRAに含まれる各画素の画素値に基づいて特徴量を算出する処理を行う。または、動き検出部44bは、先端部2cの動きを検出するための処理として、動き検出用画像MDIの端部からの距離に応じて設定された所定の計算領域CRAに含まれる各画素の画素値に基づいて特徴量を算出する処理を行う。
 制御部44は、動き検出部44bにより算出された特徴量FVAに基づき、先端部2cの動きに起因する危険な状態が発生するおそれがあるか否かに係る判定処理を行う(図4のステップS4)。
 制御部44は、例えば、動き検出部44bにより算出された特徴量FVAが閾値THA以上であることを検出した場合に、先端部2cの動きに起因する危険な状態が発生するおそれがあるとの判定結果を得た(S4:YES)後、図4のステップS1の動作を行う。すなわち、制御部44は、動き検出部44bの検出結果に基づき、内視鏡システム1の観察モードが通常観察モードから診断支援モードへ切り替わる直前における先端部2cの動きに起因する危険な状態が発生するおそれがあることを検出した場合に、スコープスイッチ23または入力I/F43においてなされた当該観察モードを診断支援モードに設定するための指示を無効にする。また、ステップS2~ステップS4を経てステップS1の動作が行われる場合には、図4のステップS2により検出された指示が無効化されることに伴い、内視鏡システム1の観察モードが通常観察モードに維持されるとともに、表示装置5に表示される表示画像が内視鏡画像WDIに維持される。
 制御部44は、例えば、動き検出部44bにより算出された特徴量FVAが閾値THA未満であることを検出した場合に、先端部2cの動きに起因する危険な状態が発生するおそれがないとの判定結果を得た(S4:NO)後、診断支援モードに応じた動作を行わせるための制御信号を生成して出力する(図4のステップS5)。また、制御部44は、後述の処理により得られた処理結果等に応じ、内視鏡システム1の観察モードを診断支援モードに維持するための動作を行う(図4のステップS5)。
 制御部44は、図4のステップS5において、Nb光、Bg光及びBr光を光源装置3から出射させるための制御信号を生成して光源制御部34へ出力する。また、制御部44は、図4のステップS5において、画像処理部41を経て出力される所定期間PC分の内視鏡画像SDI(後述)を動き検出用画像MDIとして画像記録部44aに記録させる。なお、所定期間PCは、例えば、被験者の鼻腔のサイズ等に応じた期間として設定されていればよい。また、制御部44は、図4のステップS5において、画像処理部41を経て出力される内視鏡画像SDIに応じた診断支援画像SDSを表示装置5に表示させるための制御信号を生成して表示制御部42へ出力する。
 光源制御部34は、制御部44から出力される制御信号に応じ、診断支援モードにおいて、青色光源31aを消光させつつ、緑色光源31bと、赤色光源31cと、狭帯域光源31dと、を同時に発光させるための光源駆動信号を生成して出力する。そして、このような光源制御部34の動作に応じ、診断支援モードにおいて、Nb光、Bg光及びBr光を含む照明光SLが光源装置3(発光部31)から発せられ、当該照明光SLが被写体に照射され、当該照明光SLの戻り光(反射光)を撮像することにより得られた内視鏡画像SDIが撮像部21から画像処理部41へ出力される。
 画像処理部41は、内視鏡2から出力される内視鏡画像SDIに対してホワイトバランス調整及びガンマ補正等の画像処理を施すとともに、当該画像処理を施した内視鏡画像SDIを表示制御部42及び制御部44へそれぞれ出力する。
 表示制御部42は、制御部44から出力される制御信号に応じ、診断支援モードにおいて、画像処理部41を経て出力される内視鏡画像SDIに応じた診断支援画像SDSを生成するとともに、当該生成した診断支援画像SDSを表示画像として表示装置5へ出力するための動作を行う。
 ここで、診断支援モード時に表示装置5に表示される診断支援画像SDSの生成方法の具体例について説明する。
 演算部42aは、画像処理部41を経て出力される内視鏡画像SDIの各画素において、当該内視鏡画像SDIに含まれる生体組織の異常度合いを示す指標値IVAを算出するための演算処理を行う。そして、演算部42aは、内視鏡画像SDIの各画素における指標値IVAの算出結果を演算処理の処理結果として取得する。
 なお、指標値IVAは、例えば、内視鏡画像SDIに含まれる各画素における青色の画素値をVbn、緑色の画素値をVgn、及び、赤色の画素値をVrnとして表した場合に、(Vrn+Vgn)/Vbn、Vrn/Vgn、Vrn/Vbn及びVgn/Vbnのうちのいずれかの指標算出式を用いた演算により算出されればよい。または、指標値IVAは、(Vrn+Vgn)/Vbn、Vrn/Vgn、Vrn/Vbn及びVgn/Vbnのうちのいずれかの計算式の分母と分子を逆にした式を用いた演算により算出されるものであってもよい。すなわち、指標値IVAは、Vrn及びVgnの和をVbnにより規格化した値、VrnをVgnにより規格化した値、VrnをVbnにより規格化した値、及び、VgnをVbnにより規格化した値のうちのいずれかの値として算出されればよい。
 表示画像生成部42bは、演算部42aの演算処理により得られた処理結果に基づいて画像処理部41を経て出力される内視鏡画像SDIの色及び模様のうちの少なくとも一方を加工することにより、当該内視鏡画像に含まれる異常部位を特定可能な視覚情報を有する診断支援画像SDSを生成する。
 具体的には、表示画像生成部42bは、演算部42aの演算処理により得られた処理結果に基づき、例えば、内視鏡画像SDIの各画素において算出された指標値IVAを複数の数値範囲のいずれかに分類するとともに、当該各画素に含まれる画素情報を分類後の数値範囲に対応する色及び/または模様に相当する画素情報に置換するような処理を行うことにより診断支援画像SDSを生成する。そして、このような処理によれば、内視鏡画像SDIに含まれる正常部位と、当該内視鏡画像SDIに含まれる異常部位と、に対して別々の色及び/または模様を付けた診断支援画像SDSが生成される。
 画像記録部44aは、診断支援モードにおいて、画像処理部41を経て出力される所定期間PC分の内視鏡画像SDIを動き検出用画像MDIとして順次記録するための動作を行う。
 動き検出部44bは、画像記録部44aに記録された動き検出用画像MDIに基づき、内視鏡システム1の観察モードが診断支援モードに設定されている場合における先端部2cの動きを示す特徴量FVBを算出するための動き検出処理を行う(図4のステップS6)。すなわち、動き検出部44bは、画像記録部44aに記録された内視鏡画像SDIに基づき、撮像部21が設けられた内視鏡2の先端部2cの動きを検出する。また、動き検出部44bは、特徴量FVBを先端部2cの動きの検出結果として取得する。
 具体的には、動き検出部44bは、例えば、前述の指標値IVAの算出方法のうちの1つを用いて演算値CVA及びCVBをそれぞれ算出するとともに、当該算出した演算値CVA及びCVBと、前述の算出方法を用いて算出した時間間隔TNAと、を上記数式(1)にそれぞれ適用して演算を行うことにより特徴量FVBを算出する。
 制御部44は、動き検出部44bにより算出された特徴量FVBに基づき、先端部2cの動きに起因する危険な状態が発生するおそれがあるか否かに係る判定処理を行う(図4のステップS7)。
 制御部44は、例えば、動き検出部44bにより算出された特徴量FVBが閾値THB未満であることを検出した場合に、先端部2cの動きに起因する危険な状態が発生するおそれがないとの判定結果を得た(S7:NO)後、後述の図5のステップS8の動作を行う。
 制御部44は、例えば、動き検出部44bにより算出された特徴量FVBが閾値THB以上であることを検出した場合に、先端部2cの動きに起因する危険な状態が発生するおそれがあるとの判定結果を得た(S7:YES)後、図4のステップS1の動作を行う。すなわち、制御部44は、動き検出部44bの検出結果に基づき、診断支援モードにおける先端部2cの動きに起因する危険な状態が発生するおそれがあることを検出した場合に、内視鏡システム1の観察モードを通常観察モードに設定するための制御を行う。また、ステップS5~ステップS7を経てステップS1の動作が行われる場合には、診断支援モードにおける先端部2cの動きに応じ、内視鏡システム1の観察モードが診断支援モードから通常観察モードへ切り替えられるとともに、表示装置5に表示される表示画像が診断支援画像SDSから内視鏡画像WDIへ切り替えられる。
 なお、閾値THBは、例えば、鼻腔内の各部位において使用可能な単一の値として設定されていてもよく、または、鼻腔内の複数の部位に応じて使い分けることが可能な複数の値として設定されていてもよい。具体的には、図4のステップS7の処理において使用可能な閾値THBとして、例えば、副鼻腔用の閾値THB1と、当該閾値THB1より小さな値に設定された中鼻道用の閾値THB2と、がそれぞれ設定されていてもよい。また、このような場合には、例えば、閾値THB1及びTHB2のうちのいずれかから、図4のステップS7の処理において用いられる閾値THBを選択するための指示を行うことが可能なスイッチ等がスコープスイッチ23または入力I/F43に設けられていてもよい。
 本実施形態によれば、制御部44が、図4のステップS7において、動き検出部44bの検出結果に基づき、先端部2cの動きに起因する危険な状態が発生するおそれがあることを検出した場合に、当該検出した危険な状態を報知可能な文字列等の視覚情報を診断支援画像SDSに併せて表示装置5に表示させるための制御信号を生成して表示制御部42に出力する動作を行うようにしてもよい。そして、このような動作によれば、診断支援モードにおいて、例えば、先端部2cが鼻腔内の壁面(粘膜)に近づきつつある旨を示すアラートメッセージを診断支援画像SDSに対して重畳した表示画像を表示装置5に表示させることができる。また、本実施形態によれば、例えば、前述のアラートメッセージに対応する音声を図示しないスピーカ等から発生させるようにしてもよい。
 本実施形態によれば、例えば、制御部44が、スコープスイッチ23または入力I/F43においてなされた指示に応じて内視鏡システム1の観察モードを診断支援モードに設定してから(図4のステップS4を経てステップS5の動作を行ってから)一定期間が経過したことを検出した際に、内視鏡システム1の観察モードを通常観察モードに設定するための制御を行う(図4のステップS1の動作を行う)ようにしてもよい。
 本実施形態によれば、例えば、動き検出部44bが、図4のステップS3及びステップS6のうちの少なくともいずれか一方において先端部2cの動きを検出するための処理として、所定の基準画像SGIから取得したラインプロファイルに基づいて算出されるコントラスト値CTAと、画像記録部44aに記録された動き検出用画像MDIから取得したラインプロファイルに基づいて算出されるコントラスト値CTBと、の差の絶対値(|CTA-CTB|)を先端部2cの動きを示す特徴量FVCとして算出するような処理を行うものであってもよい。そして、このような場合においては、例えば、制御部44が、画像記録部44aに記録されている少なくとも1つの動き検出用画像MDIにおいて、特徴量FVCが閾値THC以上となることを検出した場合に、先端部2cの動きに起因する危険な状態が発生するおそれがあるとの判定結果を得ることができる。また、前述のような場合においては、例えば、制御部44が、画像記録部44aに記録されている全ての動き検出用画像MDIにおいて、特徴量FVCが当該閾値THC未満であることを検出した場合に、先端部2cの動きに起因する危険な状態が発生するおそれがないとの判定結果を得ることができる。なお、所定の基準画像SGIとしては、例えば、鼻腔内に存在する中鼻甲介等の構造物または窪みが中央部付近に含まれている画像を用いることができる。
 制御部44は、内視鏡システム1の観察モードを通常観察モードに設定するための指示が行われたか否かに係る判定処理を行う(図5のステップS8)。
 制御部44は、内視鏡システム1の観察モードを通常観察モードに設定するための指示を検出することができなかった場合(S8:NO)に、後述の図5のステップS9の動作を行う。
 制御部44は、内視鏡システム1の観察モードを診断支援モードに設定するための指示を検出することができた場合(S8:YES)に、図4のステップS1の動作を行う。すなわち、ステップS8を経てステップS1の動作が行われる場合には、診断支援モードにおける観察モード切替スイッチの操作に応じ、内視鏡システム1の観察モードが診断支援モードから通常観察モードへ切り替えられるとともに、表示装置5に表示される表示画像が診断支援画像SDSから内視鏡画像WDIへ切り替えられる。
 制御部44は、レリーズ指示が行われたか否かに係る判定処理を行う(図5のステップS9)。
 制御部44は、レリーズ指示を検出することができなかった場合(S9:NO)に、図4のステップS5の動作を行う。すなわち、ステップS8及びステップS9を経てステップS5の動作が行われる場合には、内視鏡システム1の観察モードが診断支援モードに維持されるとともに、表示装置5に表示される表示画像が診断支援画像SDSに維持される。
 制御部44は、レリーズ指示を検出することができた場合(S9:YES)に、画像処理部41を経て出力される内視鏡画像SDIをレリーズ画像SDRとして画像記録部44aに記録させた(図5のステップS10)後、図4のステップS5の動作を行う。すなわち、ステップS8~ステップS10を経てステップS5の動作が行われる場合には、内視鏡システム1の観察モードが診断支援モードに維持されるとともに、表示装置5に表示される表示画像が診断支援画像SDSに維持される。
 本実施形態によれば、制御部44が、図5のステップS9においてレリーズ指示を検出することができた場合に、画像処理部41を経て出力される内視鏡画像SDIをレリーズ画像SDRとして画像記録部44aに記録させるための動作を行った後で、内視鏡システム1の観察モードを通常観察モードに設定するための制御を行う(図4のステップS1の動作を行う)ようにしてもよい。そして、このような動作によれば、診断支援モードにおけるレリーズスイッチの操作に応じ、内視鏡システム1の観察モードが診断支援モードから通常観察モードへ切り替えられるとともに、表示装置5に表示される表示画像が診断支援画像SDSから内視鏡画像WDIへ切り替えられる。
 以上に述べたように、本実施形態によれば、内視鏡システム1の観察モードが通常観察モードから診断支援モードに切り替わる直前において、先端部2cの動きに起因する危険な状態が発生するおそれがあることが確認された場合に、内視鏡システム1の観察モードを診断支援モードに移行させるための動作が中断される。また、本実施形態によれば、内視鏡システム1の観察モードが通常観察モードから診断支援モードに切り替わる直前において、先端部2cの動きに起因する危険な状態が発生するおそれがないことが確認された場合に、内視鏡システム1の観察モードを診断支援モードに移行させるための動作が行われる。また、以上に述べたように、本実施形態によれば、診断支援モードにおいて、先端部2cの動きに起因する危険な状態が発生するおそれがあることが確認された場合に、内視鏡システム1の観察モードを通常観察モードに移行させるための動作、または、当該危険な状態を報知するための動作が行われる。従って、本実施形態によれば、内視鏡画像の色及び模様のうちの少なくとも一方を加工した画像による観察を行う際の安全性を確保することができる。
 なお、本実施形態に係る構成を適宜変形することにより、例えば、診断支援モードにおいて、通常観察モードにおける照明光と同じ照明光WLを光源装置3から出射させるための制御が行われるとともに、当該照明光WLが照射された被写体を撮像して得られた内視鏡画像WDIの色及び模様のうちの少なくとも一方を加工した診断支援画像WDSを表示装置5に表示させるための制御が行われるようにしてもよい。また、このような場合においては、診断支援画像WDSが、例えば、診断支援画像SDSと同様の方法を用いて生成されるようにすればよい。
 本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
 本出願は、2018年6月19日に日本国に出願された特願2018-116043号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (11)

  1.  被検体の内部に存在する被写体を照明するための照明光として、第1の照明光及び第2の照明光のうちのいずれかを発生するように構成された光源部と、
     前記照明光により照明された被写体を撮像して画像を得るように構成された撮像部と、
     前記被写体を観察する際の観察モードを、前記第1の照明光により照明された前記被写体を撮像して得られた第1の画像を表示装置に表示させる第1の観察モード、及び、前記第2の照明光により照明された前記被写体を撮像して得られた第2の画像の色及び模様のうちの少なくとも一方を加工した第3の画像を前記表示装置に表示させる第2の観察モードのうちのいずれかに設定するための指示を行うことが可能な切替指示部と、
     前記第1の画像または前記第2の画像に基づき、前記撮像部が設けられた内視鏡の先端部の動きを検出するように構成された動き検出部と、
     前記動き検出部の検出結果に基づき、前記観察モードが前記第1の観察モードから前記第2の観察モードへ切り替わる直前における前記内視鏡の先端部の動きに起因する危険な状態が発生するおそれがあることを検出した場合に、前記切替指示部においてなされた前記観察モードを前記第2の観察モードに設定するための指示を無効にするように構成された制御部と、
     を有することを特徴とする内視鏡システム。
  2.  前記制御部は、前記動き検出部の検出結果に基づき、前記観察モードが前記第1の観察モードから前記第2の観察モードへ切り替わる直前における前記内視鏡の先端部の動きに起因する危険な状態が発生するおそれがないことを検出した場合に、前記観察モードを前記第2の観察モードに設定するための制御を行う
     ことを特徴とする請求項1に記載の内視鏡システム。
  3.  前記制御部は、前記動き検出部の検出結果に基づき、前記第2の観察モードにおける前記内視鏡の先端部の動きに起因する危険な状態が発生するおそれがあることを検出した場合に、前記観察モードを前記第1の観察モードに設定するための制御を行う
     ことを特徴とする請求項1に記載の内視鏡システム。
  4.  前記制御部は、前記動き検出部の検出結果に基づき、前記第2の観察モードにおける前記内視鏡の先端部の動きに起因する危険な状態が発生するおそれがあることを検出した場合に、当該検出した危険な状態を報知可能な視覚情報を前記第3の画像に併せて表示させるための制御を行う
     ことを特徴とする請求項1に記載の内視鏡システム。
  5.  前記制御部は、前記切替指示部においてなされた指示に応じて前記観察モードを前記第2の観察モードに設定してから一定期間が経過したことを検出した際に、前記観察モードを前記第1の観察モードに設定するための制御を行う
     ことを特徴とする請求項1に記載の内視鏡システム。
  6.  前記切替指示部は、さらに、前記第1の画像または前記第2の画像を静止画像として記録させるためのレリーズ指示を行うことができるように構成されており、
     前記制御部は、前記第2の観察モードにおいて前記レリーズ指示が行われた際に、前記第2の画像を静止画像として記録させるための動作を行った後で、前記観察モードを前記第1の観察モードに設定するための制御を行う
     ことを特徴とする請求項1に記載の内視鏡システム。
  7.  前記動き検出部は、前記内視鏡の先端部の動きを検出するための処理として、前記第1の画像または前記第2の画像のいずれかに相当する動き検出用画像の中心からの距離に応じて設定された所定の計算領域に含まれる各画素の画素値に基づいて特徴量を算出する処理を行う
     ことを特徴とする請求項1に記載の内視鏡システム。
  8.  前記動き検出部は、前記内視鏡の先端部の動きを検出するための処理として、前記第1の画像または前記第2の画像のいずれかに相当する動き検出用画像の端部からの距離に応じて設定された所定の計算領域に含まれる各画素の画素値に基づいて特徴量を算出する処理を行う
     ことを特徴とする請求項1に記載の内視鏡システム。
  9.  前記動き検出部は、前記内視鏡の先端部の動きを検出するための処理として、所定の基準画像から取得したラインプロファイルに基づいて算出されるコントラスト値と、前記第1の画像または前記第2の画像のいずれかに相当する動き検出用画像から取得したラインプロファイルに基づいて算出されるコントラスト値と、に基づいて特徴量を算出する処理を行う
     ことを特徴とする請求項1に記載の内視鏡システム。
  10.  前記観察モードを前記第2の観察モードに設定するための指示が行われる前の第1の所定期間と、前記観察モードを前記第2の観察モードに設定するための指示が行われた後の当該第1の所定期間に連続する期間に相当する第2の所定期間と、のそれぞれにおいて、前記第1の画像を動き検出用画像として順次記録するように構成された画像記録部をさらに有し、
     前記動き検出部は、前記画像記録部に記録された前記動き検出用画像に基づき、前記内視鏡の先端部の動きを検出する
     ことを特徴とする請求項1に記載の内視鏡システム。
  11.  光源部が、被検体の内部に存在する被写体を照明するための照明光として、第1の照明光及び第2の照明光のうちのいずれかを発生し、
     撮像部が、前記照明光により照明された被写体を撮像して画像を取得し、
     切替指示部が、前記被写体を観察する際の観察モードを、前記第1の照明光により照明された前記被写体を撮像して得られた第1の画像を表示装置に表示させる第1の観察モード、及び、前記第2の照明光により照明された前記被写体を撮像して得られた第2の画像の色及び模様のうちの少なくとも一方を加工した第3の画像を前記表示装置に表示させる第2の観察モードのうちのいずれかに設定するための指示を行い、
     動き検出部が、前記第1の画像または前記第2の画像に基づき、前記撮像部が設けられた内視鏡の先端部の動きを検出し、
     制御部が、前記動き検出部の検出結果に基づき、前記観察モードが前記第1の観察モードから前記第2の観察モードへ切り替わる直前における前記内視鏡の先端部の動きに起因する危険な状態が発生するおそれがあることを検出した場合に、前記切替指示部においてなされた前記観察モードを前記第2の観察モードに設定するための指示を無効にする
     ことを特徴とする内視鏡システムの作動方法。
PCT/JP2019/007350 2018-06-19 2019-02-26 内視鏡システム及び内視鏡システムの作動方法 WO2019244406A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/126,460 US11986147B2 (en) 2018-06-19 2020-12-18 Endoscope system, method for operating endoscope system and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-116043 2018-06-19
JP2018116043A JP2021191313A (ja) 2018-06-19 2018-06-19 内視鏡システム及び内視鏡システムの作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/126,460 Continuation US11986147B2 (en) 2018-06-19 2020-12-18 Endoscope system, method for operating endoscope system and storage medium

Publications (1)

Publication Number Publication Date
WO2019244406A1 true WO2019244406A1 (ja) 2019-12-26

Family

ID=68983630

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007350 WO2019244406A1 (ja) 2018-06-19 2019-02-26 内視鏡システム及び内視鏡システムの作動方法

Country Status (3)

Country Link
US (1) US11986147B2 (ja)
JP (1) JP2021191313A (ja)
WO (1) WO2019244406A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002045330A (ja) * 2000-08-02 2002-02-12 Fuji Photo Film Co Ltd 蛍光画像表示方法および装置
JP2007054115A (ja) * 2005-08-22 2007-03-08 Pentax Corp 内視鏡プロセッサ
US20090259098A1 (en) * 2008-04-11 2009-10-15 Beat Krattiger Apparatus and method for endoscopic 3D data collection
JP2012050641A (ja) * 2010-08-31 2012-03-15 Fujifilm Corp 内視鏡システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4199510B2 (ja) * 2002-09-30 2008-12-17 Hoya株式会社 診断補助用装置
JP2006223481A (ja) 2005-02-16 2006-08-31 Olympus Corp 内視鏡用画像処理装置、及び内視鏡装置
JP5127639B2 (ja) * 2008-09-10 2013-01-23 富士フイルム株式会社 内視鏡システム、およびその作動方法
JP5815426B2 (ja) * 2012-01-25 2015-11-17 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
US10582832B2 (en) * 2013-01-17 2020-03-10 Stryker Corporation System for altering functions of at least one surgical device dependent upon information saved in an endoscope related to the endoscope
JP5977772B2 (ja) * 2014-02-06 2016-08-24 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002045330A (ja) * 2000-08-02 2002-02-12 Fuji Photo Film Co Ltd 蛍光画像表示方法および装置
JP2007054115A (ja) * 2005-08-22 2007-03-08 Pentax Corp 内視鏡プロセッサ
US20090259098A1 (en) * 2008-04-11 2009-10-15 Beat Krattiger Apparatus and method for endoscopic 3D data collection
JP2012050641A (ja) * 2010-08-31 2012-03-15 Fujifilm Corp 内視鏡システム

Also Published As

Publication number Publication date
JP2021191313A (ja) 2021-12-16
US20210137370A1 (en) 2021-05-13
US11986147B2 (en) 2024-05-21

Similar Documents

Publication Publication Date Title
US8690765B2 (en) Endoscope apparatus and image processing apparatus
JP6834184B2 (ja) 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム
JP4914574B2 (ja) 内視鏡形状検出装置
JP4681981B2 (ja) 電子内視鏡装置
JPWO2018159363A1 (ja) 内視鏡システム及びその作動方法
JP6001219B1 (ja) 内視鏡システム
JP7328432B2 (ja) 医療用制御装置、医療用観察システム、制御装置及び観察システム
JPWO2019123827A1 (ja) 内視鏡システム及び内視鏡プロセッサ
JP6543013B2 (ja) 内視鏡装置
WO2019092948A1 (ja) 内視鏡システム
US11363939B2 (en) Endoscope system, operation method of endoscope system and recording medium
JP3884265B2 (ja) 内視鏡装置
JP4575208B2 (ja) 電子内視鏡装置
JP6210923B2 (ja) 生体観察システム
JP4766935B2 (ja) 内視鏡装置
WO2019244406A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP2008272507A (ja) 内視鏡装置
JP6099518B2 (ja) 内視鏡システム及び作動方法
JP2012120764A (ja) 内視鏡システム、光学装置、および波長可変素子の透過光の波長帯域のずれ補正方法
JP6254506B2 (ja) 内視鏡システム及びその作動方法
JP7029281B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
WO2019171703A1 (ja) 内視鏡システム
JP7147890B2 (ja) 情報処理システム、情報処理方法及びプログラム
WO2021181484A1 (ja) 医療用画像処理装置、医療用撮像装置、医療用観察システム、画像処理方法およびプログラム
JP2020171599A (ja) 画像生成装置、コンピュータプログラム及び画像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19821636

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19821636

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP