WO2020017089A1 - 撮像ユニット、内視鏡および内視鏡システム - Google Patents

撮像ユニット、内視鏡および内視鏡システム Download PDF

Info

Publication number
WO2020017089A1
WO2020017089A1 PCT/JP2019/009195 JP2019009195W WO2020017089A1 WO 2020017089 A1 WO2020017089 A1 WO 2020017089A1 JP 2019009195 W JP2019009195 W JP 2019009195W WO 2020017089 A1 WO2020017089 A1 WO 2020017089A1
Authority
WO
WIPO (PCT)
Prior art keywords
lens group
image
optical system
optical
holding frame
Prior art date
Application number
PCT/JP2019/009195
Other languages
English (en)
French (fr)
Inventor
祐一 綿谷
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201980048069.2A priority Critical patent/CN112512395A/zh
Priority to JP2020530889A priority patent/JP7181294B2/ja
Publication of WO2020017089A1 publication Critical patent/WO2020017089A1/ja
Priority to US17/152,118 priority patent/US11717138B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features

Definitions

  • the present disclosure relates to an imaging unit, an endoscope, and an endoscope system that are provided at a distal end of an insertion section of an endoscope that is inserted into a subject and captures an image of the inside of the subject.
  • a technique of observing a stereoscopic image (hereinafter, simply referred to as a “3D image”) of a subject's body by forming two images having different parallaxes on an imaging surface of one imaging element. It is known (see Patent Document 1). According to this technique, different focus adjustment holding frames are provided for each of a main optical system and a sub optical system that generate two optical images having parallax with each other, so that focus positions of the main optical system and the sub optical system due to manufacturing errors are different.
  • the 3D image is generated by keeping the difference within a certain allowable width.
  • the difficulty of focusing has been increased because the lens diameter of the optical system has been reduced along with the reduction of the pixel pitch due to the increase in the number of pixels of the imaging element and the miniaturization of the imaging unit.
  • the present disclosure has been made in view of the above, and has an object to provide an imaging unit, an endoscope, and an endoscope system that can easily perform focus adjustment of two optical systems.
  • an imaging unit forms a pair with a first lens group that forms a first optical image, and a first lens group.
  • a second lens group that forms the second optical image, a first region that guides object light to the first lens group, and a second region that guides object light to the second lens group.
  • a single image sensor that generates an image signal by receiving the first optical image and the second optical image, and a first lens group that holds the first lens group.
  • a single first holding frame having a first holding hole and a second holding hole for holding the second lens group; and the first holding frame for holding the objective lens group.
  • a second holding frame positioned and fixed by being adhered in a state of being fitted to the distal end of the second holding frame,
  • a third holding frame that holds the image sensor and is positioned and fixed by being adhered in a state of being fitted to the base end side of the first holding frame on the inner peripheral surface thereof;
  • the F-number of the first optical system constituted by the first lens group is larger than the F-number of the second optical system constituted by the objective lens group and the second lens group.
  • the second optical system further includes a stop on an optical path of the second optical system.
  • an endoscope includes an insertion unit that is inserted into a subject, an imaging unit that is provided on a distal end side of the insertion unit, and generates an image signal by imaging the subject, A base end portion provided on a base end side of the unit and detachably connected to a processing device that performs image processing on the image signal, wherein the imaging unit forms a first optical image.
  • an object lens group having a second area for guiding object light to the second lens group, and the image obtained by receiving the first optical image and the second optical image.
  • a single image sensor for generating a signal and a first holding for holding the first lens group A first holding frame having a second holding hole for holding the second lens group; and a first holding frame for holding the objective lens group and having an inner peripheral surface.
  • a second holding frame positioned and fixed by being bonded in a state of being fitted to an outer peripheral surface on a distal end side of the first holding frame, and a base end of the first holding frame on the inner peripheral surface, which holds the image sensor.
  • a third holding frame positioned and fixed by being bonded in a state of being fitted to the outer peripheral surface of the first side, and a first optical unit configured by the objective lens group and the first lens group.
  • the F number of the system is larger than the F number of the second optical system constituted by the objective lens group and the second lens group.
  • an endoscope system includes the endoscope described above, and a processing device, wherein the processing device includes an image processing unit that performs image processing on the image signal, The processing unit acquires a first image generated by the first optical system and a second image generated by the second optical system based on the image signal, and obtains the second image and Calculating a parallax value that is a shift amount of each predetermined position of the first image; and calculating a difference value between luminance information of each pixel of the second image and the first image based on the parallax value. Calculating and adding the difference value to the pixel value of each pixel of the second image.
  • FIG. 1 is a schematic diagram schematically illustrating an overall configuration of an endoscope system according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram schematically illustrating a cross section of the imaging unit according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating a relationship between the resolution and the subject distance when the F-number of each of the first optical system and the second optical system according to the embodiment of the present disclosure is set to the same value.
  • FIG. 4 is a diagram illustrating a relationship between resolution and subject distance when the F-number of the first optical system is set to a value larger than the F-number of the second optical system according to an embodiment of the present disclosure.
  • FIG. 5 is a block diagram illustrating a functional configuration of the processing device according to the embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating an outline of a process executed by the processing device according to the embodiment of the present disclosure.
  • an endoscope having an imaging unit is provided at a distal end portion on a distal end side of an insertion portion inserted into a subject.
  • the endoscope system will be described. Further, the present disclosure is not limited by the embodiments. Further, in the description of the drawings, the same parts will be described with the same reference numerals. Furthermore, the drawings are schematic, and it should be noted that the relationship between the thickness and width of each member, the ratio of each member, and the like are different from reality. In addition, the drawings include portions having different dimensions and ratios.
  • FIG. 1 is a schematic diagram schematically illustrating an overall configuration of an endoscope system according to an embodiment of the present disclosure.
  • the endoscope system 1 shown in FIG. 1 includes an endoscope 2, a processing device 3, a display device 4, and a light source device 5.
  • the endoscope 2 inserts the insertion section 100 including the plurality of cables and the light guide into the body cavity of the subject, and outputs an imaging signal generated by imaging the body of the subject to the processing device 3.
  • the endoscope 2 includes an insertion section 100, an operation section 200, a universal cord 300, and a base end section 400.
  • the insertion section 100 has a plurality of cables and light guides inside, and is inserted into the body cavity of the subject.
  • the insertion unit 100 is provided with an imaging unit 20 that generates an imaging signal by imaging an inside of a subject at a distal end portion 101 at a distal end inserted into a body cavity of the subject.
  • the unit 200 is connected.
  • the insertion unit 100 transmits the power and the drive signal supplied from the processing device 3 to the imaging unit 20, and transmits the imaging signal generated by the imaging unit 20 to the proximal side 102.
  • the operation unit 200 has a built-in board on which various circuits are mounted, and receives input of various operations related to the endoscope 2.
  • the operation unit 200 is connected to the universal cord 300.
  • the operation unit 200 is configured using various switches, toggle switches, buttons, and the like.
  • the universal cord 300 has a plurality of cables and light guides inside, and the base end 400 is connected to the base end 301.
  • the universal cord 300 transmits the power and the drive signal supplied from the processing device 3 to the insertion unit 100 via the base end 400 and the operation unit 200, and the imaging unit via the insertion unit 100 and the operation unit 200.
  • the imaging signal generated by 20 is transmitted to the proximal end 102.
  • the base end 400 is detachably connected to the processing device 3 and the light source device 5.
  • the base end 400 transmits the power and the drive signal supplied from the processing device 3 to the universal code 300, and transmits the imaging signal input via the universal code 300 to the processing device 3.
  • the processing device 3 outputs the power and the drive signal to the base end 400 and receives the imaging signal input from the base end 400.
  • the processing device 3 performs predetermined image processing on the image pickup signal and outputs the image signal to the display device 4.
  • the processing device 3 controls each unit of the endoscope system 1.
  • the processing device 3 is configured using, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field Programmable Gate Array) and a DSP (Digital Signal Processing), a volatile memory, a nonvolatile memory, and the like.
  • the display device 4 displays an image corresponding to the imaging signal on which the processing device 3 has performed the image processing. In addition, the display device 4 displays various information related to the endoscope system 1.
  • the display device 4 is configured using a liquid crystal or an organic EL (Electro Luminescence) or the like.
  • the light source device 5 supplies illumination light to irradiate illumination light from the distal end portion 101 side of the insertion section 100 to the subject (subject) via the base end portion 400.
  • the light source device 5 is configured using a halogen lamp or a white LED (Light Emitting Diode) that emits white light.
  • a simultaneous illumination system is used for the light source device 5.
  • the illumination system can be changed as appropriate according to the type of the imaging unit 20, and for example, a field sequential illumination system is used. Is also good.
  • the light source device 5 may supply special light as well as white light.
  • the special light for example, a narrow band light, an infrared light, a violet light, an orange light, or the like that can perform NBI (Narrow Band Imaging) may be supplied.
  • FIG. 2 is a diagram schematically illustrating a cross section of the imaging unit 20.
  • the imaging unit 20 shown in FIG. 2 includes a first lens group 201, a second lens group 202, an objective lens group 203, an image sensor 204, a first holding frame 205, and a second holding frame 206. And a third holding frame 207 and a stop 208.
  • the first lens group 201 forms the first optical image on the light receiving surface of the image sensor 204 with the object light guided from the objective lens group 203.
  • the first lens group 201 is configured using a plurality of lenses.
  • the second lens group 202 forms a pair with the first lens group, and forms the object light guided from the objective lens group 203 on the light receiving surface of the image sensor 204 as a second optical image.
  • the second lens group 202 is configured using a plurality of lenses.
  • the objective lens group 203 has a first region R1 for guiding object light to the first lens group 201, and a second region R2 for guiding object light to the second lens group 202.
  • the objective lens group 203 is configured using a plurality of lenses.
  • the optical system (left optical system) configured by the objective lens group 203 and the first lens group 201 is referred to as a first optical system L1, and configured by the objective lens group 203 and the second lens group 202.
  • the optical system (right optical system) will be described as a second optical system L2.
  • the first optical system L1 and the second optical system L2 function as a stereo optical system having parallax.
  • the image sensor 204 generates an imaging signal by receiving the first optical image formed by the first lens group 201 and the second optical image formed by the second lens group 202.
  • the image sensor 204 is configured using a single CCD (Charge Coupled Device) or a single CMOS (Complementary Metal Oxide Semiconductor).
  • the image sensor 204 is not limited to a single sensor, and may be configured using a plurality of plates that receive each of the first optical image and the second optical image.
  • the first holding frame 205 has a cylindrical shape, and a first holding hole 205a for holding the first lens group 201 and a second holding hole 205b for holding the second lens group 202 are integrally formed. It is formed.
  • the first holding hole 205a and the second holding hole 205b hold the inside such that the optical axis O1 of the first lens group 201 and the optical axis O2 of the second lens group 202 have a predetermined parallax.
  • the second holding frame 206 has a cylindrical shape and holds the objective lens group 203.
  • the second holding frame 206 is positioned by being bonded with an adhesive 206a or the like in a state where the second holding frame 206 is fitted to the outer circumferential surface on the distal end side (one end side) of the first holding frame 205 on the inner circumferential surface. Fixed.
  • a fixing method in addition to the adhesive, for example, a spiral groove or a female screw is provided on the outer peripheral side of the first holding frame 205, and a male screw is provided on the inner peripheral side of the second holding frame 206. May be.
  • the third holding frame 207 holds the image sensor 204.
  • the third holding frame 207 has a cylindrical shape, and is bonded using an adhesive 207a or the like in a state where the outer peripheral surface on the base end side (the other end side) of the first holding frame 205 is fitted on the inner peripheral surface. By doing so, it is positioned and fixed.
  • a fixing method other than the adhesive, for example, a spiral groove or a female screw is provided on the outer peripheral side of the first holding frame 205, and the female screw is provided on the inner peripheral side of the third holding frame 207. May be.
  • the stop 208 is disposed on the optical path of the second optical system L2, and changes the F number (F-number) of the second optical system L2 by restricting light incident on the second lens group 202.
  • the stop 208 is arranged on the optical path of the second optical system L2. Specifically, the stop 208 is disposed between the objective lens group 203 and the second lens group 202 on the optical path of the second optical system L2.
  • the location of the stop 208 can be changed as appropriate, for example, between the second lens group 202 and the image sensor 204, between the distal end side of the objective lens group 203, and any one of the second lens groups 202. Can be
  • the F number (F value) of the first optical system L1 (main optical system) is equal to the F number (F value) of the second optical system L2 (secondary optical system). Large compared to. Specifically, in the second optical system L2, since the stop 208 is provided between the objective lens group 203 and the second lens group 202, the F number (F value) of the first optical system L1 is provided. Smaller than.
  • FIG. 3 is a diagram illustrating the relationship between the resolution and the subject distance when the F-numbers of the first optical system L1 and the second optical system L2 are set to the same value.
  • FIG. 4 is a diagram illustrating the relationship between the resolution and the subject distance when the F-number of the first optical system L1 is set to a value larger than the F-number of the second optical system L2.
  • the horizontal axis represents the subject distance
  • the vertical axis represents the resolution.
  • the curves L L1 and L L2 in FIGS. 3 and 4 show the characteristics of the first lens group 201
  • the curves L R1 and L R2 in FIGS. 3 and 4 show the characteristics of the second lens group 202. Show characteristics.
  • the threshold LT indicates the threshold for focusing.
  • the first optical system L1 and the second optical system L2 have the same F-number.
  • One of the lens frames L1 and the second optical system L2 is adjusted.
  • each of the first optical system L1 and the second optical system L2 has the same focus.
  • the adjustment work of focusing becomes complicated.
  • a configuration in which only one of the lenses of one of the first optical system L1 and the second optical system L2 can be adjusted to focus on the other optical system hereinafter, referred to as “configuration 2”).
  • the lens frame becomes complicated, and the operation of adjusting the focus becomes complicated.
  • a part of the second optical system L2 is configured.
  • the lens is moved in the direction of the optical axis O2 to perform focus adjustment (adjustment step 2). That is, in the conventional configuration 2, the adjustment process must be performed twice, and a structure for moving only a part of the lens of the second optical system L2 needs to be separately provided, so that the frame mechanism becomes complicated. .
  • the F-number (F-number) of the first optical system L1 is larger than the F-number (F-number) of the second optical system L2.
  • the imaging unit 20 increases the F-number of the first optical system L1 to be larger than the F-number of the second optical system L2, so that the imaging unit 20 receives the image of the second optical system L2. expanding the depth of field D2 with respect to the subject P R to include depth of field D1. That is, the focus range of the second optical system L2 is adjusted to the focus range of the first optical system L1.
  • the focus adjustment of the first optical system L1 and the second optical system L2 can be performed with a simple configuration without providing a special focus adjustment member.
  • the imaging unit 20 can simplify the configuration of the first holding frame 206 to the third holding frame 207 as compared with the above-described conventional structure 2, and can perform only one adjustment operation. Focus adjustment of the first optical system L1 and the second optical system L2 can be performed. Furthermore, when two images are combined as a feature of the 3D combined image, the human eye is strongly affected by the high-resolution image on one side, and as a result, the F value on one side is increased to increase the resolution. You may drop it. By utilizing this effect, the obtained 3D image has a high definition impression.
  • FIG. 5 is a block diagram illustrating a functional configuration of the processing device 3.
  • the processing device 3 illustrated in FIG. 5 includes an image processing unit 31, a control unit 32, and a recording unit 33.
  • the image processing unit 31 performs various processes on the image signal input from the endoscope 2 and outputs the processed signal to the display device 4.
  • the image processing unit 31 is configured using, for example, a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), a DSP (Digital Signal Processing), and an FPGA (Field Programmable Gate Array).
  • the control unit 32 controls each unit of the endoscope system 1.
  • the control unit 32 is configured using a CPU (Central Processing Unit) or the like.
  • the recording unit 33 records various data relating to the endoscope system 1 and a program to be executed.
  • the recording unit 33 is configured using a volatile memory, a non-volatile memory, a memory card, and the like.
  • FIG. 6 is a flowchart illustrating an outline of a process executed by the processing device 3.
  • the endoscope 2 basically includes a 2D image, for example, a first image (hereinafter, referred to as a sub main image) generated by the first optical system L1 and One of the second images (hereinafter, referred to as “main images”) generated by the second optical system L2 is recorded.
  • endoscope 2 records a main image.
  • a super-resolution technique is known for the endoscope 2, but most of the endoscopes 2 have a smaller number of imaging pixels of the image sensor 204 than the number of display pixels of the display device 4. Since there is a difference between them, a fine image is reproduced by performing interpolation processing and edge enhancement processing in the processing device 3 to which the endoscope 2 is connected.
  • a learning-type super-resolution technique is known for the endoscope 2, but unlike a still life, the subject moves, so it is difficult to obtain teacher data, and lacks real-time properties. There is also a problem that the affinity with automatic detection and automatic diagnosis such as CADx and CADx is lacking.
  • the processing device 3 performs edge enhancement at present, but there is an effect on information adjacent to the edge, for example, not only dark gray becomes black, but light gray also becomes white. For this reason, the processing of the processing device 3 that is executed by the endoscope system 1 at the time of 2D image observation or 2D image storage instead of 3D image observation will be described below.
  • the image processing unit 31 acquires a main image and a sub image from the image signal generated by the image sensor 204 of the endoscope 2 (Step S101).
  • the image processing unit 31 executes an image adjustment process of the sub image with respect to the main image (Step S102). Specifically, the image processing unit 31 performs an offset process for calculating a parallax value that is a shift amount from a predetermined position of the main image, for example, the center to the center of the sub-pixel, and a magnification for adjusting the magnification of the main image and the sub-image.
  • An adjustment process, a distortion adjustment process for adjusting the distortion of the main image and the sub image, a rotation process for adjusting the horizontal and vertical directions of the main image and the sub image, and the like are executed.
  • the image processing unit 31 calculates a difference value between the luminance information of each pixel of the main image and the sub image based on the parallax value calculated by the offset processing (step S103). Specifically, the image processing unit 31 adjusts the position of each pixel of the main image and the sub-pixel based on the parallax (shift amount) calculated by the offset processing, and then adjusts the position of each pixel of the main image and the sub-pixel. A difference value of luminance information (pixel value) with each pixel is calculated.
  • the image processing unit 31 adds the difference value calculated in step S103 to the pixel value of each pixel of the main image (step S104), and records it in the recording unit 33 (step S105). After step S105, the image processing section 31 ends this processing. Note that the image processing unit 31 simply adds the difference value calculated in step S103 to the pixel value of each pixel of the main image, but is not limited to this, and calculates the absolute value of the difference value of the main image. It may be added to the pixel value of each pixel. Thus, according to one embodiment, by simultaneously acquiring the main image and the sub image using one image sensor 204, the emphasis processing can be performed by a simple calculation. Can be improved.
  • the circuit size of the image processing unit 31 can be reduced.
  • the F number (F value) of the second optical system L2 is smaller than the F number (F value) of the first optical system L1.
  • the first optical system L1 (subordinate optical system) has a deep subject depth
  • the first optical system L1 becomes an image in which the subject depth of the 2D image saved by the enhancement processing is enlarged.
  • Focus adjustment of the first optical system L1 and the second optical system L2 can be performed with a simple configuration.
  • the F number (F value) of the first optical system L1 is larger than the F number (F value) of the second optical system L2.
  • the F number (F value) of the second optical system L2 may be larger than the F number (F value) of the first optical system L1. That is, by making the F-number of one of the two optical systems larger than the F-number of the other, focus adjustment of the two optical systems can be performed with a simple configuration.
  • a filter that cuts light in a part of the wavelength band may be provided on the optical path in one of the first optical system L1 and the second optical system L2.
  • a coating may be applied to the lens.
  • the light in a part of the wavelength band includes a PDT (Photodynamic @ Therapy) wavelength band (600 to 800 nm), a wavelength band of a tunable YAG laser (eg, 1064 nm), an LD laser wavelength band (650 to 905 nm), and the like. May be inserted or coated with a filter that cuts the filter. Thereby, it is possible to observe a 2D image according to each mode.
  • either one of the first optical system L1 and the second optical system L2 may be provided with an actuator for switching a focal position, or an actuator for switching a focal length may be provided. Good. Thereby, the focal position and the focal length can be changed according to the observation target.
  • a switching mechanism such as a fan-shaped diaphragm mechanism, a filter mechanism, and a lens mechanism that can move in the radial direction around the axial direction of the endoscope at the distal end portion 101 of the endoscope 2.
  • the switching mechanism is inserted into the optical path of the first optical system L1 or the second optical system L2 by supplying a current to an actuator such as a coil driven in the radial direction of the endoscope 2.
  • a Bayer array color filter disposed on a light receiving surface of the image sensor 204 that receives at least one optical image of the first optical system L1 and the second optical system L2 is provided.
  • a complementary color filter including a B filter (blue filter), a Cy filter (cyan filter), a Ye filter (yellow filter), and an Mg filter (magenta filter) may be arranged.
  • the frame rate of the pixel area on the light receiving surface of the image sensor 204 that receives at least one optical image of the first optical system L1 and the second optical system L2 is set to the other pixel.
  • the frame rate of the area (for example, 60 fps) may be higher (for example, 120 fps).
  • various embodiments can be formed by appropriately combining a plurality of components disclosed in the endoscope system according to an embodiment of the present disclosure. For example, some components may be deleted from all the components described in the endoscope system according to the embodiment of the present disclosure described above. Furthermore, the components described in the endoscope system according to an embodiment of the present disclosure described above may be appropriately combined.
  • the “unit” described above can be read as “means”, “circuit”, or the like.
  • the control unit can be read as a control unit or a control circuit.
  • the program to be executed by the endoscope system is a file data in an installable format or an executable format in a CD-ROM, a flexible disk (FD), a CD-R, a DVD ( It is provided by being recorded on a computer-readable recording medium such as a Digital Versatile Disk, a USB medium, and a flash memory.
  • the program to be executed by the endoscope system may be stored on a computer connected to a network such as the Internet, and provided by being downloaded via the network. Good.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

２つの光学系のピント調整を簡易に行うことができる撮像ユニット、内視鏡および内視鏡システムを提供する。撮像ユニット（２０）は、対物レンズ群（２０３）および第１のレンズ群（２０１）によって構成される第１の光学系（Ｌ１）のＦナンバーが対物レンズ群（２０３）および第２のレンズ群（２０２）によって構成される第２の光学系Ｌ２のＦナンバーと比べて大きい。

Description

撮像ユニット、内視鏡および内視鏡システム
　本開示は、被検体内に挿入される内視鏡の挿入部の先端に設けられて被検体内を撮像する撮像ユニット、内視鏡および内視鏡システムに関する。
　従来、内視鏡では、視差の異なる２つの画像を１つの撮像素子の撮像面に結像することによって、被検体の体内の立体画像（以下、単に「３Ｄ画像」という）を観察する技術が知られている（特許文献１参照）。この技術では、互いに視差を有する２つの光学像を生成する主光学系および従光学系それぞれに異なるピント調整用の保持枠を設けることによって、製造誤差による主光学系および従光学系それぞれのピント位置の差が一定の許容幅内に収めることで、３Ｄ画像を生成する。
国際公開第２０１７／１０４２７６号
　ところで、近年、撮像素子の高画素化による画素ピッチの縮小および撮像ユニットの小型化に伴って光学系のレンズ径も縮小しているため、ピント調整の難易度が上がってきている。
　しかしながら、上述した特許文献１では、主光学系に対して従光学系のピントを合わせるため、ピント調整手段の枠構造が複雑なため、簡易にピント調整を行うことができなかった。
　本開示は、上記に鑑みてなされたものであって、２つの光学系のピント調整を簡易に行うことができる撮像ユニット、内視鏡および内視鏡システムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本開示に係る撮像ユニットは、第１の光学像を結像する第１のレンズ群と、前記第１のレンズ群と対をなし、第２の光学像を結像する第２のレンズ群と、物体光を前記第１のレンズ群へ導光する第１の領域と、物体光を前記第２のレンズ群へ導光する第２の領域と、を有する対物レンズ群と、前記第１の光学像および前記第２の光学像を受光することによって画像信号を生成する単一のイメージセンサと、前記第１のレンズ群を保持する第１の保持孔と、前記第２のレンズ群を保持する第２の保持孔と、を有する単一の第１の保持枠と、前記対物レンズ群を保持し、かつ、前記第１の保持枠の先端側と嵌合した状態で接着されることによって位置決めされて固定された第２の保持枠と、前記イメージセンサを保持し、内周面において前記第１の保持枠の基端側と嵌合した状態で接着されることによって位置決めされて固定された第３の保持枠と、を備え、前記対物レンズ群および前記第１のレンズ群によって構成される第１の光学系のＦナンバーは、前記対物レンズ群および前記第２のレンズ群によって構成される第２の光学系のＦナンバーと比べて大きい。
　また、本開示に係る撮像ユニットは、前記第２の光学系は、前記第２の光学系の光路上に絞りをさらに備える。
　また、本開示に係る内視鏡は、被検体に挿入される挿入部と、前記挿入部の先端側に設けられ、前記被検体を撮像することによって画像信号を生成する撮像ユニットと、前記挿入部の基端側に設けられた、前記画像信号に対して画像処理を行う処理装置に着脱自在に接続される基端部と、を備え、前記撮像ユニットは、第１の光学像を結像する第１のレンズ群と、前記第１のレンズ群と対をなし、第２の光学像を結像する第２のレンズ群と、物体光を前記第１のレンズ群へ導光する第１の領域と、物体光を前記第２のレンズ群へ導光する第２の領域と、を有する対物レンズ群と、前記第１の光学像および前記第２の光学像を受光することによって前記画像信号を生成する単一のイメージセンサと、前記第１のレンズ群を保持する第１の保持孔と、前記第２のレンズ群を保持する第２の保持孔と、を有する単一の第１の保持枠と、前記対物レンズ群を保持し、かつ、内周面において前記第１の保持枠の先端側の外周面と嵌合した状態で接着されることによって位置決めされて固定された第２の保持枠と、前記イメージセンサを保持し、内周面において前記第１の保持枠の基端側の外周面と嵌合した状態で接着されることによって位置決めされて固定された第３の保持枠と、を備え、前記対物レンズ群および前記第１のレンズ群によって構成される第１の光学系のＦナンバーは、前記対物レンズ群および前記第２のレンズ群によって構成される第２の光学系のＦナンバーと比べて大きい。
　また、本開示に係る内視鏡システムは、上記記載の内視鏡と、処理装置と、を備え、前記処理装置は、前記画像信号に対して画像処理を行う画像処理部を備え、前記画像処理部は、前記画像信号に基づいて、前記第１の光学系によって生成された第１の画像および前記第２の光学系によって生成された第２の画像を取得し、前記第２の画像および前記第１の画像の各々の所定の位置のズレ量である視差値を算出し、前記視差値に基づいて、前記第２の画像と前記第１の画像の各画素の輝度情報の差分値を算出し、前記第２の画像の各画素の画素値に、前記差分値を加算する。
　本開示によれば、２つの光学系のピント調整を簡易に行うことができるという効果を奏する。
図１は、本開示の一実施の形態に係る内視鏡システムの全体構成を模式的に示す概略図である。 図２は、本開示の一実施の形態に係る撮像ユニットの断面を模式的に示す図である。 図３は、本開示の一実施の形態に係る第１の光学系および第２の光学系の各々のＦナンバーを同じ値にした際の解像度と被写体距離との関係を示す図である。 図４は、本開示の一実施の形態に係る第１の光学系のＦナンバーを第２の光学系のＦナンバーより大きい値にした際の解像度と被写体距離との関係を示す図である。 図５は、本開示の一実施の形態に係る処理装置の機能構成を示すブロック図である。 図６は、本開示の一実施の形態に係る処理装置が実行する処理の概要を示すフローチャートである。
　以下、本開示を実施するための形態（以下、「実施の形態」という）として、被検体内に挿入する挿入部における先端側の先端部に撮像ユニット（撮像装置）を有する内視鏡を備えた内視鏡システムについて説明する。また、この実施の形態により、本開示が限定されるものでない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間において、互いの寸法や比率が異なる部分が含まれている。
　〔内視鏡システムの構成〕
　図１は、本開示の一実施の形態に係る内視鏡システムの全体構成を模式的に示す概略図である。図１に示す内視鏡システム１は、内視鏡２と、処理装置３と、表示装置４と、光源装置５と、を備える。
　内視鏡２は、複数のケーブルおよびライトガイドを含む挿入部１００を被検体の体腔内に挿入し、被検体の体内を撮像することによって生成した撮像信号を処理装置３へ出力する。内視鏡２は、挿入部１００と、操作部２００と、ユニバーサルコード３００と、基端部４００と、を備える。
　挿入部１００は、内部に複数のケーブルおよびライトガイドを有し、被検体の体腔内に挿入される。挿入部１００は、被検体の体腔内に挿入される先端側の先端部１０１に、被検体の体内を撮像することによって撮像信号を生成する撮像ユニット２０が設けられ、基端部１０２側に操作部２００が接続される。挿入部１００は、処理装置３から供給される電力および駆動信号を撮像ユニット２０へ伝送するとともに、撮像ユニット２０によって生成された撮像信号を基端側１０２へ伝送する。
　操作部２００は、内部に各種回路が実装された基板を内蔵するとともに、内視鏡２に関する各種操作の入力を受け付ける。また、操作部２００は、ユニバーサルコード３００が接続される。操作部２００は、各種のスイッチ、トグルスイッチおよびボタン等を用いて構成される。
　ユニバーサルコード３００は、内部に複数のケーブルおよびライトガイドを有し、基端側３０１に基端部４００が接続される。ユニバーサルコード３００は、基端部４００および操作部２００を経由して処理装置３から供給された電力および駆動信号を挿入部１００へ伝送するとともに、挿入部１００および操作部２００を経由して撮像ユニット２０によって生成された撮像信号を基端側１０２へ伝送する。
　基端部４００は、処理装置３および光源装置５に着脱自在に接続される。基端部４００は、処理装置３から供給される電力および駆動信号をユニバーサルコード３００へ伝送するとともに、ユニバーサルコード３００を経由して入力された撮像信号を処理装置３へ伝送する。
　処理装置３は、基端部４００へ電力および駆動信号を出力するとともに、基端部４００から入力された撮像信号を受信する。処理装置３は、撮像信号に対して所定の画像処理を施して表示装置４へ出力する。処理装置３は、内視鏡システム１の各部を制御する。処理装置３は、例えばＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）、ＦＰＧＡ（Field　Programmable　Gate　Array）およびＤＳＰ（Digital　Signal　Processing）、揮発性メモリおよび不揮発性メモリ等を用いて構成される。
　表示装置４は、処理装置３が画像処理を施した撮像信号に対応する画像を表示する。また、表示装置４は、内視鏡システム１に関する各種情報を表示する。表示装置４は、液晶または有機ＥＬ（Electro　Luminescence）等を用いて構成される。
　光源装置５は、基端部４００を経由して挿入部１００の先端部１０１側から被検体（被写体）に向けて照明光を照射するため、照明光を供給する。光源装置５は、ハロゲンランプまたは白色光を発する白色ＬＥＤ（Light　Emitting　Diode）等を用いて構成される。なお、本実施の形態では、光源装置５に同時方式の照明方式を用いる場合について説明するが、撮像ユニット２０の種別に応じて適宜変更することができ、例えば面順次方式の照明方式であってもよい。さらに、光源装置５は、白色光にも、特殊光を供給してもよい。特殊光としては、例えばＮＢＩ（Narrow　Band　Imaging）が可能な狭帯域光、赤外光、バイオレット光、オレンジ光等を供給してもよい。
　〔撮像ユニットの構成〕
　次に、撮像ユニット２０の構成について説明する。図２は、撮像ユニット２０の断面を模式的に示す図である。
　図２に示す撮像ユニット２０は、第１のレンズ群２０１と、第２のレンズ群２０２と、対物レンズ群２０３と、イメージセンサ２０４と、第１の保持枠２０５と、第２の保持枠２０６と、第３の保持枠２０７と、絞り２０８と、を備える。
　第１のレンズ群２０１は、対物レンズ群２０３から導光された物体光をイメージセンサ２０４の受光面に第１の光学像として結像する。第１のレンズ群２０１は、複数のレンズを用いて構成される。
　第２のレンズ群２０２は、第１のレンズ群と対をなし、対物レンズ群２０３から導光された物体光をイメージセンサ２０４の受光面に第２の光学像として結像する。第２のレンズ群２０２は、複数のレンズを用いて構成される。
　対物レンズ群２０３は、物体光を第１のレンズ群２０１へ導光する第１の領域Ｒ１と、物体光を第２のレンズ群２０２へ導光する第２の領域Ｒ２と、を有する。対物レンズ群２０３は、複数のレンズを用いて構成される。以下においては、対物レンズ群２０３および第１のレンズ群２０１によって構成される光学系（左側光学系）を第１の光学系Ｌ１とし、対物レンズ群２０３および第２のレンズ群２０２によって構成される光学系（右側光学系）を第２の光学系Ｌ２として説明する。さらに、第１の光学系Ｌ１および第２の光学系Ｌ２は、視差を有するステレオ光学系として機能する。
　イメージセンサ２０４は、第１のレンズ群２０１が結像した第１の光学像と、第２のレンズ群２０２が結像した第２の光学像と、を受光することによって撮像信号を生成する。イメージセンサ２０４は、単一のＣＣＤ（Charge　Coupled　Device）または単一のＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等を用いて構成される。なお、イメージセンサ２０４は、単一のものに限定されることなく、第１の光学像および第２の光学像の各々を受光する複数板のものを用いて構成してもよい。
　第１の保持枠２０５は、筒状をなし、第１のレンズ群２０１を保持する第１の保持孔２０５ａと、第２のレンズ群２０２を保持する第２の保持孔２０５ｂとが一体的に形成される。第１の保持孔２０５ａおよび第２の保持孔２０５ｂは、第１のレンズ群２０１の光軸Ｏ１と第２のレンズ群２０２の光軸Ｏ２とが所定の視差になるように内部で保持する。
　第２の保持枠２０６は、筒状をなし、対物レンズ群２０３を保持する。第２の保持枠２０６は、内周面において第１の保持枠２０５の先端側（一端側）の外周面と嵌合させた状態で接着剤２０６ａ等を用いて接着されることによって位置決めされて固定される。なお、固定方法としては、接着剤以外にも、例えば第１の保持枠２０５の外周側に螺旋状の溝や雌ねじを設け、第２の保持枠２０６の内周側に雄ねじを設けることによって固定してもよい。
　第３の保持枠２０７は、イメージセンサ２０４を保持する。第３の保持枠２０７は、筒状をなし、内周面において第１の保持枠２０５の基端側（他端側）の外周面が嵌合させた状態で接着剤２０７ａ等を用いて接着されることによって位置決めされて固定される。なお、固定方法としては、接着剤以外にも、例えば第１の保持枠２０５の外周側に螺旋状の溝や雌ねじを設け、第３の保持枠２０７の内周側に雌ねじを設けることによって固定してもよい。
　絞り２０８は、第２の光学系Ｌ２の光路上に配置され、第２のレンズ群２０２に入射する光を制限することによって、第２の光学系Ｌ２のＦナンバー（Ｆ値）を変更する。絞り２０８は、第２の光学系Ｌ２の光路上に配置される。具体的には、絞り２０８は、第２の光学系Ｌ２の光路上における対物レンズ群２０３と第２のレンズ群２０２との間に配置される。なお、絞り２０８の配置場所は、適宜変更することができ、例えば第２のレンズ群２０２とイメージセンサ２０４との間、対物レンズ群２０３の先端側、第２のレンズ群２０２のいずれかの間にすることができる。
　このように構成された撮像ユニット２０は、第１の光学系Ｌ１（主光学系）のＦナンバー（Ｆ値）が、第２の光学系Ｌ２（従光学系）のＦナンバー（Ｆ値）と比して大きい。具体的には、第２の光学系Ｌ２は、対物レンズ群２０３と第２のレンズ群２０２との間に絞り２０８が設けられているので、第１の光学系Ｌ１のＦナンバー（Ｆ値）と比して小さい。
　図３は、第１の光学系Ｌ１および第２の光学系Ｌ２の各々のＦナンバーを同じ値にした際の解像度と被写体距離との関係を示す図である。図４は、第１の光学系Ｌ１のＦナンバーを第２の光学系Ｌ２のＦナンバーより大きい値にした際の解像度と被写体距離との関係を示す図である。図３および図４において、横軸が被写体距離を示し、縦軸が解像度を示す。また、図３および図４の曲線ＬＬ１および曲線ＬＬ２は、第１のレンズ群２０１の特性を示し、図３および図４の曲線ＬＲ１および曲線ＬＲ２は、第２のレンズ群２０２の特性を示す。さらに、図３および図４において、閾値ＬＴがピントの閾値を示す。
　図３に示すように、従来の構成（以下、「構成１」という）では、第１の光学系Ｌ１および第２の光学系Ｌ２の各々のＦナンバーが同じであるため、第１の光学系Ｌ１および第２の光学系Ｌ２のどちらか一方のレンズ枠を調整する。これにより、構成１では、第１の光学系Ｌ１および第２の光学系Ｌ２の各々の被写界深度Ｄ１が同じため、第１の光学系Ｌ１および第２の光学系Ｌ２の各々が同じピント位置に合わせることができるが、ピント合わせの調整作業が煩雑となる。また、第１の光学系Ｌ１および第２の光学系Ｌ２のどちらか一方の一部のレンズだけを他方の光学系のピントに合うように調整が可能な構成（以下、「構成２」という）であっても、レンズ枠が複雑になるうえ、ピント合わせの調整作業が煩雑となる。具体的には、従来の構成２では、第１の光学系Ｌ１および第２の光学系Ｌ２の間でピント調整を行った後（調整工程１）、第２の光学系Ｌ２を構成する一部のレンズを光軸Ｏ２方向に動かしてピント調整を行う（調整工程２）。即ち、従来の構成２では、２回の調整工程を行わなければならないうえ、第２の光学系Ｌ２の一部のレンズのみを移動させる構造を別途設ける必要があるため、枠機構が複雑となる。
　これに対して、図４に示すように、撮像ユニット２０は、第１の光学系Ｌ１のＦナンバー（Ｆ値）が、第２の光学系Ｌ２のＦナンバー（Ｆ値）と比して大きく設定する。具体的には、図４に示すように、撮像ユニット２０は、第１の光学系Ｌ１のＦナンバーを第２の光学系Ｌ２のＦナンバーより大きくすることで、第２の光学系Ｌ２の被写界深度Ｄ１を含むように被写体ＰＲに対する被写界深度Ｄ２を拡大する。即ち、第１の光学系Ｌ１のピントが合う範囲に第２の光学系Ｌ２のピントの合う範囲を合わせる。この結果、特別なピント調整用の部材を設けることなく、第１の光学系Ｌ１および第２の光学系Ｌ２のピント調整を簡易な構成で行うことができる。さらに、撮像ユニット２０は、上述した従来の構造２と比して、第１の保持枠２０６～第３の保持枠２０７の構成を簡略化することができるとともに、１回の調整作業のみで、第１の光学系Ｌ１および第２の光学系Ｌ２のピント調整を行うことができる。さらにまた、３Ｄ合成画像の特徴として、２つの画像を合成した場合、人間の目では、片側の高分解能な画像の影響を強く受けるので、結果的に、片側のＦ値を大きくして分解能を落としてもよい。この効果を利用することによって、得られる３Ｄ画像は、高精細な印象となる。
　〔処理装置の構成〕
　次に、処理装置３の構成について説明する。図５は、処理装置３の機能構成を示すブロック図である。
　図５に示す処理装置３は、画像処理部３１と、制御部３２と、記録部３３と、を有する。
　画像処理部３１は、内視鏡２から入力された画像信号に対して、各種処理を行って表示装置４へ出力する。画像処理部３１は、例えばＧＰＵ（Graphics　Processing　Unit）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＤＳＰ（Digital　Signal　Processing）およびＦＰＧＡ（Field　Programmable　Gate　Array）等を用いて構成される。
　制御部３２は、内視鏡システム１の各部を制御する。制御部３２は、ＣＰＵ（Central　Processing　Unit）等を用いて構成される。
　記録部３３は、内視鏡システム１に関する各種データや実行するプログラムを記録する。記録部３３は、揮発性メモリ、不揮発性メモリおよびメモリーカード等を用いて構成される。
　〔処理装置の処理〕
　次に、処理装置３が実行する処理の概要について説明する。図６は、処理装置３が実行する処理の概要を示すフローチャートである。なお、内視鏡２は、３Ｄ観察時を行う場合であっても、基本的に２Ｄ画像、例えば第１の光学系Ｌ１によって生成された第１の画像（以下、副主画像」という）および第２の光学系Ｌ２によって生成された第２の画像（以下、「主画像」という）のどちらか一方を記録する。好ましくは、内視鏡２は、主画像を記録する。現在、内視鏡２では、超解像技術が知られているが、そのほとんどが表示装置４の表示画素数よりイメージセンサ２０４の撮像画素数が小さいため、表示画像数と撮像画素数との間に差が生じているため、内視鏡２が接続される処理装置３内で補間処理やエッジ強調処理を行うことによって精彩な画像を再生している。また、現在、内視鏡２では、学習型の超解像技術が知られているが、静物と異なり、被検体が動くので、教師データを得ることが難しいうえ、リアルタイム性に欠けるため、ＣＡＤｅ、ＣＡＤｘといった自動検出・自動診断との親和性が欠ける問題点もある。さらに、現在、内視鏡２では、処理装置３がエッジ強調を行っているが、エッジに隣接する情報への影響、例えば濃いグレーが黒くなるだけなく、薄いグレーも白く変化する影響がある。このため、以下においては、内視鏡システム１が３Ｄ画像観察でなく、２Ｄ画像観察時または２Ｄ画像保存時に実行する処理装置３の処理について説明する。
　図６に示すように、まず、画像処理部３１は、内視鏡２のイメージセンサ２０４によって生成された画像信号から主画像および副画像を取得する（ステップＳ１０１）。
　続いて、画像処理部３１は、主画像に対する副画像の画像調整処理を実行する（ステップＳ１０２）。具体的には、画像処理部３１は、主画像の所定の位置、例えば中心から副画素の中心とのズレ量である視差値を算出するオフセット処理、主画像および副画像の倍率を調整する倍率調整処理、主画像および副画像のディストーションを調整するディストーション調整処理および主画像と副画像の水平や垂直を調整する回転処理等を実行する。
　その後、画像処理部３１は、オフセット処理で算出した視差値に基づいて、主画像と副画像の各画素の輝度情報の差分値を算出する（ステップＳ１０３）。具体的には、画像処理部３１は、オフセット処理で算出した視差分（ズレ量）に基づいて、主画像と副画像の各画素の位置を合わせた後に、主画像の各画素と副画素の各画素との輝度情報（画素値）の差分値を算出する。
　続いて、画像処理部３１は、主画像の各画素の画素値に、ステップＳ１０３で算出した差分値を加算し（ステップＳ１０４）、記録部３３に記録する（ステップＳ１０５）。ステップＳ１０５の後、画像処理部３１は、本処理を終了する。なお、画像処理部３１は、主画像の各画素の画素値に、ステップＳ１０３で算出した差分値を単に加算していたが、これに限定されることなく、差分値の絶対値を主画像の各画素の画素値に加算してもよい。これにより、一実施の形態によれば、１つのイメージセンサ２０４を用いて主画像および副画像の２つを同時に取得することによって、簡易な計算で強調処理を行うことができるので、リアルタイム性を向上させることができる。一実施の形態によれば、簡易な計算で強調処理を行うことができるので、画像処理部３１を構成する回路規模の縮小することができる。さらに、一実施の形態によれば、第２の光学系Ｌ２のＦナンバー（Ｆ値）が第１の光学系Ｌ１のＦナンバー（Ｆ値）より小さい。このため、第１の光学系Ｌ１（従光学系）は、被写体深度が深いため、強調処理によって保存される２Ｄ画像の被写体深度が拡大された画像となる。さらにまた、一実施の形態によれば、コントラストや解像感を向上させることができるうえ、副画像で生じる周辺画素への影響を防止することができるので、違和感のない強調画像を提供することができる。
　以上説明した本開示の一実施の形態によれば、第１の光学系Ｌ１のＦナンバー（Ｆ値）を第２の光学系Ｌ２のＦナンバー（Ｆ値）と比して大きくすることによって、第１の光学系Ｌ１および第２の光学系Ｌ２のピント調整を簡易な構成で行うことができる。
　なお、本開示の一実施の形態によれば、第１の光学系Ｌ１のＦナンバー（Ｆ値）を第２の光学系Ｌ２のＦナンバー（Ｆ値）と比して大きくしていたが、これに限定されることなく、第２の光学系Ｌ２のＦナンバー（Ｆ値）を第１の光学系Ｌ１のＦナンバー（Ｆ値）と比して大きくしてもよい。即ち、２つの光学系のうち、どちらか一方のＦナンバーを他方のＦナンバーと比して大きくすることによって、２つの光学系のピント調整を簡易な構成で行うことができる。
　なお、本開示の一実施の形態では、第１の光学系Ｌ１および第２の光学系Ｌ２のどちらか一方に、一部の波長帯域の光をカットするフィルタを光路上に設けてもよいし、コーティングをレンズに施してもよい。ここで、一部の波長帯域の光としては、ＰＤＴ（Photodynamic　Therapy）の波長帯域（６００～８００ｎｍ）、波長可変ＹＡＧレーザの波長帯域（例えば１０６４ｎｍ）およびＬＤレーザの波長帯域（６５０～９０５ｎｍ）等をカットするフィルタの挿入またはコーティングを施してもよい。これにより、各モードに応じた２Ｄ画像の観察を行うことができる。
　また、本開示の一実施の形態では、第１の光学系Ｌ１および第２の光学系Ｌ２のどちらか一方に焦点位置を切り替えるアクチュエーターを設けてもよいし、焦点距離を切り替えるアクチュエーターを設けてもよい。これにより、観察対象に合わせて焦点位置および焦点距離を変更することができる。
　また、本開示の一実施の形態では、内視鏡２の先端部１０１に内視鏡の軸方向を中心に径方向に移動可能な扇状をなす絞り機構、フィルタ機構、レンズ機構等の切り替え機構を設けてもよい。この場合、切り替え機構は、内視鏡２の径方向に駆動するコイル等のアクチュエーターに電流を供給することによって、第１の光学系Ｌ１または第２の光学系Ｌ２の光路上に挿入される。これにより、観察対象や処置対象に合わせた観察を行うことができるうえ、第１の光学系Ｌ１および第２の光学系Ｌ２の光軸を結ぶ線に対して垂直方向に生じるデッドスペースを有効活用することができるので、小型化を行うことができる。
　また、本開示の一実施の形態では、第１の光学系Ｌ１および第２の光学系Ｌ２のうち少なくとも一方の光学像を受光するイメージセンサ２０４の受光面に配置されるベイヤー配列のカラーフィルタに換えて、例えばＢフィルタ（ブルーフィルタ）、Ｃｙフィルタ（シアンフィルタ）、Ｙｅフィルタ（イエローフィルタ）およびＭｇフィルタ（マゼンダフィルタ）で構成される補色フィルタを配置してもよい。
　また、本開示の一実施の形態では、第１の光学系Ｌ１および第２の光学系Ｌ２のうち少なくとも一方の光学像を受光するイメージセンサ２０４の受光面の画素領域のフレームレートを他方の画素領域のフレームレート（例えば６０ｆｐｓ）より高速（例えば１２０ｆｐｓ）にしてもよい。２Ｄ画像として記録する画素領域のフレームレートを高速化することで、被写体ブレを防止することができるうえ、第１の光学系Ｌ１および第２の光学系Ｌ２の両方の画素領域の高速化と比して処理回路を小型化することができる。さらに、高速で照明光の種類が切り替わる面順次発光モード時に、高速フレームレートで撮影することができるので、被写体ブレや色ズレを防止することができる。
　また、本開示の一実施の形態に係る内視鏡システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の実施の形態を形成することができる。例えば、上述した本開示の一実施の形態に係る内視鏡システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の一実施に係る内視鏡システムで説明した構成要素を適宜組み合わせてもよい。
　また、本開示の一実施の形態に係る内視鏡システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
　また、本開示の一実施の形態に係る内視鏡システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
　また、本開示の一実施の形態に係る内視鏡システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
　なお、本明細書におけるタイミングチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したタイミングチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
　以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
　１　内視鏡システム
　２　内視鏡
　３　処理装置
　４　表示装置
　５　光源装置
　２０　撮像ユニット
　３１　画像処理部
　３２　制御部
　３３　記録部
　１００　挿入部
　１０１　先端部
　１０２　基端側
　２００　操作部
　２０１　第１のレンズ群
　２０２　第２のレンズ群
　２０３　対物レンズ群
　２０４　撮像素子
　２０５　第１の保持枠
　２０５ａ　第１の保持孔
　２０５ｂ　第２の保持孔
　２０６　第２の保持枠
　２０６ａ，２０７ａ　接着剤
　２０７　第３の保持枠
　２０８　絞り
　３００　ユニバーサルコード
　３０１　基端側
　４００　基端部
　Ｌ１　第１の光学系
　Ｌ２　第２の光学系

Claims (4)

  1. 　第１の光学像を結像する第１のレンズ群と、
    　前記第１のレンズ群と対をなし、第２の光学像を結像する第２のレンズ群と、
    　物体光を前記第１のレンズ群へ導光する第１の領域と、物体光を前記第２のレンズ群へ導光する第２の領域と、を有する対物レンズ群と、
    　前記第１の光学像および前記第２の光学像を受光することによって画像信号を生成する単一のイメージセンサと、
    　前記第１のレンズ群を保持する第１の保持孔と、前記第２のレンズ群を保持する第２の保持孔と、を有する単一の第１の保持枠と、
    　前記対物レンズ群を保持し、かつ、前記第１の保持枠の先端側と嵌合した状態で接着されることによって位置決めされて固定された第２の保持枠と、
    　前記イメージセンサを保持し、内周面において前記第１の保持枠の基端側と嵌合した状態で接着されることによって位置決めされて固定された第３の保持枠と、
    　を備え、
    　前記対物レンズ群および前記第１のレンズ群によって構成される第１の光学系のＦナンバーは、前記対物レンズ群および前記第２のレンズ群によって構成される第２の光学系のＦナンバーと比べて大きい
    　撮像ユニット。
  2. 　請求項１に記載の撮像ユニットであって、
    　前記第２の光学系は、前記第２の光学系の光路上に絞りをさらに備える
    　撮像ユニット。
  3. 　被検体に挿入される挿入部と、
    　前記挿入部の先端側に設けられ、前記被検体を撮像することによって画像信号を生成する撮像ユニットと、
    　前記挿入部の基端側に設けられた、前記画像信号に対して画像処理を行う処理装置に着脱自在に接続される基端部と、
    　を備え、
    　前記撮像ユニットは、
    　第１の光学像を結像する第１のレンズ群と、
    　前記第１のレンズ群と対をなし、第２の光学像を結像する第２のレンズ群と、
    　物体光を前記第１のレンズ群へ導光する第１の領域と、物体光を前記第２のレンズ群へ導光する第２の領域と、を有する対物レンズ群と、
    　前記第１の光学像および前記第２の光学像を受光することによって前記画像信号を生成する単一のイメージセンサと、
    　前記第１のレンズ群を保持する第１の保持孔と、前記第２のレンズ群を保持する第２の保持孔と、を有する単一の第１の保持枠と、
    　前記対物レンズ群を保持し、かつ、内周面において前記第１の保持枠の先端側の外周面と嵌合した状態で接着されることによって位置決めされて固定された第２の保持枠と、
    　前記イメージセンサを保持し、内周面において前記第１の保持枠の基端側の外周面と嵌合した状態で接着されることによって位置決めされて固定された第３の保持枠と、
    　を備え、
    　前記対物レンズ群および前記第１のレンズ群によって構成される第１の光学系のＦナンバーは、前記対物レンズ群および前記第２のレンズ群によって構成される第２の光学系のＦナンバーと比べて大きい
    　内視鏡。
  4. 　請求項３に記載の内視鏡と、
    　処理装置と、
    　を備え、
    　前記処理装置は、前記画像信号に対して画像処理を行う画像処理部を備え、
    　前記画像処理部は、
    　前記画像信号に基づいて、前記第１の光学系によって生成された第１の画像および前記第２の光学系によって生成された第２の画像を取得し、
    　前記第２の画像および前記第１の画像の各々の所定の位置のズレ量である視差値を算出し、
    　前記視差値に基づいて、前記第２の画像と前記第１の画像の各画素の輝度情報の差分値を算出し、
    　前記第２の画像の各画素の画素値に、前記差分値を加算する
    　内視鏡システム。
PCT/JP2019/009195 2018-07-20 2019-03-07 撮像ユニット、内視鏡および内視鏡システム WO2020017089A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980048069.2A CN112512395A (zh) 2018-07-20 2019-03-07 摄像单元、内窥镜以及内窥镜***
JP2020530889A JP7181294B2 (ja) 2018-07-20 2019-03-07 撮像ユニット、内視鏡および内視鏡システム
US17/152,118 US11717138B2 (en) 2018-07-20 2021-01-19 Imaging unit, endoscope and endoscope system having optical systems with overlapping depth of fields

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-136697 2018-07-20
JP2018136697 2018-07-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/152,118 Continuation US11717138B2 (en) 2018-07-20 2021-01-19 Imaging unit, endoscope and endoscope system having optical systems with overlapping depth of fields

Publications (1)

Publication Number Publication Date
WO2020017089A1 true WO2020017089A1 (ja) 2020-01-23

Family

ID=69163630

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009195 WO2020017089A1 (ja) 2018-07-20 2019-03-07 撮像ユニット、内視鏡および内視鏡システム

Country Status (4)

Country Link
US (1) US11717138B2 (ja)
JP (1) JP7181294B2 (ja)
CN (1) CN112512395A (ja)
WO (1) WO2020017089A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115299843B (zh) * 2022-06-17 2023-04-07 中山市微视医用科技有限公司 一种内窥镜镜头平面度调节***及其使用方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08194170A (ja) * 1995-01-13 1996-07-30 Olympus Optical Co Ltd 立体視内視鏡
JPH095643A (ja) * 1995-06-26 1997-01-10 Matsushita Electric Ind Co Ltd 立体内視鏡装置
JP2003060947A (ja) * 2001-08-15 2003-02-28 Canon Inc 撮像装置、撮影レンズ装置、立体撮像装置および立体撮影レンズ装置
JP2012118698A (ja) * 2010-11-30 2012-06-21 Fuji Heavy Ind Ltd 画像処理装置
WO2017104191A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 ステレオ撮像ユニット
WO2017199666A1 (ja) * 2016-05-16 2017-11-23 オリンパス株式会社 撮像装置
JP2018040927A (ja) * 2016-09-07 2018-03-15 オリンパス株式会社 立体内視鏡用撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5973707B2 (ja) * 2011-10-14 2016-08-23 オリンパス株式会社 三次元内視鏡装置
JP2014178474A (ja) * 2013-03-14 2014-09-25 Sony Corp デジタル顕微鏡装置、その合焦位置探索方法およびプログラム
CN106199902B (zh) * 2015-04-29 2019-02-01 冠捷投资有限公司 双镜头对焦方法及装置
EP3392707A4 (en) 2015-12-14 2019-08-07 Olympus Corporation IMAGE FORMING DEVICE
DE102016117024B4 (de) * 2016-09-09 2021-08-05 Karl Storz Se & Co. Kg Vorrichtung zum Erfassen eines Stereobilds sowie Verfahren zum Justieren der Vorrichtung
JP6810009B2 (ja) * 2017-09-29 2021-01-06 トヨタ自動車株式会社 視差算出装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08194170A (ja) * 1995-01-13 1996-07-30 Olympus Optical Co Ltd 立体視内視鏡
JPH095643A (ja) * 1995-06-26 1997-01-10 Matsushita Electric Ind Co Ltd 立体内視鏡装置
JP2003060947A (ja) * 2001-08-15 2003-02-28 Canon Inc 撮像装置、撮影レンズ装置、立体撮像装置および立体撮影レンズ装置
JP2012118698A (ja) * 2010-11-30 2012-06-21 Fuji Heavy Ind Ltd 画像処理装置
WO2017104191A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 ステレオ撮像ユニット
WO2017199666A1 (ja) * 2016-05-16 2017-11-23 オリンパス株式会社 撮像装置
JP2018040927A (ja) * 2016-09-07 2018-03-15 オリンパス株式会社 立体内視鏡用撮像装置

Also Published As

Publication number Publication date
JPWO2020017089A1 (ja) 2021-08-02
US11717138B2 (en) 2023-08-08
CN112512395A (zh) 2021-03-16
JP7181294B2 (ja) 2022-11-30
US20210137359A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
JP5315482B1 (ja) 内視鏡システム
JP5695808B1 (ja) 内視鏡装置
US9030543B2 (en) Endoscope system
JP6025130B2 (ja) 内視鏡及び内視鏡システム
WO2015093295A1 (ja) 内視鏡装置
US20190246875A1 (en) Endoscope system and endoscope
JP2011147707A (ja) 撮像装置、内視鏡システム及び撮像装置の制御方法
CN110381804B (zh) 内窥镜设备
US20210153719A1 (en) Medical observation device
US11717138B2 (en) Imaging unit, endoscope and endoscope system having optical systems with overlapping depth of fields
JP2019080623A (ja) 内視鏡装置
JP2007275243A (ja) 面順次方式電子内視鏡装置
JP7068438B2 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
US10901199B2 (en) Endoscope system having variable focal length lens that switches between two or more values
JP2020151090A (ja) 医療用光源装置及び医療用観察システム
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP6388237B2 (ja) ４色プリズム
WO2017056675A1 (ja) 自動焦点装置、レンズ装置及び自動焦点方法
WO2022064659A1 (ja) オートフォーカスシステム、内視鏡システムおよび制御方法
JP2018202006A (ja) 撮像システム、撮像方法およびプログラム
JP6865718B2 (ja) 内視鏡
JP2016137017A (ja) 内視鏡装置
JP2021146198A (ja) 医療用画像処理装置及び医療用観察システム
JP6312254B2 (ja) 内視鏡システム及びその作動方法
JP2012020033A (ja) 口腔内カメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19838278

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020530889

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19838278

Country of ref document: EP

Kind code of ref document: A1