WO2018225377A1 - 内視鏡撮像システム - Google Patents
内視鏡撮像システム Download PDFInfo
- Publication number
- WO2018225377A1 WO2018225377A1 PCT/JP2018/015261 JP2018015261W WO2018225377A1 WO 2018225377 A1 WO2018225377 A1 WO 2018225377A1 JP 2018015261 W JP2018015261 W JP 2018015261W WO 2018225377 A1 WO2018225377 A1 WO 2018225377A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- images
- imaging
- optical
- light
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 72
- 230000003287 optical effect Effects 0.000 claims abstract description 117
- 238000005286 illumination Methods 0.000 claims abstract description 32
- 230000010287 polarization Effects 0.000 claims description 17
- 230000014509 gene expression Effects 0.000 claims description 9
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000004907 flux Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 238000003786 synthesis reaction Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000000926 separation method Methods 0.000 description 8
- 101000806846 Homo sapiens DNA-(apurinic or apyrimidinic site) endonuclease Proteins 0.000 description 7
- 101000835083 Homo sapiens Tissue factor pathway inhibitor 2 Proteins 0.000 description 7
- 102100026134 Tissue factor pathway inhibitor 2 Human genes 0.000 description 7
- 230000005499 meniscus Effects 0.000 description 7
- 238000003702 image correction Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 101100219315 Arabidopsis thaliana CYP83A1 gene Proteins 0.000 description 5
- 101100269674 Mus musculus Alyref2 gene Proteins 0.000 description 5
- 101100140580 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) REF2 gene Proteins 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000002310 reflectometry Methods 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 239000006059 cover glass Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007740 vapor deposition Methods 0.000 description 2
- 102100028449 Arginine-glutamic acid dipeptide repeats protein Human genes 0.000 description 1
- 101001061654 Homo sapiens Arginine-glutamic acid dipeptide repeats protein Proteins 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2446—Optical details of the image relay
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/12—Beam splitting or combining systems operating by refraction only
- G02B27/126—The splitting element being a prism or prismatic array, including systems based on total internal reflection
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
- G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
- G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Definitions
- the present invention relates to an endoscope imaging system.
- the high dynamic range is a technique for reducing the subject image from flying white and crushed black.
- a bright image taken with a long exposure time and a dark image taken with a short exposure time are combined. Thereby, an image with a high dynamic range can be obtained.
- Patent Document 1 discloses a configuration for obtaining a high dynamic range moving image using a dimming device that periodically changes light incident on an image sensor.
- Patent Document 2 and Patent Document 3 in an endoscope optical system, one optical image is separated into two optical images by a light beam separation unit, and two separated optical images are captured as one image.
- a configuration for forming an image on an imaging surface of an element is disclosed.
- Patent Document 4 discloses a configuration that can obtain an image with desired image characteristics without requiring complicated image processing by illuminating a subject with optimal illumination characteristics according to the desired image characteristics. Yes.
- Patent Document 5 discloses a configuration that includes two light receiving portions and improves the dynamic range.
- the present invention has been made in view of the above, and an object of the present invention is to provide an endoscope imaging system that can obtain a small image with a wide dynamic range, particularly a moving image.
- an endoscope imaging system simultaneously obtains two optical images with different brightness for the same subject.
- An imaging optical system an illumination unit that switches between the first illumination light amount and the second illumination light amount in synchronization with the timing at which the first frame data and the second frame data are alternately imaged, and the first A combining unit that generates two images with different brightness obtained from the frame data and two images with different brightness obtained from the second frame data, and generates an image with a high dynamic range.
- the ratio between the first illumination light amount and the second illumination light amount is 1 / ⁇ , where ⁇ is the brightness ratio of two images having different values.
- the present invention produces an effect that it is possible to provide an endoscope imaging system that can obtain a small image with a wide dynamic range.
- FIG. 1 is a diagram illustrating a schematic configuration of an endoscope imaging system according to an embodiment. It is a schematic block diagram of the optical path division part and image pick-up element in embodiment.
- A is a figure showing an image sensor which an endoscope imaging system concerning an embodiment has.
- B is another figure which shows the image pick-up element which the endoscope imaging system which concerns on embodiment has.
- 1 is a diagram illustrating a schematic configuration of an endoscope imaging system according to Embodiment 1.
- FIG. FIG. 3 is a schematic configuration diagram of an optical path dividing unit and an imaging element included in the endoscope imaging system according to the first embodiment. It is a schematic block diagram of the optical path division part and imaging device which the endoscope imaging system which concerns on Example 2 has. It is a figure explaining increasing the depth of field in the endoscope imaging system which concerns on a modification.
- FIG. 1 is a diagram illustrating a schematic configuration of an endoscope imaging system 100 according to the embodiment.
- the endoscope imaging system 100 alternately captures the imaging optical system 10 that simultaneously obtains two optical images with different brightness for the same subject, and first frame data and second frame data.
- the illumination unit 28 switches between the first illumination light amount and the second illumination light amount, two images having different brightness obtained by the first frame data, and the second frame data.
- the ratio of the second illumination light quantity is 1 / ⁇ .
- the synchronization signal generator 25 outputs a synchronization signal to the image sensor 22 and the light source controller 26. Then, the light source unit 27 irradiates illumination light having a luminance necessary for imaging the first frame. The light source unit 27 emits illumination light having a luminance necessary for imaging the second frame. Thereby, the 1st illumination light quantity and the 2nd illumination light quantity can be switched.
- the light source control unit 26 and the light source unit 27 constitute an illumination unit 28.
- two optical images of EXP ⁇ ⁇ and EXP ⁇ 1 can be obtained in the first frame data.
- two optical images of EXP ⁇ 1 and EXP ⁇ 1 / ⁇ can be obtained.
- a high dynamic range image can be obtained by combining the optical images of two frames.
- FIG. 2 is a schematic configuration diagram of the optical path dividing unit 20 and the image sensor 22.
- the imaging optical system 10 includes an objective optical system OBL for imaging a light beam from an object, and one imaging element 22 disposed in the vicinity of the imaging position of the objective optical system OBL.
- an optical path splitting unit 20 that is disposed between the objective optical system OBL and the image sensor 22 and has an optical path splitting surface 21d for splitting the light beam from the objective optical system OBL into two light beams, a reflected light beam and a transmitted light beam.
- the optical path dividing unit 20 includes a first reflecting surface REF1 for turning back and reflecting the light beam reflected by the optical path dividing surface 21d, and a second reflecting surface REF2 for reflecting the light transmitted through the optical path dividing surface 21d. .
- the first optical image is formed in the first region 22a of the image sensor 22 by the light beam reflected by the first reflecting surface REF1 through the optical path dividing surface 21d.
- the second optical image includes a second region 22b (FIG. 3A), which is different from the first region 22a (FIGS. 3A and 3B) in the image sensor 22 of the light beam reflected by the second reflecting surface REF2.
- the image is formed in (b)).
- the imaging signal generation unit 23a (FIG. 1) photoelectrically converts the first optical image and the second optical image, and outputs them as a first imaging signal and a second imaging signal, respectively.
- the reflectance of the first reflecting surface REF1 and the reflectance of the second reflecting surface REF2 are different from each other, one reflecting surface has a reflecting mirror having a reflectance r1, and the other reflecting surface has a reflectance r1 ⁇ ⁇ .
- the following conditional expressions (1) and (2) are satisfied. 80 ⁇ r1 ⁇ 99 (1) 0.2 ⁇ ⁇ ⁇ 0.7 (2) here, r1 is the reflectance (%) in the visible light region ⁇ is a coefficient, It is.
- the visible light region means an average value in a wavelength region from 400 nm to 700 nm.
- the lower limit value of conditional expression (1) is a value in the case of a reflective surface of aluminum vapor deposition.
- the upper limit of conditional expression (1) is a value in the case of the reflective surface of silver vapor deposition. Since there is an optical path dividing part, the brightness is halved. For this reason, a bright image of two images having different brightnesses needs to be a bright optical system. If the lower limit of conditional expression (1) is not reached, the brightness becomes insufficient.
- conditional expression (2) if the lower limit of conditional expression (2) is not reached, the effect of expanding the dynamic range will be reduced. If the upper limit value of conditional expression (2) is exceeded, dark noise from the image sensor becomes more conspicuous in a dark image of two images having different brightness.
- the optical path splitting unit 20 of this embodiment is an example that splits a light beam using polarized light.
- the light emitted from the objective optical system OBL enters the optical path dividing unit 20.
- the optical path splitting unit 20 includes a polarization beam splitter 21 that splits a subject image into two optical images, and an image sensor 22 that captures two optical images and acquires two images.
- the polarization beam splitter 21 includes an object-side prism 21a, an image-side prism 21c, a mirror 21b, and a ⁇ / 4 plate 21e. Both the object-side prism 21a and the image-side prism 21c have an optical path dividing surface having an inclination of 45 degrees with respect to the optical axis AX.
- a polarization separation film 21d is formed on the optical path dividing surface of the object-side prism 21a.
- the object-side prism 21a and the image-side prism 21c constitute a polarization beam splitter 21 with their optical path splitting surfaces in contact with each other via a polarization separation film 21d.
- the mirror 21b is provided near the end face of the object-side prism 21a via a ⁇ / 4 plate 21e.
- An image sensor 22 is attached to the end face of the image-side prism 21c via a cover glass CG.
- I is an imaging plane (imaging plane).
- the subject image from the objective optical system OBL is separated into a P-polarized component (transmitted light) and an S-polarized component (reflected light) by the polarization separation film 21d provided on the optical path dividing surface in the object-side prism 21a, and reflected light.
- the optical image is separated into two optical images, ie, an optical image on the side and an optical image on the transmitted light side.
- the optical image of the S-polarized component is reflected to the imaging element 22 by the polarization separation film 21d, passes through the A optical path, passes through the ⁇ / 4 plate 21e, is reflected by the mirror 21b, and is folded back to the imaging element 22 side. It is.
- the folded optical image is transmitted through the ⁇ / 4 plate 21e again to rotate the polarization direction by 90 °, passes through the polarization separation film 21d, and is formed on the image sensor 22.
- the optical image of the P-polarized component is reflected by a mirror surface provided on the opposite side of the optical path dividing surface of the image-side prism 21c that passes through the polarization separation film 21d, passes through the B optical path, and is folded vertically toward the image sensor 22. Then, an image is formed on the image sensor 22.
- the object-side prism 21a and the image-side prism 21c separate the subject image into two optical images having different brightness.
- FIG. 3A is a diagram illustrating first frame data of the image sensor 22 included in the endoscope imaging system 100 according to the embodiment.
- FIG. 3B is a diagram illustrating second frame data of the imaging element 22 included in the endoscope imaging system 100 according to the embodiment.
- the image sensor 22 receives and captures two optical images having different brightnesses individually to capture all the pixel regions of the image sensor 22.
- Two light receiving areas (effective pixel areas) 22a and 22b are provided therein.
- the reflectance of the first reflecting surface REF1 and the reflectance of the second reflecting surface REF2 are different from each other, and one reflecting surface has a reflecting mirror having a reflectance r1 (%) and the other reflecting surface.
- the surface has a reflection mirror with reflectivity r1 (%) ⁇ ⁇ .
- the two optical images having different brightness mean two optical images of EXP ⁇ ⁇ and EXP ⁇ 1 in FIG. 3A when the standard brightness is EXP.
- FIG. 3B two optical images of EXP ⁇ 1 and EXP ⁇ 1 / ⁇ are shown.
- the light receiving regions 22a and 22b are arranged so as to coincide with the image planes of these optical images in order to capture two optical images.
- a correction pixel area 22c for correcting a geometric shift of the optical image divided into two is provided around the light receiving areas 22a and 22b.
- a correction pixel area 22c for correcting a geometric shift of the optical image divided into two is provided.
- manufacturing errors are suppressed, and correction by image processing is performed by an image correction processing unit 23c (FIG. 1) described later, so that the above-described geometric misalignment of the optical image is eliminated. It has become.
- the light attenuation member ATN (FIG. 2) is provided on the back surface side of the reflective surface having the lower reflectivity among the first reflective surface REF1 and the second reflective surface REF2 having different reflectivities. It is desirable to install.
- the light reducing member ATN for example, an absorption filter such as an ND filter, a light shielding member, a black cloth, or a paint can be used. Further, the light may be reduced by rotating the ⁇ / 4 plate 21e. Further, the light reducing member may be configured by coating the absorption filter itself with a dielectric film mirror.
- the optical path dividing surface is the polarization separation film 21d (polarization beam splitter surface), and the light beam is reflected by the polarization beam splitter 21 between the polarization beam splitter 21 and the first reflection surface REF1.
- a ⁇ / 4 plate 21e for changing the phase of the light beam is provided, and the light beam reflected by the first reflecting surface REF1 is coupled to the first region 22a of the image sensor 22 via the ⁇ / 4 plate 21e and the polarization beam splitter 21. Imaged.
- the synthesis unit 23 (FIG. 1) will be described.
- the synthesizing unit 23 is an imaging signal generation unit 23a that reads out images related to two optical images with different brightness captured by the imaging element 22, and a frame that stores the two images read out by the imaging signal generation unit 23a. It has a memory 23b, an image correction processing unit 23c for performing image correction, an image composition processing unit 23d for performing image composition processing for combining the two corrected images, and an image output unit 23e.
- the image correction processing unit 23c has two images so that the relative position, angle, and magnification are substantially the same with respect to the images related to the two optical images formed on the light receiving regions 22a and 22b of the image sensor 22, respectively. Is corrected.
- the respective optical images formed in the light receiving regions 22a and 22b (FIGS. 3A and 3B) of the image pickup device 22 are relatively shifted in magnification, shifted in position, shifted in angle, that is, in the rotation direction, and the like. May occur.
- the synthesizing unit 23 performs post-stage image processing such as color matrix processing, contour enhancement, and gamma correction on one image synthesized by the image synthesizing processing unit 23c.
- the image output unit 23e outputs an image that has been subjected to subsequent image processing.
- the image output from the image output unit 23e is output to the image display unit 24.
- FIG. 4 is a diagram illustrating a schematic configuration of the endoscope imaging system 200.
- the objective optical system OBL includes, in order from the object side, a planoconcave negative lens L1 having a plane facing the object side, a parallel flat plate L2, a biconcave negative lens L3, and a positive meniscus lens L4 having a convex surface facing the image side.
- a positive meniscus lens L5 having a convex surface facing the object side
- a biconvex positive lens L6 having a negative meniscus lens L7 having a convex surface facing the image side
- an aperture stop S a biconvex positive lens L8, and a biconvex positive lens L9 and a negative meniscus lens L10 having a convex surface facing the image side.
- the negative lens L3 and the positive meniscus lens L4 are cemented.
- the positive lens L6 and the negative meniscus lens L7 are cemented.
- the positive lens L9 and the negative meniscus lens L10 are cemented.
- the optical path dividing unit 20a is disposed on the image side of the objective optical system OBL. In the prism in the optical path dividing unit 20a, the optical path is bent.
- the parallel flat plate L2 is a filter provided with a coating for cutting a specific wavelength, for example, 1060 nm of a YAG laser, 810 nm of a semiconductor laser, or an infrared region.
- I is an imaging plane (imaging plane).
- the numerical data of each of the above examples is shown below. Symbols r are the radius of curvature of each lens surface, d is the distance between the lens surfaces, nd is the refractive index of the d-line of each lens, ⁇ d is the Abbe number of each lens, FNO is the F number, and ⁇ is the half field angle It is.
- the back focus fb represents the distance from the most image-side optical surface to the paraxial image surface in terms of air. The total length is obtained by adding back focus to the distance (not converted to air) from the lens surface closest to the object side to the optical surface closest to the image side.
- the aperture is a brightness aperture.
- FIG. 5 is a schematic configuration diagram of the optical path splitting unit 20a and the imaging element 22 included in the endoscope imaging system 200 according to the first embodiment.
- the same parts as those in the embodiment described above are denoted by the same reference numerals, and redundant description is omitted.
- a polarizing prism 30 is bonded to the slope of the prism 21c on the image side of the optical path dividing unit 20a.
- the polarizing prism 30 has a function of a light reducing member ATN2. Thereby, the stray light by reflection by a mechanical member can be reduced.
- FIG. 6 is a schematic configuration diagram of the optical path splitting unit 20b and the imaging element 22 included in the endoscope imaging system 200 according to the second embodiment.
- the same parts as those in the embodiment described above are denoted by the same reference numerals, and redundant description is omitted.
- the objective optical system OBL is the same as that of the first embodiment.
- the optical path dividing unit 20b is composed of three right-angle prisms P1, P2, and P3, and the slopes of P1 and P2 are arranged with a gap between them, and P2 and P3 are joined.
- the light beams separated into the two optical paths A and B by the half mirror 21f (P2 image plane side) are incident on the image sensor 22 by total reflection on the slopes of the prisms P2 and P3, respectively. In this way, the above-described two images with different brightness can be obtained by intensity division without using polarized light.
- the modified example is a configuration that can achieve the high dynamic range as described above and can increase the depth of field.
- the apparatus configuration is the same as that shown in FIGS. And the processing flow of the obtained optical image differs from the above-mentioned embodiment.
- the object-side prism 21a and the image-side prism 21c are separated from the subject image into two optical images with different focus positions.
- the optical path length on the reflected light side is shorter (smaller) than (long).
- the light receiving regions 22a and 22b are arranged so as to coincide with the image planes of these optical images in order to capture two optical images.
- the light receiving area 22a is relatively shifted (shifted) to the near point side with respect to the light receiving area 22b, and the light receiving area 22b is in focus with respect to the light receiving area 22a.
- the position is relatively shifted to the far point side. Thereby, two optical images with different focus are formed on the light receiving surface of the image sensor 22.
- the optical path length to the image sensor 22 is changed to relatively shift the focus position with respect to the light receiving regions 22a and 22b.
- the image composition processing unit 23d selects a relatively high contrast image in a corresponding area between two images and generates a composite image. That is, by comparing the contrast in each spatially identical pixel area in two images and selecting a pixel area having a relatively higher contrast, a composite image as one image synthesized from the two images Is generated.
- the image output unit 23e outputs the image subjected to the subsequent image processing.
- the image output from the image output unit 23e is output to the image display unit 24.
- the image sensor 22 individually receives and captures two optical images with different focus positions.
- the brightness of the image surrounded by the dotted line in the first frame data in FIG. 7A is the same as the brightness of the image surrounded by the dotted line in the second frame data in FIG. 7B.
- the dark side is the near point and the bright side is the far point on the near point side and the far point side. This is because the near point side is brighter than the far point side, so that EXP ⁇ 1 / ⁇ information is not necessary, and because the far point side is darker than the near point side, EXP ⁇ ⁇ information is not necessary. is there.
- the above-described endoscope imaging system may satisfy a plurality of configurations at the same time. This is preferable for obtaining a good endoscope imaging system.
- the combination of a preferable structure is arbitrary. For each conditional expression, only the upper limit value or lower limit value of the numerical range of the more limited conditional expression may be limited.
- An imaging optical system that simultaneously obtains two optical images of different brightness for the same subject;
- An illumination unit that switches between the first illumination light amount and the second illumination light amount in synchronization with the timing at which the first frame data and the second frame data are alternately captured;
- a high dynamic range image is generated by two images having different brightness obtained from the first frame data and two images having different brightness obtained from the second frame data;
- An endoscope optical system wherein a ratio between the first illumination light quantity and the second illumination light quantity is 1 / ⁇ , where ⁇ is a brightness ratio between two images having different brightnesses. .
- the present invention is useful for an endoscope imaging system capable of obtaining a small image with a wide dynamic range, particularly a moving image.
- Endoscope imaging system 10 Imaging optical system 20, 20a, 20b Optical path splitting unit 21 Polarizing beam splitter 21a Object side prism 21b Mirror 21c Image side prism 21d Optical path splitting surface, polarization separating film 21e ⁇ / 4 plate 21f Half mirror 22 Image sensor 22a 1st area, light-receiving area 22b 2nd area, light-receiving area 22c Correction pixel area 23 Composition part 23a Imaging signal generation part 23b Frame memory 23c Image correction process part 23d Image composition process part 23e Image output part 24 Image Display unit 25 Sync signal generation unit 26 Light source control unit 27 Light source unit 28 Illumination unit 30 Polarizing prism AX Optical axis CG Cover glass OBL Objective optical system S Brightness stop L1-L10 Lens I Imaging surface
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Lenses (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
小型でダイナミックレンジの広い画像、特に動画を得ることができる内視鏡撮像システムを提供すること。 同一の被写体に対して、明るさが異なる2つの光学像を同時に得る撮像光学系と、第1のフレームデータと第2のフレームデータが、交互に撮像されるタイミングと同期して、第1の照明光量と第2の照明光量とに切り替える照明部28と、第1のフレームデータで得られる明るさの異なる2つの画像と、第2のフレームデータで得られる明るさの異なる2つの画像と、によりハイダイナミックレンジの画像を生成する合成部23と、を有し、明るさの異なる2つの画像の明るさ比をαとするとき、第1の照明光量と第2の照明光量の比は1/αである。
Description
本発明は、内視鏡撮像システムに関するものである。
従来、スマートフォン等では、輝度の明暗差が大きい被写体を撮影するために、ハイダイナミックレンジと呼ばれる技術が開発されている。ハイダイナミックレンジでは、被写体像が、白く飛ぶこと、黒くつぶれることを低減するための技術である。ハイダイナミックレンジでは、長い露光時間にて撮影した明るい画像と、短い露光時間にて撮影した暗い画像とを合成する。これにより、ハイダイナミックレンジの画像を得ることができる。
ハイダイナミックレンジは、静止画だけでなく動画生成にも応用できる。例えば、特許文献1には、撮像素子に入射する光を周期的に変化させる減光装置を用いてハイダイナミックレンジの動画を得る構成が開示されている。
また、特許文献2、特許文献3には、内視鏡用の光学系において、1つの光学像を光束分離部により2つの光学像に分離して、分離された2つの光学像を1つの撮像素子の撮像面に結像させる構成が開示されている。
特許文献4は、取得したい画像特性に応じた最適な照明特性で被写体を照明することにより、複雑な画像処理を必要とせずに取得したい画像特性の画像を得ることが可能な構成が開示されている。
特許文献5は、2つの受光部を有し、ダイナミックレンジを向上させる構成が開示されている。
安定したハイダイナミックレンジを得るためには3枚以上の複数画像を合成させることが好ましいことが一般に知られている。また、内視鏡では、動画の生成が必須である。このため、内視鏡による動画において、周期的に減光させる構成を採用すると、3フレーム以上を用いて動画を得るためには、フレームレートが速くなってしまうという問題がある。一方で、1つの撮像素子で3枚以上の画像を得ようとすると、撮像系が大型化してしまう。また、2つの画像の明るさを変えるために一方の画像に関してNDフィルターのような吸収フィルターを使用すると、装置は大型化してしまう。上記いずれの文献に開示された構成では、このような問題を解決できない。
本発明は、上記に鑑みてなされたものであって、小型でダイナミックレンジの広い画像、特に動画を得ることができる内視鏡撮像システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の少なくとも幾つかの実施形態に係る内視鏡撮像システムは、同一の被写体に対して、明るさが異なる2つの光学像を同時に得る撮像光学系と、第1のフレームデータと第2のフレームデータが、交互に撮像されるタイミングと同期して、第1の照明光量と第2の照明光量とに切り替える照明部と、第1のフレームデータで得られる明るさの異なる2つの画像と、第2のフレームデータで得られる明るさの異なる2つの画像と、によりハイダイナミックレンジの画像を生成する合成部と、を有し、明るさの異なる2つの画像の明るさ比をαとするとき、第1の照明光量と第2の照明光量の比は1/αであることを特徴とする。
本発明は、小型でダイナミックレンジの広い画像を得ることができる内視鏡撮像システムを提供できるという効果を奏する。
以下に、実施形態に係る内視鏡撮像システムを図面に基づいて詳細に説明する。なお、この実施形態により、この発明が限定されるものではない。
図1は、実施形態に係る内視鏡撮像システム100の概略構成を示す図である。内視鏡撮像システム100は、同一の被写体に対して、明るさが異なる2つの光学像を同時に得る撮像光学系10と、第1のフレームデータと第2のフレームデータが、交互に撮像されるタイミングと同期して、第1の照明光量と第2の照明光量とに切り替える照明部28と、第1のフレームデータで得られる明るさの異なる2つの画像と、第2のフレームデータで得られる明るさの異なる2つの画像と、によりハイダイナミックレンジの画像を生成する合成部23と、を有し、明るさの異なる2つの画像の明るさ比をαとするときに、第1の照明光量と第2の照明光量の比は1/αであることを特徴とする。
図1において、同期信号発生部25は、撮像素子22と光源制御部26とに対して同期信号を出力する。そして、光源部27は、第1のフレームを撮像する際に必要な輝度の照明光を照射する。光源部27は、第2のフレームを撮像する際に必要な輝度の照明光を照射する。これにより、第1の照明光量と第2の照明光量を切替えできる。光源制御部26と光源部27とで照明部28を構成する。
これにより、第1のフレームデータにおいて、EXP×αとEXP×1との2つの光学像を得られる。第2のフレームデータにおいて、EXP×1とEXP×1/αとの2つの光学像を得られる。
そして、2つのフレームの光学像を合成することで、ハイダイナミックレンジな画像を得ることができる。
図2は、光路分割部20と撮像素子22との概略構成図である。本実施形態の好ましい態様によれば、撮像光学系10は、物体からの光束を結像させるための対物光学系OBLと、対物光学系OBLの結像位置近傍に配置された1つの撮像素子22と、対物光学系OBLと撮像素子22との間に配置され、対物光学系OBLからの光束を反射光束と透過光束の2つの光束に分割するための光路分割面21dを有する光路分割部20と、を有する。
光路分割部20は、光路分割面21dで反射した光束を折り返して反射させるための第1反射面REF1と、光路分割面21dを透過した光を反射させるための第2反射面REF2と、を有する。
第1の光学像は、光路分割面21dを介して第1反射面REF1で反射した光束を撮像素子22における第1領域22aに結像される。第2の光学像は、第2反射面REF2で反射した光束を撮像素子22における第1領域22a(図3(a)、(b))とは異なる第2領域22b(図3(a)、(b))に結像される。撮像信号生成部23a(図1)は、第1の光学像と第2の光学像とを光電変換し、それぞれ第1の撮像信号と第2の撮像信号として出力する。
ここで、第1反射面REF1の反射率と第2反射面REF2の反射率は互いに異なり、一方の反射面は反射率r1の反射ミラーを有し、他方の反射面は反射率r1×αの反射ミラーを有し、
以下の条件式(1)、(2)を満たすことを特徴とする。
80≦r1≦99 (1)
0.2≦α≦0.7 (2)
ここで、
r1は、可視光領域における反射率(%)、
αは、係数、
である。
以下の条件式(1)、(2)を満たすことを特徴とする。
80≦r1≦99 (1)
0.2≦α≦0.7 (2)
ここで、
r1は、可視光領域における反射率(%)、
αは、係数、
である。
ここで、反射率r1に関して、可視光領域とは、400nmから700nmまでの波長領域の平均値をいう。例えば、反射率r1の代表値として、波長550nm時の値を用いることが望ましい。
条件式(1)の下限値は、アルミニウム蒸着の反射面の場合の値である。また、条件式(1)の上限値は、銀蒸着の反射面の場合の値である。光路分割部があるために、明るさは半減する。このために明るさの異なる2つの画像のうち、明るい画像は明るい光学系であることが必要である。条件式(1)の下限値を下回ると、明るさ不足になる。
さらに、条件式(2)の下限値を下回ると、ダイナミックレンジを拡げる効果が低減してしまう。条件式(2)の上限値を上回ると、明るさの異なる2つの画像のうち暗い画像はイメージセンサーによるダークノイズが目立ちやすくなってしまう。
図2を参照して、光路分割部20の構成をさらに説明する。本実施形態の光路分割部20は、偏光を利用して光束を分割する例である。
対物光学系OBLを射出した光は、光路分割部20に入射する。光路分割部20は、被写体像を2つの光学像に分割する偏光ビームスプリッタ21と、2つの光学像を撮像して2つの画像を取得する撮像素子22と、を有する。
偏光ビームスプリッタ21は、図2に示すように、物体側のプリズム21a、像側のプリズム21c、ミラー21b、及びλ/4板21eを有している。物体側のプリズム21a及び像側のプリズム21cは共に光軸AXに対して45度の斜度である光路分割面を有している。
物体側のプリズム21aの光路分割面には偏光分離膜21dが形成されている。そして、物体側のプリズム21a及び像側のプリズム21cは、互いの光路分割面を偏光分離膜21dを介して当接させて偏光ビームスプリッタ21を構成している。
また、ミラー21bは、物体側のプリズム21aの端面近傍にλ/4板21eを介して設けられている。像側のプリズム21cの端面には、カバーガラスCGを介して撮像素子22が取り付けられている。Iは、結像面(撮像面)である。
対物光学系OBLからの被写体像は、物体側のプリズム21aにおいて光路分割面に設けられた偏光分離膜21dによりP偏光成分(透過光)とS偏光成分(反射光)とに分離され、反射光側の光学像と透過光側の光学像との2つの光学像に分離される。
S偏光成分の光学像は、偏光分離膜21dで撮像素子22に対して対面側に反射されA光路を通り、λ/4板21eを透過後、ミラー21bで反射され、撮像素子22側に折り返される。折り返された光学像は、λ/4板21eを再び透過する事で偏光方向が90°回転し、偏光分離膜21dを透過して撮像素子22に結像される。
P偏光成分の光学像は、偏光分離膜21dを透過してB光路を通り、撮像素子22に向かって垂直に折り返す像側のプリズム21cの光路分割面と反対側に設けられたミラー面によって反射され、撮像素子22に結像される。
このように、物体側のプリズム21a及び像側のプリズム21cは、被写体像を明るさが異なる2つの光学像に分離する。
図3(a)は実施形態に係る内視鏡撮像システム100が有する撮像素子22の第1のフレームデータを示す図である。図3(b)は実施形態に係る内視鏡撮像システム100が有する撮像素子22の第2のフレームデータを示す図である。
撮像素子22は、図3(a)、図3(b)にそれぞれ示すように、明るさが異なる2つの光学像を各々個別に受光して撮像するために、撮像素子22の全画素領域の中に、2つの受光領域(有効画素領域)22a、22bが設けられている。
ここで、上述のように、第1反射面REF1の反射率と第2反射面REF2の反射率は互いに異なり、一方の反射面は反射率r1(%)の反射ミラーを有し、他方の反射面は反射率r1(%)×αの反射ミラーを有している。
明るさが異なる2つの光学像とは、基準の明るさをEXPとしたとき、図3(a)では、EXP×αとEXP×1との2つの光学像をいう。また、図3(b)では、EXP×1とEXP×1/αとの2つの光学像をいう。
受光領域22a、22bは、2つの光学像を撮像するために、これらの光学像の結像面と各々一致するように配置されている。
また、受光領域22a、22bの周囲には、2つに分割された光学像の幾何的なズレを補正するための補正画素領域22cが設けられている。補正画素領域22c内において製造上の誤差を抑え、後述する画像補正処理部23c(図1)にて画像処理による補正を行うことで、上記した光学像の幾何学的なズレを解消するようになっている。
また、本実施形態の好ましい態様によれば、反射率が異なる第1反射面REF1と第2反射面REF2のうち、反射率の低い方の反射面の裏面側に減光部材ATN(図2)を設置することが望ましい。
減光部材ATNは、例えば、NDフィルターのような吸収フィルター、遮光部材、黒い布や塗料を用いることができる。また、λ/4板21eを回転することで減光しても良い。さらに、減光部材は、吸収フィルター自体に誘電体膜ミラーコートして構成しても良い。
上述のように、本実施形態では、光路分割面が、偏光分離膜21d(偏光ビームスプリッタ面)であり、偏光ビームスプリッタ21と第1反射面REF1との間に、偏光ビームスプリッタ21で反射した光束の位相を変更するためのλ/4板21eを有し、第1反射面REF1で反射した光束がλ/4板21e、偏光ビームスプリッタ21を介して撮像素子22における第1領域22aに結像される。これにより、より有効な光量を用いながら、光束を分割できる。
合成部23(図1)について説明する。
合成部23は、撮像素子22により撮像された明るさが異なる2つの光学像に係る画像を各々読み出す撮像信号生成部23aと、撮像信号生成部23aにより読み出された2つの画像を記憶するフレームメモリ23bと、画像補正を行う画像補正処理部23cと、補正された2つの画像を合成する画像合成処理を行う画像合成処理部23dと、画像出力部23eと、を有する。
画像補正処理部23cは、撮像素子22の受光領域22a、22bにそれぞれ結像される2つの光学像に係る画像に対し、相対的な位置、角度及び倍率が略同一となるように2つの画像に対して補正を行う。
被写体像を2つに分離して撮像素子22に各々結像させる場合、幾何的な差異が生じる場合がある。すなわち、撮像素子22の受光領域22a、22b(図3(a)、(b))にそれぞれ結像される各々の光学像は、相対的に倍率ズレ、位置ズレ、角度すなわち回転方向のズレ等が発生する場合がある。
これらの差異を製造時などにおいて、完全に解消することは困難であるが、それらのズレ量が大きくなると、合成画像が2重画像となったり、不自然な明るさムラ等を生じたりする。このため、画像補正処理部23cにて上述した幾何的な差異、明るさ差異を補正する。
また、合成部23は、画像合成処理部23cにより合成された1つの画像に対して、色マトリクス処理、輪郭強調、ガンマ補正等の後段画像処理を行う。画像出力部23eは、後段画像処理された画像を出力する。画像出力部23eから出力される画像は画像表示部24に出力される。
以下、各実施例について説明する。
(実施例1)
次に、実施例1に係る内視鏡撮像システム200が有する対物光学系OBLについて説明する。図4は、内視鏡撮像システム200の概略構成を示す図である。
次に、実施例1に係る内視鏡撮像システム200が有する対物光学系OBLについて説明する。図4は、内視鏡撮像システム200の概略構成を示す図である。
対物光学系OBLは、物体側から順に、物体側に平面を向けた平凹負レンズL1と、平行平板L2と、両凹負レンズL3と、像側に凸面を向けた正メニスカスレンズL4と、物体側に凸面を向けた正メニスカスレンズL5と、両凸正レンズL6と、像側に凸面を向けた負メニスカスレンズL7と、明るさ絞りSと、両凸正レンズL8と、両凸正レンズL9と、像側に凸面を向けた負メニスカスレンズL10と、からなる。
ここで、負レンズL3と正メニスカスレンズL4とは接合されている。正レンズL6と負メニスカスレンズL7とは接合されている。正レンズL9と負メニスカスレンズL10とは接合されている。
対物光学系OBLの像側に、光路分割部20aを配置している。光路分割部20a中のプリズムでは、光路が折り曲げられる。なお、平行平板L2は、特定の波長、例えばYAGレーザーの1060nm、半導体レーザーの810nm、あるいは赤外域をカットするためのコーティングが施されたフィルターである。Iは、結像面(撮像面)である。
以下に、上記各実施例の数値データを示す。記号は、rは各レンズ面の曲率半径、dは各レンズ面間の間隔、ndは各レンズのd線の屈折率、νdは各レンズのアッベ数、FNOはFナンバー、ωは半画角である。また、バックフォーカスfbは、最も像側の光学面から近軸像面までの距離を空気換算して表したものである。全長は、最も物体側のレンズ面から最も像側の光学面までの距離(空気換算しない)にバックフォーカスを加えたものである。絞りは明るさ絞りである。
数値実施例1
単位 mm
面データ
面番号 r d nd νd
1 ∞ 0.49 1.88300 40.76
2 1.812 0.79
3 ∞ 0.84 1.52100 65.12
4 ∞ 0.34
5 -4.881 0.56 1.88300 40.76
6 1.866 2.13 1.84666 23.78
7 77.332 可変
8 2.010 0.81 1.48749 70.23
9 2.149 可変
10 3.354 1.13 1.64769 33.79
11 -1.665 0.32 2.00330 28.27
12 -9.987 0.04
13(絞り) ∞ 0.56
14 512.363 0.95 1.69895 30.13
15 -3.552 0.36
16 9.128 0.94 1.48749 70.23
17 -2.180 0.39 1.92286 18.90
18 -4.093 4.59
19(撮像面) ∞
各種データ
焦点距離 1.00
FNO. 3.58
画角2ω 144.9
fb (in air) 4.59
全長 (in air) 17.15
d7 0.47
d9 1.43
単位 mm
面データ
面番号 r d nd νd
1 ∞ 0.49 1.88300 40.76
2 1.812 0.79
3 ∞ 0.84 1.52100 65.12
4 ∞ 0.34
5 -4.881 0.56 1.88300 40.76
6 1.866 2.13 1.84666 23.78
7 77.332 可変
8 2.010 0.81 1.48749 70.23
9 2.149 可変
10 3.354 1.13 1.64769 33.79
11 -1.665 0.32 2.00330 28.27
12 -9.987 0.04
13(絞り) ∞ 0.56
14 512.363 0.95 1.69895 30.13
15 -3.552 0.36
16 9.128 0.94 1.48749 70.23
17 -2.180 0.39 1.92286 18.90
18 -4.093 4.59
19(撮像面) ∞
各種データ
焦点距離 1.00
FNO. 3.58
画角2ω 144.9
fb (in air) 4.59
全長 (in air) 17.15
d7 0.47
d9 1.43
図5は、実施例1に係る内視鏡撮像システム200が有する光路分割部20aと撮像素子22との概略構成図である。上述した実施形態と同一の部分には同一の符号を付し、重複する説明は、省略する。
光路分割部20aの像側のプリズム21cの斜面には、偏光プリズム30が接合されている。偏光プリズム30は、減光部材ATN2の機能を有する。これにより、機械的な部材での反射による迷光を低減できる。
(実施例2)
図6は、実施例2に係る内視鏡撮像システム200が有する光路分割部20bと撮像素子22との概略構成図である。上述した実施形態と同一の部分には同一の符号を付し、重複する説明は、省略する。対物光学系OBLは、実施例1と同一である。
図6は、実施例2に係る内視鏡撮像システム200が有する光路分割部20bと撮像素子22との概略構成図である。上述した実施形態と同一の部分には同一の符号を付し、重複する説明は、省略する。対物光学系OBLは、実施例1と同一である。
光路分割部20bは、3つの直角プリズムP1、P2、P3から成り、P1とP2の斜面同士は空隙を空けて配置され、P2とP3は接合されている。ハーフミラー21f(P2の像面側)によって2つの光路A、光路Bに分離された光束は、それぞれプリズムP2、P3の斜面における全反射により、撮像素子22に入射する。このように、偏光を利用せずに、強度分割して、上述の2つの明るさの異なる像を得ることもできる。
(変形例)
変形例は、上述したようなハイダイナミックレンジを達成し、かつ被写界深度を大きくすることができる構成である。装置構成は、図1、図2に示す構成と同じである。そして、得られた光学像の処理フローが上述の実施形態とは異なる。
変形例は、上述したようなハイダイナミックレンジを達成し、かつ被写界深度を大きくすることができる構成である。装置構成は、図1、図2に示す構成と同じである。そして、得られた光学像の処理フローが上述の実施形態とは異なる。
物体側のプリズム21a及び像側のプリズム21cを、被写体像をピント位置が異なる2つの光学像に分離できるように、物体側のプリズム21aにおける撮像素子22に至る透過光側の光路長(硝路長)に対して反射光側の光路長が短く(小さく)なるように配置する。
受光領域22a、22bは、2つの光学像を撮像するために、これらの光学像の結像面と各々一致するように配置されている。そして、撮像素子22において、受光領域22aは受光領域22bに対してそのピント位置が相対的に近点側にシフトしており(ずれており)、受光領域22bは受光領域22aに対してそのピント位置が相対的に遠点側にシフトしている。これにより、ピントが異なる2つの光学像を撮像素子22の受光面に結像させるように構成されている。
なお、物体側のプリズム21aと像側のプリズム21cにおける両者の硝材の屈折率を異ならせることにより、撮像素子22に至る光路長を変えて受光領域22a、22bに対するピント位置を相対的にずらすようにしても良い。
画像合成処理部23dは、上述したハイダイナミックレンジの機能に加えて、2つの画像間の対応する所定領域において、相対的にコントラストが高い画像を選択して合成画像を生成する。つまり、2つの画像における空間的に同一の画素領域それぞれにおけるコントラストを比較し、相対的にコントラストが高い方の画素領域を選択することにより、2つの画像から合成された1つの画像としての合成画像を生成する。
画像出力部23eは、後段画像処理された画像を出力する。画像出力部23eから出力される画像は画像表示部24に出力される。
これにより、ピントの異なる2つの光学像に係る画像を取得し、これら画像を画像合成処理部23dで合成して合成被写界深度を得ることができる。内視鏡検査で広い範囲を俯瞰してスクリーニングする際には遠方観察が適しており、病変の詳細を観察したり、診断したりする際には、近接観察が適している。
撮像素子22は、図7(a)、(b)に示すように、ピント位置が異なる2つの光学像を各々個別に受光して撮像する。ここで、図7(a)の第1のフレームデータおいて点線で囲んだ画像の明るさと、図7(b)の第2のフレームデータにおいて点線で囲んだ画像の明るさとは同じである。
ここで、近点側と遠点側とで、暗い側を近点に、明るい側を遠点にすることが好ましい。この理由は、近点側は、遠点側よりも明るいためEXP×1/αの情報が必要無くなることと、遠点側は近点側よりも暗いためEXP×αの情報は必要無くなるためである。
このような構成をとることで、ハイダイナミックレンジを達成しつつ、より多画素化した撮像素子を使用しても解像力を落とすことなく被写界深度を拡大することが可能となる。
なお、上述の内視鏡撮像システムは、複数の構成を同時に満足してもよい。このようにすることが、良好な内視鏡撮像システムを得る上で好ましい。また、好ましい構成の組み合わせは任意である。また、各条件式について、より限定した条件式の数値範囲の上限値あるいは下限値のみを限定しても構わない。
以上、本発明の種々の実施形態について説明したが、本発明は、これらの実施形態のみに限られるものではなく、その趣旨を逸脱しない範囲で、これら実施形態の構成を適宜組合せて構成した実施形態も本発明の範疇となるものである。
(付記)
なお、これらの実施例から以下の構成の発明が導かれる。
(付記項1)
同一の被写体に対して、明るさが異なる2つの光学像を同時に得る撮像光学系と、
第1のフレームデータと第2のフレームデータが、交互に撮像されるタイミングと同期して、第1の照明光量と第2の照明光量に切り替える照明部と、を有し、
前記第1のフレームデータで得られる明るさの異なる2つの画像と、前記第2のフレームデータで得られる明るさの異なる2つの画像と、によりハイダイナミックレンジの画像を生成し、
前記明るさの異なる2つの画像の明るさ比をαとするとき、前記第1の照明光量と前記第2の照明光量の比は1/αであることを特徴とする内視鏡用光学系。
なお、これらの実施例から以下の構成の発明が導かれる。
(付記項1)
同一の被写体に対して、明るさが異なる2つの光学像を同時に得る撮像光学系と、
第1のフレームデータと第2のフレームデータが、交互に撮像されるタイミングと同期して、第1の照明光量と第2の照明光量に切り替える照明部と、を有し、
前記第1のフレームデータで得られる明るさの異なる2つの画像と、前記第2のフレームデータで得られる明るさの異なる2つの画像と、によりハイダイナミックレンジの画像を生成し、
前記明るさの異なる2つの画像の明るさ比をαとするとき、前記第1の照明光量と前記第2の照明光量の比は1/αであることを特徴とする内視鏡用光学系。
(付記項2)
反射率が異なる第1反射面と第2反射面とにより前記明るさの異なる2つの画像が形成され、反射率の低い方の反射面の裏面側に減光部材を有し、
前記減光部材は、吸収フィルター、誘電体多層膜、黒色部材のうちの少なくともいずれか一つであることを特徴とする付記項1に記載の内視鏡用光学系。
反射率が異なる第1反射面と第2反射面とにより前記明るさの異なる2つの画像が形成され、反射率の低い方の反射面の裏面側に減光部材を有し、
前記減光部材は、吸収フィルター、誘電体多層膜、黒色部材のうちの少なくともいずれか一つであることを特徴とする付記項1に記載の内視鏡用光学系。
以上のように、本発明は、小型でダイナミックレンジの広い画像、特に動画を得ることができる内視鏡撮像システムに有用である。
100、200 内視鏡撮像システム
10 撮像光学系
20、20a、20b 光路分割部
21 偏光ビームスプリッタ
21a 物体側のプリズム
21b ミラー
21c 像側のプリズム
21d 光路分割面、偏光分離膜
21e λ/4板
21f ハーフミラー
22 撮像素子
22a 第1領域、受光領域
22b 第2領域、受光領域
22c 補正画素領域
23 合成部
23a 撮像信号生成部
23b フレームメモリ
23c 画像補正処理部
23d 画像合成処理部
23e 画像出力部
24 画像表示部
25 同期信号発生部
26 光源制御部
27 光源部
28 照明部
30 偏光プリズム
AX 光軸
CG カバーガラス
OBL 対物光学系
S 明るさ絞り
L1-L10 レンズ
I 結像面
10 撮像光学系
20、20a、20b 光路分割部
21 偏光ビームスプリッタ
21a 物体側のプリズム
21b ミラー
21c 像側のプリズム
21d 光路分割面、偏光分離膜
21e λ/4板
21f ハーフミラー
22 撮像素子
22a 第1領域、受光領域
22b 第2領域、受光領域
22c 補正画素領域
23 合成部
23a 撮像信号生成部
23b フレームメモリ
23c 画像補正処理部
23d 画像合成処理部
23e 画像出力部
24 画像表示部
25 同期信号発生部
26 光源制御部
27 光源部
28 照明部
30 偏光プリズム
AX 光軸
CG カバーガラス
OBL 対物光学系
S 明るさ絞り
L1-L10 レンズ
I 結像面
Claims (4)
- 同一の被写体に対して、明るさが異なる2つの光学像を同時に得る撮像光学系と、
第1のフレームデータと第2のフレームデータが、交互に撮像されるタイミングと同期して、第1の照明光量と第2の照明光量とに切り替える照明部と、
前記第1のフレームデータで得られる明るさの異なる2つの画像と、前記第2のフレームデータで得られる明るさの異なる2つの画像と、によりハイダイナミックレンジの画像を生成する合成部と、を有し、
前記明るさの異なる2つの画像の明るさ比をαとするとき、前記第1の照明光量と前記第2の照明光量の比は1/αであることを特徴とする内視鏡撮像システム。 - 前記撮像光学系は、
物体からの光束を結像させるための対物光学系と、
前記対物光学系の結像位置近傍に配置された1つの撮像素子と、
前記対物光学系と前記撮像素子との間に配置され、前記対物光学系からの光束を反射光束と透過光束の2つの光束に分割するための光路分割面を有する光路分割部と、
前記光路分割面で反射した光束を折り返して反射させるための第1反射面と、
前記光路分割面を透過した光を反射させるための第2反射面と、を有し、
前記光路分割面を介して前記第1反射面で反射した光束を前記撮像素子における第1領域に結像される第1の光学像と、前記第2反射面で反射した光束を前記撮像素子における前記第1領域とは異なる第2領域に結像される第2の光学像と、を光電変換し、それぞれ第1の撮像信号と第2の撮像信号として出力する撮像信号生成部と、を有し、
前記第1反射面の反射率と前記第2反射面の反射率は互いに異なり、一方の反射面は反射率r1の反射ミラーを有し、他方の反射面は反射率r1×αの反射ミラーを有し、
以下の条件式(1)、(2)を満たすことを特徴とする請求項1に記載の内視鏡撮像システム。
80≦r1≦99 (1)
0.2≦α≦0.7 (2)
ここで、
r1は、可視光領域に対する反射率(%)、
αは、係数、
である。 - 前記反射率が異なる前記第1反射面と前記第2反射面のうち、反射率の低い方の反射面の裏面側に減光部材を設置することを特徴とする請求項2に記載の内視鏡撮像システム。
- 前記光路分割面が、偏光ビームスプリッタであり、
前記偏光ビームスプリッタと前記第1反射面との間に、前記偏光ビームスプリッタで反射した光束の位相を変更するためのλ/4板を有し、
前記第1反射面で反射した光束が前記λ/4板と、前記偏光ビームスプリッタとを介して前記撮像素子における第1領域に結像されることを特徴とする請求項2に記載の内視鏡撮像システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018561282A JP6463573B1 (ja) | 2017-06-07 | 2018-04-11 | 内視鏡撮像システム |
US16/702,289 US11375882B2 (en) | 2017-06-07 | 2019-12-03 | Endoscope system which generates an image of high dynamic range |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017112518 | 2017-06-07 | ||
JP2017-112518 | 2017-06-07 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/702,289 Continuation US11375882B2 (en) | 2017-06-07 | 2019-12-03 | Endoscope system which generates an image of high dynamic range |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018225377A1 true WO2018225377A1 (ja) | 2018-12-13 |
Family
ID=64567033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/015261 WO2018225377A1 (ja) | 2017-06-07 | 2018-04-11 | 内視鏡撮像システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11375882B2 (ja) |
JP (1) | JP6463573B1 (ja) |
WO (1) | WO2018225377A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7048628B2 (ja) | 2016-11-28 | 2022-04-05 | アダプティブエンドウ エルエルシー | 分離可能使い捨てシャフト付き内視鏡 |
DE102017113274A1 (de) * | 2017-06-16 | 2018-12-20 | avateramedical GmBH | Kameraobjektiv für ein Endoskop und Endoskop |
USD1018844S1 (en) | 2020-01-09 | 2024-03-19 | Adaptivendo Llc | Endoscope handle |
USD1031035S1 (en) | 2021-04-29 | 2024-06-11 | Adaptivendo Llc | Endoscope handle |
CN114529477B (zh) * | 2022-02-28 | 2024-07-12 | 山东威高手术机器人有限公司 | 一种具有高动态范围的双目内窥镜、***及成像方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11155808A (ja) * | 1997-11-27 | 1999-06-15 | Olympus Optical Co Ltd | 内視鏡撮像装置 |
JP2005176940A (ja) * | 2003-12-16 | 2005-07-07 | Olympus Corp | 電子内視鏡 |
JP2014524290A (ja) * | 2011-08-12 | 2014-09-22 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 外科手術器具の画像取込み装置 |
WO2016059983A1 (ja) * | 2014-10-14 | 2016-04-21 | オリンパス株式会社 | 撮像システム |
WO2017073292A1 (ja) * | 2015-10-29 | 2017-05-04 | オリンパス株式会社 | 内視鏡撮像ユニット |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69822958T2 (de) * | 1997-10-23 | 2005-03-10 | Olympus Corporation | Bildaufnahmevorrichtung mit Mitteln zur Erweiterung des Dynamikbereichs |
JP2004313523A (ja) | 2003-04-17 | 2004-11-11 | Pentax Corp | 固体撮像素子、電子内視鏡 |
JP2007274285A (ja) | 2006-03-31 | 2007-10-18 | Seiko Precision Inc | 撮像装置 |
US8734328B2 (en) * | 2011-08-12 | 2014-05-27 | Intuitive Surgical Operations, Inc. | Increased resolution and dynamic range image capture unit in a surgical instrument and method |
US8684914B2 (en) | 2011-08-12 | 2014-04-01 | Intuitive Surgical Operations, Inc. | Image capture unit and an imaging pipeline with enhanced color performance in a surgical instrument and method |
US8672838B2 (en) | 2011-08-12 | 2014-03-18 | Intuitive Surgical Operations, Inc. | Image capture unit in a surgical instrument |
US8764633B2 (en) | 2011-08-12 | 2014-07-01 | Intuitive Surgical Operations, Inc. | Feature differentiation image capture unit and method in a surgical instrument |
US8784301B2 (en) | 2011-08-12 | 2014-07-22 | Intuitive Surgical Operations, Inc. | Image capture unit and method with an extended depth of field |
JP5996287B2 (ja) | 2012-06-12 | 2016-09-21 | オリンパス株式会社 | 撮像装置、顕微鏡装置、内視鏡装置 |
CN104219990B (zh) * | 2012-06-28 | 2016-12-14 | 奥林巴斯株式会社 | 内窥镜*** |
CN106461929B (zh) * | 2015-02-17 | 2019-03-05 | 奥林巴斯株式会社 | 内窥镜*** |
US11163169B2 (en) * | 2016-06-07 | 2021-11-02 | Karl Storz Se & Co. Kg | Endoscope and imaging arrangement providing improved depth of field and resolution |
JP7095693B2 (ja) * | 2017-05-30 | 2022-07-05 | ソニーグループ株式会社 | 医療用観察システム |
-
2018
- 2018-04-11 WO PCT/JP2018/015261 patent/WO2018225377A1/ja active Application Filing
- 2018-04-11 JP JP2018561282A patent/JP6463573B1/ja active Active
-
2019
- 2019-12-03 US US16/702,289 patent/US11375882B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11155808A (ja) * | 1997-11-27 | 1999-06-15 | Olympus Optical Co Ltd | 内視鏡撮像装置 |
JP2005176940A (ja) * | 2003-12-16 | 2005-07-07 | Olympus Corp | 電子内視鏡 |
JP2014524290A (ja) * | 2011-08-12 | 2014-09-22 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 外科手術器具の画像取込み装置 |
WO2016059983A1 (ja) * | 2014-10-14 | 2016-04-21 | オリンパス株式会社 | 撮像システム |
WO2017073292A1 (ja) * | 2015-10-29 | 2017-05-04 | オリンパス株式会社 | 内視鏡撮像ユニット |
Also Published As
Publication number | Publication date |
---|---|
JPWO2018225377A1 (ja) | 2019-06-27 |
US20200138275A1 (en) | 2020-05-07 |
US11375882B2 (en) | 2022-07-05 |
JP6463573B1 (ja) | 2019-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6463573B1 (ja) | 内視鏡撮像システム | |
US9030543B2 (en) | Endoscope system | |
EP2476021B1 (en) | Whole beam image splitting system | |
JP3338837B2 (ja) | 複合表示装置 | |
JP6498364B2 (ja) | 内視鏡システム及び内視鏡システムの調整方法 | |
WO2016132639A1 (ja) | 内視鏡システム | |
JP2019179242A (ja) | 光学システムおよび光学システムを有する装置 | |
US11857158B2 (en) | Optical system, endoscope apparatus and endoscope | |
US10914936B2 (en) | Endoscope and image pickup apparatus | |
WO2017183371A1 (ja) | 内視鏡システム | |
JP2001042230A (ja) | 撮像光学系 | |
JP6257874B1 (ja) | 対物光学系及びそれを備えた内視鏡装置 | |
JP6854908B2 (ja) | 光学系、投影装置及び撮像装置 | |
JP2017209154A (ja) | 内視鏡システム | |
JP2004264714A (ja) | 撮像光学系及び撮像光学系を用いた光学装置 | |
US20240192479A1 (en) | Objective optical system, imaging unit, endoscope and endoscope apparatus | |
KR20040050351A (ko) | 접합 렌즈 및 이를 채용한 줌 렌즈 광학계 및 이를 채용한카메라 | |
WO2018123847A1 (ja) | 内視鏡システム | |
JP2000310736A (ja) | 紫外線顕微鏡光学系 | |
JP2004271682A (ja) | 撮像光学系及び撮像光学系を用いた光学装置 | |
JP2021036257A (ja) | 可視光・近赤外光撮像システム | |
CN118356136A (zh) | 内窥镜可见光与近红外光合成成像镜头组件、***及方法 | |
JP2005292641A (ja) | 結像光学系を用いた光学装置および投写光学系を用いた光学装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2018561282 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18814221 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18814221 Country of ref document: EP Kind code of ref document: A1 |