WO2020016922A1 - 撮像システム、処理装置および内視鏡 - Google Patents
撮像システム、処理装置および内視鏡 Download PDFInfo
- Publication number
- WO2020016922A1 WO2020016922A1 PCT/JP2018/026692 JP2018026692W WO2020016922A1 WO 2020016922 A1 WO2020016922 A1 WO 2020016922A1 JP 2018026692 W JP2018026692 W JP 2018026692W WO 2020016922 A1 WO2020016922 A1 WO 2020016922A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- ipsf
- image
- unit
- drive
- image sensor
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present invention relates to an imaging system, a processing device, and an endoscope.
- the depth of field is one of the characteristics of the lens system in the imaging system, and refers to a range in which the front and rear of the in-focus portion appear as if in focus.
- the depth of field is determined by (i) the aperture value (F value), (ii) the focal length of the lens, and (iii) the distance from the camera to the subject (photographing distance).
- the aperture value of the lens the smaller the aperture value, the shallower the depth of field (the smaller the range that appears to be in focus), and the larger the aperture value, the deeper the depth of field ( The range that appears to be in focus is larger).
- An image with a deep depth of field is also called a pan focus image.
- Deeper depth of field is often preferred for observation with microscopes and endoscope images. Further, for example, when a person and a landscape are photographed by an imaging device, there is a need to focus on both of them.
- Non-Patent Document 1 discloses a technique related to focal sweep imaging in which an image sensor is shifted along an optical axis during an exposure period. The image obtained by the focal sweep photographing is obtained by integrating the images at each position during the shift.
- Non-Patent Document 1 the relationship between the amount of increase in the depth of field and the resolving power is fixed, and the resolving power cannot be adjusted according to the shooting distance. Conventionally, sufficient consideration has not been given to restoring an image captured by focal sweep using illumination.
- an exemplary object of one embodiment of the present invention is to provide a technique for acquiring a suitable focal sweep image.
- an imaging system includes an imaging optical system, an imaging element having a two-dimensional pixel array, a driving unit that drives at least one of a focus lens and an imaging element, An IPSF selector that selects an integrated point spread function to be used for image generation from the integrated point spread function, and an image generator that generates an image using the selected integrated point spread function.
- the apparatus includes an IPSF selection unit that selects an integration point spread function to be used for image generation from a plurality of integration point spread functions, and an image generation unit that generates an image using the selected integration point spread function.
- the endoscope includes an imaging optical system, an imaging device having a two-dimensional pixel array, and a driving unit that can drive at least one of a focus lens and an imaging device during an exposure period of the imaging device.
- a technique for acquiring a suitable focal sweep image can be provided.
- FIG. 4 is a diagram illustrating an example of a driving pattern of an image sensor. It is a figure showing an example of a depth of field.
- FIG. 1 is a diagram illustrating a configuration of an imaging system according to an embodiment.
- FIG. 3 is a diagram illustrating a driving pattern of the image sensor according to the first embodiment. It is a figure showing an example of a depth of field.
- FIG. 9 is a diagram illustrating a driving pattern of an image sensor according to a second embodiment. It is a figure showing an example of a depth of field.
- FIG. 1 is a diagram illustrating a configuration of an imaging system according to an embodiment.
- FIG. 3 is a diagram illustrating a driving pattern of the image sensor according to the first embodiment. It is a figure showing an example of a depth of field.
- FIG. 9 is a diagram illustrating a driving pattern of an image sensor according to a second embodiment. It is a figure showing an example of a depth of field.
- FIG. 9 is a diagram illustrating a driving pattern of an image sensor according to a third embodiment. It is a figure showing an example of a depth of field.
- FIG. 14 is a diagram illustrating a driving pattern of an image sensor according to a fourth embodiment. It is a figure showing an example of a depth of field.
- PSF point spread function
- FIG. 1 is a diagram for explaining focal sweep photography.
- the focal sweep imaging system moves a focal sweep image on which multiple focal points are superimposed by moving at least one of the focus lens 10 and the image sensor 12 included in the imaging optical system along the optical axis (Z axis) during the exposure period.
- FIG. 1 shows a state in which the image sensor 12 is moved in the optical axis direction to perform a focal sweep image capturing of an object point M which is a point light source.
- the distance (photographing distance) from the lens system to the object point M is Zobj.
- FIG. 2A shows an example of a PSF when the image sensor 12 is at the position z1
- FIG. 2B shows a PSF when the image sensor 12 is at the position z2
- FIG. PSF when the image sensor 12 is at the position z3.
- the PSF is represented in one dimension for easy understanding, but is actually a two-dimensional function.
- the object point M is in focus, and thus the PSF of FIG. 2B has a high peak intensity.
- the image captured by the focal sweep shooting is restored using an integrated point spread function (hereinafter, also referred to as “IPSF”) obtained by integrating the PSF at each position to which the image sensor 12 has moved during the exposure period.
- the restored image is an image in which the depth of field is enlarged.
- FIG. 2D shows an example of an IPSF obtained by integrating a plurality of PSFs.
- the IPSF is obtained by calculation or by actually performing a focal sweep image of a point light source.
- IPIt is known that IPSF does not depend on the object position if the shooting conditions are the same.
- the photographing conditions include a driving speed of at least one of the focus lens 10 and the image sensor 12.
- the imaging system can obtain an image with an increased depth of field by using the IPSF by shooting the subject under the same shooting conditions as the shooting conditions at the time of acquiring the IPSF.
- FIG. 3 shows a drive pattern DP1 of the image sensor 12.
- the horizontal axis in FIG. 3 indicates time, and the vertical axis indicates the position of the image sensor 12.
- the image sensor 12 is moved at a constant speed along the optical axis between a near point (near end) position and a far point (far end) position of the depth of field.
- the near point position is the position of the image sensor 12 at which the near end subject at the enlarged depth of field is in focus
- the far point position is the imaging position at which the far end object at the enlarged depth of field is in focus. This is the position of the element 12.
- the focal sweep image is also taken by moving the focus lens 10 in the optical axis direction.
- an “exposure” period for exposing the image sensor 12 to generate an image signal and a “read” period for reading an image signal from the image sensor 12 are shown.
- an “exposure” period for exposing the image sensor 12 to generate an image signal and a “read” period for reading an image signal from the image sensor 12 are shown.
- FIG. 4 shows the depth of field when the image pickup device 12 is driven by the driving pattern DP1 to restore the image.
- the horizontal axis in FIG. 4 indicates the distance (imaging distance) from the imaging device to the object point, and the vertical axis indicates the resolving power.
- the threshold value TH is the resolution at which a person determines that the subject is in focus, and the range of the shooting distance exceeding the threshold value TH is the depth of field (focusing range).
- the resolving power characteristic F indicates the relationship between the resolving power and the shooting distance in normal focused imaging.
- the resolving power characteristic ED1 indicates the relationship between resolving power and shooting distance in focal sweep shooting using the drive pattern DP1 shown in FIG. Comparing the resolving power characteristics F with the resolving power characteristics ED1, it is shown that the depth of field is expanded with a uniform resolving power by focal sweep shooting.
- the enlargement of the depth of field is particularly suitable for an image for observation purpose.
- an image with an increased depth of field can be provided to a doctor, and observation of an in-vivo image can be supported.
- FIG. 5 shows the configuration of the imaging system 1 of the embodiment.
- the imaging system 1 includes an endoscope 30, which is an imaging device, a processing device 60, and a display device 70.
- the connecting portion 32 of the endoscope 30 is connected to the processing device 60.
- the processing device 60 restores, using the IPSF, the in-vivo image captured by the endoscope 30 in a predetermined cycle using the IPSF and causes the display device 70 to display the restored image.
- the doctor observes the in-vivo image displayed on the display device 70 and checks for the presence or absence of a lesion.
- the endoscope 30 includes an imaging optical system including the focus lens 10, the imaging element 12, the readout circuit 14, the driving unit 16, and the illumination lens 18.
- the focus lens 10 and the illumination lens 18 are provided at the tip of the endoscope 30.
- the illumination lens 18 emits illumination light guided by an optical fiber from an illumination unit 44 provided in the processing device 60 into a patient.
- the image sensor 12 is a charge coupled device (CCD) image sensor, a complementary metal oxide semiconductor (CMOS) image sensor, or the like, and has a two-dimensional pixel array in which a plurality of pixels are arranged in a matrix.
- the focus lens 10 forms an imaging optical system that forms an image of a subject on an imaging surface of the imaging element 12 together with another imaging lens (not shown).
- the read circuit 14 reads an image signal from the image sensor 12 at a predetermined cycle.
- the drive unit 16 has an actuator that can drive at least one of the focus lens 10 and the image sensor 12 during the exposure period of the image sensor 12. By driving at least one of the focus lens 10 and the image sensor 12 during the exposure period, focal sweep imaging by the endoscope 30 is realized.
- the driving unit 16 drives the image sensor 12, but the drive unit 16 may drive the focus lens 10, or may drive both the focus lens 10 and the image sensor 12.
- the driving unit 16 drives the imaging element 12 to realize focal sweep imaging. I do.
- the processing device 60 includes an image generation unit 40, a drive pattern selection unit 42, an illumination unit 44, an illumination light selection unit 46, a selection operation reception unit 48, an IPSF selection unit 50, a drive pattern storage unit 52, and an IPSF storage unit 54.
- the illumination unit 44 has a light source that emits light of at least one wavelength to illuminate a subject. In normal endoscopy, white light is used as illumination light, but in special endoscopy, light of a specific wavelength is used as illumination light.
- the illumination light selection unit 46 selects the wavelength of the light emitted from the illumination unit 44 according to the observation mode of the endoscope inspection, and the illumination unit 44 emits the illumination light having the selected wavelength into the body.
- the selection operation receiving unit 48 receives a selection operation by a doctor. During the examination, the doctor selects an observation mode by operating an operation unit such as a switch or a button provided on the endoscope 30 as necessary. The operation unit may be provided in the processing device 60, and the nurse may select the observation mode according to an instruction from a doctor.
- the selection operation reception unit 48 supplies the observation light to the illumination light selection unit 46, and the illumination light selection unit 46 selects the wavelength of the light emitted from the illumination unit 44 according to the observation mode.
- the doctor operates the operation unit provided on the endoscope 30 to select the depth of field expansion mode.
- the selection operation reception unit 48 supplies the drive pattern selection unit 42.
- the drive pattern storage unit 52 stores a plurality of drive patterns of the image sensor 12.
- the drive pattern is a periodic waveform that defines the speed at which the image sensor 12 is driven along the optical axis within the movement range between the near point position and the far point position, according to the position in the movement range.
- the cycle of the drive pattern may be an integral multiple of the field cycle including the exposure period and the readout period.
- a driving pattern in which the imaging element 12 moves to the near point position and the far point position during the reading period of the imaging element 12 is employed, but the present invention is not limited to this.
- Each of the plurality of drive patterns changes the drive speed at least once during the exposure period of the image sensor 12.
- the IPSF storage unit 54 stores the IPSF corresponding to the driving pattern stored in the driving pattern storage unit 52.
- the IPSF is obtained for each drive pattern by calculation or by actually performing point-and-shoot imaging of a point light source, and is stored in the IPSF storage unit 54.
- the IPSF selection unit 50 selects an IPSF to be used for image generation from a plurality of IPSFs stored in the IPSF storage unit 54.
- the image generation unit 40 generates an image with an enlarged depth of field using the IPSF selected by the IPSF selection unit 50.
- the drive speed of the image sensor 12 during the exposure period is changed according to the drive pattern, and the amount of image information acquired at each position in the movement section of the image sensor 12 is biased, so that a specific Improves the resolving power of the subject at the shooting distance. Specifically, by reducing the driving speed at the position corresponding to the shooting distance at which the resolution is desired to be increased, the amount of image information acquired by the image sensor 12 is increased, and the resolution of the subject at the shooting distance is increased.
- FIG. 6 illustrates a drive pattern DP2 of the image sensor 12 according to the first embodiment.
- the horizontal axis indicates time
- the vertical axis indicates the position of the image sensor 12.
- the drive pattern DP2 slows down the drive speed of the image sensor 12 at positions near and far from the depth of field, and at a position near the center of the depth of field. Is set fast. Therefore, during the exposure period, the imaging element 12 moves slowly at the near point side and the far point side as compared with the center position, and acquires more image information at the near point side and the far point side.
- the drive pattern DP2 may include the same speed change pattern on the near point side and the far point side.
- the drive pattern DP2 may be typically represented by a sinusoidal waveform, but may be represented by another waveform. Since the driving unit 16 switches the driving direction of the imaging element 12 between the near point and the far point, the driving pattern DP2 having the slow driving speed at the near point and the far point has an advantage that the driving load at the time of switching can be reduced.
- the doctor When the doctor wants to observe the images near both ends of the depth of field in detail, he operates the operation unit of the endoscope 30 and selects the depth of field expansion mode using the drive pattern DP2.
- the selection operation receiving unit 48 supplies selection operation information to the drive pattern selection unit 42.
- the drive pattern selection unit 42 selects a drive pattern DP2 from a plurality of drive patterns stored in the drive pattern storage unit 52, and supplies the drive pattern DP2 to the drive unit 16.
- the drive unit 16 drives the image sensor 12 with the drive pattern DP2.
- the IPSF selection unit 50 selects an IPSF corresponding to the selected driving pattern DP2 from the plurality of IPSFs stored in the IPSF storage unit 54, and supplies the selected IPSF to the image generation unit 40.
- the image generation unit 40 restores an image with an enlarged depth of field from an image signal read out from the readout circuit 14 at a predetermined cycle, and displays the image on the display device 70. .
- FIG. 7 shows the depth of field when the image pickup device 12 is driven by the driving pattern DP2 to restore the image.
- the horizontal axis in FIG. 7 indicates the shooting distance, and the vertical axis indicates the resolving power.
- the resolving power characteristic ED2 indicates the relationship between resolving power and shooting distance in focal sweep shooting using the drive pattern DP2 shown in FIG. Compared with the resolution characteristic ED1 based on the driving pattern DP1, the resolution characteristic ED2 shows that the resolution is improved at the near and far points on the depth of field.
- the resolution near the both ends of the depth of field can be improved by using the drive pattern DP2 that lowers the drive speed on the near point side and the far point side of the depth of field.
- the cost of increasing the near-point and far-point resolution is reduced by the central resolution.
- the doctor selects the depth-of-field expansion mode using the drive pattern DP2 when wishing to simultaneously observe both the near part and the far part in the digestive tract in detail.
- FIG. 8 illustrates a drive pattern DP3 of the image sensor 12 according to the second embodiment.
- the horizontal axis indicates time
- the vertical axis indicates the position of the image sensor 12.
- the drive pattern DP3 increases the drive speed of the image sensor 12 at positions near and far from the depth of field, and at a position near the center of the depth of field. Is set late. Therefore, during the exposure period, the imaging element 12 moves slowly near the center position and acquires more image information near the center position than at the near point side and the far point side.
- the drive pattern DP3 may include a pattern of the same speed change on the near point side and the far point side.
- the drive pattern selection unit 42 selects the drive pattern DP3 from the plurality of drive patterns stored in the drive pattern storage unit 52, and supplies the drive pattern DP3 to the drive unit 16.
- the drive unit 16 drives the image sensor 12 with the drive pattern DP3.
- the IPSF selection unit 50 selects an IPSF corresponding to the selected driving pattern DP3 from the plurality of IPSFs stored in the IPSF storage unit 54, and supplies the selected IPSF to the image generation unit 40.
- the image generation unit 40 restores an image with an enlarged depth of field from an image signal read out from the readout circuit 14 at a predetermined cycle, and displays the image on the display device 70. .
- FIG. 9 shows the depth of field when the image sensor 12 is driven by the driving pattern DP3 to restore the image.
- the horizontal axis in FIG. 9 indicates the shooting distance, and the vertical axis indicates the resolving power.
- the resolving power characteristic ED3 indicates the relationship between the resolving power and the shooting distance in focal sweep shooting using the drive pattern DP3 shown in FIG. Compared with the resolution characteristic ED1 based on the driving pattern DP1, the resolution characteristic ED3 shows that the resolution is improved at a position on the center side of the depth of field.
- the resolution near the center of the depth of field can be improved by using the drive pattern DP3 that lowers the drive speed at the center of the depth of field.
- the resolution at both ends is reduced.
- the doctor selects the depth-of-field expansion mode using the drive pattern DP3 when he / she wants to observe a part near the center of the depth of field in the digestive tract in detail.
- FIG. 10 illustrates a drive pattern DP4 of the image sensor 12 according to the third embodiment.
- the horizontal axis in FIG. 10 indicates time, and the vertical axis indicates the position of the image sensor 12.
- the drive pattern DP4 sets the drive speed of the image sensor 12 faster at a position farther from the depth of field and slower at a position closer to the depth of field. are doing. Therefore, during the exposure period, the imaging element 12 moves slowly at the near point side as compared with the far point side, and acquires more image information at the near point side.
- the drive pattern DP4 may be represented by a curve instead of a polygonal line.
- the drive pattern selection unit 42 selects the drive pattern DP4 from the plurality of drive patterns stored in the drive pattern storage unit 52, and supplies the drive pattern DP4 to the drive unit 16.
- the drive unit 16 drives the image sensor 12 with the drive pattern DP4.
- the IPSF selection unit 50 selects an IPSF corresponding to the selected driving pattern DP4 from the plurality of IPSFs stored in the IPSF storage unit 54, and supplies the selected IPSF to the image generation unit 40.
- the image generation unit 40 restores an image with an enlarged depth of field from an image signal read out from the readout circuit 14 at a predetermined cycle, and displays the image on the display device 70. .
- FIG. 11 shows the depth of field when the image pickup device 12 is driven by the driving pattern DP4 to restore the image.
- the horizontal axis in FIG. 11 indicates the shooting distance, and the vertical axis indicates the resolving power.
- the resolving power characteristic ED4 indicates the relationship between the resolving power and the photographing distance in focal sweep photographing using the drive pattern DP4 shown in FIG. Compared with the resolution characteristic ED1 based on the drive pattern DP1, the resolution characteristic ED4 shows that the resolution is improved at a position near the depth of field at the near point.
- the resolution at the near point side of the depth of field can be improved by using the drive pattern DP4 that lowers the drive speed on the near point side of the depth of field.
- the far-point resolution is reduced.
- the doctor selects the depth-of-field expansion mode using the drive pattern DP4 when wishing to observe in detail the part near the depth of field in the digestive tract.
- FIG. 12 illustrates a drive pattern DP5 of the image sensor 12 according to the fourth embodiment. 12, the horizontal axis indicates time, and the vertical axis indicates the position of the image sensor 12.
- the drive pattern DP5 sets the drive speed of the image sensor 12 faster at a position closer to the depth of field and slower at a position farther from the depth of field. are doing. For this reason, during the exposure period, the imaging element 12 moves slowly at the far-point side position compared to the near-point side position, and acquires more image information at the far-point side.
- the drive pattern DP5 may be represented by a curve instead of a polygonal line.
- the drive pattern selection unit 42 selects the drive pattern DP5 from the plurality of drive patterns stored in the drive pattern storage unit 52, and supplies the drive pattern DP5 to the drive unit 16.
- the drive unit 16 drives the image sensor 12 with the drive pattern DP5.
- the IPSF selection unit 50 selects an IPSF corresponding to the selected driving pattern DP5 from the plurality of IPSFs stored in the IPSF storage unit 54, and supplies the selected IPSF to the image generation unit 40.
- the image generation unit 40 restores an image with an enlarged depth of field from an image signal read out from the readout circuit 14 at a predetermined cycle, and displays the image on the display device 70. .
- FIG. 13 shows the depth of field when the image sensor 12 is driven by the driving pattern DP5 to restore the image.
- the horizontal axis in FIG. 13 indicates the shooting distance, and the vertical axis indicates the resolving power.
- the resolution characteristic ED5 indicates the relationship between the resolution and the shooting distance in focal sweep shooting using the drive pattern DP5 shown in FIG. Compared with the resolution characteristic ED1 based on the driving pattern DP1, the resolution characteristic ED5 shows that the resolution is improved at a position farther from the depth of field.
- the resolution at the far point side of the depth of field can be improved.
- the resolving power on the near point side decreases.
- the doctor selects the depth-of-field expansion mode using the drive pattern DP5 when wishing to observe in detail the region on the far point side of the depth of field in the digestive tract.
- the IPSF selection unit 50 selects the IPSF corresponding to the drive pattern selected by the drive pattern selection unit 42, and the image generation unit 40 generates a restored image using the selected IPSF.
- the image generation unit 40 generates a restored image in which the depth of field is enlarged for each color filter by using the IPSF taking into account the characteristics of the color filters in the image sensor 12.
- the selection operation receiving unit 48 receives the selection operation of the observation mode and supplies the observation mode selection operation to the illumination light selection unit 46.
- the illumination light selection unit 46 selects the wavelength of light emitted from the illumination unit 44 according to the observation mode.
- the IPSF storage unit 54 stores the IPSF corresponding to the wavelength of the light emitted from the illumination unit 44 for each color filter of the image sensor 12.
- the IPSF is obtained for each color filter by calculation for each irradiation light emitted from the illumination unit 44 or by actually performing a sweep sweep photographing of a point light source, and is stored in the IPSF storage unit 54.
- IPSF when white light having red, green and blue wavelengths is emitted, and ISPF when special light having green and blue wavelengths are emitted, Each is acquired for each color filter and stored in the IPSF storage unit 54. If there is special light used in another observation mode, the IPSF corresponding to the wavelength of the special light is also stored in the IPSF storage unit 54.
- the IPSF selector 50 selects an IPSF corresponding to the wavelength of light emitted from the illumination unit 44 for each color filter from the plurality of IPSFs stored in the IPSF storage unit 54.
- the image generation unit 40 generates an image with an enlarged depth of field using the IPSF selected by the IPSF selection unit 50.
- the illumination unit 44 illuminates the subject by emitting light of two or more wavelengths.
- the IPSF selection unit 50 selects an IPSF corresponding to two or more wavelengths of the light emitted from the illumination unit 44.
- the fifth embodiment by preparing the IPSF corresponding to the wavelength of the illumination light from the illumination unit 44, it is possible to generate an image in which the depth of field is appropriately enlarged according to the observation mode of the endoscope inspection. It becomes possible.
- the drive unit 16 drives the image sensor 12 in order to realize focal sweep shooting.
- the focus lens 10 may be driven, or both the focus lens 10 and the image sensor 12 may be driven. It may be driven.
- the endoscope 30 is described as an example of the imaging device.
- the imaging device is not limited to the endoscope 30 and may be a microscope.
- the imaging device may be a digital camera or a digital video camera, or may be an electronic device having an imaging function, such as a smartphone, a tablet terminal, or a laptop computer. Note that the imaging optical system of the imaging device need not include the focus lens 10.
- the present invention can be used in the technical field of focal sweep photography.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
撮像システム1は、撮像光学系と、2次元画素アレイを有する撮像素子12と、フォーカスレンズ10および撮像素子12の少なくとも一方を駆動する駆動部16と、IPSF記憶部54に記憶された複数のIPSFの中から、画像生成に使用するIPSFを選択するIPSF選択部50と、選択したIPSFを用いて画像を生成する画像生成部40とを備える。
Description
本発明は、撮像システム、処理装置および内視鏡に関する。
被写界深度は、撮像システムにおけるレンズ系の特性のひとつであり、合焦部分の前後のピントが合っているかのように見える範囲をいう。被写界深度は、(i)絞り値(F値)、(ii)レンズの焦点距離、(iii)カメラから被写体までの距離(撮影距離)で定まる。レンズの絞り値に関して言えば、絞り値が小さくなるほど、被写界深度は浅くなり(ピントが合っているように見える範囲が小さくなり)、絞り値が大きくなるほど、被写界深度は深くなる(ピントが合っているように見える範囲が大きくなる)。被写界深度の深い画像は、パンフォーカス画像とも呼ばれる。
顕微鏡や内視鏡の画像では、観察のために深い被写界深度が好まれることが多い。また、たとえば人物と風景を撮像装置で撮影する際に、それらの両方にピントを合わせたいといったニーズもある。
撮像システムにおいて、被写界深度を拡大する技術がいくつか提案されている。非特許文献1は、露光期間中に撮像素子を光軸に沿ってシフトするフォーカルスイープ撮影に関する技術を開示する。フォーカルスイープ撮影により得られる画像は、シフト中の各位置での像を積算したものとなる。
Sujit Kuthirummal, Hajime Nagahara, Changyin Zhou, and Shree K. Nayar, ""Flexible Depth of Field Photography", IEEE Transactions on Pattern Recognition and Machine Intelligence, Vol.33, No.1, pp.58 - 71, 2011.01
非特許文献1に開示される技術によると、被写界深度の拡大量と解像力の関係は固定され、撮影距離に応じて解像力を調整することはできない。また従来は、照明を利用してフォーカルスイープ撮影した画像の復元について十分な検討がされていない。
本発明はかかる状況においてなされたものであり、そのある態様の例示的な目的のひとつは、好適なフォーカルスイープ画像を取得するための技術を提供することにある。
上記課題を解決するために、本発明のある態様の撮像システムは、撮像光学系と、2次元画素アレイを有する撮像素子と、フォーカスレンズおよび撮像素子の少なくとも一方を駆動する駆動部と、複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するIPSF選択部と、選択した積算点広がり関数を用いて画像を生成する画像生成部とを備える。
本発明の別の態様は、処理装置である。この装置は、複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するIPSF選択部と、選択した積算点広がり関数を用いて画像を生成する画像生成部とを備える。
本発明のさらに別の態様は、内視鏡である。この内視鏡は、撮像光学系と、2次元画素アレイを有する撮像素子と、撮像素子の露光期間中に、フォーカスレンズおよび撮像素子の少なくとも一方を駆動可能な駆動部とを備える。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。
本発明のある態様によれば、好適なフォーカルスイープ画像を取得するための技術を提供できる。
はじめに、実施形態の前提となる技術を説明する。
点広がり関数(Point Spread Function、以下「PSF」とも呼ぶ)を利用して、ぼけた画像にデコンボリューションによる逆フィルタをかけ、画像を復元する技術が知られている。PSFは光学系の点光源に対する応答を表す関数であり、撮像装置の光学系に応じて決定される。
点広がり関数(Point Spread Function、以下「PSF」とも呼ぶ)を利用して、ぼけた画像にデコンボリューションによる逆フィルタをかけ、画像を復元する技術が知られている。PSFは光学系の点光源に対する応答を表す関数であり、撮像装置の光学系に応じて決定される。
図1は、フォーカルスイープ撮影を説明するための図である。フォーカルスイープ撮像システムは、露光期間中に、撮像光学系に含まれるフォーカスレンズ10および撮像素子12の少なくとも一方を光軸(Z軸)に沿って動かすことで、多重焦点を重畳したフォーカルスイープ画像を撮影する。図1は、撮像素子12を光軸方向に動かして、点光源である物点Mをフォーカルスイープ撮影する様子を示す。レンズ系から物点Mまでの距離(撮影距離)はZobjであり、撮像素子12がZ軸上の位置z2にあるとき、物点Mがフォーカスレンズ10を通過して、撮像素子12の撮像面で結像している。
図2(a)は、撮像素子12が位置z1にあるときのPSFの例を示し、図2(b)は、撮像素子12が位置z2にあるときのPSFを示し、図2(c)は、撮像素子12が位置z3にあるときのPSFを示す。図2(a)~(c)では理解の容易のため、PSFを1次元で表現しているが、実際には2次元の関数となる。図1の例では、撮像素子12が位置z2にあるとき、物点Mにピントが合っているため、図2(b)のPSFは高いピーク強度をもつ。
フォーカルスイープ撮影された画像は、露光期間中に撮像素子12が移動した各位置におけるPSFを積算した積算点広がり関数(Integrated Point Spread Function、以下「IPSF」とも呼ぶ)を利用して復元される。復元画像は、被写界深度を拡大された画像となる。図2(d)は、複数のPSFを積算したIPSFの一例を示す。IPSFは計算によって、あるいは実際に点光源をフォーカルスイープ撮影することによって取得される。
撮影条件が同一であれば、IPSFは、物点位置に依存しないことが知られている。撮影条件は、フォーカスレンズ10および撮像素子12の少なくとも一方の駆動速度を含む。撮像システムは、IPSF取得時の撮影条件と同じ撮影条件で被写体を撮影することで、当該IPSFを用いて被写界深度を拡大した画像を得ることができる。
図3は、撮像素子12の駆動パターンDP1を示す。図3の横軸は時間を示し、縦軸は撮像素子12の位置を示す。駆動パターンDP1によると、撮像素子12は、被写界深度の近点(近端)位置と遠点(遠端)位置との間で光軸に沿って等速で動かされる。ここで近点位置は、拡大した被写界深度の近端の被写体が合焦する撮像素子12の位置を、遠点位置は、拡大した被写界深度の遠端の被写体が合焦する撮像素子12の位置である。なお上記したように、フォーカスレンズ10を光軸方向に動かすことでも、フォーカルスイープ画像は撮影される。
時間軸上に、撮像素子12を露光して画像信号を生成する「露光」期間と、撮像素子12から画像信号を読み出す「読出」期間とを示す。撮像素子12が連続的に等速で動かされることで、撮像素子12の移動区間の各位置における画像情報量は一様に積算される。
図4は、駆動パターンDP1で撮像素子12を駆動して画像復元したときの被写界深度を示す。図4の横軸は、撮像装置から物点までの距離(撮影距離)を示し、縦軸は、解像力を示す。閾値THは、ピントが合っていると人が判断する解像力であり、閾値THを超えている撮影距離の範囲が被写界深度(合焦範囲)である。
解像力特性Fは、通常のピントを合わせた撮影における解像力と撮影距離との関係を示す。解像力特性ED1は、図3に示す駆動パターンDP1を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。解像力特性Fと解像力特性ED1を比較すると、フォーカルスイープ撮影により、一様の解像力で被写界深度が拡大することが示される。
被写界深度の拡大は、特に観察目的の画像に好適である。たとえば内視鏡にフォーカルスイープ撮影機能をもたせることで、被写界深度が拡大した画像を医師に提供し、体内画像の観察を支援できる。
内視鏡検査における観察対象は、患者の消化管内部である。そのため内視鏡検査では、検査の種類や目的に応じて、特定の撮影距離にある部位をより詳細に観察したいというニーズが存在する。そこで、特定の撮影距離の解像力を他の撮影距離の解像力よりも高めた体内画像の提供が望まれている。
以下、本発明を好適な実施形態をもとに図面を参照しながら説明する。実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。また本明細書において参照するグラフの縦軸および横軸は、理解を容易とするために適宜拡大、縮小したものであり、また示されるグラフ、波形も、理解の容易のために簡略化され、あるいは誇張もしくは強調されている。
図5は、実施形態の撮像システム1の構成を示す。撮像システム1は、撮像装置である内視鏡30、処理装置60および表示装置70を備える。内視鏡検査の開始前、内視鏡30の連結部32が、処理装置60に連結される。検査中、内視鏡30は患者の体内に挿入され、処理装置60は、内視鏡30により所定の周期でフォーカルスイープ撮影された体内画像をIPSFを用いて復元し、表示装置70に表示させる。医師は、表示装置70に表示された体内画像を観察し、病変の有無を調べる。
内視鏡30は、フォーカスレンズ10を含む撮像光学系、撮像素子12、読出回路14、駆動部16および照明レンズ18を備える。フォーカスレンズ10および照明レンズ18は、内視鏡30の先端に設けられる。照明レンズ18は、処理装置60に設けられた照明部44から光ファイバで導光される照明光を患者体内に出射する。
撮像素子12は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどであり、マトリクス状に複数の画素を配置した2次元画素アレイを有する。フォーカスレンズ10は、他の撮影レンズ(図示せず)とともに、被写体の像を撮像素子12の撮像面に結像する撮像光学系を構成する。読出回路14は、所定の周期で撮像素子12から画像信号を読み出す。
駆動部16は、撮像素子12の露光期間中に、フォーカスレンズ10および撮像素子12の少なくとも一方を駆動可能なアクチュエータを有する。露光期間中に、フォーカスレンズ10および撮像素子12の少なくとも一方を駆動することで、内視鏡30におけるフォーカルスイープ撮影が実現される。実施形態では、駆動部16が撮像素子12を駆動するが、フォーカスレンズ10を駆動してもよく、またフォーカスレンズ10および撮像素子12の双方を駆動してもよい。なお実施形態では、内視鏡30の撮像光学系がフォーカスレンズ10を含むが、撮像光学系がフォーカスレンズ10を含まない場合、駆動部16は撮像素子12を駆動して、フォーカルスイープ撮影を実現する。
処理装置60は、画像生成部40、駆動パターン選択部42、照明部44、照明光選択部46、選択操作受付部48、IPSF選択部50、駆動パターン記憶部52およびIPSF記憶部54を備える。照明部44は、少なくとも1つの波長の光を出射して被写体を照明する光源を有する。通常の内視鏡検査では、照明光として白色光が用いられるが、特殊な内視鏡検査では、特定の波長の光が照明光として用いられる。照明光選択部46は、内視鏡検査の観察モードに応じて、照明部44から出射する光の波長を選択し、照明部44は、選択された波長の照明光を体内に出射する。
選択操作受付部48は、医師による選択操作を受け付ける。検査中、医師は、必要に応じて内視鏡30に設けられたスイッチやボタンなどの操作部を操作して、観察モードを選択する。なお操作部は処理装置60に設けられて、看護師が医師からの指示にしたがって観察モードを選択してもよい。選択操作受付部48は、観察モードの選択操作を受け付けると、照明光選択部46に供給し、照明光選択部46は、観察モードに応じて照明部44から出射する光の波長を選択する。
また検査中、医師は、内視鏡30に設けられた操作部を操作して、被写界深度拡大モードを選択する。選択操作受付部48は、被写界深度拡大モードの選択操作を受け付けると、駆動パターン選択部42に供給する。
駆動パターン記憶部52は、撮像素子12の複数の駆動パターンを記憶する。駆動パターンは、近点位置と遠点位置との間の移動範囲内で撮像素子12を光軸に沿って駆動する速度を、移動範囲における位置に応じて定義した周期波形である。駆動パターンの周期は、露光期間および読出期間を含むフィールド周期の整数倍であってよい。実施形態では、撮像素子12の読出期間中に、撮像素子12が近点位置および遠点位置に移動する駆動パターンを採用するが、これに限るものではない。複数の駆動パターンのそれぞれは、撮像素子12の露光期間中に、少なくとも1回は駆動速度を変化させる。
IPSF記憶部54は、駆動パターン記憶部52に記憶された駆動パターンに対応するIPSFを記憶する。IPSFは駆動パターンごとに、計算によって、あるいは実際に点光源をフォーカルスイープ撮影することによって取得され、IPSF記憶部54に記憶される。IPSF選択部50は、IPSF記憶部54に記憶された複数のIPSFの中から、画像生成に使用するIPSFを選択する。画像生成部40は、IPSF選択部50が選択したIPSFを用いて、被写界深度を拡大した画像を生成する。
実施形態の撮像システム1では、駆動パターンにより露光期間中の撮像素子12の駆動速度を変化させ、撮像素子12の移動区間の各位置で取得する画像情報量に偏りを生じさせることで、特定の撮影距離にある被写体の解像力を高める。具体的には、解像力を高めたい撮影距離に対応する位置における駆動速度を遅くすることで、撮像素子12が取得する画像情報量を多くし、当該撮影距離にある被写体の解像力を高める。
<実施例1>
図6は、実施例1における撮像素子12の駆動パターンDP2を示す。図6の横軸は時間を示し、縦軸は撮像素子12の位置を示す。三角波形である駆動パターンDP1と比較すると、駆動パターンDP2は、撮像素子12の駆動速度を、被写界深度の近点側および遠点側の位置で遅く、被写界深度の中央付近の位置で速く設定している。このため撮像素子12は露光期間中、中央位置と比べて、近点側および遠点側の位置でゆっくり移動し、近点側および遠点側でより多くの画像情報を取得する。駆動パターンDP2は、近点側と遠点側で同じ速度変化のパターンを含んでよい。駆動パターンDP2は、典型的には正弦波形で表現されてよいが、別の波形で表現されてもよい。駆動部16は、近点および遠点で撮像素子12の駆動方向を切り替えるため、近点および遠点での駆動速度が遅い駆動パターンDP2によると、切り替え時の駆動負荷を低減できる利点がある。
図6は、実施例1における撮像素子12の駆動パターンDP2を示す。図6の横軸は時間を示し、縦軸は撮像素子12の位置を示す。三角波形である駆動パターンDP1と比較すると、駆動パターンDP2は、撮像素子12の駆動速度を、被写界深度の近点側および遠点側の位置で遅く、被写界深度の中央付近の位置で速く設定している。このため撮像素子12は露光期間中、中央位置と比べて、近点側および遠点側の位置でゆっくり移動し、近点側および遠点側でより多くの画像情報を取得する。駆動パターンDP2は、近点側と遠点側で同じ速度変化のパターンを含んでよい。駆動パターンDP2は、典型的には正弦波形で表現されてよいが、別の波形で表現されてもよい。駆動部16は、近点および遠点で撮像素子12の駆動方向を切り替えるため、近点および遠点での駆動速度が遅い駆動パターンDP2によると、切り替え時の駆動負荷を低減できる利点がある。
医師は、被写界深度の両端近傍の画像を詳細に観察したいとき、内視鏡30の操作部を操作して、駆動パターンDP2を用いる被写界深度拡大モードを選択する。選択操作受付部48は、被写界深度拡大モードの選択操作を受け付けると、駆動パターン選択部42に選択操作情報を供給する。駆動パターン選択部42は、駆動パターン記憶部52に記憶された複数の駆動パターンの中から駆動パターンDP2を選択し、駆動部16に供給する。これにより駆動部16は、駆動パターンDP2で撮像素子12を駆動する。IPSF選択部50は、IPSF記憶部54に記憶された複数のIPSFの中から、選択された駆動パターンDP2に対応するIPSFを選択し、画像生成部40に供給する。画像生成部40はIPSF選択部50が選択したIPSFを用いて、読出回路14から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置70に表示させる。
図7は、駆動パターンDP2で撮像素子12を駆動して画像復元したときの被写界深度を示す。図7の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ED2は、図6に示す駆動パターンDP2を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンDP1による解像力特性ED1と比較すると、解像力特性ED2では、被写界深度の近点側および遠点側の位置で、解像力が向上している様子が示される。
実施例1では、被写界深度の近点側および遠点側の駆動速度を遅くする駆動パターンDP2を用いることで、被写界深度の両端付近の解像力を向上できる。なお近点側および遠点側の解像力を上げた代償として、中央側の解像力は下がっている。医師は、消化管内の近い部位と遠い部位の両方を同時に詳細に観察したい場合に、駆動パターンDP2を用いる被写界深度拡大モードを選択する。
<実施例2>
図8は、実施例2における撮像素子12の駆動パターンDP3を示す。図8の横軸は時間を示し、縦軸は撮像素子12の位置を示す。三角波形である駆動パターンDP1と比較すると、駆動パターンDP3は、撮像素子12の駆動速度を、被写界深度の近点側および遠点側の位置で速く、被写界深度の中央付近の位置で遅く設定している。このため撮像素子12は露光期間中、近点側および遠点側の位置と比べて、中央位置付近でゆっくり移動し、中央位置付近でより多くの画像情報を取得する。駆動パターンDP3は、近点側と遠点側で同じ速度変化のパターンを含んでよい。
図8は、実施例2における撮像素子12の駆動パターンDP3を示す。図8の横軸は時間を示し、縦軸は撮像素子12の位置を示す。三角波形である駆動パターンDP1と比較すると、駆動パターンDP3は、撮像素子12の駆動速度を、被写界深度の近点側および遠点側の位置で速く、被写界深度の中央付近の位置で遅く設定している。このため撮像素子12は露光期間中、近点側および遠点側の位置と比べて、中央位置付近でゆっくり移動し、中央位置付近でより多くの画像情報を取得する。駆動パターンDP3は、近点側と遠点側で同じ速度変化のパターンを含んでよい。
医師は、被写界深度の中央近傍の画像を詳細に観察したいとき、内視鏡30の操作部を操作して、駆動パターンDP3を用いる被写界深度拡大モードを選択する。駆動パターン選択部42は、駆動パターン記憶部52に記憶された複数の駆動パターンの中から駆動パターンDP3を選択し、駆動部16に供給する。これにより駆動部16は、駆動パターンDP3で撮像素子12を駆動する。IPSF選択部50は、IPSF記憶部54に記憶された複数のIPSFの中から、選択された駆動パターンDP3に対応するIPSFを選択し、画像生成部40に供給する。画像生成部40はIPSF選択部50が選択したIPSFを用いて、読出回路14から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置70に表示させる。
図9は、駆動パターンDP3で撮像素子12を駆動して画像復元したときの被写界深度を示す。図9の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ED3は、図8に示す駆動パターンDP3を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンDP1による解像力特性ED1と比較すると、解像力特性ED3では、被写界深度の中央側の位置で、解像力が向上している様子が示される。
実施例2では、被写界深度の中央の駆動速度を遅くする駆動パターンDP3を用いることで、被写界深度の中央付近の解像力を向上できる。なお中央付近の解像力を上げた代償として、両端側の解像力は下がっている。医師は、消化管内の被写界深度中央付近の部位を詳細に観察したい場合に、駆動パターンDP3を用いる被写界深度拡大モードを選択する。
<実施例3>
図10は、実施例3における撮像素子12の駆動パターンDP4を示す。図10の横軸は時間を示し、縦軸は撮像素子12の位置を示す。三角波形である駆動パターンDP1と比較すると、駆動パターンDP4は、撮像素子12の駆動速度を、被写界深度の遠点側の位置で速く、被写界深度の近点側の位置で遅く設定している。このため撮像素子12は露光期間中、遠点側の位置と比べて、近点側の位置でゆっくり移動し、近点側でより多くの画像情報を取得する。駆動パターンDP4は、折れ線ではなく、曲線で表現されてもよい。
図10は、実施例3における撮像素子12の駆動パターンDP4を示す。図10の横軸は時間を示し、縦軸は撮像素子12の位置を示す。三角波形である駆動パターンDP1と比較すると、駆動パターンDP4は、撮像素子12の駆動速度を、被写界深度の遠点側の位置で速く、被写界深度の近点側の位置で遅く設定している。このため撮像素子12は露光期間中、遠点側の位置と比べて、近点側の位置でゆっくり移動し、近点側でより多くの画像情報を取得する。駆動パターンDP4は、折れ線ではなく、曲線で表現されてもよい。
医師は、被写界深度の近点側の画像を詳細に観察したいとき、内視鏡30の操作部を操作して、駆動パターンDP4を用いる被写界深度拡大モードを選択する。駆動パターン選択部42は、駆動パターン記憶部52に記憶された複数の駆動パターンの中から駆動パターンDP4を選択し、駆動部16に供給する。これにより駆動部16は、駆動パターンDP4で撮像素子12を駆動する。IPSF選択部50は、IPSF記憶部54に記憶された複数のIPSFの中から、選択された駆動パターンDP4に対応するIPSFを選択し、画像生成部40に供給する。画像生成部40はIPSF選択部50が選択したIPSFを用いて、読出回路14から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置70に表示させる。
図11は、駆動パターンDP4で撮像素子12を駆動して画像復元したときの被写界深度を示す。図11の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ED4は、図10に示す駆動パターンDP4を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンDP1による解像力特性ED1と比較すると、解像力特性ED4では、被写界深度の近点側の位置で、解像力が向上している様子が示される。
実施例3では、被写界深度の近点側の駆動速度を遅くする駆動パターンDP4を用いることで、被写界深度の近点側の解像力を向上できる。なお近点側の解像力を上げた代償として、遠点側の解像力は下がっている。医師は、消化管内の被写界深度の近点側の部位を詳細に観察したい場合に、駆動パターンDP4を用いる被写界深度拡大モードを選択する。
<実施例4>
図12は、実施例4における撮像素子12の駆動パターンDP5を示す。図12の横軸は時間を示し、縦軸は撮像素子12の位置を示す。三角波形である駆動パターンDP1と比較すると、駆動パターンDP5は、撮像素子12の駆動速度を、被写界深度の近点側の位置で速く、被写界深度の遠点側の位置で遅く設定している。このため撮像素子12は露光期間中、近点側の位置と比べて、遠点側の位置でゆっくり移動し、遠点側でより多くの画像情報を取得する。駆動パターンDP5は、折れ線ではなく、曲線で表現されてもよい。
図12は、実施例4における撮像素子12の駆動パターンDP5を示す。図12の横軸は時間を示し、縦軸は撮像素子12の位置を示す。三角波形である駆動パターンDP1と比較すると、駆動パターンDP5は、撮像素子12の駆動速度を、被写界深度の近点側の位置で速く、被写界深度の遠点側の位置で遅く設定している。このため撮像素子12は露光期間中、近点側の位置と比べて、遠点側の位置でゆっくり移動し、遠点側でより多くの画像情報を取得する。駆動パターンDP5は、折れ線ではなく、曲線で表現されてもよい。
医師は、被写界深度の遠点側の画像を詳細に観察したいとき、内視鏡30の操作部を操作して、駆動パターンDP5を用いる被写界深度拡大モードを選択する。駆動パターン選択部42は、駆動パターン記憶部52に記憶された複数の駆動パターンの中から駆動パターンDP5を選択し、駆動部16に供給する。これにより駆動部16は、駆動パターンDP5で撮像素子12を駆動する。IPSF選択部50は、IPSF記憶部54に記憶された複数のIPSFの中から、選択された駆動パターンDP5に対応するIPSFを選択し、画像生成部40に供給する。画像生成部40はIPSF選択部50が選択したIPSFを用いて、読出回路14から所定の周期で読み出される画像信号から、被写界深度を拡大した画像を復元して、表示装置70に表示させる。
図13は、駆動パターンDP5で撮像素子12を駆動して画像復元したときの被写界深度を示す。図13の横軸は撮影距離を示し、縦軸は解像力を示す。解像力特性ED5は、図12に示す駆動パターンDP5を用いたフォーカルスイープ撮影における解像力と撮影距離との関係を示す。駆動パターンDP1による解像力特性ED1と比較すると、解像力特性ED5では、被写界深度の遠点側の位置で、解像力が向上している様子が示される。
実施例4では、被写界深度の遠点側の駆動速度を遅くする駆動パターンDP5を用いることで、被写界深度の遠点側の解像力を向上できる。なお遠点側の解像力を上げた代償として、近点側の解像力は下がっている。医師は、消化管内の被写界深度の遠点側の部位を詳細に観察したい場合に、駆動パターンDP5を用いる被写界深度拡大モードを選択する。
<実施例5>
実施例1~4では、IPSF選択部50が、駆動パターン選択部42により選択された駆動パターンに対応するIPSFを選択し、画像生成部40が、選択されたIPSFを用いて復元画像を生成した。実施例5では、画像生成部40が、撮像素子12におけるカラーフィルタの特性を加味したIPSFを用いて、カラーフィルタごとに被写界深度を拡大した復元画像を生成する。
実施例1~4では、IPSF選択部50が、駆動パターン選択部42により選択された駆動パターンに対応するIPSFを選択し、画像生成部40が、選択されたIPSFを用いて復元画像を生成した。実施例5では、画像生成部40が、撮像素子12におけるカラーフィルタの特性を加味したIPSFを用いて、カラーフィルタごとに被写界深度を拡大した復元画像を生成する。
上記したように、通常の内視鏡検査では、白色光が照明光として用いられるが、特殊な内視鏡検査では、特定の波長の光が照明光として用いられる。たとえばNGI(Narrow Band Imaging:狭帯域光観察)では、粘膜内の血管などをより鮮明に観察しやすくするために、血液中のヘモグロビンが吸収しやすい特殊な照明光(緑色の波長と青色の波長)が用いられる。検査中、医師が、内視鏡30に設けられた操作部を操作して観察モードを選択すると、選択操作受付部48は、観察モードの選択操作を受け付け、照明光選択部46に供給する。照明光選択部46は、観察モードに応じて照明部44から出射する光の波長を選択する。
IPSF記憶部54は、照明部44から出射される光の波長に対応するIPSFを、撮像素子12のカラーフィルタごとに記憶する。IPSFは、照明部44から出射される照射光ごとに、計算によって、あるいは実際に点光源をフォーカルスイープ撮影することによって、カラーフィルタごとに取得され、IPSF記憶部54に記憶される。白色光、特殊光の例でいえば、赤色、緑色、青色の波長をもつ白色光が出射されるときのIPSFと、緑色、青色の波長をもつ特殊光が出射されるときのISPFとが、それぞれカラーフィルタごとに取得され、IPSF記憶部54に記憶される。さらに別の観察モードにおいて使用される特殊光があれば、その特殊光の波長に対応するIPSFも、IPSF記憶部54に記憶される。
IPSF選択部50は、IPSF記憶部54に記憶された複数のIPSFの中から、照明部44から出射される光の波長に対応するIPSFを、カラーフィルタごとに選択する。画像生成部40は、IPSF選択部50が選択したIPSFを用いて、被写界深度を拡大した画像を生成する。
内視鏡検査において、照明部44は、2つ以上の波長の光を出射して被写体を照明する。IPSF選択部50は、照明部44から出射された光の2つ以上の波長に対応するIPSFを選択する。実施例5では、照明部44からの照明光の波長に対応したIPSFを用意することで、内視鏡検査の観察モードに応じて、被写界深度を好適に拡大した画像を生成することが可能となる。
以上、本発明を実施形態および複数の実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施形態では、フォーカルスイープ撮影を実現するために、駆動部16が撮像素子12を駆動することを説明したが、フォーカスレンズ10を駆動してもよく、またフォーカスレンズ10および撮像素子12の双方を駆動してもよい。
また実施形態では、内視鏡30を撮像装置の例として示したが、撮像装置は、内視鏡30に限定されず、顕微鏡であってもよい。また撮像装置は、デジタルカメラやデジタルビデオカメラであってもよく、スマートフォンやタブレット端末、ラップトップコンピュータなど、撮像機能を備える電子機器であってもよい。なお撮像装置の撮像光学系は、フォーカスレンズ10を有しなくてもよい。
1・・・撮像システム、10・・・フォーカスレンズ、12・・・撮像素子、16・・・駆動部、30・・・内視鏡、40・・・画像生成部、42・・・駆動パターン選択部、44・・・照明部、46・・・照明光選択部、50・・・IPSF選択部、60・・・処理装置。
本発明は、フォーカルスイープ撮影の技術分野に利用できる。
Claims (13)
- 撮像光学系と、
2次元画素アレイを有する撮像素子と、
前記撮像光学系に含まれるフォーカスレンズおよび前記撮像素子の少なくとも一方を駆動する駆動部と、
複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するIPSF選択部と、
選択した積算点広がり関数を用いて画像を生成する画像生成部と、
を備えることを特徴とする撮像システム。 - 前記撮像素子の露光期間中の前記駆動部による駆動パターンを、複数の駆動パターンの中から選択する駆動パターン選択部をさらに備え、
前記IPSF選択部は、選択された駆動パターンに対応する積算点広がり関数を選択する、
ことを特徴とする請求項1に記載の撮像システム。 - 選択された駆動パターンは、前記撮像素子の露光期間中に、駆動速度を変化させる、
ことを特徴とする請求項2に記載の撮像システム。 - 少なくとも1つの波長の光を出射して被写体を照明する照明部をさらに備え、
前記IPSF選択部は、前記照明部から出射される光の波長に対応する積算点広がり関数を選択する、
ことを特徴とする請求項1に記載の撮像システム。 - 前記照明部から出射する光の波長を選択する照明光選択部をさらに備え、
前記IPSF選択部は、選択された光の波長に対応する積算点広がり関数を選択する、
ことを特徴とする請求項4に記載の撮像システム。 - 前記照明部は、2つ以上の波長の光を出射して被写体を照明し、
前記IPSF選択部は、前記照明部から出射される光の2つ以上の波長に対応する積算点広がり関数を選択する、
ことを特徴とする請求項4または5に記載の撮像システム。 - 複数の積算点広がり関数の中から、画像生成に使用する積算点広がり関数を選択するIPSF選択部と、
選択した積算点広がり関数を用いて画像を生成する画像生成部と、
を備えることを特徴とする処理装置。 - 前記IPSF選択部は、露光期間中のフォーカスレンズおよび撮像素子の少なくとも一方を駆動する駆動パターンに対応する積算点広がり関数を選択する、
ことを特徴とする請求項7に記載の処理装置。 - 駆動パターンは、露光期間中に、駆動速度を変化させる、
ことを特徴とする請求項8に記載の処理装置。 - 前記IPSF選択部は、被写体を照明する照明部から出射される光の波長に対応する積算点広がり関数を選択する、
ことを特徴とする請求項7に記載の処理装置。 - 前記画像生成部は、内視鏡で撮影された内視鏡画像を、積算点広がり関数により復元した画像を生成する、
ことを特徴とする請求項7から10のいずれかに記載の処理装置。 - 撮像光学系と、
2次元画素アレイを有する撮像素子と、
前記撮像素子の露光期間中に、前記撮像光学系に含まれるフォーカスレンズおよび前記撮像素子の少なくとも一方を駆動可能な駆動部と、
を備えることを特徴とする内視鏡。 - 前記駆動部は、前記撮像素子の露光期間中に駆動速度を変化させる駆動パターンで、前記フォーカスレンズおよび前記撮像素子の少なくとも一方を駆動可能である、
ことを特徴とする請求項12に記載の内視鏡。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/026692 WO2020016922A1 (ja) | 2018-07-17 | 2018-07-17 | 撮像システム、処理装置および内視鏡 |
JP2020530755A JP7036923B2 (ja) | 2018-07-17 | 2018-07-17 | 撮像システム、処理装置および内視鏡 |
US17/150,568 US11258941B2 (en) | 2018-07-17 | 2021-01-15 | Imaging system adapted to perform focal sweep imaging, processing apparatus, and endoscope |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/026692 WO2020016922A1 (ja) | 2018-07-17 | 2018-07-17 | 撮像システム、処理装置および内視鏡 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/150,568 Continuation US11258941B2 (en) | 2018-07-17 | 2021-01-15 | Imaging system adapted to perform focal sweep imaging, processing apparatus, and endoscope |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020016922A1 true WO2020016922A1 (ja) | 2020-01-23 |
Family
ID=69165042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/026692 WO2020016922A1 (ja) | 2018-07-17 | 2018-07-17 | 撮像システム、処理装置および内視鏡 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11258941B2 (ja) |
JP (1) | JP7036923B2 (ja) |
WO (1) | WO2020016922A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012105222A1 (ja) * | 2011-01-31 | 2012-08-09 | パナソニック株式会社 | 画像復元装置、撮像装置及び画像復元方法 |
WO2013171954A1 (ja) * | 2012-05-17 | 2013-11-21 | パナソニック株式会社 | 撮像装置、半導体集積回路および撮像方法 |
JP2014511590A (ja) * | 2011-02-04 | 2014-05-15 | コーニンクレッカ フィリップス エヌ ヴェ | 画像を記録する方法、画像から3d情報を得る方法、カメラシステム |
JP2018510320A (ja) * | 2014-12-09 | 2018-04-12 | ビーエーエスエフ ソシエタス・ヨーロピアBasf Se | 光学検出器 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013026844A (ja) | 2011-07-21 | 2013-02-04 | Nikon Corp | 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ |
-
2018
- 2018-07-17 JP JP2020530755A patent/JP7036923B2/ja active Active
- 2018-07-17 WO PCT/JP2018/026692 patent/WO2020016922A1/ja active Application Filing
-
2021
- 2021-01-15 US US17/150,568 patent/US11258941B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012105222A1 (ja) * | 2011-01-31 | 2012-08-09 | パナソニック株式会社 | 画像復元装置、撮像装置及び画像復元方法 |
JP2014511590A (ja) * | 2011-02-04 | 2014-05-15 | コーニンクレッカ フィリップス エヌ ヴェ | 画像を記録する方法、画像から3d情報を得る方法、カメラシステム |
WO2013171954A1 (ja) * | 2012-05-17 | 2013-11-21 | パナソニック株式会社 | 撮像装置、半導体集積回路および撮像方法 |
JP2018510320A (ja) * | 2014-12-09 | 2018-04-12 | ビーエーエスエフ ソシエタス・ヨーロピアBasf Se | 光学検出器 |
Also Published As
Publication number | Publication date |
---|---|
US11258941B2 (en) | 2022-02-22 |
JPWO2020016922A1 (ja) | 2021-08-26 |
JP7036923B2 (ja) | 2022-03-15 |
US20210297599A1 (en) | 2021-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3771344B2 (ja) | 蛍光電子内視鏡 | |
JP5856733B2 (ja) | 撮像装置 | |
JP5346856B2 (ja) | 内視鏡システム、内視鏡システムの作動方法及び撮像装置 | |
JP4317297B2 (ja) | 電子内視鏡装置 | |
JP5864880B2 (ja) | 内視鏡装置及び内視鏡装置の作動方法 | |
JP5415973B2 (ja) | 撮像装置、内視鏡システム及び撮像装置の作動方法 | |
JP4464858B2 (ja) | 電子内視鏡 | |
JP5698476B2 (ja) | 内視鏡システム、内視鏡システムの作動方法及び撮像装置 | |
JP2007043637A (ja) | 撮像装置、撮像プログラムおよび画像処理プログラム | |
JP2012125293A (ja) | 制御装置、内視鏡装置及びフォーカス制御方法 | |
JPWO2012033200A1 (ja) | 撮像装置 | |
JPWO2017038774A1 (ja) | 撮像システム | |
US11607111B2 (en) | Medical signal processing apparatus and medical observation system | |
US20230308628A1 (en) | Medical imaging system, medical imaging device, and operation method | |
US11272092B2 (en) | Imaging device, endoscope apparatus, and operating method of imaging device | |
JP6430880B2 (ja) | 内視鏡システム、及び、内視鏡システムの作動方法 | |
JP2014228851A (ja) | 内視鏡装置、画像取得方法および画像取得プログラム | |
WO2020016922A1 (ja) | 撮像システム、処理装置および内視鏡 | |
JP2000197604A (ja) | 内視鏡装置 | |
JP2018202006A (ja) | 撮像システム、撮像方法およびプログラム | |
JP6841932B2 (ja) | 内視鏡装置及び内視鏡装置の作動方法 | |
JP2017217056A (ja) | 内視鏡システム | |
JP6277227B2 (ja) | 内視鏡システム | |
WO2022172574A1 (ja) | 内視鏡システム、及び内視鏡システムの作動方法 | |
WO2022185821A1 (ja) | 内視鏡システム及びその作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18926883 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020530755 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18926883 Country of ref document: EP Kind code of ref document: A1 |