WO2023095518A1 - 光検出装置及び電子機器 - Google Patents
光検出装置及び電子機器 Download PDFInfo
- Publication number
- WO2023095518A1 WO2023095518A1 PCT/JP2022/039816 JP2022039816W WO2023095518A1 WO 2023095518 A1 WO2023095518 A1 WO 2023095518A1 JP 2022039816 W JP2022039816 W JP 2022039816W WO 2023095518 A1 WO2023095518 A1 WO 2023095518A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- pixels
- imaging
- phase difference
- difference detection
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
Definitions
- the present disclosure relates to photodetection devices and electronic devices.
- the amount of light mixed in from the adjacent pixels differs between the imaging pixels adjacent to the phase difference detection pixels and the imaging pixels that are not due to the presence or absence of the light shielding film of the adjacent pixels.
- the amount of light mixed in from adjacent pixels varies between imaging pixels.
- One aspect of the present disclosure provides a photodetector and an electronic device capable of suppressing variations in the amount of light mixed in from adjacent pixels between imaging pixels.
- a photodetector includes a plurality of pixels arranged two-dimensionally, and the plurality of pixels includes an imaging pixel including a photoelectric conversion unit, a photoelectric conversion unit, and a part of the photoelectric conversion unit. and a phase difference detection pixel including an opening that is a portion where the photoelectric conversion unit is not covered with the light shielding film, and the imaging pixel is adjacent to another imaging pixel in a specific direction
- a first imaging pixel that is not adjacent to the phase difference detection pixel, and a second imaging pixel that is adjacent to the phase difference detection pixel such that the opening of the phase difference detection pixel is adjacent in a specific direction include.
- An electronic device is an electronic device equipped with a photodetector, wherein the photodetector includes a plurality of pixels arranged two-dimensionally, and the plurality of pixels are photoelectric conversion units. and a phase difference detection pixel including a photoelectric conversion unit and a light shielding film that partially covers the photoelectric conversion unit, wherein the imaging pixel is located adjacent to another imaging pixel in a specific direction a plurality of first imaging pixels that are not adjacent to the phase difference detection pixels; and an aperture that is adjacent to the phase difference detection pixels in a specific direction and that is a portion of the phase difference detection pixels in which the photoelectric conversion portion is not covered with a light shielding film. and a second imaging pixel adjacent to the portion.
- FIG. 1 is a diagram showing an example of a schematic configuration of a photodetector according to an embodiment
- FIG. 4 is a diagram showing an example of a schematic configuration of a pixel region
- FIG. 3 is a diagram schematically showing a cross section taken along line III-III in FIG. 2
- FIG. 3 is a diagram schematically showing a cross section taken along line IV-IV of FIG. 2
- FIG. 6 is a diagram schematically showing a cross section taken along line VI-VI of FIG. 5; It is a figure which shows the modification of a pixel arrangement
- FIG. 14 is a diagram schematically showing a cross section taken along line XIV-XIV in FIG. 13; It is a figure which shows the modification of a pixel arrangement
- FIG. 16 is a diagram schematically showing a cross section along line XVI-XVI of FIG. 15; It is a figure which shows the modification of a pixel arrangement
- FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system
- FIG. FIG. 4 is an explanatory diagram showing an example of installation positions of an outside information detection unit and an imaging unit
- 1 is a diagram showing an example of a schematic configuration of an endoscopic surgery system
- FIG. 3 is a block diagram showing an example of functional configurations of a camera head and a CCU;
- FIG. 1 is a diagram showing an example of a schematic configuration of a photodetector according to an embodiment.
- the illustrated photodetector 1 is a solid-state imaging device, and each element is provided on a substrate 11 (for example, a silicon substrate or the like).
- the photodetector 1 includes a pixel region 3 , a vertical drive circuit 4 , a column signal processing circuit 5 , a horizontal drive circuit 6 , an output circuit 7 , a control circuit 8 , vertical signal lines 9 , horizontal signal lines 10 , and an input/output terminal 12 .
- the pixel region 3 includes a plurality of pixels 2.
- a plurality of pixels 2 are arranged in a two-dimensional array.
- An XYZ coordinate system for the pixel area 3 is illustrated.
- the X-axis direction corresponds to the row direction of the array, for example, the lateral direction (horizontal direction) of the photodetector 1 .
- the Y-axis direction corresponds to the column direction of the array, for example, the longitudinal direction (perpendicular direction) of the photodetector 1 .
- the Z-axis direction corresponds to, for example, the front-rear direction of the photodetector 1 .
- the photodetector 1 particularly detects light from the front (light traveling along the negative direction of the Z axis).
- the pixel 2 includes a photoelectric conversion unit (corresponding to a photoelectric conversion unit 201 described later), a pixel transistor, and the like.
- the photoelectric conversion unit includes a photoelectric conversion element such as a photodiode (PD).
- the pixel transistor is, for example, a MOS (Metal Oxide Semiconductor) transistor.
- a plurality of pixel transistors may be provided in one pixel 2 . Examples of the plurality of pixel transistors are transfer transistors, reset transistors, amplification transistors, selection transistors, and the like.
- transfer transistors are used to transfer charges generated in photoelectric conversion elements.
- a reset transistor is used to reset the charge.
- Amplification transistors are used to generate pixel signals corresponding to charges.
- the select transistor is used to make the pixel signal appear on the signal line.
- Various known circuit configurations including these pixel transistors may be provided in each pixel 2 .
- a shared pixel structure may be adopted.
- the photoelectric conversion units and transfer transistors of each of several pixels 2, one floating diffusion, and one each of other pixel transistors may be shared.
- the vertical drive circuit 4 , column signal processing circuit 5 , horizontal drive circuit 6 , output circuit 7 and control circuit 8 constitute a peripheral circuit section of the pixel region 3 .
- the control circuit 8 will be explained first.
- the control circuit 8 receives an input clock and data instructing the operation mode, etc., and outputs data such as internal information of the photodetector 1 .
- the control circuit 8 generates a clock signal and a control signal that serve as references for operations of the vertical drive circuit 4, the column signal processing circuit 5, the horizontal drive circuit 6, etc., based on the vertical synchronization signal, horizontal synchronization signal, and master clock.
- the control circuit 8 inputs (supplies) the generated signals to the vertical driving circuit 4, the column signal processing circuit 5, the horizontal driving circuit 6, and the like.
- the vertical drive circuit 4 includes, for example, a shift register.
- the vertical drive circuit 4 selects a pixel drive wiring, supplies a pulse for driving the pixels to the selected pixel drive wiring, and drives the pixels 2 row by row.
- the vertical drive circuit 4 sequentially selectively scans the pixels 2 in the vertical direction row by row, and supplies pixel signals from the pixels 2 to the column signal processing circuit 5 through vertical signal lines 9 .
- the column signal processing circuit 5 is arranged, for example, for each pixel column, and performs signal processing such as noise removal on pixel signals from the pixels 2 of one row for each pixel column.
- the column signal processing circuit 5 performs signal processing such as CDS (Correlated Double Sampling) for removing fixed pattern noise unique to the pixels 2, signal amplification, and AD (Analog to Digital) conversion.
- a horizontal selection switch (not shown) is connected between the output stage of the column signal processing circuit 5 and the horizontal signal line 10 .
- the horizontal driving circuit 6 includes, for example, a shift register. By sequentially outputting horizontal scanning pulses, the horizontal drive circuit 6 sequentially selects each of the column signal processing circuits 5 and causes each of the column signal processing circuits 5 to output a pixel signal to the horizontal signal line 10 .
- the output circuit 7 performs signal processing on pixel signals sequentially supplied from each of the column signal processing circuits 5 through the horizontal signal line 10 and outputs the processed signal. For example, buffering is performed, black level adjustment, column variation correction, various digital signal processing, and the like are performed.
- the input/output terminal 12 exchanges signals with the outside.
- FIG. 2 is a diagram showing an example of a schematic configuration of a pixel region.
- One pixel 2 corresponds to one color. As colors, three primary colors of red R, green G and blue B will be taken as an example for explanation.
- Each of the plurality of pixels 2 corresponds to one of red R, green G and blue B.
- Each pixel 2 is illustrated with different hatching so that it can be distinguished by color.
- a plurality of pixels 2 are arranged in a Bayer array with 1 ⁇ 1 pixels as a basic pattern.
- the plurality of pixels 2 includes imaging pixels 21 and 22 and phase difference detection pixels 23 .
- the imaging pixel 21 and the imaging pixel 22 are normal pixels including photoelectric conversion units and the like. Pixel signals of the imaging pixels 21 and 22 form a captured image or the like.
- the imaging pixel 21 is adjacent to another imaging pixel (another imaging pixel 21 in this example) but not adjacent to the phase difference detection pixel 23 in a specific direction (the X-axis direction in this example). is a pixel. Description will also be made with reference to FIG.
- FIG. 3 is a diagram schematically showing a cross section along line III-III in FIG.
- the imaging pixel 21 includes a photoelectric conversion unit 201, a color filter 202, a lens 203, and a light shielding wall 204.
- Illustrations of other elements included in the imaging pixel 21, such as pixel transistors, are omitted. Materials for each element may be appropriately selected within the scope of common general technical knowledge, unless otherwise specified.
- the photoelectric conversion unit 201 is, for example, a photoelectric conversion element such as the photodiode described above.
- a color filter 202 is provided for the photoelectric conversion unit 201 .
- the color filter 202 is provided in front of the photoelectric conversion unit 201 (positive side of the Z-axis) and allows light of the color corresponding to the imaging pixel 21 to pass therethrough.
- the color filter 202 that transmits green G light is labeled with the letter "G”.
- the color filter 202 that transmits red R light is labeled with the letter “R”.
- a lens 203 is a microchip lens provided on the color filter 202 in front of the color filter 202 (positive direction of the Z axis) so as to condense light onto the photoelectric conversion unit 201 .
- a light shielding wall 204 is provided between the photoelectric conversion unit 201 and the color filter 202 so as to block light from the adjacent imaging pixels 21 .
- the light shielding wall 204 may be shared between adjacent pixels 2 .
- the imaging pixel 21 is adjacent to another imaging pixel 21 in a specific direction.
- the imaging pixel 21 corresponding to green G, the imaging pixel 21 corresponding to red R, and the imaging pixel 21 corresponding to green G are arranged adjacently in this order in the positive direction of the X axis. be done.
- part of the light that has passed through the lens 203 and the color filter 202 of the imaging pixel 21 is mixed into the photoelectric conversion unit 201 of the adjacent imaging pixel 21. do.
- the light from the imaging pixel 21 corresponding to green G mixes into the photoelectric conversion unit 201 of the imaging pixel 21 corresponding to red R. Color mixture occurs in the imaging pixels 21 .
- the imaging pixel 22 is a second imaging pixel adjacent to the phase difference detection pixel 23 so that the opening op (described later) of the phase difference detection pixel 23 is adjacent in a specific direction.
- Pixel signals from the phase difference detection pixels 23 are used, for example, to obtain an image plane phase difference AF function.
- the phase difference detection pixels 23 are a pair of phase difference detection pixels 23 .
- One phase difference detection pixel 23 of the pair is illustrated as a phase difference detection pixel 23A.
- the other phase difference detection pixel 23 of the pair is illustrated as a phase difference detection pixel 23B. Description will also be made with reference to FIG.
- FIG. 4 is a diagram schematically showing a cross section along line IV-IV in FIG.
- a phase difference detection pixel 23B corresponding to green G, an imaging pixel 22 corresponding to red R, and a phase difference detection pixel 23A corresponding to green G are arranged adjacent to each other in this order in the positive direction of the X axis.
- the color filters 202 of the phase difference detection pixel 23A and the phase difference detection pixel 23B pass light of a color different from the color of light passed by the color filter 202 of the imaging pixel 22 .
- the phase difference detection pixel 23A and the phase difference detection pixel 23B include the light shielding film 205 and the opening op compared to the imaging pixel 21 (FIG. 3) and the imaging pixel 22. They are different in that respect.
- the light shielding film 205 is provided between the photoelectric conversion unit 201 and the color filter 202 (for example, on the photoelectric conversion unit 201) so as to partially cover the photoelectric conversion unit 201.
- An example of the material of the light shielding film 205 is tungsten (W).
- the opening op is a portion of the phase difference detection pixel 23 where the photoelectric conversion unit 201 is not covered with the light shielding film 205 .
- the opening op exposes a portion of the photoelectric conversion unit 201 on the imaging pixel 22 side. That is, the phase difference detection pixel 23 is arranged so that the opening op is located on the imaging pixel 22 side.
- the light shielding film 205 and the opening op of the phase difference detection pixel 23A are referred to as the light shielding film 205A and the opening opA.
- the opening opA of the phase difference detection pixel 23A exposes one side portion of the photoelectric conversion section 201 in a specific direction (in this example, the portion on the X-axis negative direction side).
- the phase difference detection pixel 23A is arranged such that the opening opA is located on the imaging pixel 22 side (in this example, on the X-axis negative direction side).
- the phase difference detection pixel 23A has a structure in which the left side is opened and the right side is shielded from light.
- the light shielding film 205 and the opening op of the phase difference detection pixel 23B are shown as a light shielding film 205B and an opening opB.
- the opening opB of the phase difference detection pixel 23B exposes the other side portion of the photoelectric conversion unit 201 in the specific direction (in this example, the portion on the X-axis positive direction side).
- the phase difference detection pixel 23B is arranged such that the opening opB is located on the imaging pixel 22 side (in this example, on the X-axis positive direction side).
- the phase difference detection pixel 23B has a structure in which the right side is opened and the left side is shielded from light.
- phase difference detection using the phase difference detection pixels 23A and the phase difference detection pixels 23B as described above and the specific processing related to the image plane phase difference AF are well known, detailed description thereof will be omitted.
- part of the light that has passed through the lens 203 and the color filter 202 of the phase difference detection pixel 23 passes through the opening op and passes through the adjacent imaging pixel. 22 is mixed into the photoelectric conversion unit 201 .
- the light from the phase difference detection pixel 23 corresponding to green G mixes in the photoelectric conversion unit 201 of the imaging pixel 22 corresponding to red R. Color mixture occurs in the imaging pixels 22 .
- the photodetector 1 As described above, in the photodetector 1 , light from adjacent pixels is mixed in the imaging pixel 22 in the same manner as in the imaging pixel 21 . Variation in the amount of light mixed from adjacent pixels (variation in sensitivity) between the imaging pixels 21 and 22 (between the imaging pixels), and thus variation in the degree of color mixture can be suppressed. It is possible to suppress deterioration of image quality caused by variations.
- a comparative example is also used for explanation.
- FIG. 5 is a diagram showing a comparative example.
- phase difference detection pixels 23A corresponding to green G, imaging pixels 22E corresponding to red R, and phase difference detection pixels 23B corresponding to green G are arranged in this order in the positive direction of the X axis. placed adjacent to each other.
- FIG. 6 is a diagram schematically showing a cross section taken along line VI-VI in FIG. Part of the light that has passed through the lens 203 and the color filter 202 of the phase difference detection pixel 23 is blocked by the light shielding film 205 , as schematically indicated by the outline arrow. Specifically, in the phase difference detection pixel 23A, light is blocked by the light blocking film 205-A. In the phase difference detection pixel 23B, light is blocked by the light blocking film 205-B. Mixing of light from the phase difference detection pixel 23 into the imaging pixel 22E is suppressed. Variation in the amount of light mixed in from adjacent pixels increases between the imaging pixel 21 and the imaging pixel 22E. This problem is addressed by the photodetector device 1 according to the embodiment, as described above.
- the light from the adjacent phase difference detection pixel 23 detects the phase difference. It is shielded by the light shielding film 205 of the pixel 23 and is not mixed. However, even in this case, in the pixel 2, the light from the adjacent pixel on one side does not mix.
- the mixed amount of light from the adjacent pixels can be brought closer to the mixed amount in the imaging pixel 21 than in the case where the light from the adjacent pixels on both sides is not mixed as in the above comparative example. Since the degree of influence caused by the difference in the mixed amount is small (because it is only about half that of the comparative example), it can be easily dealt with by signal processing such as correction.
- the Bayer array of 1 ⁇ 1 pixels has been described as an example of the pixel array.
- various pixel arrangements other than this may be adopted.
- the case where the color corresponding to the imaging pixel 22 is red R has been described as an example.
- the color corresponding to the imaging pixel 22 may of course be a color other than red R. Description will be made with reference to FIGS. 7 to 12.
- FIG. 7 is a diagram showing a modification of the pixel array.
- the plurality of pixels 2 are arranged with 3 ⁇ 3 pixels as a unit pattern.
- the unit pattern is composed of two pixels 2 corresponding to red R, two pixels 2 corresponding to green G, and five pixels 2 corresponding to green G.
- phase difference detection pixel 23B corresponding to green G
- the imaging pixel 22 corresponding to blue B
- the phase difference detection pixel 23A corresponding to green G
- the phase difference detection pixel 23 is arranged such that the opening op is positioned on the imaging pixel 22 side.
- the image pickup pixel 22 is mixed with light from adjacent pixels to the same extent as the image pickup pixel 21 .
- the paired phase difference detection pixels 23A and phase difference detection pixels 23B may be any combination, and may be two phase difference detection pixels 23 located on opposite sides of the imaging pixel 22, It may be two phase difference detection pixels 23 arranged side by side between the imaging pixels 22 .
- FIG. 8 is a diagram showing a modification of the pixel array.
- the plurality of pixels 2 are arranged in a Bayer array (quad Bayer array) using 2 ⁇ 2 pixels 2 corresponding to the same color as a unit pattern.
- the pixel signals of each pixel 2 in the unit pattern are added, for example, and read out.
- the phase difference detection pixels 23 may be arranged relatively densely as shown in FIG. 8(A), or arranged relatively sparsely as shown in FIG. 8(B). may be There is no particular restriction on the density of the phase difference detection pixels 23, and they may be arranged in any period.
- phase difference detection pixel 23B corresponding to green G
- the two imaging pixels 22 corresponding to red R and the phase difference detection pixel 23A corresponding to green G are arranged adjacent to each other in this order.
- the phase difference detection pixel 23 is arranged such that the opening op is located on the imaging pixel 22 side.
- the image pickup pixel 22 is mixed with light from adjacent pixels to the same extent as the image pickup pixel 21 .
- a comparative example is also used for explanation.
- FIG. 9 is a diagram showing a comparative example.
- a phase difference detection pixel 23A corresponding to green G two imaging pixels 22E corresponding to red R, and a phase difference detection pixel 23B corresponding to green G are arranged adjacent to each other in this order.
- the phase difference detection pixel 23 is arranged such that the opening op is located on the opposite side of the imaging pixel 22E. Light from the phase difference detection pixel 23 is blocked by the light shielding film 205 and does not enter the imaging pixel 22E. As a result, the amount of light mixed in from adjacent pixels varies greatly between the imaging pixel 21 and the imaging pixel 22E. This may affect the above-described added pixel signals, leading to deterioration of image quality and the like. This problem is addressed by the pixel arrangement of FIG. 8 previously described.
- FIG. 10 is a diagram showing a modification of the pixel array.
- the plurality of pixels 2 are arranged in a Bayer array with 3 ⁇ 3 pixels 2 corresponding to the same color as a basic pattern (3 ⁇ 3 Bayer array).
- the phase difference detection pixels 23 may be arranged relatively densely as shown in FIG. 10(A), or relatively sparsely arranged as shown in FIG. 10(B). may be placed.
- phase difference detection pixels 23B corresponding to green G
- imaging pixels 22 corresponding to red R imaging pixels 21 corresponding to red R
- imaging pixels 22 corresponding to red R and green G
- the phase difference detection pixels 23A are arranged adjacently in this order.
- the phase difference detection pixel 23 is arranged so that the opening op of the light shielding film 205 is positioned on the imaging pixel 22 side.
- the image pickup pixel 22 is mixed with light from adjacent pixels to the same extent as the image pickup pixel 21 .
- a comparative example is also used for explanation.
- FIG. 11 is a diagram showing a comparative example.
- a phase difference detection pixel 23A corresponding to green G In the positive direction of the X-axis, a phase difference detection pixel 23A corresponding to green G, an imaging pixel 22E corresponding to red R, an imaging pixel 21 corresponding to red R, an imaging pixel 22E corresponding to red R, and an imaging pixel 22E corresponding to green R
- the phase difference detection pixels 23B are arranged adjacent to each other in this order.
- the phase difference detection pixel 23 is arranged such that the opening op of the light shielding film 205 is located on the opposite side of the imaging pixel 22E. Light from the adjacent pixels, that is, the phase difference detection pixels 23 is blocked by the light shielding film 205 and does not enter the imaging pixels 22E. Variation in the amount of light mixed in from adjacent pixels increases between the imaging pixel 21 and the imaging pixel 22E. This problem is addressed by the pixel arrangement of FIG. 10 previously described.
- FIG. 12 is a diagram showing a modification of the pixel array.
- the plurality of pixels 2 are arranged in a Bayer array with 2 ⁇ 1 pixels 2 corresponding to the same color as a basic pattern (2 ⁇ 1 Bayer array).
- the phase difference detection pixel 23B corresponding to green G, the two imaging pixels 22 corresponding to red R, and the phase difference detection pixel 23A corresponding to green G are arranged adjacent to each other in this order.
- the phase difference detection pixel 23 is arranged such that the opening op is positioned on the imaging pixel 22 side.
- the image pickup pixel 22 is mixed with light from adjacent pixels to the same extent as the image pickup pixel 21 .
- the specific direction in which the imaging pixels 22 and the phase difference detection pixels 23 are arranged is the X-axis direction (row direction).
- the specific direction may be a direction other than the X-axis direction.
- the colors (types of the color filters 202) corresponding to the imaging pixels 22 and the phase difference detection pixels 23 may be the same. Description will be made with reference to FIGS. 13 to 16. FIG.
- FIG. 13 is a diagram showing a modification of the pixel array.
- the imaging pixels 22 and the phase difference detection pixels 23 are arranged in the Y-axis direction (column direction).
- the phase difference detection pixels 23 arranged in this way are referred to as a phase difference detection pixel 23A2 and a phase difference detection pixel 23B2.
- pixel 2 which is labeled in FIG. 13, as an example.
- a phase difference detection pixel 23B2 corresponding to green G two imaging pixels 22 corresponding to blue B, and a phase difference detection pixel 23A2 corresponding to green G are arranged adjacent to each other in this order. .
- FIG. 14 is a diagram schematically showing a cross section along line XIV-XIV in FIG.
- the light shielding film 205A2 of the phase difference detection pixel 23A2 exposes one side portion of the photoelectric conversion unit 201 in the Y-axis direction (the portion on the Y-axis positive direction side in this example).
- the light shielding film 205B2 of the phase difference detection pixel 23B2 exposes the other side portion of the photoelectric conversion unit 201 in the Y-axis direction (the portion on the Y-axis negative direction side in this example).
- FIG. 15 is a diagram showing a modification of the array.
- the imaging pixels 22 and the phase difference detection pixels 23 are arranged in an intermediate direction (diagonal direction) between the X-axis direction (row direction) and the Y-axis direction (column direction).
- the phase difference detection pixels 23 arranged in this way are referred to as a phase difference detection pixel 23A3 and a phase difference detection pixel 23B3.
- phase difference detection pixel 23B2 corresponding to green G the imaging pixel 22 corresponding to green G
- the phase difference detection pixel 23A3 corresponding to green G are arranged in this order. placed adjacent to each other.
- FIG. 16 is a diagram schematically showing a cross section along line XVI-XVI in FIG.
- the light-shielding film 205A3 of the phase difference detection pixel 23A3 exposes one side portion of the photoelectric conversion unit 201 in the oblique direction (in this example, the portion on the intermediate side between the positive direction of the X-axis and the positive direction of the Y-axis).
- the light shielding film 205B3 of the phase difference detection pixel 23B3 exposes the other side portion of the photoelectric conversion unit 201 in the oblique direction (in this example, the portion on the intermediate side of the X-axis negative direction and the Y-axis negative direction).
- phase difference detection pixels 23 correspond to green G
- the phase difference detection pixels 23 may be pixels 2 corresponding to colors other than green G. Description will be made with reference to FIG.
- FIG. 17 is a diagram showing a modification of the pixel array.
- the phase difference detection pixel 23B corresponding to red R, the two imaging pixels 22 corresponding to green G, and the phase difference detection pixel 23A corresponding to red R are arranged adjacent to each other in this order. Also in this case, it is possible to suppress variations in the amount of light mixed in from adjacent pixels between the imaging pixels 21 and 22 .
- the phase difference detection pixels 23A and the phase difference detection pixels 23B may be the phase difference detection pixels 23 corresponding to blue B.
- phase difference detection pixels 23 include the color filters 202 .
- the phase difference detection pixels 23 may not include the color filters 202 . It is possible to avoid the loss of the amount of light due to the color filter 202 and improve the sensitivity of the phase difference detection pixel 23, for example.
- red R, green G, and blue B are exemplified as the colors corresponding to the pixels 2 .
- the pixels 2 may correspond to colors other than these.
- FIG. 18 is a diagram showing an example of a schematic configuration of an electronic device.
- the electronic device 101 are imaging devices such as digital still cameras and digital video cameras, and mobile phones having such imaging functions.
- an electronic device 101 includes an optical system 102, a photodetector 103, and a DSP (Digital Signal Processor) 104.
- FIG. A DSP 104 , a display device 105 , an operation system 106 , a memory 108 , a recording device 109 and a power supply system 110 are also connected via a bus 107 . For example, still images and moving images can be captured.
- the optical system 102 includes one or more lenses, guides image light (incident light) from a subject to the photodetector 103, and forms an image on the light receiving surface (sensor section) of the photodetector 103. Let Electrons are accumulated in the photodetector 103 for a certain period of time according to the image formed on the light receiving surface via the optical system 102 . A signal corresponding to the electrons accumulated in the pixel 2 of the photodetector 103 is supplied to the DSP 104 .
- the DSP 104 performs various signal processing on the signal from the photodetector 103 to obtain an image, and temporarily stores the image data in the memory 108 .
- the image data stored in the memory 108 is recorded in the recording device 109 or supplied to the display device 105 to display the image.
- the operation system 106 receives various operations by the user and supplies operation signals to each block of the electronic device 101 , and the power supply system 110 supplies power required to drive each block of the electronic device 101 .
- the photodetector 103 (corresponding to the photodetector 1 described above) is mounted, it is possible to suppress deterioration of image quality, for example.
- the photodetector 1 includes a plurality of pixels 2 arranged two-dimensionally.
- the plurality of pixels 2 includes an imaging pixel 21 and an imaging pixel 22 including a photoelectric conversion unit 201, a photoelectric conversion unit 201, a light shielding film 205 that covers a part of the photoelectric conversion unit 201, and a light shielding film 205 that covers a part of the photoelectric conversion unit 201. and a phase difference detection pixel 23 including an opening op, which is a portion not covered with the film 205 .
- the imaging pixel 21 is a first imaging pixel that is adjacent to other imaging pixels (the imaging pixel 21 and the imaging pixel 22) but not adjacent to the phase difference detection pixel 23 in a specific direction (for example, the X-axis direction).
- the imaging pixel 22 is a second imaging pixel adjacent to the phase difference detection pixel 23 such that the opening op of the phase difference detection pixel 23 is adjacent in a specific direction.
- the imaging pixel 22 is adjacent to the phase difference detecting pixel 23 in a specific direction such that the opening op of the phase difference detecting pixel 23 is located on the imaging pixel 22 side. That is, the phase difference detection pixel 23 is arranged adjacent to the imaging pixel 22 so that the opening op is located on the imaging pixel 22 side.
- the image pickup pixel 22 as well as in the image pickup pixel 21, light from adjacent pixels is mixed. Therefore, it is possible to suppress variations in the amount of light mixed in from adjacent pixels between the imaging pixels 21 and 22 (between the imaging pixels). For example, when the photodetector 1 is a solid-state imaging device, image quality deterioration can be suppressed.
- the phase difference detection pixel 23, one or more imaging pixels 22 (second imaging pixels), and the position The phase difference detection pixels 23 may be arranged adjacently in this order. For example, as described with reference to FIG. op may be adjacent in this order.
- the phase difference detection pixel 23, one or more imaging pixels 22 (second imaging pixels), one or more imaging pixels 21 (first imaging pixels), one or more imaging pixels 22 (second imaging pixels), and phase difference detection pixels 23 may be arranged adjacent to each other in this order. For example, by arranging the imaging pixels 22 between the phase difference detection pixels 23 in this manner, the imaging pixels 22 can mix light from adjacent pixels in the same manner as the imaging pixels 21 .
- the phase difference detection pixels 23 are a pair of phase difference detection pixels 23, and the opening opA of one phase difference detection pixel 23A of the pair is arranged in a specific direction. , and the opening opB of the other phase difference detection pixel 23B of the pair is exposed to the other side portion of the photoelectric conversion unit 201 in a specific direction. (For example, the portion on the X-axis positive direction side) may be exposed.
- an image plane phase difference AF function can be obtained.
- the imaging pixels 21 and 22 may include the color filters 202 provided for the photoelectric conversion units 201 .
- the phase difference detection pixels 23 may also include color filters 202 provided for the photoelectric conversion units 201 .
- the color filter 202 of the phase difference detection pixel 23 may pass light of a color different from the color of light passed by the color filter 202 of the imaging pixel 22 (second imaging pixel). When such a color filter 202 is present, it is possible to cause color mixture in the image pickup pixel 22 as in the image pickup pixel 21 . It is possible to suppress variations in the degree of color mixing between the imaging pixels 21 and the imaging pixels 22 . For example, deterioration of image quality can be suppressed.
- the specific direction is the row direction (X-axis direction) of the plurality of pixels 2. direction), the column direction (Y-axis direction) of the plurality of pixels 2, and the intermediate direction (diagonal direction) between the pixel row direction and the column direction of the pixels 2.
- the imaging pixels 22 and the phase difference detection pixels 23 are in such various directions.
- the electronic device 101 described with reference to FIG. 18 and the like is also one of the disclosed technologies.
- a photodetector 103 is mounted on the electronic device 101 .
- the photodetector 103 has a configuration similar to that of the photodetector 1 described above. With such an electronic device 101 as well, as described above, it is possible to suppress variation in the amount of light mixed in from adjacent pixels between the imaging pixels 21 and 22 . For example, deterioration of image quality can be suppressed.
- the technology according to the present disclosure can be applied to various products.
- the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. may
- FIG. 19 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
- a vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
- the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an exterior information detection unit 12030, an interior information detection unit 12040, and an integrated control unit 12050.
- a microcomputer 12051, an audio/image output unit 12052, and an in-vehicle network I/F (Interface) 12053 are illustrated.
- the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
- the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
- the body system control unit 12020 controls the operation of various devices equipped on the vehicle body according to various programs.
- the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
- body system control unit 12020 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
- the body system control unit 12020 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
- the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
- the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
- the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
- the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
- the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
- the imaging unit 12031 can output the electric signal as an image, and can also output it as distance measurement information.
- the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
- the in-vehicle information detection unit 12040 detects in-vehicle information.
- the in-vehicle information detection unit 12040 is connected to, for example, a driver state detection section 12041 that detects the state of the driver.
- the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing off.
- the microcomputer 12051 calculates control target values for the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and controls the drive system control unit.
- a control command can be output to 12010 .
- the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) functions including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) functions including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle
- the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, etc. based on the information about the vehicle surroundings acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's Cooperative control can be performed for the purpose of autonomous driving, etc., in which vehicles autonomously travel without depending on operation.
- the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the information detection unit 12030 outside the vehicle.
- the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control aimed at anti-glare such as switching from high beam to low beam. It can be carried out.
- the audio/image output unit 12052 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
- an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
- the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
- FIG. 20 is a diagram showing an example of the installation position of the imaging unit 12031.
- FIG. 20 is a diagram showing an example of the installation position of the imaging unit 12031.
- the imaging unit 12031 has imaging units 12101, 12102, 12103, 12104, and 12105.
- the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 12100, for example.
- An image pickup unit 12101 provided in the front nose and an image pickup unit 12105 provided above the windshield in the passenger compartment mainly acquire images in front of the vehicle 12100 .
- Imaging units 12102 and 12103 provided in the side mirrors mainly acquire side images of the vehicle 12100 .
- An imaging unit 12104 provided in the rear bumper or back door mainly acquires an image behind the vehicle 12100 .
- the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
- FIG. 20 shows an example of the imaging range of the imaging units 12101 to 12104.
- the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
- the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
- the imaging range 12114 The imaging range of an imaging unit 12104 provided in the rear bumper or back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
- At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
- at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
- the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and changes in this distance over time (relative velocity with respect to the vehicle 12100). , it is possible to extract, as the preceding vehicle, the closest three-dimensional object on the traveling path of the vehicle 12100, which runs at a predetermined speed (for example, 0 km/h or more) in substantially the same direction as the vehicle 12100. can. Furthermore, the microcomputer 12051 can set the inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including following stop control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving in which the vehicle runs autonomously without relying on the operation of the driver.
- automatic brake control including following stop control
- automatic acceleration control including following start control
- the microcomputer 12051 converts three-dimensional object data related to three-dimensional objects to other three-dimensional objects such as motorcycles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, an audio speaker 12061 and a display unit 12062 are displayed. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
- At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
- the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian exists in the captured images of the imaging units 12101 to 12104 .
- recognition of a pedestrian is performed by, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian.
- the audio image output unit 12052 outputs a rectangular outline for emphasis to the recognized pedestrian. is superimposed on the display unit 12062 . Also, the audio/image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
- the technology according to the present disclosure can be applied to, for example, the imaging unit 12031 among the configurations described above.
- the photodetector 1 can be applied to the imaging unit 12031 .
- FIG. 21 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technology according to the present disclosure (this technology) can be applied.
- FIG. 21 illustrates a situation in which an operator (doctor) 11131 is performing surgery on a patient 11132 on a patient bed 11133 using an endoscopic surgery system 11000 .
- an endoscopic surgery system 11000 includes an endoscope 11100, other surgical instruments 11110 such as a pneumoperitoneum tube 11111 and an energy treatment instrument 11112, and a support arm device 11120 for supporting the endoscope 11100. , and a cart 11200 loaded with various devices for endoscopic surgery.
- An endoscope 11100 is composed of a lens barrel 11101 whose distal end is inserted into the body cavity of a patient 11132 and a camera head 11102 connected to the proximal end of the lens barrel 11101 .
- an endoscope 11100 configured as a so-called rigid scope having a rigid lens barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible scope having a flexible lens barrel. good.
- the tip of the lens barrel 11101 is provided with an opening into which the objective lens is fitted.
- a light source device 11203 is connected to the endoscope 11100, and light generated by the light source device 11203 is guided to the tip of the lens barrel 11101 by a light guide extending inside the lens barrel 11101, where it reaches the objective. Through the lens, the light is irradiated toward the observation object inside the body cavity of the patient 11132 .
- the endoscope 11100 may be a straight scope, a perspective scope, or a side scope.
- An optical system and an imaging element are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the imaging element by the optical system.
- the imaging device photoelectrically converts the observation light to generate an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image.
- the image signal is transmitted to a camera control unit (CCU: Camera Control Unit) 11201 as RAW data.
- CCU Camera Control Unit
- the CCU 11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc., and controls the operations of the endoscope 11100 and the display device 11202 in an integrated manner. Further, the CCU 11201 receives an image signal from the camera head 11102 and performs various image processing such as development processing (demosaicing) for displaying an image based on the image signal.
- CPU Central Processing Unit
- GPU Graphics Processing Unit
- the display device 11202 displays an image based on an image signal subjected to image processing by the CCU 11201 under the control of the CCU 11201 .
- the light source device 11203 is composed of a light source such as an LED (light emitting diode), for example, and supplies the endoscope 11100 with irradiation light for imaging a surgical site or the like.
- a light source such as an LED (light emitting diode)
- LED light emitting diode
- the input device 11204 is an input interface for the endoscopic surgery system 11000.
- the user can input various information and instructions to the endoscopic surgery system 11000 via the input device 11204 .
- the user inputs an instruction or the like to change imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100 .
- the treatment instrument control device 11205 controls driving of the energy treatment instrument 11112 for tissue cauterization, incision, blood vessel sealing, or the like.
- the pneumoperitoneum device 11206 inflates the body cavity of the patient 11132 for the purpose of securing the visual field of the endoscope 11100 and securing the operator's working space, and injects gas into the body cavity through the pneumoperitoneum tube 11111. send in.
- the recorder 11207 is a device capable of recording various types of information regarding surgery.
- the printer 11208 is a device capable of printing various types of information regarding surgery in various formats such as text, images, and graphs.
- the light source device 11203 that supplies the endoscope 11100 with irradiation light for photographing the surgical site can be composed of, for example, a white light source composed of an LED, a laser light source, or a combination thereof.
- a white light source is configured by a combination of RGB laser light sources
- the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. It can be carried out.
- the observation target is irradiated with laser light from each of the RGB laser light sources in a time division manner, and by controlling the drive of the imaging device of the camera head 11102 in synchronization with the irradiation timing, each of RGB can be handled. It is also possible to pick up images by time division. According to this method, a color image can be obtained without providing a color filter in the imaging element.
- the driving of the light source device 11203 may be controlled so as to change the intensity of the output light every predetermined time.
- the drive of the imaging device of the camera head 11102 in synchronism with the timing of the change in the intensity of the light to obtain an image in a time-division manner and synthesizing the images, a high dynamic A range of images can be generated.
- the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
- special light observation for example, by utilizing the wavelength dependence of light absorption in body tissues, by irradiating light with a narrower band than the irradiation light (i.e., white light) during normal observation, the mucosal surface layer So-called Narrow Band Imaging, in which a predetermined tissue such as a blood vessel is imaged with high contrast, is performed.
- fluorescence observation may be performed in which an image is obtained from fluorescence generated by irradiation with excitation light.
- the body tissue is irradiated with excitation light and the fluorescence from the body tissue is observed (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is examined.
- a fluorescence image can be obtained by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
- the light source device 11203 can be configured to supply narrowband light and/or excitation light corresponding to such special light observation.
- FIG. 22 is a block diagram showing an example of functional configurations of the camera head 11102 and CCU 11201 shown in FIG.
- the camera head 11102 has a lens unit 11401, an imaging section 11402, a drive section 11403, a communication section 11404, and a camera head control section 11405.
- the CCU 11201 has a communication section 11411 , an image processing section 11412 and a control section 11413 .
- the camera head 11102 and the CCU 11201 are communicably connected to each other via a transmission cable 11400 .
- a lens unit 11401 is an optical system provided at a connection with the lens barrel 11101 . Observation light captured from the tip of the lens barrel 11101 is guided to the camera head 11102 and enters the lens unit 11401 .
- a lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
- the number of imaging elements constituting the imaging unit 11402 may be one (so-called single-plate type) or plural (so-called multi-plate type).
- image signals corresponding to RGB may be generated by each image pickup element, and a color image may be obtained by synthesizing the image signals.
- the imaging unit 11402 may be configured to have a pair of imaging elements for respectively acquiring right-eye and left-eye image signals corresponding to 3D (dimensional) display.
- the 3D display enables the operator 11131 to more accurately grasp the depth of the living tissue in the surgical site.
- a plurality of systems of lens units 11401 may be provided corresponding to each imaging element.
- the imaging unit 11402 does not necessarily have to be provided in the camera head 11102 .
- the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
- the drive unit 11403 is configured by an actuator, and moves the zoom lens and focus lens of the lens unit 11401 by a predetermined distance along the optical axis under control from the camera head control unit 11405 . Thereby, the magnification and focus of the image captured by the imaging unit 11402 can be appropriately adjusted.
- the communication unit 11404 is composed of a communication device for transmitting and receiving various information to and from the CCU 11201.
- the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400 .
- the communication unit 11404 receives a control signal for controlling driving of the camera head 11102 from the CCU 11201 and supplies it to the camera head control unit 11405 .
- the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and/or information to specify the magnification and focus of the captured image. Contains information about conditions.
- the imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately designated by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. good.
- the endoscope 11100 is equipped with so-called AE (Auto Exposure) function, AF (Auto Focus) function and AWB (Auto White Balance) function.
- the camera head control unit 11405 controls driving of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
- the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102 .
- the communication unit 11411 receives image signals transmitted from the camera head 11102 via the transmission cable 11400 .
- the communication unit 11411 transmits a control signal for controlling driving of the camera head 11102 to the camera head 11102 .
- Image signals and control signals can be transmitted by electrical communication, optical communication, or the like.
- the image processing unit 11412 performs various types of image processing on the image signal, which is RAW data transmitted from the camera head 11102 .
- the control unit 11413 performs various controls related to imaging of the surgical site and the like by the endoscope 11100 and display of the captured image obtained by imaging the surgical site and the like. For example, the control unit 11413 generates control signals for controlling driving of the camera head 11102 .
- control unit 11413 causes the display device 11202 to display a captured image showing the surgical site and the like based on the image signal that has undergone image processing by the image processing unit 11412 .
- the control unit 11413 may recognize various objects in the captured image using various image recognition techniques. For example, the control unit 11413 detects the shape, color, and the like of the edges of objects included in the captured image, thereby detecting surgical instruments such as forceps, specific body parts, bleeding, mist during use of the energy treatment instrument 11112, and the like. can recognize.
- the control unit 11413 may use the recognition result to display various types of surgical assistance information superimposed on the image of the surgical site. By superimposing and presenting the surgery support information to the operator 11131, the burden on the operator 11131 can be reduced and the operator 11131 can proceed with the surgery reliably.
- a transmission cable 11400 connecting the camera head 11102 and the CCU 11201 is an electrical signal cable compatible with electrical signal communication, an optical fiber compatible with optical communication, or a composite cable of these.
- wired communication is performed using the transmission cable 11400, but communication between the camera head 11102 and the CCU 11201 may be performed wirelessly.
- the technology according to the present disclosure can be applied to, for example, the imaging unit 11402 of the camera head 11102 among the configurations described above.
- the photodetector 1 can be applied to the imaging unit 10402 .
- the technology according to the present disclosure may also be applied to, for example, a microsurgery system.
- the present technology can also take the following configuration.
- (1) comprising a plurality of pixels arranged two-dimensionally,
- the plurality of pixels are an imaging pixel including a photoelectric conversion unit; a phase difference detection pixel including a photoelectric conversion unit, a light shielding film that partially covers the photoelectric conversion unit, and an opening that is a portion of the photoelectric conversion unit that is not covered with the light shielding film; including
- the imaging pixels are A first imaging pixel adjacent to another imaging pixel in a specific direction but not adjacent to the phase difference detection pixel; a second imaging pixel adjacent to the phase difference detection pixel such that the aperture of the phase difference detection pixel is adjacent in the specific direction; including, Photodetector.
- phase difference detection pixel, one or more of the second imaging pixels, and the phase difference detection pixel are arranged adjacent to each other in this order.
- the opening of the phase difference detection pixel, one of the second imaging pixels, and the opening of the phase difference detection pixel are adjacent in this order.
- the phase difference detection pixel, one or more of the second imaging pixels, one or more of the first imaging pixels, one or more of the second imaging pixels, and the phase difference. the detection pixels are arranged adjacently in this order, The photodetector according to (1).
- the phase difference detection pixels are pairs of phase difference detection pixels, the opening of one phase difference detection pixel of the pair exposes one side portion of the photoelectric conversion unit in the specific direction; the opening of the other phase difference detection pixel of the pair exposes the other side portion of the photoelectric conversion unit in the specific direction;
- the imaging pixel includes a color filter provided for the photoelectric conversion unit, The photodetector according to any one of (1) to (5).
- the phase difference detection pixel includes a color filter provided for the photoelectric conversion unit, The photodetector according to (6).
- the color filter of the phase difference detection pixel passes light of a color different from the color of light passed by the color filter of the second imaging pixel, The photodetector according to (7).
- the specific direction is a row direction of the plurality of pixels; a column direction of the plurality of pixels; and an intermediate direction between the row direction and the column direction of the plurality of pixels; including at least one of The photodetector according to any one of (1) to (8).
- An electronic device equipped with a photodetector is comprising a plurality of pixels arranged two-dimensionally, The plurality of pixels are an imaging pixel including a photoelectric conversion unit; A phase difference detection pixel including a photoelectric conversion unit and a light shielding film covering a part of the photoelectric conversion unit; including The imaging pixels are a plurality of first imaging pixels adjacent to other imaging pixels in a specific direction but not adjacent to the phase difference detection pixels; a second imaging pixel that is adjacent to the phase difference detection pixel in the specific direction and adjacent to an opening that is a portion of the phase difference detection pixel in which the photoelectric conversion unit is not covered with the light shielding film; including, Electronics.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
光検出装置(1)は、2次元状に配列された複数の画素(2)を備え、複数の画素(2)は、光電変換部(201)を含む撮像画素(21、22)と、光電変換部(201)、当該光電変換部(201)の一部を覆う遮光膜(205)、及び、当該光電変換部(201)が当該遮光膜(205)で覆われていない部分である開口部(op)を含む位相差検出画素(23)と、を含み、撮像画素(21、22)は、特定の方向において他の撮像画素(21、22)に隣接する一方で位相差検出画素(23)には隣接しない第1の撮像画素(21)と、特定の方向において、位相差検出画素(23)の開口部(op)が隣接するように位相差検出画素(23)に隣接する第2の撮像画素(22)と、を含む。
Description
本開示は光検出装置及び電子機器に関する。
像面位相差オートフォーカス(AF)機能を得るために、通常の撮像画素だけでなく、光電変換部の一部が遮光膜で覆われた位相差検出画素も配置する技術が知られている(例えば特許文献1を参照)。
位相差検出画素に隣接する撮像画素と、そうでない撮像画素とでは、隣接画素の遮光膜の有無に起因して、隣接画素からの光の混入量が異なる。撮像画素どうしの間で、隣接画素からの光の混入量にバラつきが生じる。
本開示の一側面は、撮像画素どうしの間での隣接画素からの光の混入量のバラつきを抑制することが可能な光検出装置及び電子機器を提供する。
本開示の一側面に係る光検出装置は、2次元状に配列された複数の画素を備え、複数の画素は、光電変換部を含む撮像画素と、光電変換部、当該光電変換部の一部を覆う遮光膜、及び、当該光電変換部が当該遮光膜で覆われていない部分である開口部を含む位相差検出画素と、を含み、撮像画素は、特定の方向において他の撮像画素に隣接する一方で位相差検出画素には隣接しない第1の撮像画素と、特定の方向において、位相差検出画素の開口部が隣接するように位相差検出画素に隣接する第2の撮像画素と、を含む。
本開示の一側面に係る電子機器は、光検出装置が搭載された電子機器であって、光検出装置は、2次元状に配列された複数の画素を備え、複数の画素は、光電変換部を含む撮像画素と、光電変換部及び当該光電変換部の一部を覆う遮光膜を含む位相差検出画素と、を含み、撮像画素は、特定の方向において他の撮像画素に隣接する一方で位相差検出画素には隣接しない複数の第1の撮像画素と、特定の方向において位相差検出画素に隣接するとともに、当該位相差検出画素において光電変換部が遮光膜で覆われていない部分である開口部に隣接する第2の撮像画素と、を含む。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の要素には同一の符号を付することにより重複する説明を省略する。
以下に示す項目順序に従って本開示を説明する。
1.実施形態
2.変形例
3.電子機器への搭載例
4.効果の例
5.移動体への応用例
6.内視鏡手術システムへの応用例
1.実施形態
2.変形例
3.電子機器への搭載例
4.効果の例
5.移動体への応用例
6.内視鏡手術システムへの応用例
1.実施形態
図1は、実施形態に係る光検出装置の概略構成の例を示す図である。例示される光検出装置1は、個体撮像装置であり、各要素が基板11(例えばシリコン基板等)に設けられる。光検出装置1は、画素領域3と、垂直駆動回路4と、カラム信号処理回路5と、水平駆動回路6と、出力回路7と、制御回路8と、垂直信号線9と、水平信号線10と、入出力端子12とを含む。
図1は、実施形態に係る光検出装置の概略構成の例を示す図である。例示される光検出装置1は、個体撮像装置であり、各要素が基板11(例えばシリコン基板等)に設けられる。光検出装置1は、画素領域3と、垂直駆動回路4と、カラム信号処理回路5と、水平駆動回路6と、出力回路7と、制御回路8と、垂直信号線9と、水平信号線10と、入出力端子12とを含む。
画素領域3は、複数の画素2を含む。複数の画素2は、2次元アレイ状に配列される。画素領域3に対するXYZ座標系が図示される。X軸方向は、アレイの行方向に対応し、例えば光検出装置1の横方向(水平方向)に対応する。Y軸方向は、アレイの列方向に対応し、例えば光検出装置1の縦方向(垂直方向)に対応する。Z軸方向は、例えば光検出装置1の前後方向に対応する。光検出装置1は、とくに前方からの光(Z軸負方向に沿って進む光)を検出する。
画素2は、光電変換部(後述の光電変換部201に相当)及び画素トランジスタ等を含む。光電変換部は、例えばフォトダイオード(PD:Photo Diode)等の光電変換素子を含んで構成される。画素トランジスタは、例えばMOS(Metal Oxide Semiconductor)トランジスタである。1つの画素2に、複数の画素トランジスタが設けられ得る。複数の画素トランジスタの例は、転送トランジスタ、リセットトランジスタ、増幅トランジスタ、選択トランジスタ等である。例えば、転送トランジスタは、光電変換素子で発生した電荷を転送するために用いられる。リセットトランジスタは、電荷をリセットするために用いられる。増幅トランジスタは、電荷に応じた画素信号を生成するために用いられる。選択トランジスタは、画素信号を信号線に出現させるために用いられる。これらの画素トランジスタを含む種々の公知の回路構成が、各画素2に設けられてよい。
なお、共有画素構造が採用されてもよい。例えば、いくつかの画素2それぞれの光電変換部及び転送トランジスタと、1つのフローティングディフュージョンと、他の画素トランジスタの1つずつとが共有されてよい。
垂直駆動回路4、カラム信号処理回路5、水平駆動回路6、出力回路7及び制御回路8は、画素領域3の周辺回路部を構成する。先に制御回路8から説明する。
制御回路8は、入力クロックや、動作モード等を指令するデータを受け取り、また、光検出装置1の内部情報等のデータを出力する。制御回路8は、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路4、カラム信号処理回路5及び水平駆動回路6等の動作の基準となるクロック信号や制御信号を生成する。制御回路8は、生成したそれらの信号を、垂直駆動回路4、カラム信号処理回路5及び水平駆動回路6等に入力(供給)する。
垂直駆動回路4は、例えばシフトレジスタを含んで構成される。垂直駆動回路4は、画素駆動配線を選択し、選択した画素駆動配線に、画素駆動のためのパルスを供給し、行単位で画素2を駆動する。垂直駆動回路4は、各画素2を行単位で順次垂直方向に選択走査し、各画素2からの画素信号を、垂直信号線9を通してカラム信号処理回路5に供給する。
カラム信号処理回路5は、例えば画素列ごとに配置されており、1行分の画素2からの画素信号に対して、画素列ごとにノイズ除去等の信号処理を行う。カラム信号処理回路5は、画素2に固有の固定パターンノイズを除去するためのCDS(Correlated Double Sampling)や、信号増幅、AD(Analog to Digital)変換等の信号処理を行う。カラム信号処理回路5の出力段と水平信号線10との間には、図示しない水平選択スイッチが接続される。
水平駆動回路6は、例えばシフトレジスタを含んで構成される。水平駆動回路6は、水平走査パルスを順次出力することによって、カラム信号処理回路5の各々を順番に選択し、カラム信号処理回路5の各々から画素信号を水平信号線10に出力させる。
出力回路7は、カラム信号処理回路5の各々から水平信号線10を通して順次に供給される画素信号に対し、信号処理を行って出力する。例えば、バファリングが行われたり、黒レベル調整、列ばらつき補正、各種デジタル信号処理等が行われたりする。入出力端子12は、外部と信号のやりとりをする。
図2は、画素領域の概略構成の例を示す図である。1つの画素2が1つの色に対応する。色として、赤色R、緑色G及び青色Bの三原色を例に挙げて説明する。複数の画素2それぞれは、赤色R、緑色G及び青色Bのいずれかに対応する。各画素2を色ごとに区別できるように、異なるハッチングで図示する。図2に示される例では、複数の画素2は、1×1画素を基本パターンとしてベイヤー配列される。
複数の画素2は、撮像画素21及び撮像画素22と、位相差検出画素23とを含む。撮像画素21及び撮像画素22は、光電変換部等を含む通常の画素である。撮像画素21及び撮像画素22の画素信号は、撮像画像等を構成する。撮像画素21は、特定の方向(この例ではX軸方向)において、他の撮像画素(この例では他の撮像画素21)に隣接する一方で位相差検出画素23には隣接しない第1の撮像画素である。図3も参照して説明する。
図3は、図2のIII-III線に沿ってみた断面を模式的に示す図である。図3の(A)に示されるように、撮像画素21は、光電変換部201と、カラーフィルタ202と、レンズ203と、遮光壁204とを含む。撮像画素21に含まれる他の要素、例えば画素トランジスタ等については図示を省略する。とくに説明がある場合を除き、各要素の材料は、技術常識の範囲内で適宜選択されてよい。
光電変換部201は、例えば先に述べたフォトダイオード等の光電変換素子である。カラーフィルタ202は、光電変換部201に対して設けられる。この例では、カラーフィルタ202は、光電変換部201の前方(Z軸正方向側)に設けられ、撮像画素21が対応する色の光を通過させる。図において、緑色Gの光を通過させるカラーフィルタ202には、文字「G」を付している。赤色Rの光を通過させるカラーフィルタ202には、文字「R」を付している。レンズ203は、光を光電変換部201に集光するように、カラーフィルタ202の前方(Z軸正方向側)においてカラーフィルタ202上に設けられたマイクロチップレンズである。遮光壁204は、隣接する撮像画素21からの光を遮断するように、光電変換部201とカラーフィルタ202との間に設けられる。遮光壁204は、隣接する画素2どうしの間で共有されてもよい。
先にも述べたように、撮像画素21は、特定の方向において、他の撮像画素21と隣接する。図3に示される例では、X軸正方向に、緑色Gに対応する撮像画素21、赤色Rに対応する撮像画素21、及び、緑色Gに対応する撮像画素21が、この順に隣接して配置される。
図3の(B)において白抜き矢印で模式的に示されるように、撮像画素21のレンズ203及びカラーフィルタ202を通過した光の一部は、隣接する撮像画素21の光電変換部201に混入する。この例では、赤色Rに対応する撮像画素21の光電変換部201に、緑色Gに対応する撮像画素21からの光が混入する。撮像画素21において混色が生じる。
図2に戻り、撮像画素22は、特定の方向において位相差検出画素23の開口部op(後述)が隣接するように位相差検出画素23に隣接する第2の撮像画素である。位相差検出画素23の画素信号は、例えば像面位相差AF機能を得るために用いられる。この例では、位相差検出画素23は、ペアの位相差検出画素23である。ペアの一方の位相差検出画素23を、位相差検出画素23Aと称し図示する。ペアの他方の位相差検出画素23を、位相差検出画素23Bと称し図示する。図4も参照して説明する。
図4は、図2のIV-IV線に沿ってみた断面を模式的に示す図である。X軸正方向に、緑色Gに対応する位相差検出画素23B、赤色Rに対応する撮像画素22、及び、緑色Gに対応する位相差検出画素23Aが、この順に隣接して配置される。この例では、位相差検出画素23A及び位相差検出画素23Bのカラーフィルタ202は、撮像画素22のカラーフィルタ202が通過させる色の光とは異なる色の光を通過させる。
図4の(A)に示されるように、位相差検出画素23A及び位相差検出画素23Bは、撮像画素21(図3)や撮像画素22と比較して、遮光膜205及び開口部opを含む点において相違する。
遮光膜205は、光電変換部201の一部を覆うように、光電変換部201とカラーフィルタ202との間に(例えば光電変換部201上に)設けられる。遮光膜205の材料の例は、タングステン(W)等である。
開口部opは、位相差検出画素23において光電変換部201が遮光膜205で覆われていない部分である。開口部opは、光電変換部201のうち、撮像画素22側の部分を露出させる。すなわち、位相差検出画素23は、開口部opが撮像画素22側に位置するように配置される。
具体的に、位相差検出画素23Aの遮光膜205及び開口部opを、遮光膜205A及び開口部opAと称し図示する。位相差検出画素23Aの開口部opAは、特定方向における光電変換部201の一方側部分(この例ではX軸負方向側の部分)を露出させる。位相差検出画素23Aは、開口部opAが撮像画素22側に(この例ではX軸負方向側に)位置するように配置される。X軸正方向を右方向としX軸負方向を左方向とすると、位相差検出画素23Aは、左側が開口され、右側が遮光された構造を有する。
位相差検出画素23Bの遮光膜205及び開口部opを、遮光膜205B及び開口部opBと称し図示する。位相差検出画素23Bの開口部opBは、特定方向における光電変換部201の他方側部分(この例ではX軸正方向側の部分)を露出させる。位相差検出画素23Bは、開口部opBが撮像画素22側(この例ではX軸正方向側に)位置するように配置される。X軸正方向を右方向としX軸負方向を左方向とすると、位相差検出画素23Bは、右側が開口され、左側が遮光された構造を有する。
なお、上述のような位相差検出画素23A及び位相差検出画素23Bを利用した位相差検出や像面位相差AFに関する具体的な処理等は公知であるので、詳細な説明は省略する。
図4の(B)において白抜き矢印で模式的に示されるように、位相差検出画素23のレンズ203及びカラーフィルタ202を通過した光の一部は、開口部opを通り、隣接する撮像画素22の光電変換部201に混入する。この例では、赤色Rに対応する撮像画素22の光電変換部201に、緑色Gに対応する位相差検出画素23からの光が混入する。撮像画素22において混色が生じる。
以上で説明したように、光検出装置1では、撮像画素22において、撮像画素21と同様に、隣接画素からの光が混入する。撮像画素21及び撮像画素22どうしの間での(撮像画素どうしの間での)隣接画素からの光の混入量のバラつき(感度のバラつき)、ひいては混色の程度のバラつきを抑制することができる。バラつきに起因する画質の劣化等を抑制することが可能になる。比較例も用いて説明する。
図5は、比較例を示す図である。この比較例に係る画素領域3Eでは、X軸正方向に、緑色Gに対応する位相差検出画素23A、赤色Rに対応する撮像画素22E及び緑色Gに対応する位相差検出画素23Bが、この順に隣接して配置される。
図6は、図5のVI-VI線に沿ってみた断面を模式的に示す図である。白抜き矢印で模式的に示されるように、位相差検出画素23のレンズ203及びカラーフィルタ202を通過した光の一部は、遮光膜205によって遮られる。具体的に、位相差検出画素23Aでは、光が遮光膜205-Aによって遮られる。位相差検出画素23Bでは、光が遮光膜205-Bによって遮られる。位相差検出画素23からの光の撮像画素22Eへの混入が抑制される。撮像画素21及び撮像画素22Eどうしの間での隣接画素からの光の混入量のバラつきが大きくなる。この問題が、先に説明したように、実施形態に係る光検出装置1によって対処される。
なお、先に説明した図2の画素配置では、撮像画素22を挟んで位相差検出画素23とは反対側に位置する画素2において、隣接する位相差検出画素23からの光がその位相差検出画素23の遮光膜205によって遮られ、混入しない。ただしこの場合でも、当該画素2においては、一方の側の隣接画素からの光が混入しなくなるにとどまる。上記の比較例のように両側の隣接画素からの光が混入しなくなる場合よりも、隣接画素からの光の混入量を、撮像画素21における混入量に近づけることができる。混入量の相違に起因する影響の程度が小さいので(比較例の半分程度にとどまるため)、例えば補正等の信号処理で対応が容易になる。
2.変形例
上記実施形態では、画素配列として、1×1画素のベイヤー配列を例に挙げて説明した。ただし、これ以外のさまざまな画素配列が採用されてよい。また、上記実施形態では、撮像画素22が対応する色が赤色Rである場合を例に挙げて説明した。ただし、当然ながら、撮像画素22が対応する色は、赤色R以外の色であってもよい。図7~図12を参照して説明する。
上記実施形態では、画素配列として、1×1画素のベイヤー配列を例に挙げて説明した。ただし、これ以外のさまざまな画素配列が採用されてよい。また、上記実施形態では、撮像画素22が対応する色が赤色Rである場合を例に挙げて説明した。ただし、当然ながら、撮像画素22が対応する色は、赤色R以外の色であってもよい。図7~図12を参照して説明する。
図7は、画素配列の変形例を示す図である。複数の画素2は、3×3画素を単位パターンとして配列される。単位パターンは、赤色Rに対応する2つの画素2と、緑色Gに対応する2つの画素2と、緑色Gに対応する5つの画素2とで構成される。緑色Gに対応する2×2の画素2に隣接して、赤色R及び青色Bに対応する1×2の画素2と、赤色R及び青色Bに対応する2×1の画素2とが配置される。残りの部分には、緑色Gに対応する画素2が配置される。
図7において符号が付された画素2を例に挙げて説明する。X軸正方向において、緑色Gに対応する位相差検出画素23B、青色Bに対応する撮像画素22、及び、緑色Gに対応する位相差検出画素23Aが、この順に隣接して配置される。位相差検出画素23は、開口部opが撮像画素22側に位置するように配置される。撮像画素22には、撮像画素21と同程度に、隣接画素からの光が混入する。
なお、ペアとなる位相差検出画素23A及び位相差検出画素23Bは、任意の組合せでよく、撮像画素22を挟んで互いに反対側に位置する2つの位相差検出画素23であってもよいし、撮像画素22どうしの間に並んで配置された2つの位相差検出画素23であってもよい。
図8は、画素配列の変形例を示す図である。複数の画素2は、2×2の同じ色に対応する画素2を単位パターンとしてベイヤー配列される(クワッドベイヤー配列)。単位パターン内の各画素2の画素信号は、例えば加算されて読み出される。X軸方向において、位相差検出画素23は、図8の(A)に示されるように比較的密に配置されてもよいし、図8の(B)に示されるように比較的疎に配置されてもよい。位相差検出画素23の密度にはとくに制約はなくてよく、任意の周期で配置されてもよい。
図8において符号が付された画素2を例に挙げて説明する。X軸正方向において、緑色Gに対応する位相差検出画素23B、赤色Rに対応する2つの撮像画素22、及び、緑色Gに対応する位相差検出画素23Aが、この順に隣接して配置される。位相差検出画素23は、開口部opが撮像画素22側に位置するように配置される。撮像画素22には、撮像画素21と同程度に、隣接画素からの光が混入する。比較例も用いて説明する。
図9は、比較例を示す図である。X軸正方向において、緑色Gに対応する位相差検出画素23A、赤色Rに対応する2つの撮像画素22E、及び、緑色Gに対応する位相差検出画素23Bが、この順に隣接して配置される。位相差検出画素23は、開口部opが撮像画素22E側とは反対側に位置するように配置される。位相差検出画素23からの光は、遮光膜205によって遮られ、撮像画素22Eには混入しない。その結果、撮像画素21及び撮像画素22Eどうしの間での隣接画素からの光の混入量のバラつきが大きくなる。上述の加算された画素信号に影響を及ぼし、画質の劣化等につながる可能性がある。この問題が、先に説明した図8の画素配列によって対処される。
図10は、画素配列の変形例を示す図である。複数の画素2は、3×3の同じ色に対応する画素2を基本パターンとしてベイヤー配列される(3×3ベイヤー配列)。X軸正方向において、位相差検出画素23は、図10の(A)に示されるように比較的密に配置されてもよいし、図10の(B)に示されるように比較的疎に配置されてもよい。
図10において符号が付された画素2を例に挙げて説明する。X軸方向において、緑色Gに対応する位相差検出画素23B、赤色Rに対応する撮像画素22、赤色Rに対応する撮像画素21、赤色Rに対応する撮像画素22、及び、緑色Gに対応する位相差検出画素23Aが、この順に隣接して配置される。位相差検出画素23は、遮光膜205の開口部opが撮像画素22側に位置するように配置される。撮像画素22には、撮像画素21と同程度に、隣接画素からの光が混入する。比較例も用いて説明する。
図11は、比較例を示す図である。X軸正方向において、緑色Gに対応する位相差検出画素23A、赤色Rに対応する撮像画素22E、赤色Rに対応する撮像画素21、赤色Rに対応する撮像画素22E、及び、緑色Gに対応する位相差検出画素23Bが、この順に隣接して配置される。位相差検出画素23は、遮光膜205の開口部opが撮像画素22Eとは反対側に位置するように配置される。隣接画素すなわち位相差検出画素23からの光は、遮光膜205によって遮られ、撮像画素22Eには混入しない。撮像画素21及び撮像画素22Eどうしの間での隣接画素からの光の混入量のバラつきが大きくなる。この問題が、先に説明した図10の画素配列によって対処される。
図12は、画素配列の変形例を示す図である。複数の画素2は、2×1の同じ色に対応する画素2を基本パターンとしてベイヤー配列される(2×1ベイヤー配列)。X軸正方向において、緑色Gに対応する位相差検出画素23B、赤色Rに対応する2つの撮像画素22、及び、緑色Gに対応する位相差検出画素23Aが、この順に隣接して配置される。位相差検出画素23は、開口部opが撮像画素22側に位置するように配置される。撮像画素22には、撮像画素21と同程度に、隣接画素からの光が混入する。
上記実施形態では、撮像画素22及び位相差検出画素23が配置される特定の方向がX軸方向(行方向)である場合を例に挙げて説明した。ただし、特定の方向は、X軸方向以外の方向であってもよい。また、撮像画素22及び位相差検出画素23が対応する色(カラーフィルタ202の種類)は同じであってもよい。図13~図16を参照して説明する。
図13は、画素配列の変形例を示す図である。Y軸方向(列方向)において、撮像画素22及び位相差検出画素23が配置される。このように配置される位相差検出画素23を、位相差検出画素23A2及び位相差検出画素23B2と称し図示する。
図13において符号が付された画素2を例に挙げて説明する。Y軸負方向において、緑色Gに対応する位相差検出画素23B2、青色Bに対応する2つの撮像画素22、及び、緑色Gに対応する位相差検出画素23A2が、この順に隣接して配置される。
図14は、図13のXIV-XIV線に沿ってみた断面を模式的に示す図である。位相差検出画素23A2の遮光膜205A2は、Y軸方向における光電変換部201の一方側部分(この例ではY軸正方向側の部分)を露出させる。位相差検出画素23B2の遮光膜205B2は、Y軸方向における光電変換部201の他方側部分(この例ではY軸負方向側の部分)を露出させる。
上記の構成によっても、これまで説明した原理と同様の原理により、撮像画素22には、撮像画素21と同程度に、隣接画素からの光が混入する。撮像画素21及び撮像画素22どうしの間での隣接画素からの光の混入量のバラつきを抑制することができる。
図15は、配列の変形例を示す図である。X軸方向(行方向)とY軸方向(列方向)との中間の方向(斜め方向)において、撮像画素22及び位相差検出画素23が配置される。このように配置される位相差検出画素23を、位相差検出画素23A3及び位相差検出画素23B3と称し図示する。
図15において符号が付された画素2を例に挙げて説明する。X軸負方向及びY軸負方向の中間方向において、緑色Gに対応する位相差検出画素23B2、緑色Gに対応する撮像画素22、及び、緑色Gに対応する位相差検出画素23A3が、この順に隣接して配置される。
図16は、図15のXVI-XVI線に沿ってみた断面を模式的に示す図である。位相差検出画素23A3の遮光膜205A3は、斜め方向における光電変換部201の一方側部分(この例ではX軸正方向及びY軸正方向の中間方向側の部分)を露出させる。位相差検出画素23B3の遮光膜205B3は、斜め方向における光電変換部201の他方側部分(この例ではX軸負方向及びY軸負方向の中間方向側の部分)を露出させる。
上記の構成によっても、これまで説明した原理と同様の原理により、撮像画素22には、撮像画素21と同程度に、隣接画素からの光が混入する。撮像画素21及び撮像画素22どうしの間での隣接画素からの光の混入量のバラつきを抑制することができる。
上記実施形態では、位相差検出画素23が緑色Gに対応す場合を例に挙げて説明した。ただし、位相差検出画素23は、緑色G以外の色に対応する画素2であってもよい。図17を参照して説明する。
図17は、画素配列の変形例を示す図である。X軸正方向において、赤色Rに対応する位相差検出画素23B、緑色Gに対応する2つの撮像画素22、及び、赤色Rに対応する位相差検出画素23Aが、この順に隣接して配置される。この場合も、撮像画素21及び撮像画素22どうしの間での隣接画素からの光の混入量のバラつきを抑制することができる。なお、当然ながら、位相差検出画素23A及び位相差検出画素23Bは、青色Bに対応する位相差検出画素23であってもよい。
上記実施形態では、位相差検出画素23がカラーフィルタ202を含む場合を例に挙げて説明した。ただし、位相差検出画素23は、カラーフィルタ202を含んでいなくてもよい。カラーフィルタ202による光量の損失等を回避し、例えば位相差検出画素23の感度を向上させることができる。
上記実施形態では、画素2が対応する色として、赤色R、緑色G及び青色Bを例に挙げて説明した。ただし、画素2は、これら以外の色に対応してもよい。カラーフィルタ202についても同様である。
3.電子機器への搭載例
これまで説明した光検出装置1は、例えば電子機器に搭載されて用いられる。図18を参照して説明する。
これまで説明した光検出装置1は、例えば電子機器に搭載されて用いられる。図18を参照して説明する。
図18は、電子機器の概略構成の例を示す図である。電子機器101の例は、ディジタルスチルカメラ、ディジタルビデオカメラ等の撮像機器、また、そのような撮像機能を備える携帯電話機等である。図18に示される例では、電子機器101は、光学系102と、光検出装置103と、DSP(Digital Signal Processor)104を含む。また、バス107を介して、DSP104、表示装置105、操作系106、メモリ108、記録装置109、及び電源系110が接続される。例えば静止画像や動画像の撮像が可能である。
光学系102は、1枚または複数枚のレンズを有して構成され、被写体からの像光(入射光)を光検出装置103に導き、光検出装置103の受光面(センサ部)に結像させる。光検出装置103には、光学系102を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、光検出装置103の画素2に蓄積された電子に応じた信号がDSP104に供給される。
DSP104は、光検出装置103からの信号に対して各種の信号処理を施して画像を取得し、その画像のデータを、メモリ108に一時的に記憶させる。メモリ108に記憶された画像のデータは、記録装置109に記録されたり、表示装置105に供給されて画像が表示されたりする。また、操作系106は、ユーザによる各種の操作を受け付けて電子機器101の各ブロックに操作信号を供給し、電源系110は、電子機器101の各ブロックの駆動に必要な電力を供給する。
電子機器101によれば、光検出装置103(これまで説明した光検出装置1に相当)が搭載されていることで、例えば画質の劣化等を抑制することが可能である。
4.効果の例
以上で説明した技術は、例えば次のように特定される。開示される技術の1つは、光検出装置1である。図1~図4等を参照して説明したように、光検出装置1は、2次元状に配列された複数の画素2を備える。複数の画素2は、光電変換部201を含む撮像画素21及び撮像画素22と、光電変換部201、当該光電変換部201の一部を覆う遮光膜205、及び、当該光電変換部201が当該遮光膜205で覆われていない部分である開口部opを含む位相差検出画素23と、を含む。撮像画素21は、特定の方向(例えばX軸方向)において他の撮像画素(撮像画素21や撮像画素22)に隣接する一方で位相差検出画素23には隣接しない第1の撮像画素である。撮像画素22は、特定の方向において、位相差検出画素23の開口部opが隣接するように位相差検出画素23に隣接する第2の撮像画素である。
以上で説明した技術は、例えば次のように特定される。開示される技術の1つは、光検出装置1である。図1~図4等を参照して説明したように、光検出装置1は、2次元状に配列された複数の画素2を備える。複数の画素2は、光電変換部201を含む撮像画素21及び撮像画素22と、光電変換部201、当該光電変換部201の一部を覆う遮光膜205、及び、当該光電変換部201が当該遮光膜205で覆われていない部分である開口部opを含む位相差検出画素23と、を含む。撮像画素21は、特定の方向(例えばX軸方向)において他の撮像画素(撮像画素21や撮像画素22)に隣接する一方で位相差検出画素23には隣接しない第1の撮像画素である。撮像画素22は、特定の方向において、位相差検出画素23の開口部opが隣接するように位相差検出画素23に隣接する第2の撮像画素である。
上記の光検出装置1では、撮像画素22が、特定の方向において、位相差検出画素23の開口部opが撮像画素22側に位置するように位相差検出画素23に隣接する。すなわち、位相差検出画素23は、開口部opが撮像画素22側に位置するように撮像画素22に隣接して配置される。その結果、撮像画素22においても、撮像画素21と同様に、隣接画素からの光が混入する。従って、撮像画素21及び撮像画素22どうしの間での(撮像画素どうしの間での)隣接画素からの光の混入量のバラつきを抑制することが可能になる。例えば光検出装置1が個体撮像装置の場合には、画質劣化を抑制することができる。
図2、図4、図8及び図12等を参照して説明したように、特定の方向において、位相差検出画素23、1つ以上の撮像画素22(第2の撮像画素)、及び、位相差検出画素23が、この順に隣接して配置されてよい。例えば図2等を参照して説明したように、特定の方向において、位相差検出画素23の開口部op、1つの撮像画素22(第2の撮像画素)、及び位相差検出画素23の開口部opが、この順に隣接してよい。或いは、図10等を参照して説明したように、特定の方向において、位相差検出画素23、1つ以上の撮像画素22(第2の撮像画素)、1つ以上の撮像画素21(第1の撮像画素)、1つ以上の撮像画素22(第2の撮像画素)、及び、位相差検出画素23が、この順に隣接して配置されてもよい。例えばこのように位相差検出画素23どうしの間に撮像画素22を配置することで、撮像画素22において、撮像画素21と同様に、隣接画素からの光を混入させることができる。
図2及び図4等を参照して説明したように、位相差検出画素23は、位相差検出画素23のペアであり、ペアの一方の位相差検出画素23Aの開口部opAは、特定の方向における光電変換部201の一方側部分(例えばX軸負方向側の部分)を露出させ、ペアの他方の位相差検出画素23Bの開口部opBは、特定の方向における光電変換部201の他方側部分(例えばX軸正方向側の部分)を露出させてよい。例えばこのような位相差検出画素23A及び位相差検出画素23Bを配置することで、像面位相差AF機能を得ることができる。
図3及び図4等を参照して説明したように、撮像画素21及び撮像画素22は、光電変換部201に対して設けられたカラーフィルタ202を含んでよい。位相差検出画素23も、光電変換部201に対して設けられたカラーフィルタ202を含んでよい。位相差検出画素23のカラーフィルタ202は、撮像画素22(第2の撮像画素)のカラーフィルタ202が通過させる色の光とは異なる色の光を通過させてよい。このようなカラーフィルタ202がある場合には、撮像画素22において、撮像画素21と同様に、混色を生じさせることができる。撮像画素21及び撮像画素22どうしの間での混色の程度のバラつきを抑制することが可能になる。例えば画質の劣化等を抑制することができる。
図2~図4及び図13~図16等を参照して説明したように、特定の方向(撮像画素22及び位相差検出画素23の配置方向)は、複数の画素2の行方向(X軸方向)、複数の画素2の列方向(Y軸方向)、及び、画素2の画素の行方向と列方向との中間の方向(斜め方向)、の少なくとも1つを含んでよい。例えばこのようなさまざまな方向に撮像画素22及び位相差検出画素23を配置することが可能である。
図18等を参照して説明した電子機器101も、開示される技術の1つである。電子機器101には、光検出装置103が搭載される。光検出装置103は、これまで説明した光検出装置1と同様の構成を備える。このような電子機器101によっても、これまで説明したように、撮像画素21及び撮像画素22どうしの間での隣接画素からの光の混入量のバラつきを抑制することが可能になる。例えば画質の劣化等を抑制することができる。
5.移動体への応用例
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図19は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図19に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図19の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図20は、撮像部12031の設置位置の例を示す図である。
図20では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図20には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031等に適用され得る。具体的には、光検出装置1を、撮像部12031に適用することができる。本開示に係る技術を適用することにより、例えば画質の劣化等を抑制することができる。
6.内視鏡手術システムへの応用例
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図21は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図21では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
光源装置11203は、例えばLED(light emitting diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
図22は、図21に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えばカメラヘッド11102の撮像部11402等に適用され得る。具体的には、光検出装置1は、撮像部10402に適用することができる。本開示に係る技術を適用することにより、例えば画質の低下を抑制することができる。
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
なお、本開示に記載された効果は、あくまで例示であって、開示された内容に限定されない。他の効果があってもよい。
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
2次元状に配列された複数の画素を備え、
前記複数の画素は、
光電変換部を含む撮像画素と、
光電変換部、当該光電変換部の一部を覆う遮光膜、及び、当該光電変換部が当該遮光膜で覆われていない部分である開口部を含む位相差検出画素と、
を含み、
前記撮像画素は、
特定の方向において他の撮像画素に隣接する一方で前記位相差検出画素には隣接しない第1の撮像画素と、
前記特定の方向において、前記位相差検出画素の前記開口部が隣接するように前記位相差検出画素に隣接する第2の撮像画素と、
を含む、
光検出装置。
(2)
前記特定の方向において、前記位相差検出画素、1つ以上の前記第2の撮像画素、及び、前記位相差検出画素が、この順に隣接して配置される、
(1)に記載の光検出装置。
(3)
前記特定の方向において、前記位相差検出画素の前記開口部、1つの前記第2の撮像画素、及び前記位相差検出画素の前記開口部が、この順に隣接する、
(2)に記載の光検出装置。
(4)
前記特定の方向において、前記位相差検出画素、1つ以上の前記第2の撮像画素、1つ以上の前記第1の撮像画素、1つ以上の前記第2の撮像画素、及び、前記位相差検出画素が、この順に隣接して配置される、
(1)に記載の光検出装置。
(5)
前記位相差検出画素は、位相差検出画素のペアであり、
前記ペアの一方の位相差検出画素の前記開口部は、前記特定の方向における前記光電変換部の一方側部分を露出させ、
前記ペアの他方の位相差検出画素の前記開口部は、前記特定の方向における前記光電変換部の他方側部分を露出させる、
(1)~(4)のいずれかに記載の光検出装置。
(6)
前記撮像画素は、前記光電変換部に対して設けられたカラーフィルタを含む、
(1)~(5)のいずれかに記載の光検出装置。
(7)
前記位相差検出画素は、前記光電変換部に対して設けられたカラーフィルタを含む、
(6)に記載の光検出装置。
(8)
前記位相差検出画素の前記カラーフィルタは、前記第2の撮像画素の前記カラーフィルタが通過させる色の光とは異なる色の光を通過させる、
(7)に記載の光検出装置。
(9)
前記特定の方向は、
前記複数の画素の行方向、
前記複数の画素の列方向、及び、
前記複数の画素の行方向と列方向との中間の方向、
の少なくとも1つを含む、
(1)~(8)のいずれかに記載の光検出装置。
(10)
光検出装置が搭載された電子機器であって、
前記光検出装置は、
2次元状に配列された複数の画素を備え、
前記複数の画素は、
光電変換部を含む撮像画素と、
光電変換部及び当該光電変換部の一部を覆う遮光膜を含む位相差検出画素と、
を含み、
前記撮像画素は、
特定の方向において他の撮像画素に隣接する一方で前記位相差検出画素には隣接しない複数の第1の撮像画素と、
前記特定の方向において前記位相差検出画素に隣接するとともに、当該位相差検出画素において前記光電変換部が前記遮光膜で覆われていない部分である開口部に隣接する第2の撮像画素と、
を含む、
電子機器。
(1)
2次元状に配列された複数の画素を備え、
前記複数の画素は、
光電変換部を含む撮像画素と、
光電変換部、当該光電変換部の一部を覆う遮光膜、及び、当該光電変換部が当該遮光膜で覆われていない部分である開口部を含む位相差検出画素と、
を含み、
前記撮像画素は、
特定の方向において他の撮像画素に隣接する一方で前記位相差検出画素には隣接しない第1の撮像画素と、
前記特定の方向において、前記位相差検出画素の前記開口部が隣接するように前記位相差検出画素に隣接する第2の撮像画素と、
を含む、
光検出装置。
(2)
前記特定の方向において、前記位相差検出画素、1つ以上の前記第2の撮像画素、及び、前記位相差検出画素が、この順に隣接して配置される、
(1)に記載の光検出装置。
(3)
前記特定の方向において、前記位相差検出画素の前記開口部、1つの前記第2の撮像画素、及び前記位相差検出画素の前記開口部が、この順に隣接する、
(2)に記載の光検出装置。
(4)
前記特定の方向において、前記位相差検出画素、1つ以上の前記第2の撮像画素、1つ以上の前記第1の撮像画素、1つ以上の前記第2の撮像画素、及び、前記位相差検出画素が、この順に隣接して配置される、
(1)に記載の光検出装置。
(5)
前記位相差検出画素は、位相差検出画素のペアであり、
前記ペアの一方の位相差検出画素の前記開口部は、前記特定の方向における前記光電変換部の一方側部分を露出させ、
前記ペアの他方の位相差検出画素の前記開口部は、前記特定の方向における前記光電変換部の他方側部分を露出させる、
(1)~(4)のいずれかに記載の光検出装置。
(6)
前記撮像画素は、前記光電変換部に対して設けられたカラーフィルタを含む、
(1)~(5)のいずれかに記載の光検出装置。
(7)
前記位相差検出画素は、前記光電変換部に対して設けられたカラーフィルタを含む、
(6)に記載の光検出装置。
(8)
前記位相差検出画素の前記カラーフィルタは、前記第2の撮像画素の前記カラーフィルタが通過させる色の光とは異なる色の光を通過させる、
(7)に記載の光検出装置。
(9)
前記特定の方向は、
前記複数の画素の行方向、
前記複数の画素の列方向、及び、
前記複数の画素の行方向と列方向との中間の方向、
の少なくとも1つを含む、
(1)~(8)のいずれかに記載の光検出装置。
(10)
光検出装置が搭載された電子機器であって、
前記光検出装置は、
2次元状に配列された複数の画素を備え、
前記複数の画素は、
光電変換部を含む撮像画素と、
光電変換部及び当該光電変換部の一部を覆う遮光膜を含む位相差検出画素と、
を含み、
前記撮像画素は、
特定の方向において他の撮像画素に隣接する一方で前記位相差検出画素には隣接しない複数の第1の撮像画素と、
前記特定の方向において前記位相差検出画素に隣接するとともに、当該位相差検出画素において前記光電変換部が前記遮光膜で覆われていない部分である開口部に隣接する第2の撮像画素と、
を含む、
電子機器。
1 光検出装置
2 画素
21 撮像画素(第1の撮像画素)
22 撮像画素(第2の撮像画素)
23 位相差検出画素
23A 位相差検出画素(ペアの一方の位相差検出画素)
23B 位相差検出画素(ペアの他方の位相差検出画素)
201 光電変換部
202 カラーフィルタ
203 レンズ
204 遮光壁
205 遮光膜
205A 遮光膜
205B 遮光膜
op 開口部
opA 開口部
opB 開口部
3 画素領域
4 垂直駆動回路
5 カラム信号処理回路
6 水平駆動回路
7 出力回路
8 制御回路
9 垂直信号線
10 水平信号線
11 基板
12 入出力端子
101 電子機器
102 光学系
103 光検出装置
104 DSP
105 表示装置
106 操作系
107 バス
108 メモリ
109 記録装置
110 電源系
R 赤色
G 緑色
B 青色
2 画素
21 撮像画素(第1の撮像画素)
22 撮像画素(第2の撮像画素)
23 位相差検出画素
23A 位相差検出画素(ペアの一方の位相差検出画素)
23B 位相差検出画素(ペアの他方の位相差検出画素)
201 光電変換部
202 カラーフィルタ
203 レンズ
204 遮光壁
205 遮光膜
205A 遮光膜
205B 遮光膜
op 開口部
opA 開口部
opB 開口部
3 画素領域
4 垂直駆動回路
5 カラム信号処理回路
6 水平駆動回路
7 出力回路
8 制御回路
9 垂直信号線
10 水平信号線
11 基板
12 入出力端子
101 電子機器
102 光学系
103 光検出装置
104 DSP
105 表示装置
106 操作系
107 バス
108 メモリ
109 記録装置
110 電源系
R 赤色
G 緑色
B 青色
Claims (10)
- 2次元状に配列された複数の画素を備え、
前記複数の画素は、
光電変換部を含む撮像画素と、
光電変換部、当該光電変換部の一部を覆う遮光膜、及び、当該光電変換部が当該遮光膜で覆われていない部分である開口部を含む位相差検出画素と、
を含み、
前記撮像画素は、
特定の方向において他の撮像画素に隣接する一方で前記位相差検出画素には隣接しない第1の撮像画素と、
前記特定の方向において、前記位相差検出画素の前記開口部が隣接するように前記位相差検出画素に隣接する第2の撮像画素と、
を含む、
光検出装置。 - 前記特定の方向において、前記位相差検出画素、1つ以上の前記第2の撮像画素、及び、前記位相差検出画素が、この順に隣接して配置される、
請求項1に記載の光検出装置。 - 前記特定の方向において、前記位相差検出画素の前記開口部、1つの前記第2の撮像画素、及び前記位相差検出画素の前記開口部が、この順に隣接する、
請求項2に記載の光検出装置。 - 前記特定の方向において、前記位相差検出画素、1つ以上の前記第2の撮像画素、1つ以上の前記第1の撮像画素、1つ以上の前記第2の撮像画素、及び、前記位相差検出画素が、この順に隣接して配置される、
請求項1に記載の光検出装置。 - 前記位相差検出画素は、位相差検出画素のペアであり、
前記ペアの一方の位相差検出画素の前記開口部は、前記特定の方向における前記光電変換部の一方側部分を露出させ、
前記ペアの他方の位相差検出画素の前記開口部は、前記特定の方向における前記光電変換部の他方側部分を露出させる、
請求項1に記載の光検出装置。 - 前記撮像画素は、前記光電変換部に対して設けられたカラーフィルタを含む、
請求項1に記載の光検出装置。 - 前記位相差検出画素は、前記光電変換部に対して設けられたカラーフィルタを含む、
請求項6に記載の光検出装置。 - 前記位相差検出画素の前記カラーフィルタは、前記第2の撮像画素の前記カラーフィルタが通過させる色の光とは異なる色の光を通過させる、
請求項7に記載の光検出装置。 - 前記特定の方向は、
前記複数の画素の行方向、
前記複数の画素の列方向、及び、
前記複数の画素の行方向と列方向との中間の方向、
の少なくとも1つを含む、
請求項1に記載の光検出装置。 - 光検出装置が搭載された電子機器であって、
前記光検出装置は、
2次元状に配列された複数の画素を備え、
前記複数の画素は、
光電変換部を含む撮像画素と、
光電変換部及び当該光電変換部の一部を覆う遮光膜を含む位相差検出画素と、
を含み、
前記撮像画素は、
特定の方向において他の撮像画素に隣接する一方で前記位相差検出画素には隣接しない複数の第1の撮像画素と、
前記特定の方向において前記位相差検出画素に隣接するとともに、当該位相差検出画素において前記光電変換部が前記遮光膜で覆われていない部分である開口部に隣接する第2の撮像画素と、
を含む、
電子機器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-191032 | 2021-11-25 | ||
JP2021191032A JP2023077673A (ja) | 2021-11-25 | 2021-11-25 | 光検出装置及び電子機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023095518A1 true WO2023095518A1 (ja) | 2023-06-01 |
Family
ID=86539358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/039816 WO2023095518A1 (ja) | 2021-11-25 | 2022-10-26 | 光検出装置及び電子機器 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023077673A (ja) |
WO (1) | WO2023095518A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014046037A1 (ja) * | 2012-09-19 | 2014-03-27 | 富士フイルム株式会社 | 撮像装置及びその制御方法 |
WO2018003501A1 (ja) * | 2016-06-28 | 2018-01-04 | ソニー株式会社 | 固体撮像装置、電子機器、レンズ制御方法および車両 |
-
2021
- 2021-11-25 JP JP2021191032A patent/JP2023077673A/ja active Pending
-
2022
- 2022-10-26 WO PCT/JP2022/039816 patent/WO2023095518A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014046037A1 (ja) * | 2012-09-19 | 2014-03-27 | 富士フイルム株式会社 | 撮像装置及びその制御方法 |
WO2018003501A1 (ja) * | 2016-06-28 | 2018-01-04 | ソニー株式会社 | 固体撮像装置、電子機器、レンズ制御方法および車両 |
Also Published As
Publication number | Publication date |
---|---|
JP2023077673A (ja) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11847759B2 (en) | Image processing device, image processing method, and image processing program | |
JP2018200980A (ja) | 撮像装置および固体撮像素子、並びに電子機器 | |
US11889206B2 (en) | Solid-state imaging device and electronic equipment | |
WO2019220696A1 (ja) | 撮像素子および撮像装置 | |
TW202133413A (zh) | 固態攝像裝置及電子機器 | |
WO2019207978A1 (ja) | 撮像素子および撮像素子の製造方法 | |
WO2019171879A1 (ja) | 撮像装置 | |
WO2023013444A1 (ja) | 撮像装置 | |
WO2018173793A1 (ja) | 固体撮像素子、および電子機器 | |
WO2021171796A1 (ja) | 固体撮像装置及び電子機器 | |
WO2023095518A1 (ja) | 光検出装置及び電子機器 | |
WO2018066348A1 (ja) | 固体撮像装置および撮像方法、並びに電子機器 | |
WO2021100338A1 (ja) | 固体撮像素子 | |
WO2020100697A1 (ja) | 固体撮像素子、固体撮像装置及び電子機器 | |
WO2023162496A1 (ja) | 撮像装置 | |
WO2023080011A1 (ja) | 撮像装置及び電子機器 | |
WO2023013156A1 (ja) | 撮像素子及び電子機器 | |
WO2023013393A1 (ja) | 撮像装置 | |
WO2022158170A1 (ja) | 光検出素子および電子機器 | |
WO2023195316A1 (en) | Light detecting device | |
WO2021090663A1 (ja) | 撮像デバイス及び撮像デバイスにおける画素信号の補正処理方法 | |
WO2021186911A1 (ja) | 撮像装置及び電子機器 | |
WO2023195315A1 (en) | Light detecting device | |
WO2024029408A1 (ja) | 撮像装置 | |
WO2023132137A1 (ja) | 撮像素子および電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22898302 Country of ref document: EP Kind code of ref document: A1 |