WO2023047719A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2023047719A1
WO2023047719A1 PCT/JP2022/023227 JP2022023227W WO2023047719A1 WO 2023047719 A1 WO2023047719 A1 WO 2023047719A1 JP 2022023227 W JP2022023227 W JP 2022023227W WO 2023047719 A1 WO2023047719 A1 WO 2023047719A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
electronic device
section
infrared imaging
display
Prior art date
Application number
PCT/JP2022/023227
Other languages
English (en)
French (fr)
Inventor
孝志 大場
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023047719A1 publication Critical patent/WO2023047719A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements

Definitions

  • This disclosure relates to electronic equipment.
  • Recent electronic devices such as smartphones, mobile phones, and PCs (Personal Computers) are equipped with an infrared imaging unit that irradiates the user with infrared light and generates a distance image with distance information. is being considered.
  • One aspect of the present disclosure provides an electronic device that can reduce the width of the bezel while suppressing deterioration in the image quality of the distance image.
  • the present disclosure provides a display unit, An infrared imaging unit arranged on the opposite side of the display surface of the display unit, The infrared imaging unit is a plurality of photoelectric conversion units that photoelectrically convert infrared light incident through the display unit; An electronic device is provided.
  • An irradiation unit that irradiates infrared light on the side opposite to the display surface of the display unit may be further provided.
  • the infrared imaging section and the irradiating section may be arranged at a distance such that internal reflected light within the display section due to the infrared light emitted by the irradiating section is reduced to a predetermined level.
  • the infrared imaging unit and the irradiating unit may be arranged at a distance such that the light amount of the internally reflected light is one-eighth or less when the infrared imaging unit and the irradiating unit are adjacent to each other. .
  • the infrared imaging unit and the irradiation unit are placed at a distance equal to or less than the amount of internally reflected light at a position a predetermined distance away from the irradiation unit.
  • the part may be arranged.
  • the infrared imaging unit and the irradiation unit may be arranged at the same height and in contact with the rear surface of the display unit opposite to the display surface.
  • a light blocking plate may be further provided between the infrared imaging section and the irradiation section.
  • the directions of the optical axes of the infrared imaging unit and the irradiation unit may be set so that the angles of view of the infrared imaging unit and the irradiation unit overlap.
  • a visible imaging unit may be arranged on the opposite side of the display surface of the display unit.
  • the infrared imaging section, the irradiation section, and the visible imaging section may be arranged on the opposite side of the display surface of the display section so that their centers of gravity form equilateral triangles.
  • the infrared imaging section, the irradiation section, and the visible imaging section may be linearly arranged on the opposite side of the display surface of the display section.
  • the visible imaging section may be arranged in an intermediate portion between the infrared imaging section, the irradiation section, and the visible imaging section.
  • the infrared imaging section and the irradiation section may be arranged so as to be parallel to the short side of the display surface of the display section.
  • the infrared imaging section and the irradiation section may be arranged so as to be parallel to the long side of the display surface of the display section.
  • the infrared imaging section and the irradiation section may be arranged in a direction in which light propagation is small.
  • a first signal processing unit that generates a two-dimensional distance image based on the distance signal generated by the infrared imaging unit may be further provided.
  • the visible imaging section may further include a second signal processing section that generates a two-dimensional visible image.
  • the control unit may cause the display unit to display the two-dimensional range image and the two-dimensional visible image side by side.
  • the second signal processing unit may generate, as the two-dimensional visible image, an image corresponding to the coordinates of the two-dimensional range image as the two-dimensional visible image.
  • the display unit may include a display panel using organic light emitting diodes.
  • FIG. 2A is a schematic external view of the electronic device of FIG. 1, and FIG. 2B is a sectional view taken along line AA in FIG. The figure which shows typically a part of cross section of the BB line direction of Fig.1 (a).
  • FIG. 2 is a block diagram showing a configuration example of a sensor unit;
  • FIG. 2 is a block diagram showing a configuration example of a distance measurement unit; The figure explaining unnecessary light.
  • FIG. 4 is a diagram showing the relationship between the distance between the laser irradiation unit and the infrared imaging unit and the amount of unnecessary light;
  • FIG. 7 is a diagram showing an example in which the distance between the laser irradiation unit and the infrared imaging unit is set to be equal to or less than the threshold th shown in FIG.
  • FIG. 8 is a diagram showing the relationship between the distance between the laser irradiation unit and the infrared imaging unit in FIG. 7 and the amount of unnecessary light
  • FIG. 2 is a plan view schematically showing a configuration example of a display panel using organic light emitting diodes; The figure explaining the setting of distance when there is anisotropy in propagating property of light.
  • FIG. 4 is a diagram showing an example of optical axes between a laser irradiation unit and an infrared imaging unit; The figure which shows the example of the optical axis between the laser irradiation part and infrared imaging part which concern on 4th Embodiment.
  • FIG. 4 is a flowchart showing an example of processing according to the embodiment;
  • FIG. 4 is a diagram showing an example of a distance image and a visible image displayed on the display panel;
  • Embodiments of the electronic device will be described below with reference to the drawings. Although the main components of the electronic device will be mainly described below, the electronic device may have components and functions that are not illustrated or described. The following description does not exclude components or features not shown or described.
  • FIG. 1 is a diagram showing a schematic configuration example of an electronic device 1 according to the first embodiment.
  • the electronic device 1 in FIG. 1 is any electronic device having both a display function and a photographing function, such as a smart phone, a mobile phone, a tablet, or a PC.
  • FIG. 1(a) is a schematic external view of the electronic device 1
  • FIG. 1(b) is a sectional view taken along line AA in FIG. 1(a).
  • the electronic device 1 in FIG. 1 includes a camera module (visible imaging section) 3, a laser irradiation section 8, and an infrared imaging section 9 arranged on the opposite side of the display surface of the display section 2.
  • the electronic device 1 of FIG. 1 has the camera module 3 , the laser irradiation section 8 , and the infrared imaging section 9 behind the display surface of the display section 2 . Therefore, the camera module 3 and the infrared imaging section 9 perform imaging through the display section 2 .
  • the display screen 1a extends close to the external size of the electronic device 1, and the width of the bezel 1b around the display screen 1a is several millimeters or less. Normally, a front camera is often mounted on the bezel 1b.
  • a camera module 3 and a laser irradiation unit 8 are provided on the rear side of the substantially central portion of the display screen 1a. , and an infrared imaging unit 9 are arranged.
  • the distance between the camera module 3 and the laser irradiation unit 8, the distance between the camera module 3 and the infrared imaging unit 9d, and the distance between the laser irradiation unit 8 and the infrared imaging unit 9d are approximately arranged to be equal. That is, the center of gravity of the camera module 3, the laser irradiation unit 8, and the infrared imaging unit 9 forms an equilateral triangle.
  • the display unit 2 is a structure in which a display panel 4, a circularly polarizing plate 5, a touch panel 6, and a cover glass 7 are laminated in order.
  • the display panel 4 may be, for example, an organic EL display using OLED (Organic Light Emitting Dode), a liquid crystal display section, a MicroLED, or a display based on other display principles.
  • a member having a low transmittance in the circularly polarizing plate 5 may have a through-hole formed in accordance with the locations where the laser irradiation unit 8 and the infrared imaging unit 9 are arranged. The image quality of the image picked up by the infrared imaging unit 9 can be improved by allowing the laser light passing through the through hole to enter the infrared imaging unit 9 .
  • the circularly polarizing plate 5 is provided to reduce glare and improve the visibility of the display screen 1a even in a bright environment.
  • the touch panel 6 incorporates a touch sensor. There are various types of touch sensors, such as a capacitance type and a resistive film type, and any type may be used. Also, the touch panel 6 and the display panel 4 may be integrated. A cover glass 7 is provided to protect the display panel 4 and the like.
  • FIG. 2A is a diagram schematically showing a part of the cross section taken along line BB in FIG. 1(a).
  • the laser irradiation unit 8 irradiates the imaging object with, for example, weak infrared laser light through the display unit 2 .
  • This laser irradiation unit 8 comprises a beam diffuser 80 and a laser 81 on a substrate 82 .
  • the beam diffuser 80 functions as a holder that safely terminates the beam of the laser 81.
  • the laser 81 is, for example, an infrared laser diode, and can emit weak infrared light in a pulsed manner. Note that the laser 81 according to this embodiment is, for example, an infrared laser diode, but is not limited to this. For example, a laser capable of irradiating infrared light may be used.
  • the infrared imaging unit 9 converts the light reflected from the imaging object via the display unit 2 into a distance signal.
  • the infrared imaging section 9 includes an objective lens 91 , a lens barrel 92 , an infrared transmission filter (IRBPF) 93 and a sensor section 94 .
  • the objective lens 91 collects the light reflected from the object to be imaged onto the light receiving surface of the sensor section 94 .
  • a lens barrel 92 holds an objective lens 91 .
  • FIG. 2B is a block diagram showing a configuration example of the sensor section 94.
  • the sensor section 94 has a sensor 94a and a readout circuit 94b.
  • the sensor 94a is composed of iTOF pixels arranged two-dimensionally.
  • the iTOF pixel has a photodiode as a photoelectric conversion section that generates a photocurrent corresponding to the amount of incident light.
  • the readout circuit 94b generates a distance signal indicating distance information to an object based on the photocurrent output from each iTOF pixel.
  • the distance signal is a signal that indicates the amount of light received according to the elapsed time from the timing at which the laser 81 irradiates the pulsed laser. That is, when there is no noise light such as unnecessary light or ambient light, which will be described later, the signal value exhibits the maximum value (peak) at the timing when the reflected light returns from the imaging object.
  • FIG. 3 is a block diagram showing a configuration example of the distance measurement unit 20 according to this embodiment.
  • the electronic device 1 has a distance measuring section 20 .
  • the distance measurement unit 20 is a so-called lidar (LIDAR: Light Detection and Ranging, Laser Imaging Detection and Ranging). That is, the distance measurement unit 20 is a device that generates a distance image by, for example, the IToF (Time of Flight) method, and includes a laser irradiation unit 8 (see FIGS. 1 and 2A) and an infrared imaging unit 9 (FIGS. 2A and 2B), a control unit 10, and a processing unit 11.
  • LIDAR Light Detection and Ranging
  • Laser Imaging Detection and Ranging Laser Imaging Detection and Ranging
  • the control unit 10 includes, for example, a CPU, and controls the laser irradiation unit 8, the infrared imaging unit 9, and the processing unit 11.
  • the control unit 10 synchronizes the irradiation timing of the pulsed laser light of the laser irradiation unit 8 and the signal generation timing of the infrared imaging unit 9 .
  • the processing unit 11 processes the distance signal output by the infrared imaging unit 9 .
  • the processing unit 11 has an AD conversion unit 11a, a memory unit 11b, a signal processing unit 11c, and an output unit 11d.
  • the AD conversion section 11a converts the distance signal output from the infrared imaging section 9 into a digital signal and stores it in the memory section 11b. That is, the memory section 11b stores a digital distance signal.
  • the signal processing unit 11c obtains the maximum value (peak) of the digital distance signal and generates a distance value according to the elapsed time from the timing of laser irradiation to the occurrence of the maximum value (peak). That is, the signal processing unit 11c multiplies the timing at which the reflected light returns from the imaging object by the speed of light C, and divides the result by 2 to generate the distance value to the imaging object. Then, the signal processing unit 11c generates two-dimensional distance image data of the imaged object based on the distance information based on the sensor in which the photoelectric conversion units are two-dimensionally arranged, and stores the data in the memory unit 11b. Further, the signal processing unit 11c can perform recognition processing of two-dimensional distance image data. For example, the signal processing unit 11c can perform face authentication using two-dimensional distance image data. The output unit 11d outputs two-dimensional distance image data and the like to the display panel 4 and the like.
  • FIG. 4 is a diagram for explaining unnecessary light according to this embodiment.
  • the laser irradiation unit 8 irradiates the laser light from the back side of the display unit 2, for example, the surface reflected light of the display panel 4 directly above the laser irradiation unit 8 and the structure in the display panel 4 ( (See FIG. 4) resulting in internally reflected light that propagates.
  • the light incident on the infrared imaging section 9 is referred to as unnecessary light in the present embodiment.
  • FIG. 5 is a diagram showing the relationship between the distance between the laser irradiation unit 8 and the infrared imaging unit 9 and the amount of unnecessary light.
  • the horizontal axis indicates the distance between the laser irradiation unit 8 and the infrared imaging unit 9, and the vertical axis indicates the amount of unnecessary light.
  • the amount of unnecessary light decreases as the distance between the laser irradiation unit 8 and the infrared imaging unit 9 increases. Therefore, in the present embodiment, the distance between the laser irradiation unit 8 and the infrared imaging unit 9 is increased to a level at which the unnecessary light is, for example, equal to or less than the threshold value th.
  • the threshold th is experimentally set within a range in which the signal level indicating the distance of the distance signal is not buried in the level of unnecessary light.
  • the threshold th is set to the maximum value of unnecessary light, that is, 1/8 of the value when the laser irradiation unit 8 and the infrared imaging unit 9 are adjacent to each other.
  • FIG. 6 is a diagram showing an example in which the distance between the laser irradiation unit 8 and the infrared imaging unit 9 is made equal to or less than the threshold th shown in FIG.
  • the distance between the laser irradiation unit 8 and the infrared imaging unit 9 is set within a range in which the amount of unnecessary light is equal to or less than the threshold th shown in FIG.
  • the heights of the laser irradiation unit 8 and the infrared imaging unit 9 to the display panel 4 are made uniform to prevent surface reflected light from entering the infrared imaging unit 9 .
  • the distance between the laser irradiation unit 8 and the infrared imaging unit 9 is set within a range in which the amount of unnecessary light is equal to or less than the threshold value th shown in FIG.
  • the laser irradiation unit 8 and the infrared imaging unit 9 are arranged on the side opposite to the display surface of the display unit 2, and the incident light through the display unit 2 is converted into infrared light. The image was taken by the imaging unit 9 .
  • the distance between the laser irradiation unit 8 and the infrared imaging unit 9 is arranged at such a distance that the influence of unnecessary light is suppressed. This suppresses the internal reflected light and the surface reflected light of the display section 2 from entering the infrared imaging section 9 .
  • the electronic device 1 according to the second embodiment differs from the electronic device 1 according to the first embodiment in that a light blocking plate 15 is provided between the laser irradiation section 8 and the infrared imaging section 9 . Differences from the electronic device 1 according to the first embodiment will be described below.
  • FIG. 7 is a diagram showing part of the configuration of the electronic device 1 according to the second embodiment.
  • the electronic device 1 according to the second embodiment includes a light shielding plate 15 between the laser irradiation section 8 and the infrared imaging section 9 .
  • the heights of the laser irradiation unit 8, the infrared imaging unit 9, and the light shielding plate 15 to the display panel 4 are aligned, and the surface reflected light enters the infrared imaging unit 9 by the light shielding plate 15. is suppressed.
  • FIG. 8 is a diagram showing the relationship between the distance between the laser irradiation unit 8 and the infrared imaging unit 9 and the amount of unnecessary light in the configuration of FIG.
  • the horizontal axis indicates the distance between the laser irradiation unit 8 and the infrared imaging unit 9, and the vertical axis indicates the amount of unnecessary light.
  • the amount of unnecessary light decreases as the distance between the laser irradiation unit 8 and the infrared imaging unit 9 increases. Also, compared with the example of the unnecessary light in FIG. 5, it shows that the distance at which the threshold value th or less is shorter.
  • the light shielding plate 15 is provided between the laser irradiation unit 8 and the infrared imaging unit 9 .
  • the surface reflected light from the back side of the display unit 2 is suppressed from entering the infrared imaging unit 9, and the distance between the laser irradiation unit 8 and the infrared imaging unit 9 can be further shortened. be.
  • the electronic device 1 according to the third embodiment when the light propagation property of the display panel 4 is anisotropic, the light propagation property of the display panel 4 is also taken into consideration, and the laser irradiation unit 8 and the infrared imaging unit 9 is different from the electronic device 1 according to the first embodiment in that the distance between is set. Differences from the electronic device 1 according to the first embodiment will be described below.
  • FIG. 9 is a plan view schematically showing a configuration example of the display panel 4 using organic light emitting diodes.
  • the display panel 4 has a pixel section 38, a vertical scanning circuit 40, and a horizontal scanning circuit 42 formed on, for example, a silicon substrate.
  • a plurality of scanning lines from the vertical scanning circuit 40 extend horizontally to the pixel section 38, and a plurality of data lines from the horizontal scanning circuit 42 extend vertically.
  • the pixel portions 38 are connected in a matrix to the data lines extending in the vertical direction and the scanning lines extending in the horizontal direction.
  • FIG. 9 also shows a control section 30 that controls the display panel 4 .
  • Three scanning lines are wired for each pixel row along the row direction (pixel arrangement direction of the pixel row) with respect to the arrangement of the matrix-shaped pixel portions 38 .
  • data lines are wired for each pixel column along the column direction (the direction in which the pixels in the pixel column are arranged) with respect to the arrangement of the pixel portions 38 arranged in a matrix.
  • the display panel 4 is provided with pixel circuits corresponding to pixels of three primary colors, as indicated by R (red), B (blue), and G (green). These three pixels represent one dot of the color image.
  • the combination of pixels expressing one unit (one dot) is not limited to this, and may be configured by adding W (white) pixels for improving brightness, adding complementary color pixels for expanding the color reproduction range, can be configured as As shown in FIG. 9, as indicated by R (red), B (blue), and G (green), the X-direction and Y-direction structures of the three primary color pixels and the structure of the circuit layer are different. As a result, it is known that there is anisotropy in light propagation between the X direction and the Y direction of the display panel 4 .
  • FIG. 10 is a diagram for explaining distance setting when the display panel 4 shown in FIG. 9 has anisotropy in light propagation.
  • FIG. 10 shows an example in which the light transmittance is anisotropic in the x direction and the y direction, and the light propagation area A10 in the x direction is higher than that in the y direction, as described above. That is, the internally reflected light in the x direction with respect to the laser irradiation unit 8 is higher than the internally reflected light in the y direction.
  • the distance in the x direction, which is highly transient, between the laser irradiation unit 8 and the infrared imaging unit 9 is determined by the internally reflected light of the comparison area A14 in the y direction, which has low transmittance. shall be set based on As a result, even when the laser irradiation unit 8 and the infrared imaging unit 9 are arranged in the direction of high light propagation, they can be arranged at a distance at which the influence of the internally reflected light is suppressed.
  • the electronic device 1 according to the fourth embodiment differs from the electronic device 1 according to the first embodiment in that the angle between the optical axes O8 and O9 between the laser irradiation unit 8 and the infrared imaging unit 9 is narrowed. Differences from the electronic device 1 according to the first embodiment will be described below.
  • FIG. 11 is a diagram showing an example of optical axes O8 and O9 between the laser irradiation unit 8 and the infrared imaging unit 9 of the electronic device 1 according to the first embodiment.
  • FIG. 12 is a diagram showing an example of optical axes O8 and O9 between the laser irradiation unit 8 and the infrared imaging unit 9 of the electronic device 1 according to the fourth embodiment.
  • the angles of the optical axes O8 and O9 between the laser irradiation unit 8 and the infrared imaging unit 9 are narrowed.
  • the angles of view of the laser irradiation unit 8 and the infrared imaging unit 9 are overlapped, and the imaging accuracy of the imaging object 100 is further improved.
  • the camera module 3, the laser irradiation unit 8, and the infrared imaging unit 9 are arranged separately in the long side direction of the display unit 2.
  • the electronic device 1 according to the first modification is different in that it is arranged side by side with a camera module (visible imaging section) 3 in the long side direction of the display section 2 . Differences from the electronic device 1 according to the first to third embodiments will be described below.
  • FIG. 13 is a diagram showing a schematic configuration example of the electronic device 1 according to the first modified example.
  • the electronic device 1 in FIG. 13 is an arbitrary electronic device having both a display function and a photographing function, such as a smart phone, a mobile phone, a tablet, or a PC.
  • FIG. 13(a) is a schematic external view of the electronic device 1
  • FIG. 13(b) is a sectional view taken along line AA of FIG. 13(a).
  • a camera module (visible imaging section) 3 As shown in FIG. 13 , a camera module (visible imaging section) 3 , a laser irradiation section 8 , and an infrared imaging section 9 are linearly arranged in the long side direction of the display section 2 .
  • a camera module (visible imaging unit) 3 is arranged in the center. That is, the laser irradiation unit 8 and the infrared imaging unit 9 are arranged above and below the camera module (visible imaging unit) 3 .
  • the unnecessary light in the long side direction of the display unit 2 is smaller than the unnecessary light in the short side direction, the unnecessary light can be further reduced, so the distance between the laser irradiation unit 8 and the infrared imaging unit 9 can be further shortened.
  • the camera module 3, the laser irradiation unit 8, and the infrared imaging unit 9 are arranged linearly in the long side direction, a distance image symmetrical to the image of the camera module 3 in the short side direction can be obtained. Imaging becomes possible.
  • the camera module 3, the laser irradiation unit 8, and the infrared imaging unit 9 are arranged separately in the long side direction of the display unit 2.
  • the electronic device 1 according to the second modification is different in that it is arranged side by side with a camera module (visible imaging section) 3 in the short side direction of the display section 2 . Differences from the electronic device 1 according to the first to third embodiments will be described below.
  • FIG. 14 is a diagram showing a schematic configuration example of the electronic device 1 according to the second modified example.
  • the electronic device 1 in FIG. 14 is an arbitrary electronic device having both a display function and a photographing function, such as a smart phone, a mobile phone, a tablet, or a PC.
  • 14(a) is a schematic external view of the electronic device 1
  • FIG. 14(b) is a cross-sectional view taken along line AA of FIG. 14(a).
  • a camera module (visible imaging section) 3 arranged linearly in the short side direction of the display section 2 .
  • a camera module (visible imaging unit) 3 is arranged in the center. That is, the laser irradiation unit 8 and the infrared imaging unit 9 are arranged on the left and right sides of the camera module (visible imaging unit) 3 .
  • the unnecessary light in the short side direction of the display section 2 is smaller than unnecessary light in the long side direction, the unnecessary light can be further reduced, so that the distance between the laser irradiation section 8 and the infrared imaging section 9 can be further shortened.
  • the camera module 3, the laser irradiation unit 8, and the infrared imaging unit 9 are arranged in a straight line in the short side direction, a distance image symmetrical to the image of the camera module 3 in the long side direction can be obtained. Imaging becomes possible.
  • the camera module 3, the laser irradiation unit 8 and the infrared imaging unit 9 are arranged apart in the long side direction of the display 3 unit 2,
  • a camera module (visible imaging section) 3, a laser irradiation section 8, and an infrared imaging section 9 are arranged side by side in a direction oblique to the longitudinal direction of the display section 2.
  • FIG. 15 is a diagram showing a schematic configuration example of the electronic device 1 according to the third modified example.
  • the electronic device 1 in FIG. 15 is any electronic device having both a display function and a photographing function, such as a smart phone, a mobile phone, a tablet, or a PC.
  • FIG. 15(a) is a schematic external view of the electronic device 1
  • FIG. 15(b) is a sectional view taken along line AA of FIG. 15(a).
  • a camera module (visible imaging section) 3 arranged in a straight line in a direction oblique to the longitudinal direction of the display section 2 .
  • a camera module (visible imaging unit) 3 is arranged in the center. That is, the laser irradiation unit 8 and the infrared imaging unit 9 are arranged at obliquely separated positions of the camera module (visible imaging unit) 3 .
  • the electronic device 1 according to the fifth embodiment is further capable of displaying the captured image of the camera module 3 and the distance image of the distance measurement unit 20 in association with each other, which is the same as the electronic device 1 according to the first to third embodiments. It is different from the electronic device 1 . Differences from the electronic device 1 according to the first to third embodiments will be described below.
  • FIG. 16 is a diagram showing an example of the camera module 3 and the overall system configuration of the electronic device 1 according to the fifth embodiment.
  • the camera module 3 of the electronic device 1 according to the fifth embodiment includes a pixel section 80, a vertical drive section 130, analog-to-digital conversion (hereinafter referred to as "AD conversion") sections 140 and 150, a column processing section 160, 170 , a memory unit 180 , a system control unit 190 , a signal processing unit 51 and an interface unit 52 .
  • FIG. 16 further shows the camera module 3, the control unit 10 (see FIG. 3), and the central control unit 300 that controls the control unit 30 (see FIG. 9).
  • the central control unit 300 controls the electronic device 1 as a whole. Note that the control unit 10 , the control unit 30 , and the central control unit 300 may be configured integrally as a control processing unit 1000 .
  • pixels are arranged in a matrix in the pixel unit 80 .
  • a pixel drive line is wired along the row direction for each pixel row, and two vertical signal lines 310 and 320, for example, are wired along the column direction for each pixel column.
  • the pixel drive lines transmit drive signals for driving when reading out signals from the pixels of the pixel section 80 .
  • One end of the pixel drive line is connected to an output terminal corresponding to each row of the vertical drive section 130 .
  • the vertical driving section 130 is composed of a shift register, an address decoder, etc., and drives each pixel of the pixel section 80 simultaneously or in units of rows.
  • the vertical drive section 130 generally has a configuration having two scanning systems, a readout scanning system and a discharge scanning system.
  • the readout scanning system sequentially selectively scans each pixel row by row.
  • a signal read from each pixel is an analog signal.
  • the sweep-scanning system performs sweep-scanning ahead of the read-out scanning by the shutter speed for the read-out rows to be read-scanned by the read-out scanning system.
  • a so-called electronic shutter operation is performed by sweeping out (resetting) unnecessary charges by this sweeping scanning system.
  • the electronic shutter operation refers to an operation of discarding photocharges in the photoelectric conversion unit and newly starting exposure (starting accumulation of photocharges).
  • the signal read out by the readout operation by the readout scanning system corresponds to the amount of light received after the immediately preceding readout operation or the electronic shutter operation.
  • the period from the readout timing of the previous readout operation or the sweep timing of the electronic shutter operation to the readout timing of the current readout operation is the exposure period of the photocharges in the unit pixel.
  • a pixel signal output from each pixel in the pixel row selected by the vertical drive section 130 is input to the AD conversion sections 140 and 150 through two systems of vertical signal lines 310 and 320 .
  • the vertical signal line 310 of one system transmits the pixel signals output from the pixels 80, 82, 80a, and 82a of the selected row in the first direction (one side in the pixel column direction/ (upward direction in the figure).
  • the vertical signal line 320 of the other system transmits the pixel signal output from each pixel of the selected row in the second direction opposite to the first direction (the other side in the pixel column direction/downward direction in the figure). It consists of a signal line group (second signal line group).
  • the AD converters 140 and 150 each consist of a set of AD converters 141 that AD-convert input pixel signals.
  • the pixel data (digital data) AD-converted by the AD converters 140 and 150 are supplied to the memory section 180 via the column processors 160 and 170 .
  • the signal processing unit 81 performs signal processing such as noise reduction processing on the pixel data, and supplies visible image data to the display panel 4 via the interface unit 52 .
  • FIG. 17 is a flowchart showing a processing example according to this embodiment.
  • a visible image of an object is captured by the camera module 3 under the control of the central control unit 300 (step S100).
  • the distance image of the captured object is captured by the distance measurement unit 20 under the control of the central control unit 300 (step S102).
  • the display panel 4 associates and displays the distance image and the visible image.
  • the central control unit 300 controls the signal processing unit 11c and the signal processing unit 51 so that the coordinate positions of the distance image and the visible image correspond.
  • the distance image g1(x, y) and the visible image g2(x, y) are associated so that the same position of the imaging unit is arranged. That is, the coordinates (x, y) of the range image and the coordinates (x, y) of the visible image are configured to point to the same location on the captured object.
  • the signal processing unit 51 uses the distance value of the distance image and the information of the optical system of the visible image to perform processing to associate the distance image g1(x, y) with the visible image g2(x, y).
  • the camera module 3 and the infrared imaging unit 9 are arranged close to the back surface of the display unit 2, such processing can be performed more easily.
  • FIG. 18 is a diagram showing an example of a distance image and a visible image displayed on the display panel 4.
  • the distance image and the visible image are generated so that their coordinate positions correspond to each other and are arranged side by side. This facilitates comparison between the distance image and the visible image.
  • the display panel 4 included in the display unit 2 displays the distance image captured by the distance measurement unit 20 and the visible image captured by the camera module 3 in association with each other. bottom. This facilitates comparison between the distance image and the visible image.
  • This technology can be configured as follows.
  • the infrared imaging unit is a plurality of photoelectric conversion units that photoelectrically convert infrared light incident through the display unit; electronic equipment.
  • the infrared imaging unit and the irradiating unit are arranged at a distance such that the light amount of the internally reflected light is 1/8 or less when the infrared imaging unit and the irradiating unit are adjacent to each other, ( 3) The electronic device described in 3).
  • the infrared imaging unit and the irradiation unit are placed at a distance equal to or less than the amount of internally reflected light at a position a predetermined distance away from the irradiation unit.
  • the infrared imaging unit, the irradiating unit, and the visible imaging unit are arranged on the opposite side of the display surface of the display unit so that their centers of gravity form equilateral triangles. Electronics.
  • the electronic device further comprising a first signal processing unit that generates a two-dimensional distance image based on the distance signal generated by the infrared imaging unit.
  • control unit for controlling the display unit
  • the electronic device according to (17) wherein the control unit causes the display unit to display the two-dimensional distance image and the two-dimensional visible image side by side.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

[課題]本開示の一態様では、ベゼルの幅を削減しつつ、距離画像の画質低下も抑制可能となる電子機器を提供する。 [解決手段]電子機器は、表示部と、表示部の表示面とは反対側に配置される赤外撮像部を備え、赤外撮像部は、表示部を介して入射された赤外光を光電変換する複数の光電変換部を、有する。

Description

電子機器
 本開示は、電子機器に関する。
 最近のスマートフォンや携帯電話、PC(Personal Computer)などの電子機器では、赤外光を使用者に照射し、距離情報を有する距離画像を生成するための赤外撮像部を搭載し、認識処理などを行うことが検討されている。
 また、スマートフォンや携帯電話は、ポケットや鞄に入れて持ち歩くことが多いため、外形サイズをできるだけコンパクトにする必要がある。その一方で、表示画面のサイズが小さいと、表示解像度が高いほど、表示される文字サイズが小さくなって視認しにくくなる。このため、表示画面の周囲にある表示部の額縁(ベゼル)幅を小さくすることで、電子機器の外形サイズを大きくせずに、表示画面のサイズをできるだけ大きくすることが検討されている。
特開2021-97312号公報
 ところが、表示部の額縁(ベゼル)に赤外光を照射するレーザ照射部、及びレーザ光を撮像する赤外撮像部を搭載すると、表示部の額縁(ベゼル)幅が大きくなってしまう。
 本開示の一態様では、ベゼルの幅を削減しつつ、距離画像の画質低下も抑制可能となる電子機器を提供するものである。
 上記の課題を解決するために、本開示では、表示部と、
 前記表示部の表示面とは反対側に配置される赤外撮像部を備え、
 前記赤外撮像部は、
 前記表示部を介して入射された赤外光を光電変換する複数の光電変換部を、
 有する、電子機器が提供される。
 前記表示部の表示面とは反対側に赤外光を照射する照射部を、更に備えてもよい。
 前記赤外撮像部と、前記照射部とは、前記照射部が照射した赤外光による前記表示部内の内部反射光が所定レベルまで低減される距離に配置されてもよい。
 前記赤外撮像部と、前記照射部とが隣接する場合の前記内部反射光の光量が8分の1以下になる距離に、前記赤外撮像部と、前記照射部とは配置されてもよい。
 前記表示部における内部構造の光伝搬性に異方性がある場合に、前記照射部から所定距離離れた位置での内部反射光の光量以下になる距離に、前記赤外撮像部と、前記照射部とは配置されてもよい。
 前記赤外撮像部と前記照射部の高さを揃え、前記表示部の表示面とは反対側の裏面に接するように配置してもよい。
 前記赤外撮像部と前記照射部の高さを揃え、
 前記赤外撮像部と前記照射部との間に配置される遮光板を更に備えてもよい。
 前記赤外撮像部と前記照射部との画角が重なるように、前記赤外撮像部と前記照射部との光軸の向きが設定されてもよい。
 前記表示部の表示面とは反対側に配置される可視撮像部を更に備えてもよい。
 前記赤外撮像部と前記照射部と前記可視撮像部とは、それぞれの重心部が正三角形となるように、前記表示部の表示面とは反対側に配置されてもよい。
 前記赤外撮像部と前記照射部と前記可視撮像部とは直線状に、前記表示部の表示面とは反対側に配置されてもよい。
 前記赤外撮像部と前記照射部と前記可視撮像部との中間部に、前記可視撮像部が配置されてもよい。
 前記赤外撮像部と前記照射部は、前記表示部の表示面の短辺と平行になるよう配置されてもよい。
 前記赤外撮像部と前記照射部は、前記表示部の表示面の長辺と平行になるよう配置されてもよい。
 前記表示部における内部構造の光伝搬性に異方性がある場合に、前記赤外撮像部と前記照射部は、光伝搬の少ない向きに配置されてもよい。
 前記赤外撮像部の生成する距離信号に基づき、2次元の距離画像を生成する第1信号処理部を更に備えてもよい。
 前記可視撮像部は、2次元の可視画像を生成する第2信号処理部を更に有してもよい。
 前記制御部は、前記2次元の距離画像と、前記2次元の可視画像を並べて前記表示部に表示させてもよい。
 前記第2信号処理部は、前記2次元の可視画像として、前記2次元の距離画像の座標に対応する画像を前記2次元の可視画像として生成してもよい。
 前記表示部は、有機発光ダイオードを用いた表示パネルを含んでもよい。
(a)は図1の電子機器の模式的な外観図、(b)は(a)のA-A線方向の断面図。 図1(a)のB-B線方向の断面の一部を模式的に示す図。 センサ部の構成例を示すブロック図。 距離計測部の構成例を示すブロック図。 不要光を説明する図。 レーザ照射部と赤外撮像部との間の距離と、不要光の量との関係を示す図。 レーザ照射部と赤外撮像部との間の距離を図6で示す閾値th以下にした例を示す図。 第2実施形態に係る電子機器の構成の一部を示す図。 図7のレーザ照射部と赤外撮像部の間の距離と、不要光の量との関係を示す図。 有機発光ダイオードを用いた表示パネルの構成例を模式的に示す平面図。 光の伝搬性に異方性がある場合の距離の設定を説明する図。 レーザ照射部と赤外撮像部との間の光軸の例を示している図。 第4実施形態に係るレーザ照射部と赤外撮像部との間の光軸の例を示している図。 第1変形例による電子機器の模式的な構成例を示す図。 第2変形例による電子機器の模式的な構成例を示す図。 第3変形例による電子機器の模式的な構成例を示す図。 第4実施形態に係る電子機器のカメラモジュールと全体システム構成例を示す図。 本実施形態に係る処理例を示すフローチャート。 表示パネルに表示される距離画像と可視画像との例を示す図。
 以下、図面を参照して、電子機器の実施形態について説明する。以下では、電子機器の主要な構成部分を中心に説明するが、電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
 (第1実施形態)
 図1は第1実施形態による電子機器1の模式的な構成例を示す図である。図1の電子機器1は、スマートフォンや携帯電話、タブレット、PCなど、表示機能と撮影機能を兼ね備えた任意の電子機器である。図1(a)は電子機器1の模式的な外観図、図1(b)は図1(a)のA-A線方向の断面図である。
 図1の電子機器1は、表示部2の表示面とは反対側に配置されるカメラモジュール(可視撮像部)3と、レーザ照射部8、及び赤外撮像部9を備えている。このように、図1の電子機器1は、表示部2の表示面の裏側にカメラモジュール3、レーザ照射部8、及び赤外撮像部9を設けている。したがって、カメラモジュール3、及び赤外撮像部9は、表示部2を通して撮影を行うことになる。
 図1(a)の例では、電子機器1の外形サイズの近くまで表示画面1aが広がっており、表示画面1aの周囲にあるベゼル1bの幅を数mm以下にしている。通常、ベゼル1bには、フロントカメラが搭載されることが多いが、図1(a)では、破線で示すように、表示画面1aの略中央部の裏面側にカメラモジュール3、レーザ照射部8、及び赤外撮像部9を配置している。
 また、本実施形態では、カメラモジュール3とレーザ照射部8との距離、カメラモジュール3と赤外撮像部9dとの距離、レーザ照射部8と赤外撮像部9dとの距離、の距離がほぼ同等となるように配置している。すなわち、カメラモジュール3、レーザ照射部8、及び赤外撮像部9の重心部が正三角形を構成する。このように、カメラモジュール3、レーザ照射部8、及び赤外撮像部9を表示画面1aの裏面側に設けることで、ベゼル1bにカメラモジュール3、レーザ照射部8、及び赤外撮像部9を配置する必要がなくなり、ベゼル1bの幅を狭めることができる。
 図1に示すように、表示部2は、表示パネル4、円偏光板5、タッチパネル6、及びカバーガラス7を順に積層した構造体である。表示パネル4は、例えばOLED(Organic Light Emitting Dode : 有機発光ダイオード)を用いた有機ELディスプレイでもよいし、液晶表示部でもよいし、MicroLEDでもよいし、その他の表示原理に基づくディスプレイでもよい。円偏光板5における透過率が低い部材には、レーザ照射部8、及び赤外撮像部9の配置場所に合わせて、貫通孔を形成してもよい。貫通孔を通ったレ-ザ光が赤外撮像部9に入射されるようにすれば赤外撮像部9で撮像される画像の画質を向上できる。
 円偏光板5は、ギラツキを低減したり、明るい環境下でも表示画面1aの視認性を高めたり、するために設けられている。タッチパネル6には、タッチセンサが組み込まれている。タッチセンサには、静電容量型や抵抗膜型など、種々の方式があるが、いずれの方式を用いてもよい。また、タッチパネル6と表示パネル4を一体化してもよい。カバーガラス7は、表示パネル4等を保護するために設けられている。
 図2Aは、図1(a)のB-B線方向の断面の一部を模式的に示す図である。図2Aに示すように、レーザ照射部8は、表示部2を介して例えば微弱な赤外レーザ光を撮像物体に照射する。この、レーザ照射部8は、ビームディフューザー80と、レーザ81とを基板82上に構成する。
 ビームディフューザー80は、レーザ81のビームを安全に終端させるホルダとしての機能を有する。レーザ81は、例えば赤外レーザダイオードであり、微弱な赤外光をパルス状に照射可能である。なお、本実施形態に係るレーザ81は、例えば赤外レーザダイオードであるが、これに限定されない。例えば、赤外光を照射出来るレーザであればよい。
 赤外撮像部9は、表示部2を介して撮像物体から反射された光を距離信号に変換する。この赤外撮像部9は、対物レンズ91と、レンズバレル92と、赤外透過フィルタ(IRBPF)93と、センサ部94と備える。対物レンズ91は、撮像物体から反射された光をセンサ部94の受光面に集光する。レンズバレル92は、対物レンズ91を保持する。
 図2Bは、センサ部94の構成例を示すブロック図である。図2Bに示すように、センサ部94は、センサ94aと、読み出し回路94bとを有する。センサ94aは、2次元状に配列されたiTOF画素で構成される。iTOF画素は、入射光の光量に応じた光電流を発生させる光電変換部としてのフォトダイオードを有する。読み出し回路94bは、各iTOF画素の出力する光電流に基づいて物体までの距離情報を示す距離信号を生成する。より具体的には、距離信号は、レーザ81がパルス状のレーザを照射したタイミングからの経過時間に応じた受光量を示す信号である。すなわち、後述する不要光や環境光などのノイズ光が無い場合には、撮像物体から反射光が戻ってきたタイミングで信号値が最大値(ピ-ク)を示す。
 図3は、本実施形態に係る距離計測部20の構成例を示すブロック図である。図3に示すように電子機器1は、距離計測部20を有する。距離計測部20は、所謂ライダー(LIDAR:Light Detection and Ranging、Laser Imaging Detection and Ranging)である。すなわち、この距離計測部20は、例えばIToF(Time of Flight)方式により距離画像を生成する装置であり、レーザ照射部8(図1、図2A参照)と、赤外撮像部9(図1、図2A、図2B参照)と、制御部10と、処理部11とを備える。
 制御部10は、例えばCPUを含んで構成され、レーザ照射部8と、赤外撮像部9と、処理部11とを制御する。この制御部10は、レーザ照射部8のパルス状のレーザ光の照射タイミングと、赤外撮像部9の信号生成タイミングを同期させる。
 処理部11は、赤外撮像部9が出力する距離信号を信号処理する。この処理部11は、AD変換部11aと、メモリ部11bと、信号処理部11cと、出力部11dとを有する。AD変換部11aは、赤外撮像部9が出力する距離信号をデジタル信号に変換し、メモリ部11bに記憶させる。すなわち、メモリ部11bは、デジタルの距離信号を記憶する。
 信号処理部11cは、デジタルの距離信号の最大値(ピーク)を求め、レーザを照射したタイミングから最大値(ピーク)が発生するまでの経過時間に応じた距離値を生成する。すなわち、信号処理部11cは、撮像物体から反射光が戻ってきたタイミングに光速Cを乗算して、2で除算した値を撮像物体までの距離値として生成する。そして、信号処理部11cは、2次元状に光電変換部が配列されたセンサに基づく距離情報により、撮像物体の2次元の距離画像データを生成し、メモリ部11bに記憶させる。また、信号処理部11cは、2次元距離画像データの認識処理を行うことが可能である。例えば、信号処理部11cは、2次元の距離画像データを用いて顔認証を行うことが可能である。出力部11dは、2次元の距離画像データなどを表示パネル4などに出力する。
 図4は、本実施形態に係る不要光を説明する図である。図4に示すように、レーザ照射部8がレーザ光を表示部2の裏側から照射すると、例えばレーザ照射部8の直上にある表示パネル4の表面反射光と、表示パネル4内の構造物(図4参照)を伝搬する内部反射光が生じる。これらの、表示部2の表側からの入射光以外の光のうち、赤外撮像部9に入射する光を本実施形態では不要光と称する。
 図5は、レーザ照射部8と赤外撮像部9との間の距離と、不要光の量との関係を示す図である。横軸はレーザ照射部8と赤外撮像部9との間の距離を示し、縦軸は不要光の量を示す。図5に示すように、レーザ照射部8と赤外撮像部9との間の距離が長くなるに従い、不要光の量が低減する。そこで本実施形態では、不要光が例えば閾値th以下となるレベルまで、レーザ照射部8と赤外撮像部9との間の距離を開けることとする。この閾値thは、距離信号の距離を示す信号レベルが不要光のレベルに埋もれない範囲に実験的に設定されている。例えば閾値thは、不要光の最大値、すなわち、レーザ照射部8と赤外撮像部9とを隣接させた場合の8分の1に設定される。
 図6は、レーザ照射部8と赤外撮像部9との間の距離を図6で示す閾値th以下にした例を示す図である。図6に示すように、レーザ照射部8と赤外撮像部9との間の距離は、図5で示す閾値th以下に不要光の量がなる範囲に設定されている。また、レーザ照射部8、及び赤外撮像部9の表示パネル4までの高さを揃え、表面反射光が赤外撮像部9に入ることを抑制している。なお、図1を再び参照すると、レーザ照射部8と赤外撮像部9との間の距離は、図5で示す閾値th以下に不要光の量がなる範囲に設定されている。
 以上のように本実施形態によれば、表示部2の表示面とは反対側にレーザ照射部8と赤外撮像部9とを配置し、表示部2を介して入射された光を赤外撮像部9により撮像することとした。これにより、表示部2の額縁(ベゼル)幅をより小さくすることが可能となる。また、レーザ照射部8と赤外撮像部9との距離を不要光の影響が抑制される距離に配置する。これにより、表示部2の内部反射光、及び表面反射光が赤外撮像部9に入射することが抑制される。
(第2実施形態)
 第2実施形態に係る電子機器1は、レーザ照射部8と赤外撮像部9との間に遮光板15を設ける点で第1実施形態に係る電子機器1と相違する。以下では、第1実施形態に係る電子機器1と相違する点を説明する。
 図7は、第2実施形態に係る電子機器1の構成の一部を示す図である。図7に示すように、第2実施形態に係る電子機器1は、レーザ照射部8と赤外撮像部9との間に遮光板15を備えている。また、レーザ照射部8、赤外撮像部9、及び遮光板15それぞれと表示パネル4までの高さを揃え、遮光板15により遮光板15により、表面反射光が赤外撮像部9に入ることを抑制している。
 図8は、図7の構成の場合におけるレーザ照射部8と赤外撮像部9との間の距離と、不要光の量との関係を示す図である。横軸はレーザ照射部8と赤外撮像部9との間の距離を示し、縦軸は不要光の量を示す。図8に示すように、レーザ照射部8と赤外撮像部9との間の距離が長くなるに従い、不要光の量が低減する。また、図5の不要光の例と比較すると、閾値th以下となる距離がより短くなることを示している。
 以上のように本実施形態によれば、レーザ照射部8と赤外撮像部9との間に遮光板15を設けることとした。これにより、表示部2の裏面側の表面反射光が赤外撮像部9に入射することが抑制され、レーザ照射部8と赤外撮像部9との間の距離をより短くすることが可能である。
(第3実施形態)
 第3実施形態に係る電子機器1は、表示パネル4の光伝搬性に異方性がある場合に、表示パネル4の光伝搬特性も考慮して、レーザ照射部8と赤外撮像部9との間の距離を設定する点で、第1実施形態に係る電子機器1と相違する。以下では、第1実施形態に係る電子機器1と相違する点を説明する。
 図9は、有機発光ダイオードを用いた表示パネル4の構成例を模式的に示す平面図である。図9に示すように、表示パネル4は、例えばシリコン基板上に画素部38、垂直走査回路40、及び水平走査回路42を形成している。画素部38に対して垂直走査回路40からの複数の走査線が水平方向に延長され、水平走査回路42からの複数のデータ線が垂直方向に延長されている。垂直方向に延びるデータ線と水平方向に延びる走査線に対して画素部38がマトリクス状に接続されている。また、図9には、表示パネル4を制御する制御部30も図示されている。
 マトリクス状の画素部38の配列に対して、行方向(画素行の画素の配列方向)に沿って3つの走査線が画素行ごとに配線されている。また、行列状の画素部38の配列に対して、列方向(画素列の画素の配列方向)に沿ってデータ線が画素列毎に配線されている。なお、表示パネル4には、R(赤)、B(青)、G(緑)で示すように、三原色の画素に対応する画素回路が設けられている。これら3画素がカラー画像の1ドットを表現する。また、1単位(1ドット)を表現する画素の組み合わせはこれに限らず、輝度向上のためのW(白)画素を加えて構成したり、色再現範囲拡大のための補色画素を加えたり、して構成してもよい。図9に示すように、R(赤)、B(青)、G(緑)で示すように、三原色の画素のX方向と、Y方向の構造及び回路層の構造が異なる。これにより、表示パネル4のX方向と、Y方向とに、光伝搬性の異方性があることが知られている。
 図10は、図9で示す表示パネル4に光の伝搬性に異方性がある場合の距離の設定を説明する図である。図10では、上述のように、x方向とy方向とで、光の透過性に異方性があり、x方向の光の伝搬領域A10がy方向よりも高い例を示す。すなわち、レーザ照射部8に対してx方向の内部反射光が、y方向の内部反射光よりも高くなる。このような場合、レーザ照射部8からy方向に所定の距離を離した領域A12の内部反射光の強度と、x方向に距離を変更する領域A14の内部反射光の強度を比較することにより、距離の設定をより正確に行うことが可能となる。例えば、領域A12の内部反射光の強度と領域A14の内部反射光の強度とがほぼ等しくなると、光の透過性の高いx方向における内部反射が領域A14の内部反射光と同等レベルまで収束していることを示す。
 そこで、第3実施形態に係る電子機器1では、レーザ照射部8と赤外撮像部9との間の過性の高いx方向の距離を透過性の低いy方向の比較領域A14の内部反射光に基づき設定することとする。これにより、光伝搬性の高い方向にレーザ照射部8と赤外撮像部9とを配置する場合にも、内部反射光の影響が抑制される距離に配置可能となる。
(第4実施形態)
 第4実施形態に係る電子機器1は、レーザ照射部8と赤外撮像部9との間の光軸O8、O9間の角度を狭める点で第1実施形態に係る電子機器1と相違する。以下では、第1実施形態に係る電子機器1と相違する点を説明する。
 図11は、第1実施形態に係る電子機器1のレーザ照射部8と赤外撮像部9との間の光軸O8、O9の例を示している図である。不要光が強い表示部2を用いる場合に、レーザ照射部8と赤外撮像部9との間の距離が長くなると、レーザ照射部8と赤外撮像部9と間の画角に重なりがなくなり、撮像物体100の撮像が困難となってしまう。
 図12は、第4実施形態に係る電子機器1のレーザ照射部8と赤外撮像部9との間の光軸O8、O9の例を示している図である。不要光が強い表示部2を用いる場合に、レーザ照射部8と赤外撮像部9との間の光軸O8、O9の角度をより狭める。これにより、レーザ照射部8と赤外撮像部9と間の画角に重なりが生じ、撮像物体100の撮像精度がより向上する。
 (第1乃至第3実施形態の第1変形例)
 第1乃至第3実施形態に係る電子機器1は、カメラモジュール3と、レーザ照射部8及び赤外撮像部9とが表示部2の長辺方向に離れて配置されていたのに対し、第1変形例に係る電子機器1は、表示部2の長辺方向に、カメラモジュール(可視撮像部)3と並べて配置する点で相違する。以下では、第1乃至第3実施形態に係る電子機器1と相違する点を説明する。
 図13は第1変形例による電子機器1の模式的な構成例を示す図である。図13の電子機器1は、スマートフォンや携帯電話、タブレット、PCなど、表示機能と撮影機能を兼ね備えた任意の電子機器である。図13(a)は電子機器1の模式的な外観図、図13(b)は図13(a)のA-A線方向の断面図である。図13に示すように、表示部2の長辺方向に、カメラモジュール(可視撮像部)3とレーザ照射部8と赤外撮像部9とが直線状に並んで配置される。また、カメラモジュール(可視撮像部)3が真ん中に配置される。すなわち、レーザ照射部8と赤外撮像部9とは、カメラモジュール(可視撮像部)3の上下に配置される。
 これにより、表示部2の長辺方向の不要光が短辺方向の不要光よりも少ない場合に不要光をより低減できるので、レーザ照射部8と赤外撮像部9との距離をより短縮できる。また、カメラモジュール3とレーザ照射部8と赤外撮像部9とが長辺方向に直線状に並んで配置されるので、短辺方向に対してカメラモジュール3の画像と左右対称な距離画像を撮像可能となる。
 (第1乃至第3実施形態の第2変形例)
 第1乃至第3実施形態に係る電子機器1は、カメラモジュール3と、レーザ照射部8及び赤外撮像部9とが表示部2の長辺方向に離れて配置されていたのに対し、第2変形例に係る電子機器1は、表示部2の短辺方向に、カメラモジュール(可視撮像部)3と並べて配置する点で相違する。以下では、第1乃至第3実施形態に係る電子機器1と相違する点を説明する。
 図14は第2変形例による電子機器1の模式的な構成例を示す図である。図14の電子機器1は、スマートフォンや携帯電話、タブレット、PCなど、表示機能と撮影機能を兼ね備えた任意の電子機器である。図14(a)は電子機器1の模式的な外観図、図14(b)は図14(a)のA-A線方向の断面図である。図14に示すように、表示部2の短辺方向に、カメラモジュール(可視撮像部)3とレーザ照射部8と赤外撮像部9とが直線状に並んで配置される。また、カメラモジュール(可視撮像部)3が真ん中に配置される。すなわち、レーザ照射部8と赤外撮像部9とは、カメラモジュール(可視撮像部)3の左右に配置される。
 これにより、表示部2の短辺方向の不要光が長辺方向の不要光よりも少ない場合に不要光をより低減できるので、レーザ照射部8と赤外撮像部9との距離をより短縮できる。また、カメラモジュール3とレーザ照射部8と赤外撮像部9とが短辺方向に直線状に並んで配置されるので、長辺方向に対してカメラモジュール3の画像と左右対象な距離画像を撮像可能となる。
 (第1乃至第3実施形態の第3変形例)
 第1乃至第3実施形態に係る電子機器1は、カメラモジュール3と、レーザ照射部8及び赤外撮像部9とが表示3部2の長辺方向に離れて配置されていたのに対し、第3変形例に係る電子機器1は、表示部2の長方向に対して斜め方向に、カメラモジュール(可視撮像部)3と、レーザ照射部8及び赤外撮像部9とを並べて配置する点で相違する。以下では、第1乃至第3実施形態に係る電子機器1と相違する点を説明する。
 図15は第3変形例による電子機器1の模式的な構成例を示す図である。図15の電子機器1は、スマートフォンや携帯電話、タブレット、PCなど、表示機能と撮影機能を兼ね備えた任意の電子機器である。図15(a)は電子機器1の模式的な外観図、図15(b)は図15(a)のA-A線方向の断面図である。図15に示すように、表示部2の長方向に対して斜め方向に、カメラモジュール(可視撮像部)3とレーザ照射部8と赤外撮像部9とが直線状に並んで配置される。また、カメラモジュール(可視撮像部)3が真ん中に配置される。すなわち、レーザ照射部8と赤外撮像部9とは、カメラモジュール(可視撮像部)3の斜めの離れた位置に配置される。
 これにより、表示部2の斜め方向の不要光が短辺方向又は長辺方向の不要光よりも少ない場合に不要光をより低減できるので、レーザ照射部8と赤外撮像部9との距離をより短縮できる。
(第5実施形態)
 第5実施形態に係る電子機器1は、カメラモジュール3の撮像画像と、距離計測部20の距離画像とを関連づけて表示することが、更に可能である点で第1乃至第3実施形態に係る電子機器1と相違する。以下では、第1乃至第3実施形態に係る電子機器1と相違する点を説明する。
 図16は、第5実施形態に係る電子機器1のカメラモジュール3と全体システム構成例を示す図である。第5実施形態に係る電子機器1のカメラモジュール3は、画素部80と、垂直駆動部130、アナログデジタル変換(以下、「AD変換」と記述する)部140、150と、カラム処理部160、170と、メモリ部180と、システム制御部190と、信号処理部51と、インターフェース部52とを備える。図16は、更にカメラモジュール3と、制御部10(図3参照)と、制御部30(図9参照)を制御する中央制御部300が図示されている。中央制御部300は、電子機器1の全体を制御する。なお、制御部10と、制御部30と、中央制御部300とは、制御処理部1000として一体的に構成されてもよい。
 図16に示すように、画素部80には、画素が行列状に配置される。この画素配列に対して、画素行毎に画素駆動線が行方向に沿って配線され、画素列毎に例えば2本の垂直信号線310、320が列方向に沿って配線されている。画素駆動線は、画素部80の画素から信号を読み出す際の駆動を行うための駆動信号を伝送する。画素駆動線の一端は、垂直駆動部130の各行に対応した出力端に接続されている。
 垂直駆動部130は、シフトレジスタやアドレスデコーダなどによって構成され、画素部80の各画素を全画素同時あるいは行単位等で駆動する。この垂直駆動部130は、一般的に、読出し走査系と掃出し走査系の2つの走査系を有する構成となっている。読出し走査系は、各画素を行単位で順に選択走査する。各画素から読み出される信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対し、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。
 この掃出し走査系による掃出し走査により、読出し行の各画素の光電変換部から不要な電荷が掃き出されることによって当該光電変換部がリセットされる。そして、この掃出し走査系による不要電荷の掃き出す(リセットする)ことにより、所謂、電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換部の光電荷を捨てて、新たに露光を開始する(光電荷の蓄積を開始する)動作のことを言う。
 読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作又は電子シャッタ動作以降に受光した光量に対応するものである。そして、直前の読出し動作による読出しタイミング又は電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の露光期間となる。
 垂直駆動部130によって選択された画素行の各画素から出力される画素信号は、2系統の垂直信号線310、320を通してAD変換部140、150に入力される。ここで、一方の系統の垂直信号線310は、選択行の各画素80、82、80a、82aかから出力される画素信号を、画素列毎に第1の方向(画素列方向における一方側/図の上方向)に伝送する信号線群(第1の信号線群)から成る。他方の系統の垂直信号線320は、選択行の各画素から出力される画素信号を、第1の方向と反対方向の第2の方向(画素列方向における他方側/図の下方向)に伝送する信号線群(第2の信号線群)から成る。
 AD変換部140、150はそれぞれ入力される画素信号をAD変換するAD変換器141の集合から成る。AD変換部140、150でAD変換後の画素データ(デジタルデータ)は、カラム処理部160、170を介してメモリ部180に供給される。信号処理部81は、画素データに対してノイズ低減処理などの信号処理を行い、インターフェース部52を介して可視画像データを表示パネル4に供給する。
 図17は、本実施形態に係る処理例を示すフローチャートである。図17に示すように、中央制御部300の制御に従い撮像物の可視画像がカメラモジュール3により撮像される(ステップS100)。続けて、中央制御部300の制御に従い撮像物の距離画像が距離計測部20により撮像される(ステップS102)。そして、中央制御部300の制御に従い表示パネル4は、距離画像と可視画像を関連づけて表示する。例えば、距離画像と可視画像の座標位置が対応するように、中央制御部300は、信号処理部11cと信号処理部51とを制御する。例えば、撮像部の同じ位置が距離画像のg1(x、y)と、可視画像g2(x、y)とに配置されるように、関連づけられる。つまり、距離画像の座標(x、y)と、可視画像の座標(x、y)とは、撮像物の同じ場所を指すように構成される。例えば信号処理部51では、距離画像の距離値と可視画像の光学系の情報を用いて、距離画像のg1(x、y)と、可視画像g2(x、y)とを対応づける処理が行われる。カメラモジュール3と、赤外撮像部9とは表示部2の裏面に近接して配置されるので、このような処理がより簡易に行うことが可能となる。
 図18は、表示パネル4に表示される距離画像と可視画像との例を示す図である。図18では、距離画像と可視画像との座標位置が対応するように生成されており、並べて配置される。これにより、距離画像と可視画像との比較が容易となる。
 以上説明したように、本実施形態によれば、表示部2が有する表示パネル4は、距離計測部20が撮像した距離画像と、カメラモジュール3が撮像した可視画像とを関連づけて表示することとした。これにより、距離画像と可視画像との比較が容易となる。
 なお、本技術は以下のような構成を取ることができる。
(1)
 表示部と、
 前記表示部の表示面とは反対側に配置される赤外撮像部を備え、
 前記赤外撮像部は、
 前記表示部を介して入射された赤外光を光電変換する複数の光電変換部を、
 有する、電子機器。
(2)
 前記表示部の表示面とは反対側に赤外光を照射する照射部を、更に備える、(1)に記載の電子機器。
(3)
 前記赤外撮像部と、前記照射部とは、前記照射部が照射した赤外光による前記表示部内の内部反射光が所定レベルまで低減される距離に配置される、(2)に記載の電子機器。
(4)
 前記赤外撮像部と、前記照射部とが隣接する場合の前記内部反射光の光量が8分の1以下になる距離に、前記赤外撮像部と、前記照射部とは配置される、(3)に記載の電子機器。
(5)
 前記表示部における内部構造の光伝搬性に異方性がある場合に、前記照射部から所定距離離れた位置での内部反射光の光量以下になる距離に、前記赤外撮像部と、前記照射部とは配置される、(2)に記載の電子機器。
(6)
 前記赤外撮像部と前記照射部の高さを揃え、前記表示部の表示面とは反対側の裏面に接するように配置する、(2)に記載の電子機器。
(7)
 前記赤外撮像部と前記照射部の高さを揃え、
 前記赤外撮像部と前記照射部との間に配置される遮光板を更に備える、(2)に記載の電子機器。
(8)
 前記赤外撮像部と前記照射部との画角が重なるように、前記赤外撮像部と前記照射部との光軸の向きが設定される、(2)に記載の電子機器。
(9)
 前記表示部の表示面とは反対側に配置される可視撮像部を更に備える、(2)に記載の電子機器。
(10)
 前記赤外撮像部と前記照射部と前記可視撮像部とは、それぞれの重心部が正三角形となるように、前記表示部の表示面とは反対側に配置される、(9)に記載の電子機器。
(11)
 前記赤外撮像部と前記照射部と前記可視撮像部とは直線状に、前記表示部の表示面とは反対側に配置される、(9)に記載の電子機器。
(12)
 前記赤外撮像部と前記照射部と前記可視撮像部との中間部に、前記可視撮像部が配置される、(9)に記載の電子機器。
(13)
 前記赤外撮像部と前記照射部は、前記表示部の表示面の短辺と平行になるよう配置される、(9)に記載の電子機器。
(14)
 前記赤外撮像部と前記照射部は、前記表示部の表示面の長辺と平行になるよう配置される、(9)に記載の電子機器。
(15)
 前記表示部における内部構造の光伝搬性に異方性がある場合に、前記赤外撮像部と前記照射部は、光伝搬の少ない向きに配置される、(2)に記載の電子機器。
(16)
 前記赤外撮像部の生成する距離信号に基づき、2次元の距離画像を生成する第1信号処理部を更に備える、(9)に記載の電子機器。
(17)
 前記可視撮像部は、2次元の可視画像を生成する第2信号処理部を更に有する、(16)に記載の電子機器。
(18)
 前記表示部を制御する制御部を更に備え、
 前記制御部は、前記2次元の距離画像と、前記2次元の可視画像を並べて前記表示部に表示させる、(17)に記載の電子機器。
(19)
 前記第2信号処理部は、前記2次元の可視画像として、前記2次元の距離画像の座標に対応する画像を前記2次元の可視画像として生成する、(18)に記載の電子機器。
(20)
 前記表示部は、有機発光ダイオードを用いた表示パネルを含む、(5)に記載の電子機器。
 本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
 1:電子機器、1a:表示画面、1b:ベゼル、2:表示部、3:カメラモジュール(可視撮像部)、4:表示パネル、:8:レーザ照射部、9:赤外撮像部、10:制御部、11c:信号処理部、30:制御部、38:画素部、51:信号処理部、94a:センサ、200:中央制御部。

Claims (20)

  1.  表示部と、
     前記表示部の表示面とは反対側に配置される赤外撮像部を備え、
     前記赤外撮像部は、
     前記表示部を介して入射された赤外光を光電変換する複数の光電変換部を、
     有する、電子機器。
  2.  前記表示部の表示面とは反対側に赤外光を照射する照射部を、更に備える、請求項1に記載の電子機器。
  3.  前記赤外撮像部と、前記照射部とは、前記照射部が照射した赤外光による前記表示部内の内部反射光が所定レベルまで低減される距離に配置される、請求項2に記載の電子機器。
  4.  前記赤外撮像部と、前記照射部とが隣接する場合の前記内部反射光の光量が8分の1以下になる距離に、前記赤外撮像部と、前記照射部とは配置される、請求項3に記載の電子機器。
  5.  前記表示部における内部構造の光伝搬性に異方性がある場合に、前記照射部から所定距離離れた位置での内部反射光の光量以下になる距離に、前記赤外撮像部と、前記照射部とは配置される、請求項2に記載の電子機器。
  6.  前記赤外撮像部と前記照射部の高さを揃え、前記表示部の表示面とは反対側の裏面に接するように配置する、請求項2に記載の電子機器。
  7.  前記赤外撮像部と前記照射部の高さを揃え、
     前記赤外撮像部と前記照射部との間に配置される遮光板を更に備える、請求項2に記載の電子機器。
  8.  前記赤外撮像部と前記照射部との画角が重なるように、前記赤外撮像部と前記照射部との光軸の向きが設定される、請求項2に記載の電子機器。
  9.  前記表示部の表示面とは反対側に配置される可視撮像部を更に備える、請求項2に記載の電子機器。
  10.  前記赤外撮像部と前記照射部と前記可視撮像部とは、それぞれの重心部が正三角形となるように、前記表示部の表示面とは反対側に配置される、請求項9に記載の電子機器。
  11.  前記赤外撮像部と前記照射部と前記可視撮像部とは直線状に、前記表示部の表示面とは反対側に配置される、請求項9に記載の電子機器。
  12.  前記赤外撮像部と前記照射部と前記可視撮像部との中間部に、前記可視撮像部が配置される、請求項9に記載の電子機器。
  13.  前記赤外撮像部と前記照射部は、前記表示部の表示面の短辺と平行になるよう配置される、請求項9に記載の電子機器。
  14.  前記赤外撮像部と前記照射部は、前記表示部の表示面の長辺と平行になるよう配置される、請求項9に記載の電子機器。
  15.  前記表示部における内部構造の光伝搬性に異方性がある場合に、前記赤外撮像部と前記照射部は、光伝搬の少ない向きに配置される、請求項2に記載の電子機器。
  16.  前記赤外撮像部の生成する距離信号に基づき、2次元の距離画像を生成する第1信号処理部を更に備える、請求項9に記載の電子機器。
  17.  前記可視撮像部は、2次元の可視画像を生成する第2信号処理部を更に有する、請求項16に記載の電子機器。
  18.  前記表示部を制御する制御部を更に備え、
     前記制御部は、前記2次元の距離画像と、前記2次元の可視画像を並べて前記表示部に表示させる、請求項17に記載の電子機器。
  19.  前記第2信号処理部は、前記2次元の可視画像として、前記2次元の距離画像の座標に対応する画像を前記2次元の可視画像として生成する、請求項18に記載の電子機器。
  20.  前記表示部は、有機発光ダイオードを用いた表示パネルを含む、請求項5に記載の電子機器。
PCT/JP2022/023227 2021-09-21 2022-06-09 電子機器 WO2023047719A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021153316A JP2023045100A (ja) 2021-09-21 2021-09-21 電子機器
JP2021-153316 2021-09-21

Publications (1)

Publication Number Publication Date
WO2023047719A1 true WO2023047719A1 (ja) 2023-03-30

Family

ID=85720425

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/023227 WO2023047719A1 (ja) 2021-09-21 2022-06-09 電子機器

Country Status (2)

Country Link
JP (1) JP2023045100A (ja)
WO (1) WO2023047719A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020110475A1 (ja) * 2018-11-30 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 時間計測装置
WO2020158602A1 (ja) * 2019-01-30 2020-08-06 日本精機株式会社 車両用表示装置
WO2021149503A1 (ja) * 2020-01-22 2021-07-29 ソニーセミコンダクタソリューションズ株式会社 電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020110475A1 (ja) * 2018-11-30 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 時間計測装置
WO2020158602A1 (ja) * 2019-01-30 2020-08-06 日本精機株式会社 車両用表示装置
WO2021149503A1 (ja) * 2020-01-22 2021-07-29 ソニーセミコンダクタソリューションズ株式会社 電子機器

Also Published As

Publication number Publication date
JP2023045100A (ja) 2023-04-03

Similar Documents

Publication Publication Date Title
CN106686285B (zh) 反射成像设备和具有反射成像设备的移动装置
CN106959757B (zh) 一种显示面板及显示设备
EP2330819B1 (en) Image display device with imaging unit
CN106233305B (zh) 指纹感测设备
US9818783B2 (en) Solid-state image pickup apparatus and electronic apparatus
JP6219017B2 (ja) 光検出機能を備えるoledディスプレイ装置
US9749562B2 (en) Liquid crystal display and infrared image sensor on silicon
KR20090067043A (ko) 디스플레이 장치
US11237672B2 (en) Apparatus integrated with display panel for TOF 3D spatial positioning
US20110018850A1 (en) Display panel with built-in optical sensors and display device using same
WO2010032539A1 (ja) 光センサ内蔵表示パネル
US20110285680A1 (en) Image display device, electronic apparatus, image display system, method of acquiring method, and program
US20220086378A1 (en) Electronic device and imaging method thereof
CN109146945B (zh) 一种显示面板及显示装置
JP2009169400A (ja) 表示装置および電子機器
EP3913912A1 (en) Display apparatus, electronic device, and driving method for display apparatus
CN110379311A (zh) 显示面板、电子设备、显示面板的制作方法和成像方法
JP6069822B2 (ja) 撮像方法、生体認証方法、撮像装置および生体認証装置
US20100053119A1 (en) Input/output device
WO2023047719A1 (ja) 電子機器
JP2007156757A (ja) 表示装置
CN112055133B (zh) 图像采集装置及电子设备
JP2023032244A (ja) 表示装置、光電変換装置、電子機器、照明装置、移動体、および、ウェアラブルデバイス
KR20220131236A (ko) 전자기기
US11796858B2 (en) Backlight substrate, manufacturing method thereof and display device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22872477

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE