WO2019012756A1 - 電子装置、および、電子装置の制御方法 - Google Patents

電子装置、および、電子装置の制御方法 Download PDF

Info

Publication number
WO2019012756A1
WO2019012756A1 PCT/JP2018/014204 JP2018014204W WO2019012756A1 WO 2019012756 A1 WO2019012756 A1 WO 2019012756A1 JP 2018014204 W JP2018014204 W JP 2018014204W WO 2019012756 A1 WO2019012756 A1 WO 2019012756A1
Authority
WO
WIPO (PCT)
Prior art keywords
frequency
unit
light
region
electronic device
Prior art date
Application number
PCT/JP2018/014204
Other languages
English (en)
French (fr)
Inventor
健之 青木
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN201880045058.4A priority Critical patent/CN110832346B/zh
Priority to EP18831376.1A priority patent/EP3654063B1/en
Priority to US16/628,605 priority patent/US10996320B2/en
Publication of WO2019012756A1 publication Critical patent/WO2019012756A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates

Definitions

  • the present technology relates to an electronic device and a control method of the electronic device. More particularly, the present invention relates to an electronic device having a ranging function that measures the distance to an object, and a control method of the electronic device.
  • the ToF method is a method in which irradiation light is irradiated from an electronic device to an object, a round trip time until the irradiation light is reflected and returned to the electronic device is determined, and the distance is measured.
  • the direct method is a method in which a light pulse having a very short light emission time is irradiated as irradiation light, and a round trip time until the light returns is measured. In this direct method, since only one point can be measured by one pulse emission, it is necessary to scan in order to measure a large number of points, which takes time.
  • the indirect method intermittent light such as a sine wave or rectangular wave is irradiated as irradiation light, the phase difference between the reflected light and the irradiation light to the irradiation light is determined, and the round trip time is indirectly obtained from the phase difference Is a method of measuring the distance.
  • a camera which receives reflected light by a plurality of pixels and measures the distance by an indirect method (see, for example, Patent Document 1).
  • the present technology is produced in view of such a situation, and an object of the present technology is to set an appropriate emission frequency in an electronic device which obtains a phase difference between irradiation light and reflection light.
  • a first aspect of the present technology is a light emitting unit that emits intermittent light in synchronization with a synchronization signal of a set frequency that has been set;
  • the light receiving portion for receiving the reflected light to generate light reception data, the determination portion determining the presence or absence of the predetermined object based on the light reception data, and the predetermined when it is determined that the predetermined object is present
  • an electronic apparatus including: a setting unit configured to set a higher frequency as the set frequency in the light emitting unit as a distance to an object is closer, and a control method thereof. This brings about the effect
  • the setting unit sets the first frequency as the setting frequency in the initial state, and when it is determined that the predetermined object is present, the measured distance is closer A high second frequency may be set as the set frequency. Thereby, intermittent light of the first frequency is irradiated in the initial state, and intermittent light of the second frequency is irradiated when it is determined that a predetermined object is present.
  • the determination unit determines the presence or absence of a specific portion in the predetermined object, and the setting unit determines whether the specific portion is If it is determined that there is, a third frequency that is higher as the distance to the specific part is shorter may be set as the set frequency.
  • the frequency control unit may further include a frequency control unit that alternately switches the first frequency and the second frequency at predetermined intervals when the second frequency is set. it can. As a result, when it is determined that there is a predetermined object, the intermittent light of the first frequency and the intermittent light of the second frequency are alternately emitted.
  • the light receiving unit is a pixel array unit in which a plurality of pixels are arranged in a two-dimensional grid, and the predetermined object is determined to be present for a predetermined period.
  • the pixels that receive the reflected light from other than the predetermined object are driven to output the image data composed of the received light data as the first sub-frame, and the plurality of the plurality of pixels
  • a driver may be provided, which alternately executes a process of driving pixels that receive the reflected light from the predetermined object among the pixels and outputting image data including the received light data as a second sub-frame .
  • the first and second subframes may be combined to further include a combining processing unit that generates distance data based on the combined data. This brings about the effect that the first and second subframes are combined.
  • the light receiving unit includes first and second light receiving units that emit intermittent light in synchronization with the synchronization signal of the set frequency
  • the setting control unit is configured to receive the light in the initial state.
  • a first frequency is set as the set frequency in the first light receiving unit, and when it is determined that the predetermined object is present, a second frequency that is higher as the measured distance is shorter is set as the set frequency. You may set to the said 2nd light-receiving part.
  • the first frequency is set to the first light receiving unit in the initial state
  • the second frequency is set to the second light receiving unit when it is determined that the predetermined object is present.
  • a first optical unit for collecting the intermittent light and guiding it to the first light receiving unit, and a second optical unit for collecting the intermittent light and guiding it to the first light receiving unit
  • a zoom control unit that controls the zoom magnification of the first optical unit based on the measured distance.
  • the light emitting unit includes first and second light emitting units for emitting intermittent light in synchronization with the synchronization signal of the set frequency
  • the setting unit is configured to receive the first light in the initial state. Is set as the set frequency in the first light emitting unit, and when it is determined that the predetermined object is present, the second frequency, which is higher as the measured distance is shorter, is set as the set frequency. You may set to 2 light-emitting parts. This brings about the effect
  • the light receiving unit generates a plurality of image data each consisting of a predetermined number of the light reception data in chronological order
  • the determination unit determines the time series of the plurality of image data.
  • the presence or absence of the predetermined object may be determined based on the difference between two image data adjacent in order. This brings about the effect
  • the determination unit may further calculate a distance statistic based on the light reception data and determine whether the predetermined object is present based on the difference and the statistic. Good. This brings about the effect
  • an appropriate light emission frequency can be set in an electronic device which obtains a phase difference between irradiation light and reflection light.
  • the effect described here is not necessarily limited, and may be any effect described in the present disclosure.
  • First embodiment example of setting a frequency according to the distance to an object
  • Second embodiment example of setting a frequency according to the distance to an object for one light emitting unit and two light receiving units
  • Third embodiment example of setting a frequency according to the distance to an object for two light emitting units and two light receiving units
  • FIG. 1 is a block diagram showing an exemplary configuration of an electronic device 100 according to a first embodiment of the present technology.
  • the electronic device 100 is a device that can measure the distance to an object by the ToF method, and includes a light emitting unit 110, a light receiving unit 200, and a control unit 300.
  • the light emitting unit 110 emits intermittent light in synchronization with the synchronization signal of the frequency set by the control unit 300.
  • the synchronization signal of the frequency set by the control unit 300 For example, near infrared light or the like is used as the irradiation light.
  • a clock signal of a rectangular wave is used as the synchronization signal.
  • a sine wave signal can also be used as a synchronization signal.
  • the light receiving unit 200 receives reflected light with respect to intermittent light and generates light reception data.
  • the light receiving unit 200 generates image data including a predetermined number of light reception data in synchronization with the vertical synchronization signal VSYNC, and supplies the image data to the control unit 300 via the signal line 308.
  • the frequency of the vertical synchronization signal VSYNC is, for example, 30 hertz (Hz).
  • the control unit 300 controls the light emitting unit 110 and the light receiving unit 200.
  • the control unit 300 supplies a plurality of clock signals having different frequencies and a selection signal for selecting any one of them to the light emitting unit 110 via the signal line 306. Further, the control unit 300 transmits a plurality of clock signals having different frequencies, a selection signal for selecting any one of them, and the area information to the light receiving unit 200 via the signal line 308.
  • the frequency of these clock signals is higher than that of the vertical synchronization signal, for example 10 to 20 megahertz (MHz). The area information will be described later.
  • control unit 300 receives the light reception data from the light receiving unit 200 via the signal line 308.
  • the control unit 300 measures the distance to the object from the light reception data, and generates and outputs depth data indicating a measured value.
  • This depth data is used, for example, in image processing or gesture recognition that performs blurring processing of a degree according to the distance.
  • FIG. 2 is a block diagram showing a configuration example of the light receiving unit 200 in the first embodiment of the present technology.
  • the light receiving unit 200 includes an MX driver 211, a V scanner 212, a V driver 213, a pixel array unit 220, and a DAC (Digital to Analog Converter) 214.
  • the light receiving unit 200 further includes a column signal processing unit 215, an H scanner 216, and a clock switching unit 217.
  • a pixel array unit 220 a plurality of pixels are arrayed in a two-dimensional grid. Half of these pixels are A pixels 230 and the rest are B pixels 240.
  • a set of pixels arranged in a predetermined direction is referred to as “row” or “line”, and a set of pixels arranged in a direction perpendicular to the row is "column”. It is called.
  • the number of rows of the pixel array unit 220 is M (M is an integer), and the number of columns is N (N is an integer).
  • the A pixel 230 is disposed in the odd column, and the B pixel 240 is disposed in the even column.
  • the V scanner 212 sequentially selects rows in synchronization with a horizontal synchronization signal whose frequency is higher than that of the vertical synchronization signal.
  • the V driver 213 drives a row selected by the V scanner 212.
  • the MX driver 211 selects and drives a column based on the area information.
  • the area information is information indicating whether or not to drive the row for each row.
  • the MX driver 211 drives the A pixel 230 in synchronization with the clock signal from the clock switching unit 217, and drives the B pixel 240 in synchronization with a signal that is 180 degrees out of phase with the clock signal.
  • the MX driver 211 is an example of a driver described in the claims.
  • the DAC 214 generates a sawtooth ramp signal by DA (Digital to Analog) conversion, and supplies the sawtooth ramp signal to the column signal processing unit 215.
  • DA Digital to Analog
  • the A pixel 230 photoelectrically converts incident light to generate an electric signal.
  • the A pixel 230 supplies the generated electrical signal as a pixel signal to the column signal processing unit 215 according to the control of the V driver 213.
  • the configuration of the B pixel 240 is similar to that of the A pixel 230.
  • the column signal processing unit 215 selects a column based on the area information, and executes predetermined signal processing such as AD (Analog to Digital) conversion processing on pixel signals from the column.
  • the column signal processing unit 215 supplies the data after signal processing to the control unit 300 according to the control of the H scanner 216 as light reception data. When all the columns are selected, image data consisting of M ⁇ N light reception data is generated.
  • the H scanner 216 sequentially selects a column based on the area information and causes the light reception data of the column to be output to the column signal processing unit 215.
  • the clock switching unit 217 selects one of the clock signals CLK 1, CLK 2 and CLK 3 supplied from the control unit 300 in accordance with the selection signal SELb from the control unit 300.
  • the selection signal SELb is a signal instructing any one of the clock signals CLK1, CLK2 and CLK3.
  • the frequencies of the clock signals CLK1, CLK2 and CLK3 are f1, f2 and f3, which are different from each other.
  • the clock switching unit 217 supplies the selected clock signal to the MX driver 211.
  • FIG. 3 is a circuit diagram showing one configuration example of the A pixel 230 and the B pixel 240 in the first embodiment of the present technology.
  • the A pixel 230 includes a reset transistor 231, a photodiode 232, a transfer transistor 233, a connection transistor 234, a floating diffusion layer 235, an amplification transistor 236, and a selection transistor 237.
  • the reset transistor 231 initializes the charge amount of the photodiode 232 and the floating diffusion layer 235 in accordance with a reset signal RSTa from the V driver 213.
  • the photodiode 232 performs photoelectric conversion in synchronization with the drive signal GDA from the MX driver 211 to generate charge.
  • an avalanche photodiode is used as the photodiode 232.
  • the clock signal from the clock switching unit 217 is used as the drive signal GDA.
  • the transfer transistor 233 transfers charges from the photodiode 232 to the floating diffusion layer 235 in accordance with the transfer signal TRGa from the V driver 213.
  • the connection transistor 234 connects the floating diffusion layer 235 to the transfer transistor 233 and the amplification transistor 236 in accordance with the connection signal FDGa from the V driver 213.
  • the floating diffusion layer 235 accumulates the transferred charge and generates a voltage according to the accumulated charge amount.
  • the amplification transistor 236 amplifies the signal of the voltage generated by the floating diffusion layer 235.
  • the selection transistor 237 outputs a signal from the amplification transistor 236 as a pixel signal to the column signal processing unit 215 in accordance with the row selection signal LSELa from the V driver 213.
  • the B pixel 240 includes a reset transistor 241, a photodiode 242, a transfer transistor 243, a connection transistor 244, a floating diffusion layer 245, an amplification transistor 246, and a selection transistor 247.
  • the configuration of these elements is similar to the corresponding elements of the A pixel 230.
  • the photodiode 242 performs photoelectric conversion in synchronization with the drive signal GDB from the MX driver 211 to generate charge. For example, a signal obtained by inverting the clock signal from the clock switching unit 217 (in other words, the phase differs by 180 degrees) is used as the drive signal GDB.
  • FIG. 4 is a diagram illustrating an example of the light reception amounts of the A pixel 230 and the B pixel 240 according to the first embodiment of the present technology.
  • the light emitting unit 110 emits intermittent light as irradiation light in synchronization with a clock signal of a frequency set by the control unit 300.
  • the cycle of this clock signal is 2 ⁇ Tp.
  • the irradiation light is reflected by a predetermined object, and the light reception unit 200 receives the reflected light.
  • a phase difference dt is generated between the reflected light and the irradiation light according to the distance to the object.
  • the relationship between the phase difference dt and the distance D to the object is expressed by the following equation.
  • c is the speed of light, and the unit is, for example, meters per second (m / s).
  • the unit of the phase difference dt is, for example, seconds (s).
  • the unit of the distance D is, for example, meters (m).
  • R is a phase angle between the irradiation light and the reflected light, and the unit is, for example, “degree”.
  • f is the emission frequency of the irradiation light, and the unit is, for example, hertz (Hz).
  • the MX driver 211 drives the A pixel 230 in synchronization with the drive signal GDA having the same phase and frequency as the clock signal used by the light emitting unit 110, and receives the reflected light.
  • the MX driver 211 drives the B pixel 240 in synchronization with the drive signal GDB different in phase by 180 degrees from the clock signal used by the light emitting unit 110 and receives the reflected light.
  • the reflected light When the irradiation light is emitted from a certain timing T0 to a timing T2, the reflected light starts to emit at a timing T1 at which dt has elapsed from the timing T0. The reflected light stops emitting light at timing T3 when dt has elapsed from timing T2.
  • the A pixel 230 receives the reflected light over the period from the timing T1 to the timing T2.
  • this light reception amount be q1. Since a high value such as 10 to 20 megahertz (MHz) is set as the light emission frequency of the irradiation light, the light reception amount q1 per cycle is very small and detection is difficult. Therefore, the light receiving unit 200 accumulates each of q1 over the period of the vertical synchronization signal, and generates the total amount as the light reception amount Q1.
  • the B pixel 240 receives the reflected light over the period from the timing T2 to the timing T3. Let this light reception amount be q2.
  • the light receiving unit 200 accumulates each of q2 over the period of the vertical synchronization signal, and generates the total amount as the light reception amount Q2.
  • the control unit 300 can calculate the distance D by substituting the light reception amounts Q1 and Q2 into the equation 2 to obtain the phase difference dt and substituting the phase difference dt into the equation 1. As described above, the control unit 300 can measure the distance D from the light reception amounts Q1 and Q2 of each of the pixel pair including the A pixel 230 and the B pixel 240. Since the number of each of the A pixel 230 and the B pixel 240 is half of the total number of pixels M ⁇ N of the pixel array unit 220, the control unit 300 determines the distance D for each of (M ⁇ N) / 2 points. You can ask for
  • FIG. 5 is a diagram illustrating an example of the light reception amounts of the A pixel 230 and the B pixel 240 when the low frequency is set in the first embodiment of the present technology.
  • a is a diagram showing an example of the light reception amounts of the A pixel 230 and the B pixel 240 when the control unit 300 sets the light emission frequency f to 10 megahertz (MHz) and the distance D is 1 meter (m).
  • B in the same figure shows an example of the light reception amount of A pixel 230 and B pixel 240 in case the control part 300 sets 10 megahertz (MHz) to the light emission frequency f, and the distance D is 1.1 meter (m).
  • the phase difference dt is about 6.6 nanoseconds (s).
  • the phase difference dt ' is approximately 7.34 nanoseconds (s). Since the period is 100 nanoseconds (ns), the variation of the phase difference with respect to the period is only less than 1% when the distance of 10 centimeters (cm) changes, and becomes a small value.
  • the lower the light emission frequency the longer the period 2 ⁇ Tp, so the maximum distance that can be measured is longer according to Equation 1 and Equation 2.
  • the amount of fluctuation of the phase difference with respect to the period decreases, so the distance measurement accuracy decreases.
  • FIG. 6 is a diagram illustrating an example of the light reception amounts of the A pixel 230 and the B pixel 240 when the high frequency is set in the first embodiment of the present technology.
  • a is a diagram showing an example of the light reception amounts of the A pixel 230 and the B pixel 240 when the control unit 300 sets the light emission frequency f to 100 megahertz (MHz) and the distance D is 1 meter (m).
  • B in the same figure shows an example of the light reception amount of the A pixel 230 and the B pixel 240 in case the control part 300 sets 100 megahertz (MHz) to the light emission frequency f, and the distance D is 1.1 meter (m).
  • the phase difference dt is about 6.6 nanoseconds (s).
  • the phase difference dt is approximately 7.34 nanoseconds (s). Since the period is 10 nanoseconds (ns), the amount of fluctuation of the phase difference with respect to the period when the distance is changed by 10 centimeters (cm) is larger than when 10 megahertz (MHz) is set. This improves the distance measurement accuracy.
  • the maximum distance that can be measured is shorter. For example, at 15 meters (m) or more, since the phase difference dt is longer than one wavelength, correct measurement is impossible.
  • FIG. 7 is a diagram illustrating an example of delay time for each distance according to the first embodiment of the present technology.
  • the delay time is “6.671 E-09” seconds.
  • the delay time is "1.134E-08" seconds, which is longer than when the distance is 1.0 meters.
  • FIG. 8 is a diagram for explaining the relationship between the light emission frequency and the distance measurement enabled distance, the distance measurement accuracy, and the power consumption in the first embodiment of the present technology. As described with reference to FIGS. 5 to 7, when the control unit 300 raises the light emission frequency, the distance measurement possible distance becomes short, but the distance measurement accuracy becomes high. In addition, when the light emission frequency is increased, the power consumption of the electronic device 100 is increased.
  • control unit 300 lowers the light emission frequency, the distance measurement possible distance is long, but the distance measurement accuracy is low. In addition, when the light emission frequency is lowered, the power consumption of the electronic device 100 is reduced.
  • the distance measurement possible distance and the distance measurement accuracy are in a trade-off relationship. For example, if the distance to the object is less than 15 meters (m), ranging can be performed at any light emission frequency of 10 and 100 megahertz (MHz). However, since 100 megahertz (MHz) has higher ranging accuracy, it is desirable to set 100 megahertz (MHz) in this case. In addition, if the distance to the object is 15 meters (m) or more, it is impossible to measure distance at the light emission frequency of 100 megahertz (MHz), so 10 megahertz (MHz) must be set even if the accuracy is low Absent.
  • FIG. 9 is a timing chart showing an example of the frequency setting operation according to the first embodiment of the present technology.
  • the control unit 300 sets the frequency f1 to the light emitting unit 110 and the light receiving unit 200.
  • the light emitting unit 110 emits light in synchronization with the clock signal of the frequency f1
  • the light receiving unit 200 receives the reflected light in synchronization with the clock signal of the frequency f1.
  • the light receiving unit 200 outputs image data (frame) including light reception data in synchronization with the vertical synchronization signal VSYNC.
  • the control unit 300 measures the distance based on the frame from the light receiving unit 200 and determines the presence or absence of a predetermined object. Then, it is assumed that the control unit 300 determines that there is an object at timing T10. In this case, the control unit 300 obtains a higher frequency f2 as the distance to the object is shorter. Then, the frequency is switched for each cycle of the vertical synchronization signal VSYNC. For example, the control unit 300 selects the clock signal CLK1 of the frequency f1 according to the selection signal SELb over the period from the timing T10 to the timing T11 when the cycle of the vertical synchronization signal VSYNC passes. Next, over the period from timing T11 to timing T12 when the cycle of the vertical synchronization signal VSYNC passes, the control unit 300 selects the clock signal CLK2 of the frequency f2 by the selection signal SELb.
  • the control unit 300 determines the presence or absence of a specific part (such as a hand) in the object based on the frame. The control unit 300 then determines that there is a hand or the like at timing T14. In this case, the control unit 300 obtains a higher frequency f3 as the distance to the hand is shorter. Then, the control unit 300 switches the frequency for each cycle of the vertical synchronization signal VSYNC. For example, the control unit 300 selects the clock signal CLK1 of the frequency f1 according to the selection signal SELb over a period from the timing T14 to the timing T15 when the cycle of the vertical synchronization signal VSYNC passes.
  • the control unit 300 selects the clock signal CLK2 of the frequency f2 by the selection signal SELb.
  • the control unit 300 selects the clock signal CLK3 of the frequency f3 by the selection signal SELb over the period from the timing T16 to the timing when the cycle of the vertical synchronization signal VSYNC elapses.
  • frequencies lower than the frequencies f2 and f3 are set as the initial frequency f1.
  • the power consumption of the electronic device 100 can be minimized by the lowest frequency.
  • power consumption can be reduced by setting the frequencies f1 and f2 alternately, as compared to the case where the frequency f2 is set continuously.
  • FIG. 10 is a timing chart illustrating an example of the operation of the light receiving unit 200 according to the first embodiment of the present technology.
  • a in the same figure is a timing chart which shows an example of operation of light sensing portion 200 at the time of frequency f1 being set up.
  • B in the same figure is a timing chart which shows an example of operation of light sensing portion 200 when frequency f2 is set up.
  • the MX driver 211 in the light receiving unit 200 applies the drive signal GDA of cycle 2 ⁇ Tp1 according to the frequency f1 to the A pixel 230.
  • the MX driver 211 also supplies the B pixel 240 with a drive signal GDB that is 180 degrees out of phase with the drive signal GDA.
  • the MX driver 211 in the light receiving unit 200 supplies the A pixel 230 with the drive signal GDA of a cycle 2 ⁇ Tp2 corresponding to the frequency f2 from the timing T11 to the timing when the cycle of the vertical synchronization signal VSYNC elapses. Do.
  • the MX driver 211 also supplies the B pixel 240 with a drive signal GDB that is 180 degrees out of phase with the drive signal GDA.
  • FIG. 11 is a block diagram showing an exemplary configuration of the light emitting unit 110 according to the first embodiment of the present technology.
  • the light emitting unit 110 includes a light source 111 and a light emission control unit 112.
  • the light source 111 emits light in synchronization with the clock signal from the light emission control unit 112.
  • a laser oscillator, a light emitting diode or the like is used as the light source 111.
  • the light emission control unit 112 drives the light source 111 to emit light.
  • the light emission control unit 112 receives clock signals CLK 1, CLK 2 and CLK 3 and a selection signal SELa from the control unit 300.
  • the selection signal SELa is a signal instructing any one of the clock signals CLK1, CLK2 and CLK3.
  • the light emission control unit 112 selects one of the clock signals CLK1, CLK2 and CLK3 in accordance with the selection signal SELa, and supplies the selected one to the light source 111.
  • FIG. 12 is a block diagram showing an exemplary configuration of the control unit 300 according to the first embodiment of the present technology.
  • the control unit 300 includes a difference calculation unit 320, a region control unit 311, a region determination distance measurement unit 350, a combination processing unit 312, a clock supply unit 313, a frequency control unit 314, a depth data output unit 315, and a phase synchronization circuit 316. .
  • the difference calculation unit 320 calculates a difference between two adjacent image data (frames) in time-sequential order.
  • the difference calculation unit 320 supplies difference data to the area determination distance measurement unit 350 and supplies a frame to the combination processing unit 312.
  • the area determination distance measurement unit 350 measures distance based on the difference data and determines the presence or absence of an object. Region determination and ranging section 350 sets the lowest frequency to f 1 in the initial state, and supplies the set value to frequency control section 314. Then, each time a frame is supplied from the light receiving unit 200, the area determination distance measuring unit 350 obtains distances for all measurement points from all light reception data in the frame. When the number of pixels of a frame is M ⁇ N, distance measurement is performed for each pixel pair, and thus the distance is measured for (M ⁇ N) / 2 measurement points. Then, the area determination distance measurement unit 350 obtains statistics (for example, minimum value or average value) of (M ⁇ N) / 2 measurement values. The area determination and ranging unit 350 updates f1 with a higher frequency as the statistic is closer. The frequency f1 may be a fixed value without being updated.
  • the area determination distance measurement unit 350 determines the presence or absence of an object (such as a human) based on difference data in the second and subsequent frames. When it is determined that there is no object, the area determination distance measurement unit 350 generates the selection signal SELa instructing the clock signal CLK1 of the frequency f1 and supplies the selection signal SELa to the light emission unit 110.
  • an object such as a human
  • the region determination and ranging unit 350 sets the region of the object as a region of interest (ROI), and sets a region other than the region of interest in the frame as a background region. In other words, the frame is divided into a region of interest and a background region.
  • the region determination distance measurement unit 350 sets a higher frequency to f2 as the statistic (minimum value or the like) of the measurement values in the region of interest is closer, and supplies the setting value to the frequency control unit 314. Then, the area determination / ranging section 350 alternately instructs the clock signals CLK1 and CLK2 by the selection signal SELa in synchronization with the vertical synchronization signal VSYNC.
  • the area determination distance measurement unit 350 supplies the column address of the region of interest to the difference calculation unit 320 and the region control unit 311, and causes the difference calculation unit 320 to generate difference data of the region of interest. Further, the area determination and ranging unit 350 instructs the combining processing unit 312 to combine the images.
  • the region determination distance measurement unit 350 determines the presence or absence of a specific part (such as a hand) in the object based on the difference data.
  • the presence or absence of a hand means whether or not a portion beyond the wrist of a human hand is captured in image data.
  • the area determination distance measurement unit 350 sets the hand area as a hand area, and sets an area obtained by removing the hand area from the area of interest as a new area of interest. In other words, part of the region of interest is separated as a hand region.
  • the region determination distance measurement unit 350 sets a higher frequency to f3 as the statistics (such as the minimum value) of the measurement values of the hand region are closer, and supplies the setting value to the frequency control unit 314.
  • the area judgment distance measurement unit 350 sequentially instructs the clock signals CLK1, CLK2, and CLK3 by the selection signal SELa in synchronization with the vertical synchronization signal VSYNC.
  • the area determination distance measurement unit 350 supplies the column address of the new region of interest and hand area to the difference calculation unit 320 and the area control unit 311, and instructs the combining processing unit 312 to combine the images.
  • the area control unit 311 controls the MX driver 211 in the light receiving unit 200. If the region of interest is not set, the region control unit 311 generates region information instructing to drive all the columns and supplies the region information to the MX driver 211. Thereby, all the pixels in the frame receive the reflected light.
  • the region control unit 311 alternately supplies region information for driving only the background region and region information for driving only the region of interest to the MX driver 211.
  • the switching of the area information is performed every cycle of the vertical synchronization signal VSYNC.
  • the area control unit 311 sequentially supplies, to the MX driver 211, the area information for driving only the background area, the area information for driving only the area of interest, and the area information for driving only the hand area. .
  • the switching of the area information is performed every cycle of the vertical synchronization signal VSYNC.
  • the region determination distance measurement unit 350 determines the presence or absence of both the region of interest and the hand region, but only determines the presence or absence of the region of interest and does not determine the presence or absence of the hand region. You can also.
  • the region determination and ranging unit 350 sets the region of interest and the hand region in column units by column addresses, the present invention is not limited to this configuration.
  • the area determination / ranging unit 350 can set each area in units of pixels by the row address and the column address.
  • an MX driver driven in units of rows may be added to the light receiving unit 200.
  • the frequency control unit 314 controls the frequency of the clock signal supplied by the clock supply unit 313 based on the setting value from the area determination distance measurement unit 350. Further, the frequency control unit 314 generates a signal similar to the selection signal SELa, and supplies the same to the light receiving unit 200 as SELb.
  • the phase locked loop 316 multiplies the reference clock signal from a crystal oscillator or the like.
  • the phase synchronization circuit 316 supplies the clock signal CLK 0 obtained by multiplication to the clock supply unit 313.
  • the clock supply unit 313 generates the clock signals CLK1, CLK2 and CLK3 based on the clock signal CLK0 from the phase synchronization circuit 316. For example, clock signals CLK1, CLK2 and CLK3 are generated by frequency division of clock signal CLK0.
  • the clock supply unit 313 supplies the generated clock signals CLK 1, CLK 2 and CLK 3 to the light receiving unit 200 and the light emitting unit 110.
  • the combining processing unit 312 combines a plurality of subframes to generate depth data.
  • the synthesis processing unit 312 generates depth data for each frame and supplies the depth data to the depth data output unit 315 when synthesis is not instructed by the area determination distance measurement unit 350.
  • the dynamic range of distance measurement in depth data can be broadened by combining subframes having mutually different distance allowing distance measurement.
  • the combination processing unit 312 when synthesis is instructed by the area determination and ranging unit 350, the combination processing unit 312 combines two or three subframes to generate a combined frame. When only the subframes of the region of interest and the subframes of the background region are generated, the combining processing unit 312 combines those two subframes. In addition, when the subframes of the region of interest, the subframes of the background region, and the subframes of the hand region are generated, the combining processing unit 312 combines those three subframes. Then, the combining processing unit 312 generates depth data from the combined frame, and supplies the depth data to the depth data output unit 315.
  • the depth data output unit 315 outputs the depth data from the combination processing unit 312 to the outside.
  • FIG. 13 is a block diagram showing a configuration example of the difference calculation unit 320 according to the first embodiment of the present technology.
  • the difference operation unit 320 includes a write control unit 321, background area buffers 322, 323 and 324, and subtractors 325, 326 and 327. Further, the difference calculation unit 320 includes regions of interest buffers 328, 329 and 330, subtractors 331, 332 and 333 and hand regions buffers 334, 335 and 336.
  • the writing control unit 321 writes the received light data to any of the background region buffer 322, the region of interest buffer 328 and the hand region buffer 334 according to the control of the region determination and ranging unit 350.
  • the write control unit 321 When the region of interest is not set, the write control unit 321 writes all received light data in the frame to the background region buffer 322. When the region of interest is set, the write control unit 321 writes the light reception data in the background region to the background region buffer 322, and writes the light reception data of the region of interest to the region of interest buffer 328. When the hand area is set, the write control unit 321 writes the light reception data in the background area to the background area buffer 322, writes the light reception data of the area of interest to the area of interest buffer 328, and the light reception data in the hand area In the hand area buffer 334. Also, the frame or sub-frame written to the background area buffer 322 is also supplied to the subtractor 325 as the current frame.
  • the background area buffer 322 holds the frame or sub-frame of the background area as a past frame and outputs the frame or sub frame to the subtractor 325 and the background area buffer 323.
  • the subtractor 325 calculates a pixel-by-pixel difference between the current frame from the writing control unit 321 and the past frame from the background area buffer 322.
  • the subtractor 325 supplies the difference data to the area determination distance measurement unit 350 as Fsub1.
  • the background area buffer 323 holds the past frame from the background area buffer 322 and outputs it to the subtractor 326 and the background area buffer 324.
  • the subtractor 326 calculates a pixel-by-pixel difference between the past frame from the background area buffer 322 and the past frame from the background area buffer 323.
  • the subtractor 326 supplies the difference data to the area determination distance measurement unit 350 as Fsub2.
  • the background area buffer 324 holds the past frame from the background area buffer 323 and outputs it to the subtractor 327 and the synthesis processing unit 312.
  • the subtractor 327 calculates a pixel-by-pixel difference between the past frame from the background area buffer 323 and the past frame from the background area buffer 324.
  • the subtractor 327 supplies the difference data to the area determination distance measurement unit 350 as Fsub3.
  • the configuration of the region of interest buffers 328, 329 and 330 is similar to that of the background region buffers 322, 323 and 324 except that the subframes of the region of interest are held instead of the background region.
  • the configuration of the subtractors 331, 332 and 333 is similar to that of the subtractors 325, 326 and 327 except that the difference between subframes of the region of interest is determined instead of the background region.
  • These subtractors 331, 332 and 333 supply the difference data to the area determination distance measurement unit 350 as Msub1, Msub2 and Msub3, respectively.
  • Hand region buffers 334, 335 and 336 are similar to background region buffers 322, 323 and 324 except that they hold subframes of the hand region instead of the background region.
  • the difference calculation unit 320 calculates three pieces of difference data for each of the background area and the touching area
  • the number of pieces of difference data is not limited to three, and may be three, such as one or four or more. It may be other than one.
  • the difference calculating part 320 is calculating the difference data of a region of interest, when it is set as the structure which does not determine the presence or absence of a hand region, calculation of the difference data of a region of interest is unnecessary.
  • FIG. 14 is a block diagram showing a configuration example of the area determination / ranging unit 350 in the first embodiment of the present technology.
  • the region determination distance measurement unit 350 includes a candidate interest region extraction unit 351, a hand candidate region extraction unit 352, a region of interest determination unit 353, a hand region determination unit 354, a frequency determination unit 355, a combination control unit 356, and a light emission frequency control unit 357. And a frequency table 358.
  • the candidate region of interest extraction unit 351 extracts candidate regions of a region of a predetermined object (that is, a region of interest) based on the difference data Fsub1, Fsub2 and Fsub3 of the background region.
  • the interest candidate region extraction unit 351 obtains, for example, a weighted average of the difference data Fsub1, Fsub2, and Fsub3. Then, the interest candidate region extraction unit 351 compares the weighted average with a predetermined threshold value S.
  • the candidate region of interest extraction unit 351 performs the same processing on all the pixels in the background region, and extracts a region consisting of a column including pixels whose weighted average is larger than the threshold S as a candidate region of interest.
  • the candidate region of interest extraction unit 351 supplies each of the column addresses in the candidate region to the region of interest determination unit 353.
  • the candidate hand region extraction unit 352 extracts candidate regions of the hand region based on the difference data Msub1, Msub2 and Msub3 of the regions of interest.
  • the hand candidate region extraction unit 352 extracts candidate regions of the hand region by the same processing as the candidate region of interest extraction unit 351, and supplies each of the row addresses in the candidate region to the hand region determination unit 354.
  • the region of interest determination unit 353 determines the presence or absence of the region of interest in the background region.
  • the region-of-interest determination unit 353 obtains the distance of each of the measurement points in the candidate region based on the light reception data from the light reception unit 200 using Expression 1 and Expression 2. Then, the region-of-interest determination unit 353 determines whether or not the minimum value of those distances is less than a predetermined threshold value Df. If the minimum value is less than the threshold Df, the region of interest determination unit 353 determines that there is a region of interest, and sets the candidate region as the region of interest. On the other hand, if the minimum value is equal to or more than the predetermined threshold Df, the region of interest determination unit 353 determines that there is no region of interest.
  • the region-of-interest determination unit 353 supplies the distance determination statistic (average value or the like) in the frame to the frequency determination unit 355 as D1.
  • the region of interest determination unit 353 supplies each of the column addresses in the region of interest to the region control unit 311, the difference calculation unit 320, and the combination control unit 356. Further, the region of interest determination unit 353 supplies the statistics of the distance in the background region as D1 to the frequency determination unit 355 together with the statistics of the distance in the region of interest D2.
  • the hand region determination unit 354 determines the presence or absence of a hand region in the region of interest.
  • the hand area determination unit 354 determines whether the minimum value of the distance in the candidate area is less than a predetermined threshold value Dn based on the light reception data. Here, a value smaller than the threshold Df is set as the threshold Dn. If the minimum value is less than the threshold Dn, the hand area determination unit 354 determines that there is a hand area, and sets the candidate area as a hand area. On the other hand, if the minimum value is equal to or more than the predetermined threshold value Dn, the hand area determination unit 354 determines that there is no hand area.
  • the circuit including the region of interest determination unit 353 and the hand region determination unit 354 is an example of the determination unit described in the claims.
  • the hand area determination unit 354 supplies each of the column addresses in the hand area to the area control unit 311, the difference calculation unit 320, and the combination control unit 356.
  • the hand area determination unit 354 also supplies the frequency determination unit 355 with a statistic (average value or the like) D3 of the distance in the hand area.
  • the frequency table 358 is a table in which frequencies set in the light emitting unit 110 and the light receiving unit 200 are associated with each of a plurality of different distance ranges.
  • the frequency determination unit 355 determines the frequency to be set to the light emitting unit 110 and the light receiving unit 200 based on the statistics D1, D2, and D3.
  • the frequency determination unit 355 reads the frequency corresponding to the distance range including the statistic D1 from the frequency table 358, and sets the frequency as the frequency f1 for distance measurement of the background region to the light emission frequency control unit 357 and the frequency control unit 314. Supply. Further, the frequency determination unit 355 reads out the frequency corresponding to the distance range including the statistic D2 from the frequency table 358, and sets it as the frequency f2 at the time of measuring the region of interest to set the light emission frequency control unit 357 and the frequency control unit 314.
  • the frequency determination unit 355 reads out the frequency corresponding to the distance range including the statistic D3 from the frequency table 358, and sets it as the frequency f3 at the time of ranging the hand region to set the light emission frequency control unit 357 and the frequency control unit 314.
  • Supply to The frequency determination unit 355 is an example of the setting unit described in the claims.
  • the combination control unit 356 controls the combination processing unit 312 based on the determination results of the region of interest determination unit 353 and the hand region determination unit 354. When it is determined that the region of interest is present, the combination control unit 356 instructs the combination processing unit 312 to combine the sub-frame of the background region and the sub-frame of the region of interest. Further, when it is determined that there is a hand region, the combination control unit 356 instructs the combination processing unit 312 to combine the sub-frame of the background region, the sub-frame of the region of interest, and the sub-frame of the hand region.
  • the light emission frequency control unit 357 controls the light emission frequency of the light emission unit 110.
  • the light emission frequency control unit 357 causes the light emitting unit 110 to select the clock signal CLK1 of the frequency f1 by SELa when only the frequency f1 corresponding to the background region is set.
  • the light emission frequency control unit 357 causes the SELa to alternately select the clock signals CLK1 and CLK2 corresponding to the frequencies f1 and f2.
  • the light emission frequency control unit 357 causes the SELa to sequentially select the clock signals CLK1, CLK2 and CLK3 corresponding to the frequencies f1, f2 and f3.
  • the region of interest determination unit 353 and the hand region determination unit 354 determine the presence or absence of a specific object or part based on the difference between frames (or subframes), the present invention is not limited to this configuration.
  • the region of interest determination unit 353 and the hand region determination unit 354 can also determine the presence or absence of a specific object or part using, for example, a pattern matching algorithm.
  • FIG. 15 is a diagram showing an example of the frequency table 358 in the first embodiment of the present technology.
  • this frequency table 358 the frequencies set in the light emitting unit 110 and the light receiving unit 200 are described for each distance range. Also, the closer the distance, the higher the frequency will be described. For example, if the distance range is less than Dth1, the highest frequency fm1 is set. When the distance range is Dth1 or more and less than Dth2, the frequency fm2 higher than the frequency fm1 is set.
  • the frequency determination unit 355 determines the frequencies f1 to f3 by reading the frequencies corresponding to the statistics D1 to D3 from the frequency table 358, the present invention is not limited to this configuration.
  • the frequency determination unit 355 can also calculate the frequencies f1 to f3 using a predetermined function that returns a higher frequency as the distance is shorter.
  • FIG. 16 is a block diagram showing a configuration example of the simplified electronic device 100 according to the first embodiment of the present technology.
  • the electronic device 100 includes a light receiving unit 200, a difference calculation unit 320, a region of interest determination unit 353, a region control unit 311, a frequency determination unit 355, a light emission frequency control unit 357, and a light emission unit 110.
  • the synthesis processing unit 312, the clock supply unit 313, and the like are omitted.
  • the light emitting unit 110 emits irradiation light in synchronization with a clock signal of a predetermined frequency f1 in the initial state, and the light receiving unit 200 receives light reflected from the irradiation light to generate light reception data. Then, the light receiving unit 200 generates image data (frame) composed of light reception data in synchronization with the vertical synchronization signal VSYNC, and supplies the image data (frame) to the difference calculation unit 320.
  • the difference calculation unit 320 calculates difference data between frames and supplies the difference data to the region of interest determination unit 353. Then, the region-of-interest determination unit 353 determines the presence or absence of the region (region of interest) of the object based on the difference data. When there is a region of interest, the region-of-interest determination unit 353 supplies the column address of the region to the region control unit 311, and supplies the statistical value (average value or the like) of the distance in the region of interest to the frequency determination unit 355.
  • the region control unit 311 causes the light receiving unit 200 to read only the background region other than the region of interest and controls the light reception unit 200 to read only the region of interest. Alternately.
  • the frequency determination unit 355 determines a higher frequency f2 as the statistic of the distance to the object is closer, and supplies the frequency f2 to the light emission frequency control unit 357.
  • the light emission frequency control unit 357 alternately sets the frequencies f1 and f2 as the light emission frequency of the light emitting unit 110.
  • the frequency f1 is switched to a higher frequency f2 as the distance to the object is shorter.
  • Optimal frequency can be set.
  • FIG. 17 is a diagram illustrating an example of image data according to the first embodiment of the present technology.
  • a is a diagram showing an example of the image data 500 when it is determined that there is no object
  • b in the figure is a diagram showing an example of the image data 510 when it is determined that there is an object. is there.
  • the electronic device 100 receives the reflected light of the frequency f1, generates the image data 500 (frame), and measures the distance.
  • the electronic device 100 repeats generation of image data and distance measurement in synchronization with the vertical synchronization signal VSYNC, and determines the presence or absence of an object (such as a human) based on difference data after two frames. Then, when it is determined that there is an object in the image data 510, the electronic device 100 sets the region as the region of interest 511 and sets the other regions as the background region.
  • FIG. 18 is a diagram illustrating an example of a subframe after the region of interest is set in the first embodiment of the present technology.
  • a is an example of the sub-frame 540 in the background area
  • b in the figure is an example of the sub-frame 550 of the area of interest.
  • the MX driver 211 in the electronic device 100 drives only the pixels in the background area, and the pixels receive light in synchronization with the clock signal CLK1 of the frequency f1. This generates a sub-frame 540 of the background area.
  • the MX driver 211 drives only the pixels in the region of interest, and the pixels receive light in synchronization with the clock signal CLK2 of higher frequency f2 as the distance to the object is closer. . This generates a sub-frame 550 of the region of interest. Thereafter, in synchronization with the vertical synchronization signal, subframes in the background region and subframes in the region of interest are alternately generated.
  • control unit 300 in the electronic device 100 combines the subframe 540 of the background region and the subframe 550 of the region of interest to generate one combined frame, and generates depth data from the combined frame. Since two images are combined, the frame rate of the combined frame is 1/2 of the frame rate when combining is not performed.
  • the background region is received in synchronization with the clock signal CLK1 of the frequency f1, and the region of interest is received in synchronization with the clock signal CLK1 of the higher frequency f2 as the distance to the object is shorter. Since the object is usually in front of the background, the frequency f2 is set to a value higher than the frequency f1.
  • the background region where the accuracy is not generally required is generally set lower than the frequency f1 compared to the case where the frequency f2 is always set. Power consumption can be reduced. Further, since the distance measurement accuracy is improved as the frequency is higher, in the case of an object such as a human being whose accuracy is generally required, the high frequency f2 can be set to satisfy the requirement. Thus, the electronic device 100 can achieve both distance measurement accuracy and reduction in power consumption by setting the optimum frequency according to each of the background and the object.
  • FIG. 19 is a diagram illustrating an example of a subframe 560 of the region of interest when the hand region is set according to the first embodiment of the present technology.
  • the electronic device 100 determines that there is a hand region in the sub-frame 560, the electronic device 100 sets the region as a hand region 561 and sets the other region as a new region of interest 562.
  • the hand area 561 the higher the distance to the hand, the higher the frequency f3 is set.
  • the distance to the hand area is shorter than the distance to the background area. Therefore, a value higher than the frequency f2 corresponding to the region of interest is set as the frequency f3 corresponding to the hand region. Therefore, the electronic device 100 can measure distance with the highest accuracy in the hand area. Thereby, the recognition accuracy of gesture recognition can be improved.
  • FIG. 20 is a flowchart illustrating an example of the operation of the electronic device 100 according to the first embodiment of the present technology. This operation is started, for example, when a predetermined application that uses depth data is executed.
  • the electronic device 100 emits light in synchronization with the clock signal CLK1 of the frequency f1, receives the reflected light, and measures the distance (step S901). Then, the electronic device 100 executes a region-of-interest determination process for determining the presence or absence of the region of interest (step S910).
  • the electronic device 100 determines whether it is determined in step S910 that there is a region of interest (step S902). If it is determined that there is no region of interest (step S902: No), the electronic device 100 repeatedly executes step S901 and subsequent steps.
  • step S902 when it is determined that there is a region of interest (step S902: Yes), the electronic device 100 obtains the higher frequency f2 as the distance to the object is shorter, alternately sets the frequencies f1 and f2 and measures distance (Ste S903). Then, the electronic device 100 executes hand area determination processing for determining the presence or absence of a hand area (step S920).
  • the electronic device 100 determines whether it is determined in step S920 that there is a hand area (step S904). If it is determined that there is no hand area (Step S904: No), the electronic device 100 repeatedly executes Step S903 and subsequent steps.
  • step S904 when it is determined that there is a hand area (step S904: Yes), the electronic device 100 obtains a higher frequency f3 as the distance to the hand is shorter, sets frequencies f1, f2 and f3 in order and performs ranging. (Step S905). After step S905, the electronic device 100 repeatedly executes step S920 and subsequent steps.
  • FIG. 21 is a flowchart illustrating an example of the operation of the region-of-interest determination process according to the first embodiment of the present technology.
  • the electronic device 100 calculates the difference between the frames (step S911), and determines whether there is a candidate region of the region of interest based on the difference (step S912). If there is a candidate area (step S912: YES), the electronic device 100 measures distance in the candidate area (step S913), and determines whether the minimum distance is less than the threshold Df (step S914).
  • step S914 determines that there is a region of interest, and sets the candidate region as a region of interest (step S915). If there is no candidate area (step S912: No), or if the minimum distance is equal to or greater than the threshold Df (step S914: No), or after step S915, the electronic device 100 ends the region-of-interest determination process.
  • FIG. 22 is a flowchart illustrating an example of the operation of the hand area determination process according to the first embodiment of the present technology.
  • the electronic device 100 calculates the difference between subframes of the region of interest (step S921), and determines whether there is a candidate region of the hand region based on the difference (step S922). If there is a candidate area (step S922: Yes), the electronic device 100 measures distance in the candidate area (step S923), and determines whether the minimum distance is less than the threshold Dn (step S924).
  • step S924 determines that there is a hand area, and sets the candidate area as a hand area (step S925). If there is no candidate area (step S922: No), or if the minimum distance is greater than or equal to the threshold Dn (step S924: No), or after step S925, the electronic device 100 ends the hand area determination process.
  • control unit 300 sets the frequency f2 higher for the light emitting unit 110 as the distance to the object decreases, so the electronic device 100 responds to the distance to the object.
  • Distance measurement can be performed with an appropriate frequency.
  • the electronic device 100 when there is a region of interest, the electronic device 100 alternately generates subframes of the background region and subframes of the region of interest and combines them. However, since two subframes are combined, the frame rate of the combined frame is reduced to half that in the case where combining is not performed. Due to the reduction of the frame rate, when the movement of the object is intense, the recognition accuracy of the gesture recognition may be reduced.
  • the electronic device 100 according to the modification of the first embodiment is different from the first embodiment in that the reduction of the frame rate is suppressed.
  • FIG. 23 is a timing chart showing an example of the frequency setting operation in the first modified example of the first embodiment of the present technology.
  • the electronic device 100 sets the frequency f2 after timing T20 when it is determined that there is an object, and generates only a subframe of the region of interest in synchronization with the vertical synchronization signal VSYNC. Then, the electronic device 100 combines the sub-frame of the region of interest and the portion of the background in the frame held in the background region buffer 324. Since the electronic device 100 does not generate sub-frames of the background area, the frame rate of the combined frame is the same as in the case of no combining.
  • the electronic device 100 sets the frequency f3 and generates only the sub-frame of the hand area in synchronization with the vertical synchronization signal VSYNC. Then, the electronic device 100 combines the sub-frame of the hand area and the portion other than the hand area held in the background area buffer 324 and the region of interest buffer 330.
  • the electronic device 100 When it is determined that there is a hand area, the electronic device 100 alternately generates subframes of the hand area and subframes of the background area, and those subframes are stored in the background area buffer 324. It may be combined with the background part of
  • the electronic device 100 performs composition using the background held in the background area buffer 324 without generating a background subframe. It is possible to suppress the reduction of the frame rate of the combined frame.
  • Second embodiment> In the first embodiment described above, although the light receiving unit 200 generates the image data including the region of interest and the background region, the resolution of the region of interest is improved over the background region because there is only one optical unit. It is difficult. In order to improve the resolution of the region of interest, for example, an optical unit for the region of interest and an optical unit for the background region may be provided to increase the zoom magnification of the optical unit for the region of interest.
  • the electronic device 100 according to the second embodiment is different from the first embodiment in that the resolution of the region of interest is higher than that of the background region.
  • FIG. 24 is a block diagram showing an exemplary configuration of the electronic device 100 according to the second embodiment of the present technology.
  • the electronic device 100 according to the second embodiment is different from that according to the first embodiment in that optical units 120 and 121 and a light receiving unit 201 are further provided.
  • the optical unit 120 collects reflected light from the region of interest and guides it to the light receiving unit 200.
  • the optical unit 121 condenses the reflected light from the background area and guides it to the light receiving unit 200.
  • the light receiving unit 200 receives the reflected light from the region of interest, and the light receiving unit 201 receives the reflected light from the background region.
  • the optical units 120 and 121 are examples of the first and second optical units described in the claims.
  • the control unit 300 drives only the light receiving unit 201 to generate a frame, and acquires the frame via the signal line 309. Then, when there is an object, the control unit 300 supplies a control signal to the optical unit 120 via the signal line 307 to set the zoom magnification according to the distance to the object. Further, the control unit 300 alternately performs a process of driving the light receiving unit 200 to generate a frame of the region of interest and a process of driving the light receiving unit 201 to generate a frame of the background region. In addition, when it is determined that there is a hand area, the control unit 300 causes the light receiving unit 200 to alternately generate subframes of the hand area and subframes of the background area.
  • FIG. 25 is a block diagram showing an exemplary configuration of the control unit 300 according to the second embodiment of the present technology.
  • the control unit 300 of the second embodiment is different from the first embodiment in that the zoom control unit 317 is further provided.
  • the zoom control unit 317 receives the statistic D2 of the distance in the region of interest from the region determination and ranging unit 350, and controls the zoom magnification of the optical unit 120 based on the statistic D2. For example, the zoom control unit 317 increases the zoom magnification as the statistic D2 increases. In addition, a value higher than that of the optical unit 120 is set as the zoom magnification of the optical unit 120.
  • the clock supply unit 313 supplies the clock signal CLK1 to the light receiving unit 201, and supplies the clock signals CLK2 and CLK3 to the light receiving unit 200.
  • the frequency control unit 314 controls the light receiving unit 200 by the selection signal SELb to switch between the clock signals CLK2 and CLK3.
  • the zoom control unit 317 controls only the zoom magnification of the optical unit 120
  • the zoom control unit 317 can further control the zoom magnification of the optical unit 121 based on the statistic D1.
  • the added optical unit condenses the reflected light from the hand area, and the added optical unit receives the reflected light in synchronization with the clock signal CLK3.
  • the resolution of the region of interest may be made higher than that of the background region in order for the zoom control unit 317 to increase the zoom magnification of the optical unit 120 corresponding to the region of interest. it can.
  • Third embodiment> In the first embodiment described above, when there is a region of interest, the subframes of the background region and the subframes of the region of interest are combined, but in order to combine two subframes, the frame rate of the combined frame is Drops to 1 ⁇ 2. In addition, since there is only one optical unit, it is difficult to improve the resolution of the region of interest over the background region.
  • the electronic device 100 according to the third embodiment is different from that according to the first embodiment in that the resolution of the region of interest is set higher than that of the background region and the reduction in the frame rate is suppressed.
  • FIG. 26 is a block diagram showing a configuration example of the electronic device 100 according to the third embodiment of the present technology.
  • the electronic device 100 according to the third embodiment differs from the first embodiment in that the light emitting unit 115, the optical units 120 and 121, and the light receiving unit 201 are further provided.
  • the light emitting unit 110 emits the irradiation light in synchronization with the clock signal CLK2 or CLK3, and the light emitting unit 115 emits the irradiation light in synchronization with the clock signal CLK1.
  • the light emitting units 110 and 115 are an example of the first and second light emitting units described in the claims.
  • the optical unit 120 collects reflected light from the region of interest and guides it to the light receiving unit 200.
  • the optical unit 121 condenses the reflected light from the background area and guides the light to the light receiving unit 201.
  • the light receiving unit 200 receives the reflected light from the region of interest, and the light receiving unit 201 receives the reflected light from the background region.
  • the control unit 300 drives only the light emitting unit 115 and the light receiving unit 201 in the initial state to generate a frame. Then, when there is an object, the control unit 300 controls the optical unit 120 to set the zoom magnification according to the distance to the object. In addition, the control unit 300 drives the light emitting unit 110 to emit light in synchronization with the clock signal CLK2, and drives the light receiving unit 200 to generate a frame of the region of interest. Then, when it is determined that there is a hand area, the control unit 300 alternately sets the frequencies f2 and f3 in the light emitting unit 110, and alternately receives a subframe of the hand area and a subframe of the background area in the light receiving unit 200. Generate
  • FIG. 27 is a timing chart illustrating an example of the frequency setting operation according to the third embodiment of the present technology.
  • the electronic device 100 sets the frequencies f1 and f2 in the light emitting units 110 and 115, emits light simultaneously, and measures distance.
  • the control unit 300 controls the light emitting units 110 and 115 to simultaneously emit two irradiation lights having different frequencies, the distance can be measured at the same time using the frequencies f1 and f2. As a result, it is possible to suppress a decrease in the frame rate of the combined frame.
  • the electronic device 100 sets the frequencies f1 and f2 to the light emitting units 110 and 115, and simultaneously emits them to perform distance measurement. Then, from timing T32 to timing T33, the electronic device 100 sets the frequencies f1 and f3 in the light emitting units 110 and 115, and simultaneously emits them to perform distance measurement.
  • a light emitting unit, a light receiving unit, and an optical unit for distance measurement in the hand area may be further provided. The light emitting unit added in this case emits light in synchronization with the clock signal CLK.
  • the control unit 300 sets the frequencies f1 and f2 to the light emitting units 110 and 115 and causes them to emit light simultaneously, so the frame of the background region and the frame of the region of interest And can be generated simultaneously. As a result, it is possible to suppress a decrease in the frame rate of the combined frame.
  • the zoom control unit 317 increases the zoom magnification of the optical unit 120 corresponding to the region of interest, the resolution of the region of interest can be made higher than that of the background region.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of mobile object such as a car, an electric car, a hybrid electric car, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot May be
  • FIG. 28 is a block diagram showing a schematic configuration example of a vehicle control system which is an example of a moving object control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 12000 includes a plurality of electronic control units connected via communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an external information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the driveline control unit 12010 controls the operation of devices related to the driveline of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, and a steering angle of the vehicle. adjusting steering mechanism, and functions as a control device of the braking device or the like to generate a braking force of the vehicle.
  • Body system control unit 12020 controls the operation of the camera settings device to the vehicle body in accordance with various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device of various lamps such as a headlamp, a back lamp, a brake lamp, a blinker or a fog lamp.
  • the body system control unit 12020 the signal of the radio wave or various switches is transmitted from wireless controller to replace the key can be entered.
  • Body system control unit 12020 receives an input of these radio or signal, the door lock device for a vehicle, the power window device, controls the lamp.
  • Outside vehicle information detection unit 12030 detects information outside the vehicle equipped with vehicle control system 12000.
  • an imaging unit 12031 is connected to the external information detection unit 12030.
  • the out-of-vehicle information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle, and receives the captured image.
  • the external information detection unit 12030 may perform object detection processing or distance detection processing of a person, a vehicle, an obstacle, a sign, characters on a road surface, or the like based on the received image.
  • Imaging unit 12031 receives light, an optical sensor for outputting an electric signal corresponding to the received light amount of the light.
  • the imaging unit 12031 can output an electric signal as an image or can output it as distance measurement information.
  • the light image pickup unit 12031 is received may be a visible light, it may be invisible light such as infrared rays.
  • Vehicle information detection unit 12040 detects the vehicle information.
  • a driver state detection unit 12041 that detects a state of a driver is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera for imaging the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver does not go to sleep.
  • the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information inside and outside the vehicle acquired by the outside information detecting unit 12030 or the in-vehicle information detecting unit 12040, and a drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 is collision avoidance or cushioning of the vehicle, follow-up running based on inter-vehicle distance, vehicle speed maintained running, functions realized in the vehicle collision warning, or ADAS including lane departure warning of the vehicle (Advanced Driver Assistance System) It is possible to perform coordinated control aiming at
  • the microcomputer 12051 the driving force generating device on the basis of the information around the vehicle acquired by the outside information detection unit 12030 or vehicle information detection unit 12040, by controlling the steering mechanism or braking device, the driver automatic operation such that autonomously traveling without depending on the operation can be carried out cooperative control for the purpose of.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the external information detection unit 12030.
  • the microcomputer 12051 controls the headlamps in response to the preceding vehicle or the position where the oncoming vehicle is detected outside the vehicle information detection unit 12030, the cooperative control for the purpose of achieving the anti-glare such as switching the high beam to the low beam It can be carried out.
  • Audio and image output unit 12052 transmits, to the passenger or outside of the vehicle, at least one of the output signal of the voice and image to be output device to inform a visually or aurally information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • Display unit 12062 may include at least one of the on-board display and head-up display.
  • FIG. 29 is a diagram illustrating an example of the installation position of the imaging unit 12031.
  • imaging units 12101, 12102, 12103, 12104, and 12105 are included.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose of the vehicle 12100, a side mirror, a rear bumper, a back door, and an upper portion of a windshield of a vehicle interior.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle cabin mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 included in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the top of the windshield in the passenger compartment is mainly used to detect a leading vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 29 shows an example of the imaging range of the imaging units 12101 to 12104.
  • Imaging range 12111 indicates an imaging range of the imaging unit 12101 provided in the front nose
  • imaging range 12112,12113 are each an imaging range of the imaging unit 12102,12103 provided on the side mirror
  • an imaging range 12114 is The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown.
  • a bird's eye view of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging unit 12101 through 12104 may have a function of obtaining distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging devices, or an imaging device having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from to no imaging unit 12101 12104, and the distance to the three-dimensional object in to no imaging range 12111 in 12114, the temporal change of the distance (relative speed with respect to the vehicle 12100) In particular, it is possible to extract a three-dimensional object traveling at a predetermined speed (for example, 0 km / h or more) in substantially the same direction as the vehicle 12100 as a leading vehicle, in particular by finding the it can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. Automatic operation or the like for autonomously traveling without depending on the way of the driver operation can perform cooperative control for the purpose.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data relating to three-dimensional objects into two-dimensional vehicles such as two-wheeled vehicles, ordinary vehicles, large vehicles, classification and extracted, can be used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see.
  • the microcomputer 12051 determines a collision risk which indicates the risk of collision with the obstacle, when a situation that might collide with the collision risk set value or more, through an audio speaker 12061, a display portion 12062 By outputting a warning to the driver or performing forcible deceleration or avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging unit 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • Such pedestrian recognition is, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as an infrared camera, and pattern matching processing on a series of feature points indicating the outline of an object to determine whether it is a pedestrian or not
  • the procedure is to determine Microcomputer 12051 is, determines that the pedestrian in the captured image of the imaging unit 12101 to 12104 is present, recognizing the pedestrian, the sound image output unit 12052 is rectangular outline for enhancement to the recognized pedestrian to superimpose, controls the display unit 12062.
  • the audio image output unit 12052 is, an icon or the like indicating a pedestrian may control the display unit 12062 to display the desired position.
  • the technique according to the present disclosure may be applied to, for example, the external information detection unit 12030 among the configurations described above.
  • the electronic device 100 of FIG. 1 can be applied to the external information detection unit 12030.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute the series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (Mini Disc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc) or the like can be used.
  • the present technology can also be configured as follows.
  • a light emitting unit that emits intermittent light in synchronization with a synchronization signal of a set frequency that has been set;
  • a light receiving unit that receives reflected light with respect to the intermittent light to generate received light data;
  • a determination unit that determines the presence or absence of a predetermined object based on the light reception data;
  • An electronic device comprising: a setting unit configured to set a higher frequency as the set frequency as the set frequency as the distance to the predetermined object decreases as it is determined that the predetermined object is present.
  • the setting unit sets the first frequency as the setting frequency in the initial state, and when it is determined that the predetermined object is present, the second frequency is higher as the measured distance is shorter.
  • the determination unit determines the presence or absence of a specific part in the predetermined object when determining that the predetermined object is present,
  • the electronic device according to (2) wherein the setting unit sets, as the setting frequency, a third frequency that is higher as the distance to the specific part is shorter when it is determined that the specific part is present.
  • the above (2) or (3) further comprising a frequency control unit that alternately switches the first frequency and the second frequency at fixed intervals when the second frequency is set.
  • the light receiving unit A pixel array unit in which a plurality of pixels are arranged in a two-dimensional grid; When it is determined that the predetermined object is present, pixels for receiving the reflected light from other than the predetermined object among the plurality of pixels are driven for a certain period of time to drive image data including the light reception data A process of outputting as a first sub-frame and driving a pixel for receiving the reflected light from the predetermined object among the plurality of pixels over the predetermined period to drive image data including the light reception data to a second
  • the electronic device further comprising: a driver that alternately executes a process of outputting as a subframe.
  • the electronic device further including: a combining processing unit that combines the first and second subframes and generates distance data based on the combined data.
  • the light receiving unit A first light receiving unit for emitting intermittent light in synchronization with a synchronization signal of the set frequency;
  • the setting unit sets the first frequency as the setting frequency in the first light receiving unit in an initial state, and when it is determined that the predetermined object is present, the measured distance is higher as the measured distance is shorter.
  • the electronic device according to any one of (1) to (6), wherein a second frequency is set as the set frequency in the second light receiving unit.
  • a first optical unit which condenses the intermittent light and guides it to the first light receiving unit.
  • a second optical unit that condenses the intermittent light and guides it to the first light receiving unit;
  • the electronic device further comprising: a zoom control unit that controls the zoom magnification of the first optical unit based on the measured distance.
  • the light emitting unit includes first and second light emitting units that emit intermittent light in synchronization with the synchronization signal of the set frequency,
  • the setting unit sets a first frequency as the setting frequency in the first light emitting unit in the initial state, and when it is determined that the predetermined object is present, the measured distance is higher as the measured distance is shorter.
  • the electronic device according to (8), wherein a frequency of 2 is set as the set frequency in the second light emitting unit.
  • the light receiving unit generates a plurality of image data each consisting of a predetermined number of the light reception data in chronological order,
  • the determination unit according to any one of (1) to (9), which determines the presence or absence of the predetermined object based on a difference between two image data adjacent in the time-series order among the plurality of image data.
  • Electronic devices (11) The electronic device according to (10), wherein the determination unit further calculates a distance statistic based on the light reception data, and determines the presence or absence of the predetermined object based on the difference and the statistic. .
  • Reference Signs List 100 electronic device 110, 115 light emitting unit 111 light source 112 light emission control unit 120, 121 optical unit 200, 201 light receiving unit 211 MX driver 212 V scanner 213 V driver 214 DAC 215 column signal processing unit 216 H scanner 217 clock switching unit 220 pixel array unit 230 A pixel 231, 241 reset transistor 232, 242 photodiode 233, 243 transfer transistor 234, 244 connection transistor 235, 245 floating diffusion layer 236, 246 amplification transistor 237, 247 selection transistor 240 B pixel 300 control unit 311 area control unit 312 synthesis processing unit 313 clock supply unit 314 frequency control unit 315 depth data output unit 316 phase synchronization circuit 317 zoom control unit 320 difference operation unit 321 write control unit 322, 323, 324 background area buffer 325, 326, 327, 331, 332, 333 subtractor 328, 329, 330 area of interest buffer 334, 335, 33 6 hand region buffer 350 region determination distance measurement unit 351 candidate candidate region extraction unit 352

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

照射光および反射光の位相差を求める電子装置において適切な発光周波数を設定する。　電子装置は、発光部、判定部および設定部を具備する。発光部は、設定された設定周波数の同期信号に同期して間欠光を照射する。受光部は、間欠光に対する反射光を受光して受光データを生成する。判定部は、受光データに基づいて所定の物体の有無を判定する。設定部は、所定の物体が有ると判定された場合には所定の物体までの距離が近いほど高い周波数を設定周波数として発光部に設定する。

Description

電子装置、および、電子装置の制御方法
　本技術は、電子装置、および、電子装置の制御方法に関する。詳しくは、物体までの距離を測定する測距機能を有する電子装置、および、電子装置の制御方法に関する。
　従来より、測距機能を持つ電子装置において、ＴｏＦ（Time of Flight）方式と呼ばれる測距方式が知られている。このＴｏＦ方式は、照射光を電子装置から物体に照射し、その照射光が反射して電子装置に戻ってくるまでの往復時間を求めて距離を測定する方式であり、直接法と間接法とに大別することができる。これらのうち直接法は、発光時間が非常に短い光パルスを照射光として照射して、その光が戻るまでの往復時間を実測する方法である。この直接法では、一度のパルス発光により測定することができるのは１点のみであるため、多数の点を測距するには順に走査しなければならず、時間を要する。
　一方、間接法は、サイン波や矩形波などの間欠光を照射光として照射して、照射光に対する反射光と照射光との位相差を求め、その位相差から往復時間を間接的に取得して距離を測定する方法である。例えば、反射光を複数の画素で受光して間接法により測距するカメラが提案されている（例えば、特許文献１参照。）。
特表２０１２－５０１６０８号公報
　上述の従来技術では、複数の画素により、複数の点を同時に測距することができるため、一点ずつしか測距することができない直接法と比較して短時間で測距することができる。しかしながら、上述のカメラでは、照射光の発光周波数に適切な値を設定することが困難である。高い発光周波数を設定すれば、測距精度が高くなるが、測距することができる最大距離は短くなり、物体が遠くに位置する場合に測距することができなくなってしまう。一方、低い発光周波数を設定すれば、最大距離は長くなるが、測距精度が低下してしまう。物体までの距離は測定開始時点では不明であるため、その距離に応じた適切な発光周波数を設定することが困難である。
　本技術はこのような状況に鑑みて生み出されたものであり、照射光および反射光の位相差を求める電子装置において適切な発光周波数を設定することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、設定された設定周波数の同期信号に同期して間欠光を照射する発光部と、上記間欠光に対する反射光を受光して受光データを生成する受光部と、上記受光データに基づいて所定の物体の有無を判定する判定部と、上記所定の物体が有ると判定された場合には上記所定の物体までの距離が近いほど高い周波数を上記設定周波数として上記発光部に設定する設定部とを具備する電子装置、および、その制御方法である。これにより、所定の物体までの距離が近いほど高い周波数の間欠光が照射されるという作用をもたらす。
　また、この第１の側面において、上記設定部は、初期状態において第１の周波数を上記設定周波数として設定し、上記所定の物体が有ると判定された場合には上記測定された距離が近いほど高い第２の周波数を上記設定周波数として設定してもよい。これにより、初期状態において第１の周波数の間欠光が照射され、所定の物体が有ると判定された場合に第２の周波数の間欠光が照射されるという作用をもたらす。
　また、この第１の側面において、上記判定部は、上記所定の物体が有ると判定した場合には上記所定の物体において特定の部位の有無を判定し、上記設定部は、上記特定の部位が有ると判定された場合には上記特定の部位までの距離が近いほど高い第３の周波数を上記設定周波数として設定してもよい。これにより、特定の部位が有ると判定された場合に第３の周波数の間欠光が照射されるという作用をもたらす。
　また、この第１の側面において、上記第２の周波数が設定された場合には一定期間ごとに上記第１の周波数と上記第２の周波数とを交互に切り替える周波数制御部をさらに具備することもできる。これにより、所定の物体が有ると判定された場合には第１の周波数の間欠光と第２の周波数の間欠光とが交互に照射されるという作用をもたらす。
　また、この第１の側面において、上記受光部は、二次元格子状に複数の画素が配列された画素アレイ部と、上記所定の物体が有ると判定された場合には一定期間に亘って上記複数の画素のうち上記所定の物体以外からの上記反射光を受光する画素を駆動して上記受光データからなる画像データを第１のサブフレームとして出力させる処理と上記一定期間に亘って上記複数の画素のうち上記所定の物体からの上記反射光を受光する画素を駆動して上記受光データからなる画像データを第２のサブフレームとして出力させる処理とを交互に実行するドライバとを備えてもよい。これにより、所定の物体が有ると判定された場合には第１および第２のサブフレームが交互に出力されるという作用をもたらす。
　また、この第１の側面において、上記第１および第２のサブフレームを合成して当該合成したデータに基づいて距離データを生成する合成処理部をさらに具備してもよい。これにより、第１および第２のサブフレームが合成されるという作用をもたらす。
　また、この第１の側面において、上記受光部は、上記設定周波数の同期信号に同期して間欠光を照射する第１および第２の受光部を備え、上記設定御部は、初期状態において上記第１の周波数を上記設定周波数として上記第１の受光部に設定し、上記所定の物体が有ると判定された場合には上記測定された距離が近いほど高い第２の周波数を上記設定周波数として上記第２の受光部に設定してもよい。これにより、初期状態において第１の周波数が第１の受光部に設定され、所定の物体が有ると判定された場合に第２の周波数が第２の受光部に設定されるという作用をもたらす。
　また、この第１の側面において、上記間欠光を集光して上記第１の受光部に導く第１の光学部と、上記間欠光を集光して上記第１の受光部に導く第２の光学部と、上記測定された距離に基づいて上記第１の光学部のズーム倍率を制御するズーム制御部とをさらに具備することもできる。これにより、測定された距離に応じたズーム倍率の第１の光学部により第１の周波数の間欠光が集光されるという作用をもたらす。
　また、この第１の側面において、上記発光部は、上記設定周波数の同期信号に同期して間欠光を照射する第１および第２の発光部を備え、上記設定部は、初期状態において第１の周波数を上記設定周波数として上記第１の発光部に設定し、上記所定の物体が有ると判定された場合には上記測定された距離が近いほど高い第２の周波数を上記設定周波数として上記第２の発光部に設定してもよい。これにより、所定の物体が有ると判定された場合に第１および第２の周波数の間欠光が照射されるという作用をもたらす。
　また、この第１の側面において、上記受光部は、各々が所定数の上記受光データからなる複数の画像データを時系列順に生成し、上記判定部は、上記複数の画像データのうち上記時系列順において隣接する２つの画像データの差分に基づいて上記所定の物体の有無を判定してもよい。これにより、２つの画像データの差分に基づいて物体の有無が判定されるという作用をもたらす。
　また、この第１の側面において、上記判定部は、上記受光データに基づいて距離の統計量をさらに算出し、上記差分と上記統計量とに基づいて上記所定の物体の有無を判定してもよい。これにより、２つの画像データの差分と距離の統計量とに基づいて物体の有無が判定されるという作用をもたらす。
　本技術によれば、照射光および反射光の位相差を求める電子装置において適切な発光周波数を設定することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における電子装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における受光部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるＡ画素およびＢ画素の一構成例を示す回路図である。 本技術の第１の実施の形態におけるＡ画素およびＢ画素の受光量の一例を示す図である。 本技術の第１の実施の形態における低い周波数を設定した場合のＡ画素およびＢ画素の受光量の一例を示す図である。 本技術の第１の実施の形態における高い周波数を設定した場合のＡ画素およびＢ画素の受光量の一例を示す図である。 本技術の第１の実施の形態における距離ごとの遅延時間の一例を示す図である。 本技術の第１の実施の形態における発光周波数と測距可能距離、測距精度および消費電力との関係を説明するための図である。 本技術の第１の実施の形態における周波数の設定動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における受光部の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における発光部の一構成例を示すブロック図である。 本技術の第１の実施の形態における制御部の一構成例を示すブロック図である。 本技術の第１の実施の形態における差分演算部の一構成例を示すブロック図である。 本技術の第１の実施の形態における領域判定測距部の一構成例を示すブロック図である。 本技術の第１の実施の形態における周波数テーブルの一例を示す図である。 本技術の第１の実施の形態における簡易化した電子装置１００の一構成例を示すブロック図である。 本技術の第１の実施の形態における画像データの一例を示す図である。 本技術の第１の実施の形態における関心領域が設定された後のサブフレームの一例を示す図である。 本技術の第１の実施の形態における手領域が設定されたときの関心領域のサブフレームの一例を示す図である。 本技術の第１の実施の形態における電子装置の動作の一例を示すフローチャートである。 本技術の第１の実施の形態における関心領域判定処理の動作の一例を示すフローチャートである。 本技術の第１の実施の形態における手領域判定処理の動作の一例を示すフローチャートである。 本技術の第１の実施の形態の第１の変形例における周波数の設定動作の一例を示すタイミングチャートである。 本技術の第２の実施の形態における電子装置の一構成例を示すブロック図である。 本技術の第２の実施の形態における制御部の一構成例を示すブロック図である。 本技術の第３の実施の形態における電子装置の一構成例を示すブロック図である。 本技術の第３の実施の形態における周波数の設定動作の一例を示すタイミングチャートである。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（物体までの距離に応じた周波数を設定する例）
　２．第２の実施の形態（１つの発光部と２つの受光部とについて物体までの距離に応じた周波数を設定する例）
　３．第３の実施の形態（２つの発光部と２つの受光部とについて物体までの距離に応じた周波数を設定する例）
　４．移動体への応用例
　＜１．第１の実施の形態＞
　［電子装置の構成例］
　図１は、本技術の第１の実施の形態における電子装置１００の一構成例を示すブロック図である。この電子装置１００は、ＴｏＦ方式により物体までの距離を測定することができる装置であり、発光部１１０、受光部２００および制御部３００を備える。
　発光部１１０は、制御部３００により設定された周波数の同期信号に同期して間欠光を照射するものである。例えば、照射光として近赤外光などが用いられる。また、同期信号として、矩形波のクロック信号が用いられる。なお、サイン波の信号を同期信号として用いることもできる。
　受光部２００は、間欠光に対する反射光を受光し、受光データを生成するものである。この受光部２００は、所定数の受光データからなる画像データを垂直同期信号ＶＳＹＮＣに同期して生成し、制御部３００に信号線３０８を介して供給する。この垂直同期信号ＶＳＹＮＣの周波数は、例えば、３０ヘルツ（Ｈｚ）である。なお、受光部２００の前段には、反射光を集光して受光部２００に導く光学部が配置されているが、図１においては、記載の便宜上、光学部は省略されている。
　制御部３００は、発光部１１０および受光部２００を制御するものである。制御部３００は、周波数の異なる複数のクロック信号と、それらのいずれかを選択させるための選択信号とを発光部１１０に信号線３０６を介して供給する。また、制御部３００は、周波数の異なる複数のクロック信号と、それらのいずれかを選択させるための選択信号と、領域情報とを受光部２００に信号線３０８を介して送信する。これらのクロック信号の周波数は、垂直同期信号よりも高く、例えば、１０乃至２０メガヘルツ（ＭＨｚ）である。領域情報については後述する。
　そして、制御部３００は、信号線３０８を介して受光部２００から受光データを受け取る。制御部３００は、受光データから物体までの距離を測定し、測定値を示すデプスデータを生成して出力する。このデプスデータは、例えば、距離に応じた度合いのぼかし処理を行う画像処理やジェスチャー認識などに用いられる。
　［受光部の構成例］
　図２は、本技術の第１の実施の形態における受光部２００の一構成例を示すブロック図である。この受光部２００は、ＭＸドライバ２１１、Ｖスキャナ２１２、Ｖドライバ２１３、画素アレイ部２２０、ＤＡＣ（Digital to Analog Converter）２１４を備える。また、受光部２００は、カラム信号処理部２１５、Ｈスキャナ２１６およびクロック切替部２１７を備える。また、画素アレイ部２２０には、二次元格子状に複数の画素が配列される。これらの画素の半分はＡ画素２３０であり、残りはＢ画素２４０である。
　以下、画素アレイ部２２０において、所定の方向（水平方向など）に配列された画素の集合を「行」または「ライン」と称し、行に垂直な方向に配列された画素の集合を「列」と称する。また、画素アレイ部２２０の行数をＭ（Ｍは整数）とし、列数をＮ（Ｎは整数）とする。例えば、奇数列にはＡ画素２３０が配置され、偶数列にはＢ画素２４０が配置される。
　Ｖスキャナ２１２は、垂直同期信号より周波数の高い水平同期信号に同期して行を順に選択するものである。Ｖドライバ２１３は、Ｖスキャナ２１２により選択された行を駆動するものである。
　ＭＸドライバ２１１は、領域情報に基づいて列を選択して駆動するものである。ここで、領域情報は、列ごとに、その列を駆動するか否かを示す情報である。また、ＭＸドライバ２１１は、クロック切替部２１７からのクロック信号に同期してＡ画素２３０を駆動し、そのクロック信号と位相が１８０度異なる信号に同期してＢ画素２４０を駆動する。なお、ＭＸドライバ２１１は、特許請求の範囲に記載のドライバの一例である。
　ＤＡＣ２１４は、ＤＡ（Digital to Analog）変換により、のこぎり波状のランプ信号を生成してカラム信号処理部２１５に供給するものである。
　Ａ画素２３０は、入射光を光電変換して電気信号を生成するものである。Ａ画素２３０は、Ｖドライバ２１３の制御に従って、生成した電気信号を画素信号としてカラム信号処理部２１５に供給する。Ｂ画素２４０の構成は、Ａ画素２３０と同様である。
　カラム信号処理部２１５は、領域情報に基づいて列を選択し、その列からの画素信号に対してＡＤ（Analog to Digital）変換処理などの所定の信号処理を実行するものである。カラム信号処理部２１５は、信号処理後のデータを受光データとしてＨスキャナ２１６の制御に従って制御部３００に供給する。全ての列が選択された場合には、Ｍ×Ｎ個の受光データからなる画像データが生成される。
　Ｈスキャナ２１６は、領域情報に基づいて列を順に選択し、その列の受光データをカラム信号処理部２１５に出力させるものである。
　クロック切替部２１７は、制御部３００からの選択信号ＳＥＬｂに従って、制御部３００から供給されたクロック信号ＣＬＫ１、ＣＬＫ２およびＣＬＫ３のいずれかを選択するものである。ここで、選択信号ＳＥＬｂは、クロック信号ＣＬＫ１、ＣＬＫ２およびＣＬＫ３のいずれかを指示する信号である。また、クロック信号ＣＬＫ１、ＣＬＫ２およびＣＬＫ３のそれぞれの周波数はｆ１、ｆ２およびｆ３であり、互いに異なる。クロック切替部２１７は、選択したクロック信号をＭＸドライバ２１１に供給する。
　［画素の構成例］
　図３は、本技術の第１の実施の形態におけるＡ画素２３０およびＢ画素２４０の一構成例を示す回路図である。Ａ画素２３０は、リセットトランジスタ２３１、フォトダイオード２３２、転送トランジスタ２３３、接続トランジスタ２３４、浮遊拡散層２３５、増幅トランジスタ２３６および選択トランジスタ２３７を備える。
　リセットトランジスタ２３１は、Ｖドライバ２１３からのリセット信号ＲＳＴａに従って、フォトダイオード２３２および浮遊拡散層２３５の電荷量を初期化するものである。
　フォトダイオード２３２は、ＭＸドライバ２１１からの駆動信号ＧＤＡに同期して光電変換を行い、電荷を生成するものである。このフォトダイオード２３２として、例えば、アバランシェフォトダイオードが用いられる。また、駆動信号ＧＤＡとしてクロック切替部２１７からのクロック信号が用いられる。
　転送トランジスタ２３３は、Ｖドライバ２１３からの転送信号ＴＲＧａに従って、フォトダイオード２３２から浮遊拡散層２３５へ電荷を転送するものである。接続トランジスタ２３４は、Ｖドライバ２１３からの接続信号ＦＤＧａに従って、浮遊拡散層２３５を転送トランジスタ２３３および増幅トランジスタ２３６に接続するものである。
　浮遊拡散層２３５は、転送された電荷を蓄積して、蓄積した電荷量に応じた電圧を生成するものである。増幅トランジスタ２３６は、浮遊拡散層２３５で生成された電圧の信号を増幅するものである。選択トランジスタ２３７は、Ｖドライバ２１３からの行選択信号ＬＳＥＬａに従って、増幅トランジスタ２３６からの信号を画素信号としてカラム信号処理部２１５へ出力するものである。
　Ｂ画素２４０は、リセットトランジスタ２４１、フォトダイオード２４２、転送トランジスタ２４３、接続トランジスタ２４４、浮遊拡散層２４５、増幅トランジスタ２４６および選択トランジスタ２４７を備える。これらの素子の構成は、Ａ画素２３０の対応する素子と同様である。ただし、フォトダイオード２４２は、ＭＸドライバ２１１からの駆動信号ＧＤＢに同期して光電変換を行い、電荷を生成する。例えば、クロック切替部２１７からのクロック信号を反転した（言い換えれば、位相が１８０度異なる）信号が駆動信号ＧＤＢとして用いられる。
　図４は、本技術の第１の実施の形態におけるＡ画素２３０およびＢ画素２４０の受光量の一例を示す図である。
　発光部１１０は、制御部３００により設定された周波数のクロック信号に同期して間欠光を照射光として照射する。このクロック信号の周期を２×Ｔｐとする。照射光は、所定の物体において反射し、その反射光を受光部２００が受光する。この反射光と照射光との間には、物体までの距離に応じて位相差ｄｔが生じる。この位相差ｄｔと物体までの距離Ｄとの間の関係は次の式により表される。
Figure JPOXMLDOC01-appb-M000001
上式においてｃは光速であり、単位は、例えばメートル毎秒（ｍ／ｓ）である。位相差ｄｔの単位は、例えば、秒（ｓ）である。距離Ｄの単位は例えば、メートル（ｍ）である。Ｒは、照射光と反射光との位相角であり、単位は、例えば、「度」である。ｆは、照射光の発光周波数であり、単位は、例えば、ヘルツ（Ｈｚ）である。
　また、ＭＸドライバ２１１は、発光部１１０が用いるクロック信号と位相および周波数が同一の駆動信号ＧＤＡに同期してＡ画素２３０を駆動し、反射光を受光させる。その一方でＭＸドライバ２１１は、発光部１１０が用いるクロック信号と周波数が同一で、位相が１８０度異なる駆動信号ＧＤＢに同期してＢ画素２４０を駆動し、反射光を受光させる。
　あるタイミングＴ０からタイミングＴ２に亘って照射光が発光した場合、反射光は、タイミングＴ０からｄｔが経過したタイミングＴ１において発光を開始する。そして、反射光は、タイミングＴ２からｄｔが経過したタイミングＴ３において発光を停止するものとする。
　このとき、駆動信号ＧＤＡに同期してＡ画素２３０は、タイミングＴ１からＴ２までの期間に亘って反射光を受光する。この受光量をｑ１とする。照射光の発光周波数には、１０乃至２０メガヘルツ（ＭＨｚ）などの高い値が設定されるため、１周期当たりの受光量ｑ１は非常に少なく、検出が困難である。このため、受光部２００は、垂直同期信号の周期に亘って、ｑ１のそれぞれを累積し、その総量を受光量Ｑ１として生成する。
　また、駆動信号ＧＤＡと位相が１８０度異なる駆動信号ＧＤＢに同期してＢ画素２４０は、タイミングＴ２からＴ３までの期間に亘って反射光を受光する。この受光量をｑ２とする。受光部２００は、垂直同期信号の周期に亘って、ｑ２のそれぞれを累積し、その総量を受光量Ｑ２として生成する。これらの受光量Ｑ１およびＱ２と位相差ｄｔとの間の関係は、次の式により表される。
　　ｄｔ＝Ｔｐ×｛Ｑ２／（Ｑ１＋Ｑ２）｝　　　　　　　　　・・・式２
　受光量Ｑ１およびＱ２を式２に代入して位相差ｄｔを求め、その位相差ｄｔを式１に代入することにより、制御部３００は、距離Ｄを算出することができる。このように、制御部３００は、Ａ画素２３０およびＢ画素２４０からなる画素対ごとに、それらの受光量Ｑ１およびＱ２から距離Ｄを測定することができる。Ａ画素２３０およびＢ画素２４０のそれぞれの個数は、画素アレイ部２２０の全画素数Ｍ×Ｎの半数であるため、制御部３００は、（Ｍ×Ｎ）／２個の点のそれぞれについて距離Ｄを求めることができる。
　図５は、本技術の第１の実施の形態における低い周波数を設定した場合のＡ画素２３０およびＢ画素２４０の受光量の一例を示す図である。同図におけるａは、制御部３００が発光周波数ｆに１０メガヘルツ（ＭＨｚ）を設定し、距離Ｄが１メートル（ｍ）の場合のＡ画素２３０およびＢ画素２４０の受光量の一例を示す図である。同図におけるｂは、制御部３００が発光周波数ｆに１０メガヘルツ（ＭＨｚ）を設定し、距離Ｄが１．１メートル（ｍ）の場合のＡ画素２３０およびＢ画素２４０の受光量の一例を示す図である。
　距離Ｄが１メートル（ｍ）の場合、位相差ｄｔは、約６．６ナノ秒（ｓ）となる。一方、距離Ｄが１．１メートル（ｍ）の場合、位相差ｄｔ'は、約７．３４ナノ秒（ｓ）となる。周期は、１００ナノ秒（ｎｓ）であるため、１０センチメートル（ｃｍ）距離が変化した場合の、周期に対する位相差の変動量は１％未満にすぎず、小さな値になる。
　一般に発光周波数が低いほど、周期２×Ｔｐが長くなるため、式１および式２より、測定することができる最大距離は遠くなる。その一方で、上述したように、周期に対する位相差の変動量が小さくなるため、測距精度が低下する。
　図６は、本技術の第１の実施の形態における高い周波数を設定した場合のＡ画素２３０およびＢ画素２４０の受光量の一例を示す図である。同図におけるａは、制御部３００が発光周波数ｆに１００メガヘルツ（ＭＨｚ）を設定し、距離Ｄが１メートル（ｍ）の場合のＡ画素２３０およびＢ画素２４０の受光量の一例を示す図である。同図におけるｂは、制御部３００が発光周波数ｆに１００メガヘルツ（ＭＨｚ）を設定し、距離Ｄが１．１メートル（ｍ）の場合のＡ画素２３０およびＢ画素２４０の受光量の一例を示す図である。
　距離Ｄが１メートル（ｍ）の場合、位相差ｄｔは、約６．６ナノ秒（ｓ）となる。一方、距離Ｄが１．１メートル（ｍ）の場合、位相差ｄｔ'は、約７．３４ナノ秒（ｓ）となる。周期は、１０ナノ秒（ｎｓ）であるため、１０センチメートル（ｃｍ）距離が変化した場合の、周期に対する位相差の変動量は１０メガヘルツ（ＭＨｚ）を設定した場合よりも大きくなる。これにより、測距精度が向上する。その一方で、式１および式２より、測定することができる最大距離は短くなる。例えば、１５メートル（ｍ）以上では、位相差ｄｔが１波長よりも長くなるため、正しい測定は不可能となる。
　図７は、本技術の第１の実施の形態における距離ごとの遅延時間の一例を示す図である。物体までの距離が遠くなるほど、光の往復時間が長くなり、照射タイミングに対して受光タイミングが遅延する時間が長くなる。例えば、発光周波数が１０メガヘルツ（ＭＨｚ）で、距離が１．０メートル（ｍ）の場合、遅延時間は、「６．６７１Ｅ－０９」秒となる。また、距離が２．０メートルの場合、遅延時間は、「１．１３４Ｅ－０８」秒となり、距離が１．０メートルの場合よりも長くなる。
　図８は、本技術の第１の実施の形態における発光周波数と測距可能距離、測距精度および消費電力との関係を説明するための図である。図５乃至７を参照して説明したように、制御部３００が発光周波数を高くすると、測距可能距離が近くなってしまうが、測距精度は高くなる。また、発光周波数を高くすると電子装置１００の消費電力が大きくなる。
　一方、制御部３００が発光周波数を低くすると、測距可能距離が遠くなるが、測距精度は低くなる。また、発光周波数を低くすると電子装置１００の消費電力が小さくなる。
　このように、測距可能距離と測距精度とはトレードオフの関係にある。例えば、物体までの距離が１５メートル（ｍ）未満であれば、１０および１００メガヘルツ（ＭＨｚ）のいずれの発光周波数であっても測距することができる。しかし、１００メガヘルツ（ＭＨｚ）の方が測距精度が高いので、この場合には１００メガヘルツ（ＭＨｚ）を設定することが望ましい。また、物体までの距離が１５メートル（ｍ）以上であれば、１００メガヘルツ（ＭＨｚ）の発光周波数では測距不可能であるため、精度が低くても１０メガヘルツ（ＭＨｚ）を設定せざるを得ない。
　また、消費電力と測距精度とについても、トレードオフの関係にある。発光周波数を高くすれば、測距精度の向上により、ジェスチャー認識などを高い精度で行うことができるが消費電力が増大してしまう。特にバッテリーで駆動するモバイル機器では、消費電力の増大が問題となる。一方、発光周波数を低くすれば、消費電力を小さくすることができるが、測距精度が低下するため、車載機器などにおいて安全性を損なうおそれがある。
　上述したように、測距可能距離、測距精度および消費電力は、トレードオフの関係にあるため、状況に応じて発光周波数を切り替える必要がある。
　図９は、本技術の第１の実施の形態における周波数の設定動作の一例を示すタイミングチャートである。初期状態において制御部３００は、発光部１１０および受光部２００に周波数ｆ１を設定する。発光部１１０は、周波数ｆ１のクロック信号に同期して発光し、受光部２００は、周波数ｆ１のクロック信号に同期して反射光を受光する。そして、受光部２００は、垂直同期信号ＶＳＹＮＣに同期して、受光データからなる画像データ（フレーム）を出力する。
　制御部３００は、受光部２００からのフレームに基づいて測距するとともに、所定の物体の有無を判定する。そして、制御部３００は、タイミングＴ１０で物体が有ると判定したものとする。この場合に、制御部３００は、その物体までの距離が近いほど高い周波数ｆ２を求める。そして、垂直同期信号ＶＳＹＮＣの周期ごとに、周波数を切り替える。例えば、タイミングＴ１０から、垂直同期信号ＶＳＹＮＣの周期が経過するタイミングＴ１１までの期間に亘って制御部３００は、選択信号ＳＥＬｂにより周波数ｆ１のクロック信号ＣＬＫ１を選択する。次いでタイミングＴ１１から、垂直同期信号ＶＳＹＮＣの周期が経過するタイミングＴ１２までの期間に亘って制御部３００は、選択信号ＳＥＬｂにより周波数ｆ２のクロック信号ＣＬＫ２を選択する。
　また、周波数ｆ１およびｆ２を交互に設定する期間において制御部３００は、フレームに基づいて、物体において特定の部位（手など）の有無を判定する。そして、制御部３００は、タイミングＴ１４で手などが有ると判定したものとする。この場合に、制御部３００は、その手までの距離が近いほど高い周波数ｆ３を求める。そして、制御部３００は、垂直同期信号ＶＳＹＮＣの周期ごとに、周波数を切り替える。例えば、タイミングＴ１４から、垂直同期信号ＶＳＹＮＣの周期が経過するタイミングＴ１５までの期間に亘って制御部３００は、選択信号ＳＥＬｂにより周波数ｆ１のクロック信号ＣＬＫ１を選択する。次いでタイミングＴ１５から、垂直同期信号ＶＳＹＮＣの周期が経過するタイミングＴ１６までの期間に亘って制御部３００は、選択信号ＳＥＬｂにより周波数ｆ２のクロック信号ＣＬＫ２を選択する。タイミングＴ１６から、垂直同期信号ＶＳＹＮＣの周期が経過するタイミングまでの期間に亘って制御部３００は、選択信号ＳＥＬｂにより周波数ｆ３のクロック信号ＣＬＫ３を選択する。
　初期の周波数ｆ１には、例えば、周波数ｆ２およびｆ３よりも低い周波数が設定される。これにより、物体が無い場合には、最も低い周波数により電子装置１００の消費電力を最小限にすることができる。また、物体が有ると判定された後も、周波数ｆ１およびｆ２を交互に設定することにより、周波数ｆ２を連続して設定する場合よりも消費電力を低減することができる。
　図１０は、本技術の第１の実施の形態における受光部２００の動作の一例を示すタイミングチャートである。同図におけるａは、周波数ｆ１が設定された際の受光部２００の動作の一例を示すタイミングチャートである。同図におけるｂは、周波数ｆ２が設定された際の受光部２００の動作の一例を示すタイミングチャートである。
　タイミングＴ１０から、垂直同期信号ＶＳＹＮＣの周期が経過するタイミングＴ１１までの期間に亘って、受光部２００内のＭＸドライバ２１１は、周波数ｆ１に応じた周期２×Ｔｐ１の駆動信号ＧＤＡをＡ画素２３０に供給する。また、ＭＸドライバ２１１は、駆動信号ＧＤＡと位相が１８０度異なる駆動信号ＧＤＢをＢ画素２４０に供給する。
　タイミングＴ１１から、垂直同期信号ＶＳＹＮＣの周期が経過するタイミングまでの期間に亘って、受光部２００内のＭＸドライバ２１１は、周波数ｆ２に応じた周期２×Ｔｐ２の駆動信号ＧＤＡをＡ画素２３０に供給する。また、ＭＸドライバ２１１は、駆動信号ＧＤＡと位相が１８０度異なる駆動信号ＧＤＢをＢ画素２４０に供給する。
　［発光部の構成例］
　図１１は、本技術の第１の実施の形態における発光部１１０の一構成例を示すブロック図である。この発光部１１０は、光源１１１および発光制御部１１２を備える。
　光源１１１は、発光制御部１１２からのクロック信号に同期して発光するものである。光源１１１として、レーザー発振器や発光ダイオードなどが用いられる。
　発光制御部１１２は、光源１１１を駆動して発光させるものである。この発光制御部１１２は、クロック信号ＣＬＫ１、ＣＬＫ２およびＣＬＫ３と、選択信号ＳＥＬａとを制御部３００から受け取る。選択信号ＳＥＬａは、クロック信号ＣＬＫ１、ＣＬＫ２およびＣＬＫ３のいずれかを指示する信号である。発光制御部１１２は、選択信号ＳＥＬａに従って、クロック信号ＣＬＫ１、ＣＬＫ２およびＣＬＫ３のいずれかを選択し、光源１１１に供給する。
　［制御部の構成例］
　図１２は、本技術の第１の実施の形態における制御部３００の一構成例を示すブロック図である。この制御部３００は、差分演算部３２０、領域制御部３１１、領域判定測距部３５０、合成処理部３１２、クロック供給部３１３、周波数制御部３１４、デプスデータ出力部３１５および位相同期回路３１６を備える。
　差分演算部３２０は、時系列順において隣接する２つの画像データ（フレーム）の差分を演算するものである。この差分演算部３２０は、差分データを領域判定測距部３５０に供給し、フレームを合成処理部３１２に供給する。
　領域判定測距部３５０は、差分データに基づいて測距するとともに物体の有無を判定するものである。領域判定測距部３５０は、初期状態において最も低い周波数をｆ１に設定し、その設定値を周波数制御部３１４に供給する。そして、フレームが受光部２００から供給されるたびに領域判定測距部３５０は、フレーム内の全受光データから全ての測定点について距離を求める。フレームの画素数がＭ×Ｎ個である場合、画素対ごとに測距されるため、（Ｍ×Ｎ）／２個の測定点について距離が測定される。そして、領域判定測距部３５０は、（Ｍ×Ｎ）／２個の測定値の統計量（例えば、最小値や平均値）を求める。領域判定測距部３５０は、その統計量が近いほど高い周波数によりｆ１を更新する。なお、周波数ｆ１を更新せずに、固定値としてもよい。
　また、領域判定測距部３５０は、２フレーム目以降において、差分データに基づいて物体（人間など）の有無を判定する。物体が無いと判定した場合に領域判定測距部３５０は、周波数ｆ１のクロック信号ＣＬＫ１を指示する選択信号ＳＥＬａを生成して発光部１１０に供給する。
　一方、物体が有ると判定した場合に領域判定測距部３５０は、物体の領域を関心領域（ＲＯＩ：Region of Interest）として設定し、フレーム内の関心領域以外の領域を背景領域として設定する。言い換えれば、フレームは関心領域と背景領域とに分割される。また、領域判定測距部３５０は、関心領域内の測定値の統計量（最小値など）が近いほど高い周波数をｆ２に設定して設定値を周波数制御部３１４に供給する。そして、領域判定測距部３５０は、垂直同期信号ＶＳＹＮＣに同期して、選択信号ＳＥＬａによりクロック信号ＣＬＫ１およびＣＬＫ２を交互に指示する。また、領域判定測距部３５０は、関心領域の列アドレスを差分演算部３２０および領域制御部３１１に供給し、差分演算部３２０に関心領域の差分データを生成させる。さらに、領域判定測距部３５０は、合成処理部３１２に画像の合成を指示する。
　そして、関心領域の差分データを受け取ると領域判定測距部３５０は、その差分データに基づいて、物体において特定の部位（手など）の有無を判定する。ここで、手の有無とは、画像データにおいて人間の手の手首から先の部分が写っているか否かを意味する。手が有ると判定した場合に領域判定測距部３５０は、手の領域を手領域として設定し、関心領域から手領域を除いた領域を新たな関心領域として設定する。言い換えれば、関心領域の一部が手領域として分離される。また、領域判定測距部３５０は、手領域の測定値の統計量（最小値など）が近いほど高い周波数をｆ３に設定して設定値を周波数制御部３１４に供給する。
　そして、領域判定測距部３５０は、垂直同期信号ＶＳＹＮＣに同期して、選択信号ＳＥＬａによりクロック信号ＣＬＫ１、ＣＬＫ２およびＣＬＫ３を順に指示する。また、領域判定測距部３５０は、新たな関心領域および手領域の列アドレスを差分演算部３２０および領域制御部３１１に供給し、合成処理部３１２に画像の合成を指示する。
　領域制御部３１１は、受光部２００内のＭＸドライバ２１１を制御するものである。関心領域が設定されていない場合に領域制御部３１１は、全ての列を駆動する旨を指示する領域情報を生成してＭＸドライバ２１１に供給する。これにより、フレーム内の全画素が反射光を受光する。
　関心領域が設定されると領域制御部３１１は、背景領域のみを駆動させる領域情報と関心領域のみを駆動させる領域情報とを交互にＭＸドライバ２１１に供給する。領域情報の切り替えは、垂直同期信号ＶＳＹＮＣの周期毎に行われる。これにより、背景領域からの反射光を受光した画像データと、関心領域からの反射光を受光した画像データとが交互に生成される。これらの画像データを以下、「サブフレーム」と称する。
　そして、手領域が設定されると領域制御部３１１は、背景領域のみを駆動させる領域情報と関心領域のみを駆動させる領域情報と手領域のみを駆動させる領域情報とを順にＭＸドライバ２１１に供給する。領域情報の切り替えは、垂直同期信号ＶＳＹＮＣの周期毎に行われる。これにより、背景領域からの反射光を受光した画像データと、関心領域からの反射光を受光した画像データと、手領域からの反射光を受光した画像データとが順に生成される。手領域に対応する画像データについても以下、「サブフレーム」と称する。
　なお、領域判定測距部３５０は、関心領域および手領域の両方について、有無を判定しているが、関心領域の有無の判定のみを行い、手領域の有無の判定を行わない構成とすることもできる。また、領域判定測距部３５０は、関心領域および手領域を列アドレスにより列単位で設定しているが、この構成に限定されない。例えば、領域判定測距部３５０は、それぞれの領域を行アドレスおよび列アドレスにより画素単位で設定することもできる。この場合には、受光部２００内に、列単位で駆動するＭＸドライバ２１１に加えて、行単位で駆動するＭＸドライバを追加すればよい。
　周波数制御部３１４は、領域判定測距部３５０からの設定値に基づいてクロック供給部３１３が供給するクロック信号の周波数を制御するものである。また、周波数制御部３１４は、選択信号ＳＥＬａと同様の信号を生成し、ＳＥＬｂとして受光部２００に供給する。
　位相同期回路３１６は、水晶発振器などからの基準クロック信号を逓倍するものである。この位相同期回路３１６は、逓倍したクロック信号ＣＬＫ０をクロック供給部３１３に供給する。
　クロック供給部３１３は、位相同期回路３１６からのクロック信号ＣＬＫ０に基づいて、クロック信号ＣＬＫ１、ＣＬＫ２およびＣＬＫ３を生成するものである。例えば、クロック信号ＣＬＫ０の周波数分割により、クロック信号ＣＬＫ１、ＣＬＫ２およびＣＬＫ３が生成される。クロック供給部３１３は、生成したクロック信号ＣＬＫ１、ＣＬＫ２およびＣＬＫ３を受光部２００および発光部１１０に供給する。
　合成処理部３１２は、複数のサブフレームを合成して、デプスデータを生成するものである。この合成処理部３１２は、領域判定測距部３５０により合成が指示されていない場合にはフレームごとにデプスデータを生成してデプスデータ出力部３１５に供給する。互いに測距可能距離が異なるサブフレームの合成により、デプスデータにおける測距のダイナミックレンジを広くすることができる。
　一方、領域判定測距部３５０により合成が指示された場合に合成処理部３１２は、２つまたは３つのサブフレームを合成して合成フレームを生成する。関心領域のサブフレームと背景領域のサブフレームとのみが生成される場合に、合成処理部３１２は、それらの２つのサブフレームを合成する。また、関心領域のサブフレームと背景領域のサブフレームと手領域のサブフレームが生成される場合に、合成処理部３１２は、それらの３つのサブフレームを合成する。そして、合成処理部３１２は、合成した合成フレームからデプスデータを生成してデプスデータ出力部３１５に供給する。
　デプスデータ出力部３１５は、合成処理部３１２からのデプスデータを外部に出力するものである。
　［差分演算部の構成例］
　図１３は、本技術の第１の実施の形態における差分演算部３２０の一構成例を示すブロック図である。この差分演算部３２０は、書込み制御部３２１と、背景領域バッファ３２２、３２３および３２４と、減算器３２５、３２６および３２７とを備える。また、差分演算部３２０は、関心領域バッファ３２８、３２９および３３０と、減算器３３１、３３２および３３３と、手領域バッファ３３４、３３５および３３６とを備える。
　書込み制御部３２１は、領域判定測距部３５０の制御に従って、受光データを背景領域バッファ３２２、関心領域バッファ３２８および手領域バッファ３３４のいずれかに書き込むものである。
　関心領域が設定されていない場合に書込み制御部３２１は、フレーム内の全ての受光データを背景領域バッファ３２２に書き込む。関心領域が設定されている場合に書込み制御部３２１は、背景領域内の受光データを背景領域バッファ３２２に書き込み、関心領域の受光データを関心領域バッファ３２８に書き込む。また、手領域が設定されている場合に書込み制御部３２１は、背景領域内の受光データを背景領域バッファ３２２に書き込み、関心領域の受光データを関心領域バッファ３２８に書き込み、手領域内の受光データを手領域バッファ３３４に書き込む。また、背景領域バッファ３２２に書き込まれるフレームまたはサブフレームは、現在フレームとして減算器３２５にも供給される。
　背景領域バッファ３２２は、背景領域のフレームまたはサブフレームを過去フレームとして保持するとともに減算器３２５および背景領域バッファ３２３に出力するものである。減算器３２５は、書込み制御部３２１からの現在フレームと背景領域バッファ３２２からの過去フレームとの画素毎の差分を演算するものである。この減算器３２５は、差分データをＦｓｕｂ１として領域判定測距部３５０に供給する。
　背景領域バッファ３２３は、背景領域バッファ３２２からの過去フレームを保持するとともに減算器３２６および背景領域バッファ３２４に出力するものである。減算器３２６は、背景領域バッファ３２２からの過去フレームと背景領域バッファ３２３からの過去フレームとの画素毎の差分を演算するものである。この減算器３２６は、差分データをＦｓｕｂ２として領域判定測距部３５０に供給する。
　背景領域バッファ３２４は、背景領域バッファ３２３からの過去フレームを保持するとともに減算器３２７および合成処理部３１２に出力するものである。減算器３２７は、背景領域バッファ３２３からの過去フレームと背景領域バッファ３２４からの過去フレームとの画素毎の差分を演算するものである。この減算器３２７は、差分データをＦｓｕｂ３として領域判定測距部３５０に供給する。
　関心領域バッファ３２８、３２９および３３０の構成は、背景領域の代わりに関心領域のサブフレームを保持する点以外は、背景領域バッファ３２２、３２３および３２４と同様である。また、減算器３３１、３３２および３３３の構成は、背景領域の代わりに関心領域のサブフレーム間の差分を求める点以外は、減算器３２５、３２６および３２７と同様である。これらの減算器３３１、３３２および３３３は、差分データをそれぞれＭｓｕｂ１、Ｍｓｕｂ２およびＭｓｕｂ３として領域判定測距部３５０に供給する。
　手領域バッファ３３４、３３５および３３６は、背景領域の代わりに手領域のサブフレームを保持する点以外は、背景領域バッファ３２２、３２３および３２４と同様である。
　なお、差分演算部３２０は、背景領域と感心領域とのそれぞれについて、３つの差分データを算出しているが、差分データの個数は３つに限定されず、１つのみや４つ以上など、３つ以外であってもよい。また、差分演算部３２０は、関心領域の差分データを算出しているが、手領域の有無を判定しない構成とする場合には、関心領域の差分データの算出は不要である。
　［領域判定測距部の構成例］
　図１４は、本技術の第１の実施の形態における領域判定測距部３５０の一構成例を示すブロック図である。この領域判定測距部３５０は、関心候補領域抽出部３５１、手候補領域抽出部３５２、関心領域判定部３５３、手領域判定部３５４、周波数決定部３５５、合成制御部３５６、発光周波数制御部３５７および周波数テーブル３５８を備える。
　関心候補領域抽出部３５１は、背景領域の差分データＦｓｕｂ１、Ｆｓｕｂ２およびＦｓｕｂ３に基づいて、所定の物体の領域（すなわち、関心領域）の候補領域を抽出するものである。この関心候補領域抽出部３５１は、例えば、差分データＦｓｕｂ１、Ｆｓｕｂ２およびＦｓｕｂ３の加重平均を求める。そして、関心候補領域抽出部３５１は加重平均と所定の閾値Ｓとを比較する。関心候補領域抽出部３５１は、背景領域内の全ての画素について同様の処理を行い、閾値Ｓより加重平均が大きな画素を含む列からなる領域を関心領域の候補領域として抽出する。関心候補領域抽出部３５１は、その候補領域内の列アドレスのそれぞれを関心領域判定部３５３に供給する。
　手候補領域抽出部３５２は、関心領域の差分データＭｓｕｂ１、Ｍｓｕｂ２およびＭｓｕｂ３に基づいて、手領域の候補領域を抽出するものである。この手候補領域抽出部３５２は、関心候補領域抽出部３５１と同様の処理により手領域の候補領域を抽出し、その候補領域内の列アドレスのそれぞれを手領域判定部３５４に供給する。
　関心領域判定部３５３は、背景領域において関心領域の有無を判定するものである。この関心領域判定部３５３は、受光部２００からの受光データに基づいて、候補領域内の測定点のそれぞれの距離を式１および式２により求める。そして、関心領域判定部３５３は、それらの距離の最小値が所定の閾値Ｄｆ未満であるか否かを判断する。最小値が閾値Ｄｆ未満であれば、関心領域判定部３５３は、関心領域が有ると判定し、候補領域を関心領域として設定する。一方、最小値が所定の閾値Ｄｆ以上であれば、関心領域判定部３５３は、関心領域が無いと判定する。
　関心領域が無い場合に関心領域判定部３５３は、フレーム内の距離の統計量（平均値など）をＤ１として周波数決定部３５５に供給する。一方、関心領域が有る場合に関心領域判定部３５３は、その関心領域内の列アドレスのそれぞれを領域制御部３１１、差分演算部３２０および合成制御部３５６に供給する。また、関心領域判定部３５３は、背景領域内の距離の統計量をＤ１として、関心領域内の距離の統計量Ｄ２とともに周波数決定部３５５に供給する。
　手領域判定部３５４は、関心領域において手領域の有無を判定するものである。この手領域判定部３５４は、受光データに基づいて候補領域内の距離の最小値が所定の閾値Ｄｎ未満であるか否かを判断する。ここで、閾値Ｄｎには、閾値Ｄｆより小さな値が設定される。最小値が閾値Ｄｎ未満であれば、手領域判定部３５４は、手領域が有ると判定し、候補領域を手領域として設定する。一方、最小値が所定の閾値Ｄｎ以上であれば、手領域判定部３５４は、手領域が無いと判定する。なお、関心領域判定部３５３および手領域判定部３５４を含む回路は、特許請求の範囲に記載の判定部の一例である。
　手領域が有る場合に手領域判定部３５４は、その手領域内の列アドレスのそれぞれを領域制御部３１１、差分演算部３２０および合成制御部３５６に供給する。また、手領域判定部３５４は、手領域内の距離の統計量（平均値など）Ｄ３を周波数決定部３５５に供給する。
　周波数テーブル３５８は、互いに異なる複数の距離範囲のそれぞれについて、発光部１１０および受光部２００に設定する周波数を対応づけたテーブルである。
　周波数決定部３５５は、統計量Ｄ１、Ｄ２およびＤ３に基づいて、発光部１１０および受光部２００に設定する周波数を決定するものである。この周波数決定部３５５は、統計量Ｄ１を含む距離範囲に対応する周波数を周波数テーブル３５８から読み出し、背景領域を測距する際の周波数ｆ１として設定して発光周波数制御部３５７および周波数制御部３１４に供給する。また、周波数決定部３５５は、統計量Ｄ２を含む距離範囲に対応する周波数を周波数テーブル３５８から読み出し、関心領域を測距する際の周波数ｆ２として設定して発光周波数制御部３５７および周波数制御部３１４に供給する。また、周波数決定部３５５は、統計量Ｄ３を含む距離範囲に対応する周波数を周波数テーブル３５８から読み出し、手領域を測距する際の周波数ｆ３として設定して発光周波数制御部３５７および周波数制御部３１４に供給する。なお、周波数決定部３５５は、特許請求の範囲に記載の設定部の一例である。
　合成制御部３５６は、関心領域判定部３５３および手領域判定部３５４の判定結果に基づいて合成処理部３１２を制御するものである。この合成制御部３５６は、関心領域が有ると判定された場合に背景領域のサブフレームと関心領域のサブフレームとの合成を合成処理部３１２に指示する。また、合成制御部３５６は、手領域が有ると判定された場合に背景領域のサブフレームと関心領域のサブフレームと手領域のサブフレームとの合成を合成処理部３１２に指示する。
　発光周波数制御部３５７は、発光部１１０の発光周波数を制御するものである。この発光周波数制御部３５７は、背景領域に対応する周波数ｆ１のみが設定された場合に、ＳＥＬａにより発光部１１０に周波数ｆ１のクロック信号ＣＬＫ１を選択させる。また、関心領域に対応する周波数ｆ２が設定された場合に発光周波数制御部３５７は、ＳＥＬａにより、周波数ｆ１およびｆ２に対応するクロック信号ＣＬＫ１およびＣＬＫ２を交互に選択させる。
　また、手領域に対応する周波数ｆ３が設定された場合に発光周波数制御部３５７は、ＳＥＬａにより周波数ｆ１、ｆ２およびｆ３に対応するクロック信号ＣＬＫ１、ＣＬＫ２およびＣＬＫ３を順に選択させる。
　なお、関心領域判定部３５３および手領域判定部３５４は、フレーム（またはサブフレーム）間の差分に基づいて特定の物体や部位の有無を判定しているが、この構成に限定されない。関心領域判定部３５３および手領域判定部３５４は、例えば、パターンマッチングアルゴリズムを用いて特定の物体や部位の有無を判定することもできる。
　図１５は、本技術の第１の実施の形態における周波数テーブル３５８の一例を示す図である。この周波数テーブル３５８には、距離範囲ごとに、発光部１１０および受光部２００に設定する周波数が記載される。また、距離が近いほど、高い周波数が記載される。例えば、距離範囲がＤｔｈ１未満である場合、最も高い周波数ｆｍ１が設定される。また、距離範囲がＤｔｈ１以上、Ｄｔｈ２未満である場合、周波数ｆｍ１の次に高い周波数ｆｍ２が設定される。
　なお、周波数決定部３５５は、周波数テーブル３５８から、統計量Ｄ１乃至Ｄ３に対応する周波数を読み出すことにより周波数ｆ１乃至ｆ３を決定しているが、この構成に限定されない。例えば、周波数決定部３５５は、距離が近いほど高い周波数を返す所定の関数を用いて周波数ｆ１乃至ｆ３を演算することもできる。
　図１６は、本技術の第１の実施の形態における簡易化した電子装置１００の一構成例を示すブロック図である。この電子装置１００は、受光部２００、差分演算部３２０、関心領域判定部３５３、領域制御部３１１、周波数決定部３５５、発光周波数制御部３５７および発光部１１０を備える。同図において、合成処理部３１２やクロック供給部３１３などは、省略されている。
　発光部１１０は、初期状態において所定の周波数ｆ１のクロック信号に同期して照射光を照射し、受光部２００は、その照射光に対する反射光を受光して受光データを生成する。そして、受光部２００は、受光データからなる画像データ（フレーム）を垂直同期信号ＶＳＹＮＣに同期して生成し、差分演算部３２０に供給する。
　差分演算部３２０は、フレーム間の差分データを演算して関心領域判定部３５３に供給する。そして、関心領域判定部３５３は、差分データに基づいて物体の領域（関心領域）の有無を判定する。関心領域が有る場合に関心領域判定部３５３は、その領域の列アドレスを領域制御部３１１に供給し、関心領域内の距離の統計量（平均値など）を周波数決定部３５５に供給する。
　また、関心領域が有ると判定された場合に領域制御部３１１は、関心領域以外の背景領域のみの読出しを受光部２００に実行させる制御と関心領域のみの読出しを受光部２００に実行させる制御とを交互に行う。
　周波数決定部３５５は、物体までの距離の統計量が近いほど高い周波数ｆ２を決定し、発光周波数制御部３５７に供給する。発光周波数制御部３５７は、発光部１１０の発光周波数として、周波数ｆ１およびｆ２を交互に設定する。
　ここで、物体の有無に関わらず、周波数ｆ１により測距を行う比較例を想定する。前述したように、測距可能距離と測距精度とはトレードオフの関係にあるため、周波数ｆ１が高すぎると、遠距離の物体を測距することができなくなり、周波数ｆ１が低すぎると測距精度が低下してしまう。測距開始時において物体までの距離は不明であるため、比較例では適切な周波数を設定することが困難である。
　これに対して、電子装置１００では、まず、周波数ｆ１により測距し、物体が有ると判定した場合に、その物体までの距離が近いほど高い周波数ｆ２に切り替えるため、物体までの距離に合わせた最適な周波数を設定することができる。
　図１７は、本技術の第１の実施の形態における画像データの一例を示す図である。同図におけるａは、物体が無いと判定されたときの画像データ５００の一例を示す図であり、同図におけるｂは、物体が有ると判定されたときの画像データ５１０の一例を示す図である。
　電子装置１００は、周波数ｆ１の反射光を受光し、画像データ５００（フレーム）を生成して測距する。電子装置１００は、垂直同期信号ＶＳＹＮＣに同期して画像データの生成および測距を繰り返し、２フレーム以降は、差分データに基づいて物体（人間など）の有無を判定する。そして、電子装置１００は、画像データ５１０において、物体が有ると判定すると、その領域を関心領域５１１として設定し、それ以外を背景領域として設定する。
　図１８は、本技術の第１の実施の形態における関心領域が設定された後のサブフレームの一例を示す図である。同図におけるａは、背景領域のサブフレーム５４０の一例であり、同図におけるｂは、関心領域のサブフレーム５５０の一例である。電子装置１００内のＭＸドライバ２１１は、背景領域内の画素のみを駆動し、それらの画素は周波数ｆ１のクロック信号ＣＬＫ１に同期して受光する。これにより、背景領域のサブフレーム５４０が生成される。そして、次の垂直同期信号の周期においてＭＸドライバ２１１は、関心領域内の画素のみを駆動し、それらの画素は、物体までの距離が近いほど高い周波数ｆ２のクロック信号ＣＬＫ２に同期して受光する。これにより、関心領域のサブフレーム５５０が生成される。以降は、垂直同期信号に同期して、背景領域のサブフレームと関心領域のサブフレームとが交互に生成される。
　そして、電子装置１００内の制御部３００は、背景領域のサブフレーム５４０と関心領域のサブフレーム５５０とを合成して１枚の合成フレームを生成し、その合成フレームからデプスデータを生成する。２枚を合成するため、合成しない場合のフレームレートに対して、合成フレームのフレームレートは１／２となる。
　このように、背景領域については周波数ｆ１のクロック信号ＣＬＫ１に同期して受光し、関心領域については、物体までの距離が近いほど高い周波数ｆ２のクロック信号ＣＬＫ１に同期して受光する。通常、物体は背景よりも手前にあるため、周波数ｆ２には、周波数ｆ１よりも高い値が設定される。
　そして、周波数が低いほど測距精度は低下する一方で消費電力が減少するため、一般にあまり精度が要求されない背景領域については低い周波数ｆ１を設定して、常に周波数ｆ２を設定する場合と比較して消費電力を低減することができる。また、周波数が高いほど測距精度が向上するため、一般に精度が要求される人間などの物体については、高い周波数ｆ２を設定して、その要求を満たすことができる。このように、背景および物体のそれぞれに合わせた最適な周波数を設定することにより、電子装置１００は、測距精度と消費電力の低減とを両立することができる。
　図１９は、本技術の第１の実施の形態における手領域が設定されたときの関心領域のサブフレーム５６０の一例を示す図である。電子装置１００は、サブフレーム５６０において手の領域が有ると判定すると、その領域を手領域５６１として設定し、それ以外の領域を新たな関心領域５６２として設定する。手領域５６１については手までの距離が近いほど高い周波数ｆ３が設定される。
　ここで、手領域の有無を判定する際の閾値Ｄｎは、背景領域の有無を判定する際の閾値Ｄｆよりも小さいため、手領域までの距離は、背景領域までの距離よりも近くなる。このため、手領域に対応する周波数ｆ３には、関心領域に対応する周波数ｆ２よりも高い値が設定される。したがって、電子装置１００は、手領域については最も高い精度により測距することができる。これにより、ジェスチャー認識の認識精度を向上させることができる。
　［電子装置の動作例］
　図２０は、本技術の第１の実施の形態における電子装置１００の動作の一例を示すフローチャートである。この動作は、例えば、デプスデータを利用する所定のアプリケーションが実行されたときに開始される。
　電子装置１００は、周波数ｆ１のクロック信号ＣＬＫ１に同期して発光し、反射光を受光して測距を行う（ステップＳ９０１）。そして、電子装置１００は、関心領域の有無を判定するための関心領域判定処理を実行する（ステップＳ９１０）。
　電子装置１００は、ステップＳ９１０において関心領域が有ると判定したか否かを判断する（ステップＳ９０２）。関心領域が無いと判定した場合に（ステップＳ９０２：Ｎｏ）、電子装置１００は、ステップＳ９０１以降を繰り返し実行する。
　一方、関心領域が有ると判定した場合に（ステップＳ９０２：Ｙｅｓ）、電子装置１００は、物体までの距離が近いほど高い周波数ｆ２を求め、周波数ｆ１およびｆ２を交互に設定して測距する（ステップＳ９０３）。そして、電子装置１００は、手領域の有無を判定するための手領域判定処理を実行する（ステップＳ９２０）。
　電子装置１００は、ステップＳ９２０において手領域が有ると判定したか否かを判断する（ステップＳ９０４）。手領域が無いと判定した場合に（ステップＳ９０４：Ｎｏ）、電子装置１００は、ステップＳ９０３以降を繰り返し実行する。
　一方、手領域が有ると判定した場合に（ステップＳ９０４：Ｙｅｓ）、電子装置１００は、手までの距離が近いほど高い周波数ｆ３を求め、周波数ｆ１、ｆ２およびｆ３を順に設定して測距する（ステップＳ９０５）。ステップＳ９０５の後に電子装置１００は、ステップＳ９２０以降を繰り返し実行する。
　図２１は、本技術の第１の実施の形態における関心領域判定処理の動作の一例を示すフローチャートである。電子装置１００は、フレーム間の差分を演算し（ステップＳ９１１）、差分に基づいて、関心領域の候補領域が有るか否かを判断する（ステップＳ９１２）。候補領域が有る場合に（ステップＳ９１２：Ｙｅｓ）、電子装置１００は、その候補領域において測距し（ステップＳ９１３）、最小距離が閾値Ｄｆ未満であるか否かを判断する（ステップＳ９１４）。
　最小距離が閾値Ｄｆ未満である場合に（ステップＳ９１４：Ｙｅｓ）、電子装置１００は、関心領域が有ると判定し、候補領域を関心領域として設定する（ステップＳ９１５）。候補領域が無い場合（ステップＳ９１２：Ｎｏ）、または、最小距離が閾値Ｄｆ以上である場合（ステップＳ９１４：Ｎｏ）、もしくは、ステップＳ９１５の後に電子装置１００は、関心領域判定処理を終了する。
　図２２は、本技術の第１の実施の形態における手領域判定処理の動作の一例を示すフローチャートである。電子装置１００は、関心領域のサブフレーム間の差分を演算し（ステップＳ９２１）、差分に基づいて、手領域の候補領域が有るか否かを判断する（ステップＳ９２２）。候補領域が有る場合に（ステップＳ９２２：Ｙｅｓ）、電子装置１００は、その候補領域において測距し（ステップＳ９２３）、最小距離が閾値Ｄｎ未満であるか否かを判断する（ステップＳ９２４）。
　最小距離が閾値Ｄｎ未満である場合に（ステップＳ９２４：Ｙｅｓ）、電子装置１００は、手領域が有ると判定し、候補領域を手領域として設定する（ステップＳ９２５）。候補領域が無い場合（ステップＳ９２２：Ｎｏ）、または、最小距離が閾値Ｄｎ以上である場合（ステップＳ９２４：Ｎｏ）、もしくは、ステップＳ９２５の後に電子装置１００は、手領域判定処理を終了する。
　このように、本技術の第１の実施の形態では、制御部３００が、物体までの距離が近いほど高い周波数ｆ２を発光部１１０に設定するため、電子装置１００は、物体までの距離に応じた適切な周波数により測距することができる。
　［変形例］
　上述の第１の実施の形態では、電子装置１００は、関心領域が有る場合に、背景領域のサブフレームと関心領域のサブフレームを交互に生成して、それらを合成していた。しかし、２枚のサブフレームを合成するため、合成フレームのフレームレートが合成しない場合の１／２に低下してしまう。このフレームレートの低下により、物体の動きが激しいときに、ジェスチャー認識の認識精度が低下するおそれがある。この第１の実施の形態の変形例の電子装置１００は、フレームレートの低下を抑制した点において第１の実施の形態と異なる。
　図２３は、本技術の第１の実施の形態の第１の変形例における周波数の設定動作の一例を示すタイミングチャートである。第１の実施の形態の変形例において電子装置１００は、物体が有ると判定したタイミングＴ２０以降に周波数ｆ２を設定し、垂直同期信号ＶＳＹＮＣに同期して、関心領域のサブフレームのみを生成する。そして、電子装置１００は、関心領域のサブフレームと、背景領域バッファ３２４に保持されたフレーム内の背景の部分とを合成する。電子装置１００は、背景領域のサブフレームを生成しないため、合成フレームのフレームレートは、合成しない場合と同一になる。
　また、手が有ると判定したタイミングＴ２１以降に電子装置１００は、周波数ｆ３を設定し、垂直同期信号ＶＳＹＮＣに同期して、手領域のサブフレームのみを生成する。そして、電子装置１００は、手領域のサブフレームと、背景領域バッファ３２４および関心領域バッファ３３０に保持された手領域以外の部分とを合成する。
　なお、電子装置１００は、手領域が有ると判定した場合に、手領域のサブフレームと背景領域のサブフレームとを交互に生成し、それらのサブフレームを、背景領域バッファ３２４に保持されたフレーム内の背景の部分と合成してもよい。
　このように、本技術の第１の実施の形態の変形例によれば、電子装置１００は、背景のサブフレームを生成せずに、背景領域バッファ３２４に保持された背景を用いて合成するため、合成フレームのフレームレートの低下を抑制することができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、受光部２００が関心領域および背景領域を含む画像データを生成していたが、光学部が１つしか無いため、関心領域の解像度を背景領域よりも向上させることが困難である。関心領域の解像度を向上させるには、例えば、関心領域用の光学部と背景領域用の光学部とを設け、関心領域用の光学部のズーム倍率を高くすればよい。この第２の実施の形態の電子装置１００は、関心領域の解像度を背景領域よりも高くした点において第１の実施の形態と異なる。
　図２４は、本技術の第２の実施の形態における電子装置１００の一構成例を示すブロック図である。この第２の実施の形態の電子装置１００は、光学部１２０および１２１と、受光部２０１とをさらに備える点において第１の実施の形態と異なる。
　光学部１２０は、関心領域からの反射光を集光して受光部２００に導くものである。光学部１２１は、背景領域からの反射光を集光して受光部２００に導くものである。受光部２００は、関心領域からの反射光を受光し、受光部２０１は、背景領域からの反射光を受光する。なお、光学部１２０および１２１は、特許請求の範囲に記載の第１および第２の光学部の一例である。
　制御部３００は、初期状態において受光部２０１のみを駆動してフレームを生成させ、信号線３０９を介してフレームを取得する。そして、物体が有る場合に制御部３００は、信号線３０７を介して光学部１２０に制御信号を供給して、物体までの距離に応じたズーム倍率を設定する。また、制御部３００は、受光部２００を駆動して関心領域のフレームを生成させる処理と、受光部２０１を駆動して背景領域のフレームを生成させる処理とを交互に行う。また、手領域が有ると判定された場合に制御部３００は、受光部２００に手領域のサブフレームと背景領域のサブフレームとを交互に生成させる。
　図２５は、本技術の第２の実施の形態における制御部３００の一構成例を示すブロック図である。この第２の実施の形態の制御部３００は、ズーム制御部３１７をさらに備える点において第１の実施の形態と異なる。
　ズーム制御部３１７は、領域判定測距部３５０から関心領域内の距離の統計量Ｄ２を受け取り、統計量Ｄ２に基づいて光学部１２０のズーム倍率を制御する。例えば、ズーム制御部３１７は、統計量Ｄ２が大きいほど、ズーム倍率を高くする。また、光学部１２０のズーム倍率には、光学部１２０よりも高い値が設定される。また、クロック供給部３１３は、クロック信号ＣＬＫ１を受光部２０１に供給し、クロック信号ＣＬＫ２およびＣＬＫ３を受光部２００に供給する。周波数制御部３１４は、選択信号ＳＥＬｂにより受光部２００を制御して、クロック信号ＣＬＫ２およびＣＬＫ３のいずれかに切り替えさせる。
　なお、ズーム制御部３１７は、光学部１２０のズーム倍率のみを制御しているが、統計量Ｄ１に基づいて光学部１２１のズーム倍率をさらに制御することもできる。また、手領域の測距用の受光部および光学部をさらに設けることもできる。この場合には、追加された光学部は手領域からの反射光を集光し、追加された光学部はクロック信号ＣＬＫ３に同期して、その反射光を受光する。
　このように、本技術の第２の実施の形態では、ズーム制御部３１７が、関心領域に対応する光学部１２０のズーム倍率を高くするため、関心領域の解像度を背景領域よりも高くすることができる。
　＜３．第３の実施の形態＞
　上述の第１の実施の形態では、関心領域が有る場合に、背景領域のサブフレームと関心領域のサブフレームを合成していたが、２枚のサブフレームを合成するため、合成フレームのフレームレートが１／２に低下してしまう。また、光学部が１つしか無いため、関心領域の解像度を背景領域よりも向上させることが困難である。この第３の実施の形態の電子装置１００は、関心領域の解像度を背景領域よりも高くするとともに、フレームレートの低下を抑制した点において第１の実施の形態と異なる。
　図２６は、本技術の第３の実施の形態における電子装置１００の一構成例を示すブロック図である。この第３の実施の形態の電子装置１００は、発光部１１５と、光学部１２０および１２１と、受光部２０１とをさらに備える点において第１の実施の形態と異なる。
　発光部１１０は、クロック信号ＣＬＫ２またはＣＬＫ３に同期して照射光を照射し、発光部１１５は、クロック信号ＣＬＫ１に同期して照射光を照射する。なお、発光部１１０および１１５は、特許請求の範囲に記載の第１および第２の発光部の一例である。
　光学部１２０は、関心領域からの反射光を集光して受光部２００に導くものである。光学部１２１は、背景領域からの反射光を集光して受光部２０１に導くものである。受光部２００は、関心領域からの反射光を受光し、受光部２０１は、背景領域からの反射光を受光する。
　制御部３００は、初期状態において発光部１１５および受光部２０１のみを駆動してフレームを生成させる。そして、物体が有る場合に制御部３００は、光学部１２０を制御して物体までの距離に応じたズーム倍率を設定する。また、制御部３００は、発光部１１０を駆動してクロック信号ＣＬＫ２に同期して発光させ、受光部２００を駆動して関心領域のフレームを生成させる。そして、手領域が有ると判定された場合に制御部３００は、発光部１１０に周波数ｆ２およびｆ３を交互に設定し、受光部２００に手領域のサブフレームと背景領域のサブフレームとを交互に生成させる。
　図２７は、本技術の第３の実施の形態における周波数の設定動作の一例を示すタイミングチャートである。物体が有ると判定したタイミングＴ３０以降に電子装置１００は、発光部１１０および１１５に周波数ｆ１およびｆ２を設定して、それらを同時に発光させて測距する。このように、制御部３００は、発光部１１０および１１５を制御して、互いに周波数の異なる２つの照射光を同時に発光させるため、周波数ｆ１およびｆ２により同時に測距することができる。これにより、合成フレームのフレームレートの低下を抑制することができる。
　そして、手が有ると判定したタイミングＴ３１からタイミングＴ３２までにおいて、電子装置１００は、発光部１１０および１１５に周波数ｆ１およびｆ２を設定して、それらを同時に発光させて測距する。そして、タイミングＴ３２からタイミングＴ３３までにおいて、電子装置１００は、発光部１１０および１１５に周波数ｆ１およびｆ３を設定して、それらを同時に発光させて測距する。なお、手領域の測距用の発光部、受光部および光学部をさらに設けることもできる。この場合に追加された発光部は、クロック信号ＣＬＫに同期して発光する。
　このように、本技術の第３の実施の形態では、制御部３００が発光部１１０および１１５に周波数ｆ１およびｆ２を設定して、それらを同時に発光させるため、背景領域のフレームと関心領域のフレームとを同時に生成することができる。これにより、合成フレームのフレームレートの低下を抑制することができる。また、ズーム制御部３１７が、関心領域に対応する光学部１２０のズーム倍率を高くするため、関心領域の解像度を背景領域よりも高くすることができる。
　＜４．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２９は、撮像部１２０３１の設置位置の例を示す図である。
　図２９では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、車外情報検出ユニット１２０３０に適用され得る。具体的には、図１の電子装置１００を、車外情報検出ユニット１２０３０に適用することができる。車外情報検出ユニット１２０３０に本開示に係る技術を適用することにより、物体までの距離に応じた適切な周波数を設定することができるため、測距精度を向上させることが可能になる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）設定された設定周波数の同期信号に同期して間欠光を照射する発光部と、
　前記間欠光に対する反射光を受光して受光データを生成する受光部と、
　前記受光データに基づいて所定の物体の有無を判定する判定部と、
　前記所定の物体が有ると判定された場合には前記所定の物体までの距離が近いほど高い周波数を前記設定周波数として前記発光部に設定する設定部と
を具備する電子装置。
（２）前記設定部は、初期状態において第１の周波数を前記設定周波数として設定し、前記所定の物体が有ると判定された場合には前記測定された距離が近いほど高い第２の周波数を前記設定周波数として設定する
前記（１）記載の電子装置。
（３）前記判定部は、前記所定の物体が有ると判定した場合には前記所定の物体において特定の部位の有無を判定し、
　前記設定部は、前記特定の部位が有ると判定された場合には前記特定の部位までの距離が近いほど高い第３の周波数を前記設定周波数として設定する
前記（２）記載の電子装置。
（４）前記第２の周波数が設定された場合には一定期間ごとに前記第１の周波数と前記第２の周波数とを交互に切り替える周波数制御部をさらに具備する
前記（２）または（３）に記載の電子装置。
（５）前記受光部は、
　二次元格子状に複数の画素が配列された画素アレイ部と、
　前記所定の物体が有ると判定された場合には一定期間に亘って前記複数の画素のうち前記所定の物体以外からの前記反射光を受光する画素を駆動して前記受光データからなる画像データを第１のサブフレームとして出力させる処理と前記一定期間に亘って前記複数の画素のうち前記所定の物体からの前記反射光を受光する画素を駆動して前記受光データからなる画像データを第２のサブフレームとして出力させる処理とを交互に実行するドライバと
を備える前記（４）記載の電子装置。
（６）前記第１および第２のサブフレームを合成して当該合成したデータに基づいて距離データを生成する合成処理部をさらに具備する
前記（５）記載の電子装置。
（７）前記受光部は、
　前記設定周波数の同期信号に同期して間欠光を照射する第１および第２の受光部を備え、
　前記設定部は、初期状態において前記第１の周波数を前記設定周波数として前記第１の受光部に設定し、前記所定の物体が有ると判定された場合には前記測定された距離が近いほど高い第２の周波数を前記設定周波数として前記第２の受光部に設定する
前記（１）から（６）のいずれかに記載の電子装置。
（８）前記間欠光を集光して前記第１の受光部に導く第１の光学部と、
　前記間欠光を集光して前記第１の受光部に導く第２の光学部と、
　前記測定された距離に基づいて前記第１の光学部のズーム倍率を制御するズーム制御部と
をさらに具備する
前記（７）記載の電子装置。
（９）前記発光部は、前記設定周波数の同期信号に同期して間欠光を照射する第１および第２の発光部を備え、
　前記設定部は、初期状態において第１の周波数を前記設定周波数として前記第１の発光部に設定し、前記所定の物体が有ると判定された場合には前記測定された距離が近いほど高い第２の周波数を前記設定周波数として前記第２の発光部に設定する
前記（８）記載の電子装置。
（１０）前記受光部は、各々が所定数の前記受光データからなる複数の画像データを時系列順に生成し、
　前記判定部は、前記複数の画像データのうち前記時系列順において隣接する２つの画像データの差分に基づいて前記所定の物体の有無を判定する
前記（１）から（９）のいずれかに記載の電子装置。
（１１）前記判定部は、前記受光データに基づいて距離の統計量をさらに算出し、前記差分と前記統計量とに基づいて前記所定の物体の有無を判定する
前記（１０）記載の電子装置。
（１２）設定された設定周波数の同期信号に同期して間欠光を照射する発光手順と、
　前記間欠光に対する反射光を受光して受光データを生成する受光手順と、
　前記受光データに基づいて所定の物体の有無を判定する判定手順と、
　前記所定の物体が有ると判定された場合には前記所定の物体までの距離が近いほど高い周波数を前記設定周波数として前記発光部に設定する設定手順と
を具備する電子装置の制御方法。
　１００　電子装置
　１１０、１１５　発光部
　１１１　光源
　１１２　発光制御部
　１２０、１２１　光学部
　２００、２０１　受光部
　２１１　ＭＸドライバ
　２１２　Ｖスキャナ
　２１３　Ｖドライバ
　２１４　ＤＡＣ
　２１５　カラム信号処理部
　２１６　Ｈスキャナ
　２１７　クロック切替部
　２２０　画素アレイ部
　２３０　Ａ画素
　２３１、２４１　リセットトランジスタ
　２３２、２４２　フォトダイオード
　２３３、２４３　転送トランジスタ
　２３４、２４４　接続トランジスタ
　２３５、２４５　浮遊拡散層
　２３６、２４６　増幅トランジスタ
　２３７、２４７　選択トランジスタ
　２４０　Ｂ画素
　３００　制御部
　３１１　領域制御部
　３１２　合成処理部
　３１３　クロック供給部
　３１４　周波数制御部
　３１５　デプスデータ出力部
　３１６　位相同期回路
　３１７　ズーム制御部
　３２０　差分演算部
　３２１　書込み制御部
　３２２、３２３、３２４　背景領域バッファ
　３２５、３２６、３２７、３３１、３３２、３３３　減算器
　３２８、３２９、３３０　関心領域バッファ
　３３４、３３５、３３６　手領域バッファ
　３５０　領域判定測距部
　３５１　関心候補領域抽出部
　３５２　手候補領域抽出部
　３５３　関心領域判定部
　３５４　手領域判定部
　３５５　周波数決定部
　３５６　合成制御部
　３５７　発光周波数制御部
　３５８　周波数テーブル
　１２０３０　車外情報検出ユニット

Claims (12)

  1. 　設定された設定周波数の同期信号に同期して間欠光を照射する発光部と、
    　前記間欠光に対する反射光を受光して受光データを生成する受光部と、
    　前記受光データに基づいて所定の物体の有無を判定する判定部と、
    　前記所定の物体が有ると判定された場合には前記所定の物体までの距離が近いほど高い周波数を前記設定周波数として前記発光部に設定する設定部と
    を具備する電子装置。
  2. 　前記設定部は、初期状態において第１の周波数を前記設定周波数として設定し、前記所定の物体が有ると判定された場合には前記測定された距離が近いほど高い第２の周波数を前記設定周波数として設定する
    請求項１記載の電子装置。
  3. 　前記判定部は、前記所定の物体が有ると判定した場合には前記所定の物体において特定の部位の有無を判定し、
    　前記設定部は、前記特定の部位が有ると判定された場合には前記特定の部位までの距離が近いほど高い第３の周波数を前記設定周波数として設定する
    請求項２記載の電子装置。
  4. 　前記第２の周波数が設定された場合には一定期間ごとに前記第１の周波数と前記第２の周波数とを交互に切り替える周波数制御部をさらに具備する
    請求項２記載の電子装置。
  5. 　前記受光部は、
    　二次元格子状に複数の画素が配列された画素アレイ部と、
    　前記所定の物体が有ると判定された場合には一定期間に亘って前記複数の画素のうち前記所定の物体以外からの前記反射光を受光する画素を駆動して前記受光データからなる画像データを第１のサブフレームとして出力させる処理と前記一定期間に亘って前記複数の画素のうち前記所定の物体からの前記反射光を受光する画素を駆動して前記受光データからなる画像データを第２のサブフレームとして出力させる処理とを交互に実行するドライバと
    を備える請求項４記載の電子装置。
  6. 　前記第１および第２のサブフレームを合成して当該合成したデータに基づいて距離データを生成する合成処理部をさらに具備する
    請求項５記載の電子装置。
  7. 　前記受光部は、
    　前記設定周波数の同期信号に同期して間欠光を照射する第１および第２の受光部を備え、
    　前記設定部は、初期状態において前記第１の周波数を前記設定周波数として前記第１の受光部に設定し、前記所定の物体が有ると判定された場合には前記測定された距離が近いほど高い第２の周波数を前記設定周波数として前記第２の受光部に設定する
    請求項１記載の電子装置。
  8. 　前記間欠光を集光して前記第１の受光部に導く第１の光学部と、
    　前記間欠光を集光して前記第１の受光部に導く第２の光学部と、
    　前記測定された距離に基づいて前記第１の光学部のズーム倍率を制御するズーム制御部と
    をさらに具備する
    請求項７記載の電子装置。
  9. 　前記発光部は、前記設定周波数の同期信号に同期して間欠光を照射する第１および第２の発光部を備え、
    　前記設定部は、初期状態において第１の周波数を前記設定周波数として前記第１の発光部に設定し、前記所定の物体が有ると判定された場合には前記測定された距離が近いほど高い第２の周波数を前記設定周波数として前記第２の発光部に設定する
    請求項８記載の電子装置。
  10. 　前記受光部は、各々が所定数の前記受光データからなる複数の画像データを時系列順に生成し、
    　前記判定部は、前記複数の画像データのうち前記時系列順において隣接する２つの画像データの差分に基づいて前記所定の物体の有無を判定する
    請求項１記載の電子装置。
  11. 　前記判定部は、前記受光データに基づいて距離の統計量をさらに算出し、前記差分と前記統計量とに基づいて前記所定の物体の有無を判定する
    請求項１０記載の電子装置。
  12. 　設定された設定周波数の同期信号に同期して間欠光を照射する発光手順と、
    　前記間欠光に対する反射光を受光して受光データを生成する受光手順と、
    　前記受光データに基づいて所定の物体の有無を判定する判定手順と、
    　前記所定の物体が有ると判定された場合には前記所定の物体までの距離が近いほど高い周波数を前記設定周波数として前記発光部に設定する設定手順と
    を具備する電子装置の制御方法。
PCT/JP2018/014204 2017-07-11 2018-04-03 電子装置、および、電子装置の制御方法 WO2019012756A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880045058.4A CN110832346B (zh) 2017-07-11 2018-04-03 电子装置和电子装置的控制方法
EP18831376.1A EP3654063B1 (en) 2017-07-11 2018-04-03 Electronic device and method for controlling electronic device
US16/628,605 US10996320B2 (en) 2017-07-11 2018-04-03 Electronic device and control method of electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-135119 2017-07-11
JP2017135119 2017-07-11

Publications (1)

Publication Number Publication Date
WO2019012756A1 true WO2019012756A1 (ja) 2019-01-17

Family

ID=65001915

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/014204 WO2019012756A1 (ja) 2017-07-11 2018-04-03 電子装置、および、電子装置の制御方法

Country Status (4)

Country Link
US (1) US10996320B2 (ja)
EP (1) EP3654063B1 (ja)
CN (1) CN110832346B (ja)
WO (1) WO2019012756A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020175117A1 (ja) * 2019-02-25 2020-09-03 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
WO2020175118A1 (ja) * 2019-02-25 2020-09-03 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
WO2020234216A1 (de) * 2019-05-22 2020-11-26 Robert Bosch Gmbh Betriebsverfahren und steuereinheit für eine spad-basierte detektoranordnung, lidar-system und arbeitsvorrichtung
WO2021019939A1 (ja) * 2019-07-26 2021-02-04 ソニーセミコンダクタソリューションズ株式会社 受光装置及び受光装置の制御方法、並びに、測距装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523762B1 (ko) * 2018-06-20 2023-04-20 엘지이노텍 주식회사 이미지 센서 및 이를 이용하는 카메라 모듈
JP7257275B2 (ja) * 2019-07-05 2023-04-13 株式会社日立エルジーデータストレージ ３次元距離測定装置
KR20210054107A (ko) * 2019-11-04 2021-05-13 현대자동차주식회사 차량의 디스플레이 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08189965A (ja) * 1995-01-09 1996-07-23 Honda Motor Co Ltd 車両用レーダ装置
JP2011123071A (ja) * 2009-12-10 2011-06-23 Honda Motor Co Ltd 撮像装置、オクルージョン領域の探索方法、及びプログラム
JP2011179925A (ja) * 2010-02-26 2011-09-15 Hamamatsu Photonics Kk 距離画像センサ
JP2012501608A (ja) 2008-08-28 2012-01-19 メサ・イメージング・アー・ゲー デイジーチェーン構成の電荷格納領域を有する復調ピクセルおよびそれを操作する方法
US20150285623A1 (en) * 2014-04-08 2015-10-08 Sony Corporation Distance detection device and method including dynamically adjusted frame rate
JP2015227781A (ja) * 2014-05-30 2015-12-17 株式会社デンソー 光飛行型測距装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09179685A (ja) * 1995-12-22 1997-07-11 Fujitsu Ltd ワイヤレス光学式ポインティング装置並びにこれに使用する発光指示器及び光信号検出器
JP3984784B2 (ja) * 2000-12-06 2007-10-03 キヤノン株式会社 光検出装置および座標入力装置
JP4523785B2 (ja) * 2004-03-25 2010-08-11 パナソニック株式会社 表示装置
KR20060104222A (ko) * 2005-03-29 2006-10-09 삼성에스디아이 주식회사 전자방출표시장치의 구동장치 및 그의 구동방법
JP5245278B2 (ja) * 2007-04-16 2013-07-24 株式会社ジェイテクト 電動パワーステアリング装置
EP2096459B1 (de) * 2008-02-29 2017-11-01 OSRAM Opto Semiconductors GmbH Sensorsystem mit einer Beleuchtungseinrichtung und einer Detektoreinrichtung
US9294754B2 (en) * 2012-02-03 2016-03-22 Lumentum Operations Llc High dynamic range and depth of field depth camera
CN103455232B (zh) * 2012-05-29 2016-08-10 汉王科技股份有限公司 电磁信号的控制方法、电磁感应检测装置及电磁手写***
KR101978797B1 (ko) * 2012-12-14 2019-08-28 엘지디스플레이 주식회사 유기발광 표시장치 및 이의 구동방법
KR102048361B1 (ko) 2013-02-28 2019-11-25 엘지전자 주식회사 거리 검출 장치, 및 이를 구비하는 영상처리장치
KR101589427B1 (ko) 2014-04-04 2016-01-27 현대자동차 주식회사 운전자 피로도 기반 차량운행 제어장치 및 방법
CN106576147B (zh) * 2014-07-31 2021-02-19 索尼半导体解决方案公司 像素电路、半导体光检测装置和辐射计数装置
KR102290613B1 (ko) * 2015-06-30 2021-08-19 엘지디스플레이 주식회사 유기발광 표시장치와 그 구동방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08189965A (ja) * 1995-01-09 1996-07-23 Honda Motor Co Ltd 車両用レーダ装置
JP2012501608A (ja) 2008-08-28 2012-01-19 メサ・イメージング・アー・ゲー デイジーチェーン構成の電荷格納領域を有する復調ピクセルおよびそれを操作する方法
JP2011123071A (ja) * 2009-12-10 2011-06-23 Honda Motor Co Ltd 撮像装置、オクルージョン領域の探索方法、及びプログラム
JP2011179925A (ja) * 2010-02-26 2011-09-15 Hamamatsu Photonics Kk 距離画像センサ
US20150285623A1 (en) * 2014-04-08 2015-10-08 Sony Corporation Distance detection device and method including dynamically adjusted frame rate
JP2015227781A (ja) * 2014-05-30 2015-12-17 株式会社デンソー 光飛行型測距装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020175117A1 (ja) * 2019-02-25 2020-09-03 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
WO2020175118A1 (ja) * 2019-02-25 2020-09-03 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
WO2020234216A1 (de) * 2019-05-22 2020-11-26 Robert Bosch Gmbh Betriebsverfahren und steuereinheit für eine spad-basierte detektoranordnung, lidar-system und arbeitsvorrichtung
WO2021019939A1 (ja) * 2019-07-26 2021-02-04 ソニーセミコンダクタソリューションズ株式会社 受光装置及び受光装置の制御方法、並びに、測距装置

Also Published As

Publication number Publication date
CN110832346A (zh) 2020-02-21
CN110832346B (zh) 2023-09-29
EP3654063A1 (en) 2020-05-20
EP3654063A4 (en) 2020-07-15
US10996320B2 (en) 2021-05-04
EP3654063B1 (en) 2024-05-29
US20200209393A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
WO2019012756A1 (ja) 電子装置、および、電子装置の制御方法
US11310411B2 (en) Distance measuring device and method of controlling distance measuring device
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
CN212321848U (zh) 光检测设备以及距离测量传感器
US10897588B2 (en) Electronic apparatus and electronic apparatus controlling method
JP7030607B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20220381917A1 (en) Lighting device, method for controlling lighting device, and distance measurement module
WO2021079789A1 (ja) 測距装置
WO2020158378A1 (ja) 測距装置、測距方法、並びにプログラム
JP2020173128A (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021106624A1 (ja) 測距センサ、測距システム、および、電子機器
JP2021001756A (ja) 測距装置
WO2021106623A1 (ja) 測距センサ、測距システム、および、電子機器
WO2023079830A1 (ja) 測距装置、および、光検出素子
WO2021192460A1 (ja) センシングデバイス、および、電子装置
WO2023149335A1 (ja) 測距装置及び測距方法
JP2020122774A (ja) 測距装置、測距方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18831376

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018831376

Country of ref document: EP

Effective date: 20200211

NENP Non-entry into the national phase

Ref country code: JP