WO2023153117A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2023153117A1
WO2023153117A1 PCT/JP2023/000104 JP2023000104W WO2023153117A1 WO 2023153117 A1 WO2023153117 A1 WO 2023153117A1 JP 2023000104 W JP2023000104 W JP 2023000104W WO 2023153117 A1 WO2023153117 A1 WO 2023153117A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
sensing information
subject
processing unit
information
Prior art date
Application number
PCT/JP2023/000104
Other languages
English (en)
French (fr)
Inventor
雅暁 武居
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023153117A1 publication Critical patent/WO2023153117A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • This technology relates to an information processing device, and more particularly to a technology for an information processing device that performs sensing using a plurality of sensors.
  • Japanese Unexamined Patent Application Publication No. 2002-200001 discloses a technique for reducing power consumption by controlling the operation modes of the second and subsequent cameras based on the photographing result of the first camera.
  • This technology aims to solve the above problems, and aims to reduce power consumption when using multiple sensors.
  • An information processing apparatus includes a specifying processing unit that specifies a subject to be sensed based on sensing information obtained from at least some of a plurality of sensors; and a control unit for selecting a sensor for obtaining new sensing information from the plurality of sensors.
  • Identifying a subject includes not only identifying the type of subject such as a person, an animal, or a vehicle, but also identifying a scene from which sensing information about the subject is obtained. For example, a person in the daytime, a person in the nighttime, a landscape in the daytime, a nightscape, and the like are specified as subjects to be sensed.
  • FIG. 4 is a diagram for explaining simple sensing information in an RGB sensor;
  • FIG. 4 is a diagram for explaining simple sensing information in a spectroscopic sensor;
  • FIG. 4 is a diagram for explaining simple sensing information in a distance measuring sensor;
  • FIG. 10 is a diagram showing an example of a correspondence relationship between an estimated subject and a sensor to be selected;
  • FIG. 10 is a diagram showing another example of the correspondence relationship between the estimated subject and the selected sensor;
  • FIG. 10 is a diagram showing still another example of the correspondence relationship between the estimated subject and the selected sensor;
  • FIG. 10 is a diagram showing an example of correspondence between sensors driven in the preliminary measurement phase and sensors selected in the actual measurement phase;
  • FIG. 10 is a diagram showing another example of correspondence between sensors driven in the preliminary measurement phase and sensors selected in the actual measurement phase; 1 is a block diagram showing the configuration of an imaging device having a LiDAR sensor; FIG. FIG. 10 is a diagram showing still another example of the correspondence relationship between the sensors driven in the preliminary measurement phase and the sensors selected in the actual measurement phase; 4 is a diagram for explaining the flow of processing executed by each unit of the imaging device; FIG. FIG. 10 is a diagram for explaining that sensing information is acquired in an actual measurement phase after a predetermined interval from acquisition of sensing information in a preliminary measurement phase in the second embodiment; FIG. 11 is a diagram for explaining the flow of processing executed by each unit of the imaging device according to the second embodiment; FIG. FIG.
  • FIG. 10 is a diagram for explaining an example in which the interval in the actual measurement phase changes in the second embodiment;
  • FIG. 11 is a diagram for explaining that an imaging device according to a third embodiment performs inter-sensor interpolation and inter-frame interpolation processing;
  • FIG. 12 is a diagram for explaining the flow of processing executed by each unit of an imaging device according to the third embodiment;
  • FIG. FIG. 12 is a block diagram showing the configuration of an imaging device in the first example of the fourth embodiment;
  • FIG. It is a figure which shows an example of pixel arrangement
  • FIG. 12 is a block diagram showing the configuration of an imaging device in a second example of the fourth embodiment;
  • FIG. It is a figure which shows an example of a pixel structure in the second example of 4th Embodiment.
  • FIG. 4 is a diagram for explaining sensor selection using a neural network;
  • FIG. 4 is a diagram for explaining sensor selection using a neural network;
  • the information processing device is a terminal device that performs various types of processing on acquired sensing information, and various modes are conceivable.
  • the information processing device may be a mobile terminal device such as a mobile phone or a tablet terminal, or may be a camera device such as a digital camera.
  • the information processing device is a device connected to a smartphone or a camera device having a camera function, and is an information processing device that performs predetermined processing on sensing information such as captured images acquired from the smartphone or the like.
  • the information processing device is the imaging device 1 having a camera function.
  • FIG. 1 An example of the configuration of the imaging device 1 is shown in FIG.
  • the imaging device 1 includes a first sensing section 2A, a second sensing section 2B, and a third sensing section 2C as a plurality of sensor sections.
  • the first sensing part 2A, the second sensing part 2B and the third sensing part 2C are simply referred to as the sensing part 2 when they are not distinguished from each other.
  • the imaging device 1 further includes a signal processing section 3 and a control section 4 .
  • the first sensing section 2A has an RGB sensor as the first sensor 5A.
  • R pixels sensitive to R (red) light, G pixels sensitive to G (green) light, and B pixels sensitive to B (blue) light are arranged two-dimensionally in a predetermined order. It is configured to have a pixel array section.
  • the RGB sensor outputs pixel signals based on charges obtained by photoelectric conversion in the R, G and B pixels to the signal processing section 3 in the subsequent stage.
  • the second sensing section 2B has a spectroscopic sensor as the second sensor 5B.
  • the spectroscopic sensor receives reflected light from a subject through a spectroscopic element that disperses incident light, and outputs light intensity data for each wavelength band to the signal processing unit 3 in the subsequent stage.
  • the third sensing unit 2C is equipped with a distance measuring sensor that performs iToF (indirect Time of Flight) distance measurement as the third sensor 5C.
  • the third sensing unit 2C which performs iToF method distance measurement, further includes a light emitting unit (not shown). , and outputs the detection signal to the signal processing unit 3 in the subsequent stage.
  • the third sensor 5C has a structure in which pixels having light receiving elements are arranged two-dimensionally. A detection signal based on the amount of charge accumulated in each charge accumulation portion is obtained for each pixel by distributing at high speed to the two provided charge accumulation portions (tap A and tap B).
  • the signal processing unit 3 performs various signal processing on the digital signals output from the first sensor 5A, the second sensor 5B and the third sensor 5C. Therefore, the signal processing section 3 has a first processing section 6A, a second processing section 6B, and a third processing section 6C. When the first processing section 6A, the second processing section 6B and the third processing section 6C are not distinguished from each other, they are simply referred to as "processing section 6".
  • the first processing unit 6A of the signal processing unit 3 performs, for example, lens correction, noise reduction, synchronization processing, and YC generation processing on image signals (RAW image data) output from the RGB sensor as the first sensor 5A. , color reproduction/sharpness processing, etc.
  • color separation processing is performed so that the image data for each pixel has all of the R, G, and B color components.
  • demosaic processing is performed as color separation processing.
  • a luminance (Y) signal and a color (C) signal are generated (separated) from R, G, and B image data.
  • processing for adjusting gradation, saturation, tone, contrast, etc. is performed as so-called image creation.
  • the first processing section 6A performs the above-described signal processing, generally called development processing, to generate image data in a predetermined format.
  • resolution conversion and file formation processing may be performed.
  • file forming process for example, compression encoding for recording and communication, formatting, generation and addition of metadata are performed on the image data to generate a file for recording and communication.
  • still image files are generated in formats such as JPEG (Joint Photographic Experts Group), TIFF (Tagged Image File Format), GIF (Graphics Interchange Format), and HEIF (High Efficiency Image File Format). It is also conceivable to generate an image file in the MP4 format, which is used for recording MPEG-4 compliant moving images and audio.
  • the first processing unit 6A may generate an image file of RAW image data that has not been developed.
  • the second processing unit 6B converts the light intensity data (spectral information) for each wavelength band output from the spectroscopic sensor as the second sensor 5B into incident light intensity data (spectral information) for each wavelength band, for example. Processing for correcting the non-linearity of the photocurrent with respect to is performed.
  • the third processing unit 6C performs various signal processing such as distance calculation processing corresponding to the iToF method on the detection signal output from the distance measuring sensor as the third sensor 5C.
  • a known method can be used for calculating the distance information according to the iToF method based on the detection signals output from the two charge storage units, and thus the description thereof is omitted here.
  • the signal processing unit 3 has an inference processing unit 7 .
  • the inference processing unit 7 generates an AI (Artificial Intelligence) model based on the sensing information (RGB image, spectral information, and range image) output from the first processing unit 6A, the second processing unit 6B, and the third processing unit 6C. It functions as a specification processing unit that specifies a subject to be sensed by performing inference processing using the sensor.
  • AI Artificial Intelligence
  • Identifying a subject includes not only identifying the type of subject such as a person, animal, or vehicle, but also identifying the scene from which sensing information about the subject was obtained. For example, it includes specifying a person in the daytime, a person in the nighttime, a landscape in the daytime, a night scene, and the like as a subject to be sensed.
  • the inference processing unit 7 may specify the subject based on all the sensing information output from the first sensor 5A, the second sensor 5B, and the third sensor 5C, or may specify the subject based on some of the sensors that are driven.
  • a subject may be identified based on the sensing information output from 5 . By specifying the subject based on all the sensing information, the accuracy of the estimation information can be improved.
  • the inference processing unit 7 makes an inference to obtain one-time sensing information (target sensing information) like a still image. A result of inference about the object is output to the control unit 4 .
  • the control unit 4 performs a process of selecting a sensor 5 from a plurality of sensors 5 for obtaining appropriate sensing information about the specified subject.
  • An AI model may be used in this selection process.
  • control unit 4 selects an appropriate sensor 5 for obtaining a still image according to the result of inference about the subject.
  • the control unit 4 drives each sensing unit 2 by supplying control signals to the first sensing unit 2A, the second sensing unit 2B, and the third sensing unit 2C. At this time, power consumption is reduced by supplying a control signal so as not to drive some of the sensing units 2 .
  • the control unit 4 supplies control signals to the first processing unit 6A, the second processing unit 6B, and the third processing unit 6C to cause each processing unit to perform necessary signal processing. At this time, power consumption can be reduced by supplying a control signal so that the processing unit 6 corresponding to the sensing unit 2 that is not driven does not perform unnecessary signal processing.
  • the control unit 4 supplies a control signal for causing the inference processing unit 7 to perform inference processing.
  • control unit 4 In order for the control unit 4 to appropriately select the predetermined sensor 5 in order to obtain the desired sensing information about the subject, it is preferable to use the estimation information of the subject. That is, it is desirable that the controller 4 selects an appropriate sensor 5 according to the estimated type of subject.
  • the phase for obtaining the desired sensing information is called the "actual measurement phase”.
  • a phase for obtaining sensing information for specifying a subject is called a "preliminary measurement phase”. That is, the inference processing unit 7 identifies the subject based on the sensing information acquired in the preliminary measurement phase, and the control unit 4 selects an appropriate sensor 5 according to the identified subject, and selects an appropriate sensor 5 in the actual measurement phase. Acquire sensing information.
  • control unit 4 in the present embodiment obtains simple sensing information by simply driving all the sensors 5 in the preliminary measurement phase in order to obtain appropriate sensing information in the actual measurement phase.
  • the power consumption of each sensor 5 to be driven in the preliminary measurement phase can be sufficiently reduced, the power consumption of some sensors 5 in the actual measurement phase will be higher than the power consumption that increases by obtaining simple sensing information using all the sensors 5. It is highly likely that the power consumption that is reduced by not driving will exceed the power consumption.
  • sensing information obtained from pixels smaller than the number of effective pixels is taken as simple sensing information.
  • the power consumption related to reading and the power consumption related to the output of pixel signals can be reduced by performing readout processing only on pixels that have been moderately thinned out in the horizontal and vertical directions. For example, as indicated by diagonal hatching in FIG. 2, one pixel out of four pixels is read out in the horizontal and vertical directions.
  • the sensing information acquired using only part of the measurement wavelength is regarded as the simple sensing information.
  • simple sensing information is acquired while reducing power consumption by measuring the light intensity with the number of channels (see FIG. 3) that is smaller than the number of wavelength channels that the spectroscopic sensor can measure.
  • the distance measuring sensor as the third sensor 5C
  • the number of times of tap switching (see FIG. 4) more than the number of times (predetermined number of times) necessary for appropriately performing distance measurement
  • power consumption can be reduced and approximately distance information as simple sensing information.
  • the sensor 5 by performing simple sensing in the preliminary measurement phase, it is possible to appropriately select the sensor 5 to be driven in the actual measurement phase and reduce power consumption. Also, by limiting the sensors 5 to be driven, it is possible to reduce electromagnetic wave noise, reduce the amount of heat generated, and reduce the amount of data. Since electromagnetic noise can be reduced, the number of electromagnetic noise countermeasure parts can be reduced, and cost reduction, mounting man-hour reduction, and test man-hour reduction can be achieved. Moreover, since the amount of heat generated can be reduced, the number of heat dissipating parts can be reduced. Furthermore, since the amount of data can be reduced, the amount of storage consumption is reduced, so the number of memory components can be reduced. These can also reduce costs, man-hours for mounting, and man-hours for testing. In addition, by reducing the number of these parts, design man-hours can be reduced and the degree of freedom in designing the imaging device 1 can be improved.
  • the control unit 4 selects the sensor 5 to be driven in the actual measurement phase according to the subject estimated based on the simple sensing information thus obtained.
  • the control unit 4 selects the first sensor 5A as an RGB sensor and the second sensor 5B as a spectrum sensor to obtain freshness information about the subject. (See Figure 5).
  • the controller 4 determines that it is not necessary to acquire sensing information about the distance and wavelength of the subject, and selects the first sensor 5A as the RGB sensor. (See Figure 6).
  • the control unit 4 uses the first sensor 5A as the RGB sensor and the first sensor 5A as the distance measuring sensor. 3 sensor 5C is selected (see FIG. 7).
  • the simple sensing information may be obtained by driving some of the sensors 5 out of the first sensor 5A, the second sensor 5B and the third sensor 5C in the preliminary measurement phase.
  • simple sensing information is acquired by driving the first sensor 5A as an RGB sensor and the second sensor 5B as a spectral sensor in the pre-measurement phase, and as a result of estimating the subject, the face of the person is detected. A case where it is estimated to be will be described.
  • the control unit 4 selects the third sensor 5C as the distance measuring sensor as the sensor 5 to be driven in the actual measurement phase. That is, when a creature having a shape like a human face is detected based on the RGB sensor and the spectrum sensor, the control unit 4 further selects the distance measuring sensor to obtain sensing information about the uneven shape of the subject. and more appropriately determine whether or not the subject is actually a person's face.
  • Such processing can be used for personal authentication. That is, when a creature is detected as a subject, distance information (convexity information) is acquired in order to determine whether the creature is a specific person.
  • control unit 4 selects the second sensor 5B as the spectroscopic sensor and performs the process of the actual measurement phase. Thereby, the control unit 4 can appropriately determine whether or not a subject having a face-like shape is a living thing.
  • the imaging device 1 includes an RGB sensor as the first sensor 5A, a spectroscopic sensor as the second sensor 5B, and a ranging sensor as the third sensor 5C has been described.
  • the imaging device 1 may be provided with sensors 5 other than this.
  • the imaging device 1 has a fourth sensing section 2D, and the fourth sensing section 2D has a LiDAR (Light Detection And Ranging) sensor as the fourth sensor 5D (see FIG. 10).
  • LiDAR Light Detection And Ranging
  • the signal processing unit 3 includes a fourth processing unit 6D, and the fourth processing unit 6D performs various signal processing for generating point cloud data from sensing information output from the LiDAR sensor as the fourth sensor 5D. .
  • a configuration as shown in FIG. 10 is an example of an aspect of an in-vehicle imaging device 1, for example.
  • the control unit 4 obtains simple sensing information by driving the first sensor 5A as the RGB sensor, the second sensor 5B as the spectroscopic sensor, and the third sensor 5C as the ranging sensor in the preliminary measurement phase.
  • a moving subject moving object
  • the control unit 4 obtains simple sensing information by driving the first sensor 5A as the RGB sensor, the second sensor 5B as the spectroscopic sensor, and the third sensor 5C as the ranging sensor in the preliminary measurement phase.
  • a moving subject moving object
  • a preceding vehicle is detected as a result of estimation based on the simple sensing information.
  • control unit 4 selects the fourth sensor 5D as the LiDAR sensor as the sensor 5 to be driven in the actual measurement phase for specifying what the moving object is in detail (see FIG. 11).
  • control unit 4 In order to acquire sensing information about the subject, the control unit 4 first transmits a command for performing preliminary measurement to each sensing unit 2 in step S101.
  • Each sensing unit 2 (the first sensing unit 2A, the second sensing unit 2B, .
  • S102-N) simple sensing information is acquired and output to the signal processing unit 3.
  • the signal processing unit 3 performs signal processing according to the type of the various sensors 5 (step S103), and performs inference processing on the subject (step S104). Information on the inference result is output to the control unit 4 .
  • step S105 the control unit 4 selects the sensor 5 to be driven in the actual measurement phase based on the inference result, and in step S106, transmits a command for obtaining sensing information as actual measurement to the selected sensing unit 2. do.
  • the sensing unit 2 (the second sensing unit 2B in FIG. 12) that has received the command acquires sensing information in the actual measurement phase in step S107 (step S107-2), and transmits the sensing information to the signal processing unit 3. do.
  • step S ⁇ b>108 the signal processing unit 3 performs signal processing on the sensing information and transmits the result to the control unit 4 .
  • the control unit 4 provides data to each application using the sensing information subjected to the signal processing.
  • Second Embodiment> The first embodiment appropriately acquires sensing information such as a still image once. In the second embodiment, sensing information is appropriately acquired a plurality of times like moving images.
  • a configuration example of the imaging device 1 is the same as that shown in FIG.
  • the difference from the first embodiment is that the control unit 4 not only selects the sensor 5 to be driven in the actual measurement phase based on the simple sensing information, but also performs processing for determining the acquisition timing of the sensing information in the actual measurement phase. It is a point.
  • Each sensing unit 2 acquires simple sensing information in the preliminary measurement phase.
  • the simple sensing information is subjected to signal processing by each processing section of the signal processing section 3 and then output to the control section 4 .
  • the control unit 4 selects the sensor 5 (the first sensor 5A as an RGB sensor in the example shown in FIG. 13) to be driven in the actual measurement phase based on the simple sensing information subjected to signal processing, and controls the sensor 5. Interval T1 until driving is determined.
  • the control unit 4 controls the sensor 5 (the first sensor 5A as an RGB sensor in the example shown in FIG. 13) to be driven in the actual measurement phase. and the second sensor 5B) as the spectral sensor, and the interval T2 is determined.
  • step S101 the control unit 4 transmits a command for performing preliminary measurement to each sensing unit 2.
  • Each sensing unit 2 (the first sensing unit 2A, the second sensing unit 2B, .
  • S102-N) simple sensing information is acquired and output to the signal processing unit 3.
  • the signal processing unit 3 performs signal processing according to the type of the various sensors 5 (step S103), and performs inference processing on the subject (step S104). Information on the inference result is output to the control unit 4 .
  • step S105 the control unit 4 selects the sensor 5 to be driven in the actual measurement phase based on the inference result, and in step S121, calculates an interval for obtaining sensing information in the actual measurement phase.
  • step S122 the control unit 4 completes the standby time corresponding to the calculated interval, and in step S106, transmits a command for obtaining sensing information as actual measurement to the selected sensing unit 2.
  • the sensing unit 2 Upon receiving the command, the sensing unit 2 acquires sensing information in the actual measurement phase in step S107 and transmits the sensing information to the signal processing unit 3.
  • step S108 the signal processing unit 3 performs signal processing on the sensing information and transmits the result to the control unit 4.
  • step S123 the control unit 4 determines whether or not to end acquisition of sensing information. This determination process may be based on, for example, a user's operation or the like, or may be based on whether or not acquisition of sensing information has been completed a predetermined number of times.
  • control unit 4 If it is determined not to end acquisition of sensing information, the control unit 4 returns to step S101. On the other hand, if it is determined to end acquisition of sensing information, the control unit 4 and other units end the series of processes shown in FIG.
  • Each sensing unit 2 acquires simple sensing information in the preliminary measurement phase.
  • the simple sensing information is subjected to signal processing by each processing section of the signal processing section 3 and then output to the control section 4 .
  • the control unit 4 selects the sensor 5 (the first sensor 5A as an RGB sensor in the example shown in FIG. 15) to be driven in the actual measurement phase based on the simple sensing information subjected to signal processing, and controls the sensor 5. Interval T1 until driving is determined.
  • the sensing unit 2 having the selected sensor 5 acquires sensing information as an actual measurement phase for each interval T1.
  • the acquired sensing information is subjected to necessary signal processing by the signal processing unit 3 each time.
  • the control unit 4 selects the sensors 5 to be driven in the actual measurement phase (in the example shown in FIG. 15, the first sensor 5A as the RGB sensor and the second sensor 5B as the spectrum sensor) and determines the interval T2.
  • the maximum performance of each sensor 5 is exhibited to acquire precise sensing information.
  • the sensor 5 determined not to be driven in the actual measurement phase is not used to acquire sensing information and is not driven for a certain period of time thereafter, so that a large power consumption reduction effect can be obtained.
  • the imaging apparatus 1 according to the third embodiment sequentially drives the sensing unit 2 at each acquisition timing of sensing information.
  • a configuration example of the imaging device 1 is the same as that shown in FIG.
  • the difference from the first embodiment is that the signal processing unit 3 performs estimation processing as inter-sensor interpolation or inter-frame interpolation, and the control unit 4 performs processing for selecting the sensor 5 for the actual measurement phase. It is not.
  • the third embodiment there is no pre-measurement phase, and there is only an actual measurement phase.
  • the simple sensing information is acquired in the preliminary measurement phase first, and as a result of analyzing the simple sensing information, it is determined to acquire the sensing information only in the actual measurement phase in the third embodiment. good.
  • Timings at which the sensing information is acquired are referred to as acquisition timings Ti1, Ti2, . . .
  • the sensing information at the acquisition timing Ti1 (in the example of FIG. 16, RGB image).
  • This sensing information is subjected to signal processing by the first processing unit 6A of the signal processing unit 3, and then output to the inference processing unit 7.
  • the inference processing unit 7 performs inter-sensor interpolation based on RGB image input by performing estimation processing using the AI model.
  • inter-sensor interpolation the spectral information that should be obtained by the second sensor 5B as the spectroscopic sensor and the range image that should be obtained by the third sensor 5C as the distance measuring sensor are generated at the acquisition timing Ti1.
  • the inference processing unit 7 may perform processing for identifying the subject based on the RGB image. Then, inter-sensor interpolation processing may be performed according to the subject. That is, inter-sensor interpolation may be performed in consideration of the type of subject.
  • the control unit 4 drives the second sensor 5B as the spectroscopic sensor. Thereby, spectral information about the subject can be obtained.
  • the spectral information is subjected to signal processing by the second processing unit 6B of the signal processing unit 3, and then output to the inference processing unit 7.
  • the inference processing unit 7 performs inter-sensor interpolation based on the input of the spectral information by inference processing, and obtains the RGB image and the range image to be obtained at the acquisition timing Ti2. In addition, the inference processing unit 7 performs inter-frame interpolation as inference processing using the AI model, so that the previous RGB image obtained at the acquisition timing Ti1 from the first sensor 5A as an RGB sensor is input, and Obtain an RGB image and a range image.
  • the estimation of the RGB image at the acquisition timing Ti2 is performed based on the RGB image acquired at the acquisition timing Ti1 and the spectral information acquired at the acquisition timing Ti2.
  • the estimation of the range image at the acquisition timing Ti2 is performed based on the RGB image acquired at the acquisition timing Ti1 and the spectral information acquired at the acquisition timing Ti2.
  • the distance image estimated to be obtained at the acquisition timing Ti1 may be used for estimating the distance image at the acquisition timing Ti2.
  • inter-sensor interpolation or inter-frame interpolation processing by the inference processing unit 7 may be performed according to the subject. That is, inter-sensor interpolation or inter-frame interpolation may be performed in consideration of the type of subject.
  • the control unit 4 drives the third sensor 5C as a distance measuring sensor. Thereby, a distance image of the subject can be obtained.
  • the RGB image to be obtained at the acquisition timing Ti3 is estimated based on the range image acquired at the acquisition timing Ti3 and the spectral information acquired at the acquisition timing Ti2. Then, in the estimation, the RGB image estimated at the acquisition timing Ti2 may be used.
  • the spectral information to be obtained at the acquisition timing Ti3 is estimated based on the range image acquired at the acquisition timing Ti3 and the spectral information acquired at the acquisition timing Ti2.
  • the acquisition of sensing information is completed at the acquisition timings Ti1, Ti2, and Ti3.
  • the first sensor 5A is driven.
  • control unit 4 performs processing for sequentially switching the sensor 5 to be driven among the plurality of sensors 5 at each acquisition timing Ti.
  • step S106 the control unit 4 transmits a command for actual measurement.
  • the sensor 5 to which the command is transmitted is the first sensor 5A of the first sensing section 2A.
  • the first sensing unit 2A Upon receiving the command, the first sensing unit 2A acquires sensing information and outputs the result to the signal processing unit 3 in step S107.
  • the signal processing unit 3 performs necessary signal processing according to the type of the sensor 5 in step S108. Subsequently, the signal processing unit 3 performs inference processing in step S104. In this inference processing, sensing information about the non-driven sensor 5 is inferred by inter-sensor interpolation or inter-frame interpolation.
  • control unit 4 determines in step S123 whether or not to end acquisition of sensing information.
  • control unit 4 When determining not to end acquisition of sensing information, the control unit 4 proceeds to the process of step S106 (immediately after the start of the flow in FIG. 17) targeting the first sensing unit 2A. On the other hand, when it is determined to end acquisition of sensing information, each unit ends the series of processes shown in FIG. 17 .
  • the first sensor 5A and the second sensor 5B are driven at the acquisition timing Ti1
  • the first sensor 5A and the third sensor 5C are driven at the acquisition timing Ti2.
  • both the first sensor 5A and the second sensor 5B are driven again. In this way, the RGB sensors may be driven each time.
  • the time length of the interval may be changed according to the sensor 5 to be driven.
  • one sensing section 2 has multiple functions. Specifically, the sensor 5 of the sensing section 2 having the first function and the sensor 5 of the sensing section 2 having the second function are coaxially arranged.
  • two examples can be considered as such a mode.
  • One example is an example in which pixels are provided for each function on the sensor surface of the sensor 5 provided in the sensing unit 2 .
  • the fifth sensing unit 2E includes a fifth sensor 5E
  • the sensor surface of the fifth sensor 5E includes RGB pixels for causing the fifth sensor 5E to function as an RGB sensor and iToF pixels for the fifth sensor 5E.
  • RGB pixels for causing the fifth sensor 5E to function as an RGB sensor
  • iToF pixels for the fifth sensor 5E.
  • range-finding pixels are arranged to function as a range-finding sensor of the system.
  • the present technology is not limited to this, and can be widely applied to those in which pixels for causing the sensor 5 to function as different types of sensors are arranged in a mixed manner on one sensor surface.
  • FIG. 18 shows a configuration example of the imaging device 1 including the fifth sensor 5E.
  • description is abbreviate
  • the fifth sensor 5E included in the fifth sensing section 2E supplies pixel signals output from the R, G and B pixels to the first processing section 6A of the signal processing section 3.
  • the first processing unit 6A performs various types of processing on pixel signals to generate image data.
  • the generated image data is supplied to the inference processing section 7 .
  • the fifth sensor 5E supplies the detection signals output from the two charge storage units provided in the ranging pixel to the third processing unit 6C of the signal processing unit 3.
  • the third processing unit 6C performs distance calculation processing corresponding to the iToF method based on the detection signal output from the fifth sensor 5E, and supplies distance information to the inference processing unit 7.
  • R pixels are indicated as “R”
  • G pixels are indicated as “G”
  • B pixels are indicated as “B”
  • ranging pixels corresponding to the iToF method are indicated as “T ” is described.
  • ranging pixels T pixels.
  • one distance pixel is arranged for each 16-pixel region consisting of 4 pixels vertically and horizontally. good.
  • the fifth sensor 5E may be provided with ranging pixels compatible with the image plane phase difference method instead of ranging pixels compatible with the iToF method.
  • either one of a pixel group consisting of R pixels, G pixels, and B pixels and a pixel group consisting of ranging pixels It is possible to stop the readout or to stop the readout of both pixel groups. Therefore, it is possible to reduce power consumption.
  • the operation shown in FIG. The driving of the fifth sensing unit 2E itself can be stopped, and power consumption can be greatly reduced.
  • a second example of the present embodiment is an example in which the sensor 5 included in the sensing unit 2 has two sensor surfaces spaced apart in the optical axis direction. Specifically, in each pixel arranged on the sensor surface of the sensor 5, an upper sensor section S1 functioning as an RGB sensor and a lower sensor section S2 functioning as an IR (Infra-Red) sensor are arranged in the optical axis direction.
  • an upper sensor section S1 functioning as an RGB sensor and a lower sensor section S2 functioning as an IR (Infra-Red) sensor are arranged in the optical axis direction.
  • FIG. 20 shows a configuration example of the imaging device 1 including the sixth sensor 5F.
  • description is abbreviate
  • the sixth sensor 5F included in the sixth sensing section 2F supplies the pixel signal output from the upper sensor section S1 as an RGB sensor to the first processing section 6A of the signal processing section 3.
  • the first processing unit 6A generates image data by performing various types of processing on pixel signals output from the upper sensor unit S1.
  • the generated image data is supplied to the inference processing section 7 .
  • the sixth sensor 5F supplies the detection signal output from the lower sensor section S2 as an IR sensor to the fifth processing section 6E of the signal processing section 3.
  • the fifth processing unit 6E generates IR image data by performing various processes on the detection signal output from the lower sensor unit S2.
  • the generated image data is supplied to the inference processing section 7 .
  • FIG. 21 shows the configuration of each pixel of the sixth sensor 5F.
  • the sixth sensor 5F has an upper sensor section S1 as an RGB sensor and a lower sensor section S2 as an IR sensor.
  • the upper sensor section S1 and the lower sensor section S2 are arranged side by side in the optical axis direction. there is
  • the upper sensor unit S1 includes a B layer 8B that outputs a signal according to the amount of blue light (B light), a G layer 8G that outputs a signal according to the amount of green light (G light), and a red light (R An R layer 8R for outputting a signal corresponding to the amount of light (light) is stacked in the optical axis direction.
  • Each layer consists of an organic photoelectric film layer 9 that is sensitive to light in a predetermined wavelength band and accumulates charges corresponding to the amount of light received, and an electric charge generated in the organic photoelectric film layer 9 that is read out and used as a detection signal. It consists of a transparent electrode layer 10 for output.
  • the lower sensor section S2 includes an IR light receiving layer 11 that has sensitivity to IR light and accumulates charges corresponding to the amount of received IR light, and an electrode layer that reads out the charges generated in the IR light receiving layer 11 and outputs them as detection signals. consists of 12.
  • the second example of the present embodiment based on the inference result of the inference processing unit 7, it is possible to stop one or both of reading from the upper sensor unit S1 and the lower sensor unit S2. becomes possible. Therefore, it is possible to reduce power consumption. Further, when it is determined to stop reading both the upper sensor unit S1 and the lower sensor unit S2 based on the inference result of the inference processing unit 7, the driving of the sixth sensing unit 2F itself shown in FIG. 20 is stopped. can be used, and power consumption can be greatly reduced.
  • FIG. 21 shows an example in which a portion for receiving R light, a portion for receiving G light, and a portion for receiving B light in the upper sensor portion S1 are arranged in the optical axis direction. A similar effect can be obtained even if it is configured to have color filters of .
  • the optical axes of the sensor functions are made substantially coaxial, the angle of view in space can be made substantially the same. do not have. Therefore, the processing load on the latter stage is reduced, and the power consumption can be reduced.
  • the imaging device 1 has a configuration including the second sensing unit 2B together with the fifth sensing unit 2E and the sixth sensing unit 2F. It is not limited to this.
  • the imaging device 1 may include a sensing section 2 other than the second sensing section 2B together with the fifth sensing section 2E and the sixth sensing section 2F. Further, the imaging device 1 may include either one of the fifth sensing section 2E and the sixth sensing section 2F, or may include both.
  • one sensing unit 2 may have three or more sensor functions.
  • one sensing unit 2 may have a function as an RGB sensor, a function as a spectroscopic sensor, a function as a ranging sensor, and may further have a function as an IR sensor or a LiDAR sensor.
  • some sensors may be arranged side by side in the direction perpendicular to the optical axis direction, and some sensors may be arranged side by side in the optical axis direction. That is, the first example and the second example in the fourth embodiment may be combined.
  • a set of small data groups (predetermined areas in the case of images) of RGB images, spectral information, and range images acquired in the preliminary measurement phase are input into an input layer and a plurality of input layers.
  • a neural network with an intermediate layer of stages and an output layer is utilized.
  • a value is output for each type of sensor 5.
  • Selection processing of the sensor 5 in the control unit 4 can be realized by driving the sensor 5 whose output layer value is equal to or greater than the predetermined value at the timing of acquiring the next sensing information.
  • the outputs of the sensors 5 are integrated by post-processing to select the sensor 5 appropriately. It is possible to select to
  • a neural network so as to have an input layer into which all sensing information is input, it is possible to select sensors 5 without post-processing integration.
  • the time length of the intervals T1 and T2 in the second embodiment can be determined. This makes it possible, for example, to select a short interval for a moving subject and acquire sensing information densely in the time direction, and select a long interval for shooting a subject with little movement, such as a landscape painting. By doing so, it is possible to further reduce power consumption.
  • the information processing device as the imaging device 1 includes a specific processing unit (inference processing unit) that identifies a subject to be sensed based on sensing information obtained from at least some of the sensors 5 among the plurality of sensors 5 .
  • a person in the daytime, a person in the nighttime, a landscape in the daytime, a nightscape, and the like are specified as subjects to be sensed.
  • an appropriate sensor 5 can be selected from a plurality of sensors 5 according to the identified subject. That is, only the selected sensor 5 out of all the mounted sensors 5 can be driven, so power consumption can be reduced. Further, by narrowing down the number of sensors 5 to be driven, it is possible to reduce electromagnetic wave noise, heat generation, data amount, and the like. Since electromagnetic noise can be reduced, the number of electromagnetic noise countermeasure parts can be reduced, and cost reduction, mounting man-hour reduction, and test man-hour reduction can be achieved.
  • the amount of heat generated can be reduced, the number of heat dissipating parts can be reduced. Furthermore, since the amount of data can be reduced, the amount of storage consumption is reduced, so the number of memory components can be reduced. These can also reduce costs, man-hours for mounting, and man-hours for testing. In addition, the number of design man-hours can be reduced by reducing the number of parts, and the degree of freedom in design can be improved.
  • sensors 5 of different types are provided as the plurality of sensors 5, only the appropriate type of sensor 5 may be selected and driven according to what is desired to be achieved using the imaging device 1. FIG. As a result, it becomes possible to clearly sort out the sensor 5 that is necessary for what is desired and the sensor 5 that is not necessary, and it is possible to reduce power consumption.
  • the identification processing unit (inference processing unit 7) of the imaging device 1 may identify a subject based on sensing information obtained from all of the plurality of sensors 5.
  • FIG. As a result, the subject can be accurately identified based on the sensing information that captures the subject from multiple perspectives, so that the appropriate sensor 5 can be easily selected.
  • the identification processing unit (inference processing unit 7) of the imaging device 1 uses simple sensing information as sensing information for identifying a subject, and the control unit 4 performs still image shooting. You may make a selection for Thereby, the subject can be specified based on the sensing information obtained without driving the sensor 5 to the maximum. Therefore, it is possible to further reduce power consumption.
  • the specific processing unit (inference processing unit 7) of the imaging device 1 obtains simple sensing information from pixels that are fewer than the number of effective pixels in the RGB sensor (first sensor 5A). Sensing information may be used. This makes it possible to reduce power consumption and the like for driving the RGB sensors in the pre-measurement phase.
  • the specific processing unit (inference processing unit 7) of the imaging device 1 uses only a part of the measurement wavelength of the spectroscopic sensor (second sensor 5B) to obtain simple sensing information. You may use the sensing information obtained. This makes it possible to reduce power consumption and the like for driving the spectroscopic sensor in the preliminary measurement phase.
  • the specific processing unit (inference processing unit 7) of the imaging device 1 sets the number of tap changes in the iToF range sensor (third sensor 5C) to a predetermined number of times as simple sensing information. Sensing information obtained with less than 1 may be used. As a result, it is possible to reduce power consumption and the like for driving the ranging sensor in the pre-measurement phase.
  • the control unit 4 of the imaging device 1 detects that the subject identified by the identification processing unit (inference processing unit 7) is a plant, the RGB sensor (first sensor 5A) and the spectroscopic sensor (second sensor 5B).
  • the subject is vegetables.
  • the RGB sensor and the spectroscopic sensor are selected as the sensor 5 necessary for measuring the freshness of vegetables. Since the other sensors 5 are not selected, the sensors 5 to be driven can be limited, and power consumption can be reduced.
  • the control unit 4 of the imaging device 1 detects the moving object as the object identified by the identification processing unit (inference processing unit 7).
  • a first sensor 5A) and a LiDAR sensor (fourth sensor 5D) may be selected.
  • the subject is a vehicle. Accordingly, in the actual measurement phase after the pre-measurement phase, the RGB sensor and the LiDAR sensor are selected as the sensors 5 necessary for specifying the positional relationship with the vehicle. Since the other sensors 5 are not selected, the sensors 5 to be driven can be limited, and power consumption can be reduced.
  • the control unit 4 of the imaging device 1 when the distance between the subject identified by the identification processing unit (inference processing unit 7) and the sensor 5 is less than a predetermined distance, An RGB sensor (first sensor 5A) and a range sensor (third sensor 5C) may be selected.
  • first sensor 5A first sensor 5A
  • second sensor 5C third sensor 5C
  • a ranging sensor is selected to more accurately measure the distance. . Since the other sensors 5 are not selected, the sensors 5 to be driven can be limited, and power consumption and the like can be reduced.
  • the control unit 4 of the imaging device 1 detects the landscape when the subject identified by the identification processing unit (inference processing unit 7) is the RGB sensor (first sensor 5A). ) may be selected.
  • the RGB sensor first sensor 5A
  • a sensor 5 such as a distance measuring sensor (third sensor 5C) that senses reflected light from the subject is not suitable.
  • the control unit 4 of the image capturing apparatus 1 obtains the The spectral sensor (second sensor 5B) may be selected when the identification processing unit (inference processing unit 7) identifies the subject as a person's face based on the sensing information. By selecting a spectroscopic sensor, it is possible to acquire sensing data for calculating the likelihood that the subject is a person's face.
  • the control unit 4 of the imaging device 1 performs sensing obtained from the RGB sensor (first sensor 5A) and the spectroscopic sensor (second sensor 5B) as some of the sensors 5.
  • the distance measurement sensor (third sensor 5C) may be selected when the identification processing unit (inference processing unit 7) identifies the subject as a person's face based on the information.
  • the identification processing unit inference processing unit 7
  • the distance measuring sensor it is possible to acquire sensing data for calculating the probability that the subject is a person's face. That is, by comparing the unevenness information of the subject with the unevenness information of the person's face, it is possible to more accurately determine whether the subject is a person's face.
  • control unit 4 of the imaging device 1 determines the sensing information acquisition intervals T1 and T2 according to the subject identified by the identification processing unit (inference processing unit 7). may This optimizes the acquisition interval for obtaining sensing information. Therefore, it is possible to suppress an increase in power consumption due to an unnecessary increase in acquisition timing.
  • the information processing device as the imaging device 1 is not driven based on the sensing information obtained by driving some of the sensors 5.
  • An estimation processing unit (inference processing unit 7) for estimating sensing information from the sensors 5, and the sensors 5 sequentially driven out of the plurality of sensors 5 at each acquisition timing Ti (Ti1, Ti2, Ti3, Ti4) of the sensing information. and a control unit 4 for switching. That is, based on sensing information obtained from some sensors 5, other sensing information is estimated. As a result, the number of sensors 5 that are actually driven can be reduced. Therefore, power consumption can be reduced. Further, by narrowing down the number of sensors 5 to be driven, it is possible to reduce electromagnetic wave noise, heat generation, data amount, and the like.
  • electromagnetic noise can be reduced, the number of electromagnetic noise countermeasure parts can be reduced, and cost reduction, mounting man-hour reduction, and test man-hour reduction can be achieved. Moreover, since the amount of heat generated can be reduced, the number of heat dissipating parts can be reduced. Furthermore, since the amount of data can be reduced, the amount of storage consumption is reduced, so the number of memory components can be reduced. These can also reduce costs, man-hours for mounting, and man-hours for testing. In addition, the number of design man-hours can be reduced by reducing the number of parts, and the degree of freedom in design can be improved.
  • the imaging device 1 performs a specific process of specifying a subject to be sensed based on sensing information obtained by driving some of the sensors 5 and estimated sensing information.
  • a section (inference processing section 7) may be provided. Identifying a subject includes not only identifying the type of subject such as a person, an animal, or a vehicle, but also identifying a scene from which sensing information about the subject is obtained. For example, a person in the daytime, a person in the nighttime, a landscape in the daytime, a nightscape, and the like are specified as subjects to be sensed. This makes it possible to switch to an appropriate sensor 5 .
  • the estimation processing unit (inference processing unit 7) of the imaging device 1 may perform estimation based on past sensing information. For example, when the sensor 5 to be driven is switched for each imaging frame, the sensing information for the sensor 5 that is not driven is estimated based on the sensing information captured in the previous frame or the frame before that. Thereby, not only interpolation between sensors 5 but also interpolation between frames is performed, and the accuracy of estimated sensing information can be improved.
  • the estimation processing unit (inference processing unit 7) of the imaging device 1 may perform estimation based on past sensing information regarding the sensor 5 that is not driven. In inter-frame interpolation, the accuracy of the sensing information as the estimation result can be improved by using the sensing information acquired in the past by the sensor 5 that is not driven.
  • the RGB sensor, the spectroscopic sensor, the distance measuring sensor, and the LiDAR sensor are exemplified as the sensor 5, but the imaging device 1 may include sensors 5 other than these.
  • sensors 5 such as a temperature sensor, a humidity sensor, a proximity sensor, a sound wave sensor, an odor sensor, and EVS (Event-based Vision Sensors) are conceivable.
  • the information processing apparatus as the imaging apparatus 1 described above inputs sensing information obtained by driving at least a part of the sensors 5 out of the plurality of sensors 5 into the learning model, thereby realizing power-saving driving. It can be regarded as comprising an estimation processing unit (inference processing unit 7) that performs estimation, and a control unit 4 that drives only some of the plurality of sensors 5 by the estimation processing.
  • an information processing device can reduce the number of sensors 5 that are actually driven. Therefore, the power consumption of the information processing apparatus can be reduced. Further, by narrowing down the number of sensors 5 to be driven, it is possible to reduce electromagnetic wave noise, heat generation, data amount, and the like.
  • electromagnetic noise can be reduced, the number of electromagnetic noise countermeasure parts can be reduced, and cost reduction, mounting man-hour reduction, and test man-hour reduction can be achieved. Moreover, since the amount of heat generated can be reduced, the number of heat dissipating parts can be reduced. Furthermore, since the amount of data can be reduced, the amount of storage consumption is reduced, so the number of memory components can be reduced. These can also reduce costs, man-hours for mounting, and man-hours for testing. In addition, the number of design man-hours can be reduced by reducing the number of parts, and the degree of freedom in design can be improved.
  • Suitable devices to which such information processing devices are applied are mobile terminal devices, such as smartphones, for which there is a large demand for reducing power consumption.
  • mobile terminal devices such as smartphones
  • an estimation process for identifying a subject captured within the angle of view is performed.
  • a mode of use is conceivable in which, when a subject is detected, another sensor 5 is driven to accurately specify the subject.
  • a moving subject is detected within the angle of view while reducing power consumption by narrowing down the sensor 5 that is driven in the normal surveillance state. It is conceivable that another sensor 5 is driven at the same time to accurately specify the subject.
  • the pre-measurement phase is continuously performed while the shutter button is half-pressed in order to focus on a specific subject.
  • the identification of the subject and the selection of the sensor 5 to be driven are continued, and only the finally selected sensor 5 is driven when the shutter button is pressed further for imaging.
  • the sensor 5 to be driven is automatically selected according to the focused subject, so that the photographer can obtain appropriate sensing information without being conscious of it, and can obtain effects such as reduction of power consumption. can.
  • the program executed by the information processing device as the imaging device 1 described above causes the arithmetic processing device to execute each process shown in FIGS. It can be recorded in advance in a HDD (Hard Disk Drive) as a recording medium, a ROM (Read Only Memory) in a microcomputer having a CPU (Central Processing Unit), or the like.
  • the program may be a flexible disk, a CD-ROM (Compact Disk Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a Blu-ray Disc (registered trademark), a magnetic disk, a semiconductor It can be temporarily or permanently stored (recorded) in a removable recording medium such as a memory or memory card.
  • Such removable recording media can be provided as so-called package software.
  • it can also be downloaded from a download site via a network such as a LAN or the Internet.
  • This technology> (1) a specifying processing unit that specifies a subject to be sensed based on sensing information obtained from at least some of the plurality of sensors; an information processing apparatus comprising: a control unit that selects a sensor for obtaining new sensing information from the plurality of sensors according to the identified subject. (2) The information processing apparatus according to (1), wherein the identification processing unit identifies the subject based on sensing information obtained from all of the plurality of sensors. (3) The identification processing unit uses simple sensing information as sensing information for identifying the subject, The information processing apparatus according to any one of (1) to (2) above, wherein the control unit performs the selection for still image shooting.
  • control unit selects an RGB sensor and a spectral sensor when the subject identified by the identification processing unit is a plant.
  • the control unit selects an RGB sensor or a LiDAR sensor when the subject identified by the identification processing unit is a moving object.
  • the control unit selects an RGB sensor or a distance measurement sensor when the distance between the subject and the sensor identified by the identification processing unit is less than a predetermined distance. 1.
  • the information processing device according to claim 1.
  • the information processing apparatus selects only an RGB sensor when the subject identified by the identification processing unit is a landscape.
  • the control unit selects a spectroscopic sensor when the identification processing unit identifies the subject as a person's face based on sensing information obtained from the RGB sensor and the ranging sensor as the partial sensors.
  • the information processing apparatus according to any one of (1) to (6) above.
  • the control unit selects a distance measurement sensor when the identification processing unit identifies the subject as a person's face based on sensing information obtained from the RGB sensor and the spectroscopic sensor as the partial sensors.
  • the information processing apparatus according to any one of (1) to (6) above.
  • an estimation processing unit that estimates sensing information from a non-driven sensor based on sensing information obtained by driving some of the plurality of sensors; an information processing apparatus comprising: a control unit that sequentially switches a sensor to be driven among the plurality of sensors at each acquisition timing of sensing information.
  • the estimation processing unit performs the estimation based on past sensing information.
  • the estimation processing unit performs the estimation based on past sensing information about sensors that are not driven.
  • Imaging device information processing device
  • control unit 5 sensor 5A first sensor (RGB sensor) 5B Second sensor (spectral sensor) 5C third sensor (ranging sensor) 5D fourth sensor (LiDAR sensor) 7 Inference processing unit (specific processing unit, estimation processing unit) T1, T2 Intervals Ti1, Ti2, Ti3, Ti4 Acquisition timing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Cameras In General (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

情報処理装置は、複数のセンサのうち、少なくとも一部のセンサから得られたセンシング情報に基づいて、センシング対象の被写体を特定する特定処理部と、特定された前記被写体に応じて、新たなセンシング情報を得るためのセンサを前記複数のセンサから選択する制御部と、を備える。

Description

情報処理装置
　本技術は情報処理装置に関し、特に複数のセンサを用いてセンシングを行う情報処理装置についての技術に関する。
　複数のセンサを備えた撮像装置などの情報処理装置においては、複数のセンサを同時に駆動することにより、センシング情報のデータ量増大や消費電力の増大など各種の問題が生じる。特に、携帯端末機器としての情報処理装置においては、消費電力の削減等が大きな課題として認識されている。
　下記特許文献１においては、第１カメラの撮影結果に基づいて第２以降のカメラの動作モード制御を行うことにより、消費電力の低減を図る技術が開示されている。
特開２０２１－０９３６１６号公報
　しかし、この方法では、第２以降のカメラの撮影結果を基に第１カメラの動作モード制御を行うことはできない。
　本技術は、上記問題点の解決を図るものであり、複数のセンサを用いる場合において消費電力の低減を図ることを目的とする。
　本技術に係る情報処理装置は、複数のセンサのうち、少なくとも一部のセンサから得られたセンシング情報に基づいて、センシング対象の被写体を特定する特定処理部と、特定された前記被写体に応じて、新たなセンシング情報を得るためのセンサを前記複数のセンサから選択する制御部と、を備えたものである。
　被写体の特定とは、人物や動物や車両など被写体の種別を特定することだけでなく、被写体についてのセンシング情報が得られたシーンを特定することも含む。例えば、センシング対象の被写体として、昼間の人物、夜間の人物、昼間の風景、夜景、などが特定される。
本技術の実施の形態における撮像装置の構成を示すブロック図である。 ＲＧＢセンサにおける簡易センシング情報を説明するための図である。 分光センサにおける簡易センシング情報を説明するための図である。 測距センサにおける簡易センシング情報を説明するための図である。 推定された被写体と選択されるセンサの対応関係の一例を示す図である。 推定された被写体と選択されるセンサの対応関係の別の例を示す図である。 推定された被写体と選択されるセンサの対応関係の更に別の例を示す図である。 事前測定フェーズにおいて駆動されたセンサと実測フェーズにおいて選択されるセンサの対応関係の一例を示す図である。 事前測定フェーズにおいて駆動されたセンサと実測フェーズにおいて選択されるセンサの対応関係の別の例を示す図である。 ＬｉＤＡＲセンサを有する撮像装置の構成を示すブロック図である。 事前測定フェーズにおいて駆動されたセンサと実測フェーズにおいて選択されるセンサの対応関係の更に別の例を示す図である。 撮像装置の各部が実行する処理の流れを説明するための図である。 第２の実施の形態における事前測定フェーズにおけるセンシング情報の取得から所定のインターバルを経て実測フェーズにおけるセンシング情報の取得が行われることを説明するための図である。 第２の実施の形態における撮像装置の各部が実行する処理の流れを説明するための図である。 第２の実施の形態において実測フェーズにおけるインターバルが変化する例を説明するための図である。 第３の実施の形態における撮像装置がセンサ間補間及びフレーム間補間の処理を行うことを説明するための図である。 第３の実施の形態における撮像装置の各部が実行する処理の流れを説明するための図である。 第４の実施の形態の一つ目の例における撮像装置の構成を示すブロック図である。 第４の実施の形態の一つ目の例における画素配置の一例を示す図である。 第４の実施の形態の二つ目の例における撮像装置の構成を示すブロック図である。 第４の実施の形態の二つ目の例における画素構成の一例を示す図である。 ニューラルネットワークを利用したセンサの選択について説明するための図である。
　以下、実施の形態を次の順序で説明する。
＜１．情報処理装置の構成＞
＜２．処理の流れ＞
＜３．第２の実施の形態＞
＜４．第３の実施の形態＞
＜５．第４の実施の形態＞
＜６．センサの選択について＞
＜７．まとめ＞
＜８．本技術＞
＜１．情報処理装置の構成＞
　本技術の第１の実施の形態における情報処理装置は、取得したセンシング情報について各種の処理を行う端末装置であり、その態様としては各種考えられる。例えば、情報処理装置は、携帯電話やタブレット端末のような携帯端末装置であってもよいし、デジタルカメラ等のカメラ装置であってもよい。或いは、情報処理装置は、カメラ機能を備えたスマートフォンやカメラ装置などに接続される装置であって、スマートフォン等から取得した撮像画像などのセンシング情報に対して所定の処理を行う情報処理装置であってもよい。
　以下の説明においては、情報処理装置がカメラ機能を備えた撮像装置１とされた例について説明する。
　撮像装置１の構成について一例を図１に示す。
　撮像装置１は、複数のセンサ部として第１センシング部２Ａ、第２センシング部２Ｂ、第３センシング部２Ｃを備えている。第１センシング部２Ａ、第２センシング部２Ｂ及び第３センシング部２Ｃを区別しないときは単にセンシング部２と記載する。
　撮像装置１は、更に、信号処理部３と制御部４とを備えている。
　第１センシング部２Ａは、第１センサ５ＡとしてのＲＧＢセンサを備えている。ＲＧＢセンサは、Ｒ（赤）光に感度を有するＲ画素とＧ（緑）光に感度を有するＧ画素とＢ（青）光に感度を有するＢ画素とが所定の順序で２次元配列された画素アレイ部を有して構成されている。
　ＲＧＢセンサは、Ｒ画素、Ｇ画素及びＢ画素における光電変換によって得られた電荷に基づく画素信号を後段の信号処理部３に出力する。
　第２センシング部２Ｂは、第２センサ５Ｂとしての分光センサを備えている。分光センサは、入射光を分光する分光素子を介して被写体からの反射光を受光することにより波長帯ごとの光強度データを後段の信号処理部３に出力する。
　第３センシング部２Ｃは、第３センサ５ＣとしてｉＴｏＦ（indirect Time of Flight）方式の測距を行う測距センサを備えている。ｉＴｏＦ方式の測距を行う第３センシング部２Ｃは、図示しない発光部を更に備えており、発光部から照射されたパルス光が被写体で反射された反射光を第３センサ５Ｃで受光することにより、検出信号を後段の信号処理部３に出力する。より具体的には、第３センサ５Ｃは、受光素子を有する画素が２次元配列された構成を採っており、各受光素子で受光した光を光電変換することにより得られた電荷を画素ごとに設けられた二つの電荷蓄積部（タップＡ及びタップＢ）に高速に振り分け、それぞれの電荷蓄積部に蓄積された電荷量に基づく検出信号を画素ごとに得る。
　なお、第１センサ５Ａ、第２センサ５Ｂ及び第３センサ５Ｃを区別しないときは単に「センサ５」と記載する。
　信号処理部３は、第１センサ５Ａ、第２センサ５Ｂ及び第３センサ５Ｃから出力されるデジタル信号に対して各種の信号処理を施す。そのために信号処理部３は第１処理部６Ａと第２処理部６Ｂと第３処理部６Ｃとを有する。なお、第１処理部６Ａと第２処理部６Ｂと第３処理部６Ｃを区別しないときは単に「処理部６」と記載する。
　信号処理部３の第１処理部６Ａは、第１センサ５ＡとしてのＲＧＢセンサから出力される画像信号（ＲＡＷ画像データ）に対して、例えば、レンズ補正、ノイズリダクション、同時化処理、ＹＣ生成処理、色再現／シャープネス処理等を行う。
　同時化処理では、各画素についての画像データが、Ｒ、Ｇ、Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いたセンサの場合は、色分離処理としてデモザイク処理が行われる。
　ＹＣ生成処理では、Ｒ、Ｇ、Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
　色再現／シャープネス処理では、いわゆる画作りとしての、階調、彩度、トーン、コントラストなどを調整する処理を行う。
　第１処理部６Ａは、一般に現像処理と呼ばれる上述の信号処理を行って、所定形式の画像データを生成する。
　この場合に解像度変換や、ファイル形成処理を行ってもよい。ファイル形成処理では、画像データについて、例えば記録用や通信用の圧縮符号化、フォーマッティング、メタデータの生成や付加などを行って記録用や通信用のファイル生成を行う。
　例えば静止画ファイルとしてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）、ＨＥＩＦ（High Efficiency Image File Format）等の形式の画像ファイルの生成を行う。またＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルの生成を行うことも考えられる。
　なお、第１処理部６Ａは、現像処理を施していないＲＡＷ画像データの画像ファイルを生成してもよい。
　第２処理部６Ｂは、第２センサ５Ｂとしての分光センサから出力される波長帯ごとの光強度データ（分光情報）に対して、例えば波長帯ごとの比較を可能とするために、入射光強度に対する光電流の非直線性を補正する処理などを行う。
　第３処理部６Ｃは、第３センサ５Ｃとしての測距センサから出力される検出信号に対して、ｉＴｏＦ方式に対応した距離の算出処理等の種々の信号処理を行う。二つの電荷蓄積部からそれぞれ出力される検出信号に基づいてｉＴｏＦ方式による距離情報を算出する手法については公知の手法を用いることができるため、ここでの説明は省略する。
　信号処理部３は、推論処理部７を有している。
　推論処理部７は、第１処理部６Ａ、第２処理部６Ｂ及び第３処理部６Ｃから出力されるセンシング情報（ＲＧＢ画像、分光情報及び距離画像）に基づいて、ＡＩ（Artificial Intelligence）モデルを用いた推論処理を行うことによりセンシング対象の被写体を特定する特定処理部として機能する。
　被写体の特定とは、人物や動物や車両など被写体の種別を特定することだけでなく、被写体についてのセンシング情報が得られたシーンを特定することも含む。例えば、センシング対象の被写体として、昼間の人物、夜間の人物、昼間の風景、夜景、などが特定されることを含む。
　推論処理部７は、第１センサ５Ａ、第２センサ５Ｂ及び第３センサ５Ｃから出力される全てのセンシング情報に基づいて被写体を特定してもよいし、それらのうち駆動された一部のセンサ５から出力されるセンシング情報に基づいて被写体を特定してもよい。
　なお、全てのセンシング情報に基づいて被写体を特定することにより、推定情報の確度を向上させることができる。
　本実施の形態では、推論処理部７は、静止画のように１回のセンシング情報（目的のセンシング情報）を得るための推論を行う。被写体についての推論結果は制御部４に出力される。
　制御部４は、特定された被写体についての適切なセンシング情報を得るためのセンサ５を複数のセンサ５から選択する処理を行う。この選択処理では、ＡＩモデルが利用されてもよい。
　制御部４は、例えば、被写体についての推論結果に応じて静止画を得るための適切なセンサ５を選択する。
　制御部４は、第１センシング部２Ａ、第２センシング部２Ｂ及び第３センシング部２Ｃに対して制御信号を供給することにより、各センシング部２を駆動する。このとき、一部のセンシング部２を駆動させないように制御信号を供給することにより、消費電力の削減を図る。
　制御部４は、第１処理部６Ａ、第２処理部６Ｂ及び第３処理部６Ｃに対して制御信号を供給することにより、必要な信号処理を各処理部に実行させる。このとき、駆動しないセンシング部２に対応する処理部６が不要な信号処理を行わないように制御信号を供給することで、消費電力の削減等を図ることができる。
　制御部４は推論処理部７に推論処理を行わせるための制御信号を供給する。
　なお、制御部４が被写体について目的のセンシング情報を得るために所定のセンサ５を適切に選択するためには、被写体の推定情報を利用することが好適である。即ち、推定された被写体の種別に応じて、制御部４は適切なセンサ５を選択することが望ましい。
　ここでは、目的のセンシング情報を得るためのフェーズを「実測フェーズ」とする。そして、被写体を特定するためのセンシング情報を得るためのフェーズを「事前測定フェーズ」とする。即ち、推論処理部７は、事前測定フェーズで取得したセンシング情報に基づいて被写体を特定し、制御部４は、特定された被写体に応じて適切なセンサ５を選択して実測フェーズでの適切なセンシング情報の取得を行う。
　但し、実測フェーズで適切なセンシング情報を得るために、事前測定フェーズにおいて全てのセンサ５を最大限に駆動させてセンシング情報を得るのは、消費電力等の観点から非効率である。
　従って、本実施の形態における制御部４は、実測フェーズで適切なセンシング情報を得るために事前測定フェーズにおいては全てのセンサ５を簡易的に駆動させることにより簡易的なセンシング情報を得る。
　事前測定フェーズにおいて駆動するセンサ５ごとの消費電力を十分に小さくすることができれば、全てのセンサ５を用いて簡易センシング情報を得ることにより増加する消費電力よりも、実測フェーズにおいて一部のセンサ５を駆動しないことにより削減される消費電力の方が上回る可能性が高くなる。
　ここで、事前測定フェーズにおいて取得する簡易センシング情報について具体的な例を説明する。
　第１センサ５ＡとしてのＲＧＢセンサであれば、有効画素数よりも少ない画素から得られたセンシング情報が簡易センシング情報とされる。例えば、水平方向及び垂直方向において適度に間引いた画素のみを対象として読み出し処理を行うことにより読み出しに係る消費電力や画素信号の出力に係る消費電力を削減する。
　例えば、図２に斜線のハッチングで示すように、水平方向及び垂直方向において４画素のうちの一つの画素に対する読み出し処理を行う。
　第２センサ５Ｂとしての分光センサであれば、測定波長の一部のみを用いて取得されたセンシング情報が簡易センシング情報とされる。例えば、分光センサが測定可能な波長チャネル数よりも少ないチャネル数（図３参照）で光強度を測定することにより消費電力を削減しつつ簡易センシング情報を取得する。
　第３センサ５Ｃとしての測距センサであれば、適切に測距を行うために必要な回数（所定回数）よりもタップ切換回数を減らすことで（図４参照）、消費電力を削減しつつおおよその距離情報を簡易センシング情報として取得する。
　このように、事前測定フェーズにおいて簡易センシングを行うことにより、実測フェーズで駆動するセンサ５を適切に選択すると共に、消費電力を削減することができる。また、駆動させるセンサ５を限定することにより、電磁波ノイズの軽減や、発熱量の軽減や、データ量削減等を図ることができる。そして、電磁波ノイズを軽減できることから、電磁波ノイズ対策部品を減らすことができ、コスト削減や実装工数削減やテスト工数削減を図ることができる。また、発熱量を軽減できることから、放熱部品を減らすことができる。更に、データ量削減できることから、ストレージ消費量が減るため、メモリ部品を削減することができる。これらによっても、コスト削減や実装工数削減やテスト工数削減を図ることができる。
　また、これらの部品点数の削減により設計工数が削減できると共に撮像装置１の設計自由度を向上させることができる。
　制御部４は、このようにして得られた簡易センシング情報に基づいて推定された被写体に応じて、実測フェーズにおいて駆動させるセンサ５を選択する。

　推定された被写体と選択されるセンサ５の対応関係について一例を説明する。
　例えば、被写体が野菜などの植物であると推定された場合、制御部４は被写体についての鮮度の情報を得るためにＲＧＢセンサとしての第１センサ５Ａと分光センサとしての第２センサ５Ｂを選択する（図５参照）。
　実測フェーズにおいて第１センサ５Ａと第２センサ５Ｂによるセンシング情報を取得することにより、植物の静止画（ＲＧＢ画像）と鮮度についてのセンシング情報（分光情報）を得ることができる。そして、測距センサとしての第３センサ５Ｃが駆動されないことにより、消費電力の削減等を図ることができる。
　推定された被写体と選択されるセンサ５の対応関係の別の例について説明する。
　例えば、被写体が風景であると推定された場合、被写体についての距離や波長についてのセンシング情報を取得しなくてもよいと判定して、制御部４はＲＧＢセンサとしての第１センサ５Ａを選択する（図６参照）。
　実測フェーズにおいて第１センサ５Ａによるセンシング情報を取得することにより、風景の静止画をセンシング情報として得ることができる。そして、分光センサとしての第２センサ５Ｂと測距センサとしての第３センサ５Ｃが駆動されないことにより、消費電力の削減等を図ることができる。
　推定された被写体と選択されるセンサ５の対応関係の更に別の例について説明する。
　例えば、被写体との距離が所定距離未満である場合に、被写体までの距離をより正確に測定するために、制御部４は、ＲＧＢセンサとしての第１センサ５Ａに加えて測距センサとしての第３センサ５Ｃを選択する（図７参照）。
　実測フェーズにおいて第２センサ５Ｂによるセンシングを行わないことにより、消費電力の削減等を図ることができる。
　なお、事前測定フェーズにおいて第１センサ５Ａ、第２センサ５Ｂ及び第３センサ５Ｃのうちの一部のセンサ５を駆動させることにより簡易センシング情報を取得してもよい。
　例えば、図８に示すように、事前測定フェーズにおいてＲＧＢセンサとしての第１センサ５Ａと分光センサとしての第２センサ５Ｂを駆動することにより簡易センシング情報を取得し、被写体を推定した結果人物の顔であると推定された場合について説明する。
　このとき、制御部４は、実測フェーズにおいて駆動させるセンサ５として、測距センサとしての第３センサ５Ｃを選択する。即ち、制御部４は、ＲＧＢセンサと分光センサとに基づいて人物の顔のような形状の生物を検出した場合に、更に測距センサを選択することで、被写体の凹凸形状についてのセンシング情報を取得し、実際に被写体が人物の顔であるか否かをより適切に判定する。
　このような処理は、個人認証に用いることが可能である。即ち、被写体として生物を検出した場合に、当該生物が特定の人物であるか否かを判定するために距離情報（凹凸情報）を取得する。
　また、もう一つの例について図９を参照して説明する。
　事前測定フェーズにおいてＲＧＢセンサとしての第１センサ５Ａと測距センサとしての第３センサ５Ｃを駆動することにより簡易センシング情報を得たとする。そして、当該簡易センシング情報に基づいた推定の結果、人物の顔のような形状の被写体が検出されたとする。
　この場合、制御部４は分光センサとしての第２センサ５Ｂを選択して実測フェーズの処理を行う。これにより、制御部４は、顔のような形状をした被写体が生物であるか否かを適切に判定することができる。
　なお、ここまでは、第１センサ５ＡとしてのＲＧＢセンサと、第２センサ５Ｂとしての分光センサと、第３センサ５Ｃとしての測距センサとを撮像装置１が備えている例について説明したが、撮像装置１がこれ以外のセンサ５を備えていてもよい。
　一例として撮像装置１が第４センシング部２Ｄを有し、第４センシング部２Ｄが第４センサ５ＤとしてのＬｉＤＡＲ（Light Detection And Ranging）センサを備えている（図１０参照）。
　信号処理部３は、第４処理部６Ｄを備え、第４処理部６Ｄは、第４センサ５ＤとしてのＬｉＤＡＲセンサから出力されるセンシング情報から点群データを生成するための各種の信号処理を行う。
　図１０に示すような構成は、例えば、車載用の撮像装置１としての態様の一例である。
　制御部４は、事前測定フェーズにおいてＲＧＢセンサとしての第１センサ５Ａと分光センサとしての第２センサ５Ｂと測距センサとしての第３センサ５Ｃを駆動することにより簡易センシング情報を得たとする。そして、当該簡易センシング情報に基づいた推定の結果、先行車のような移動する被写体（移動体）が検出されたとする。
　この場合、制御部４は、移動体が何であるかを詳細に特定するための実測フェーズにおいて駆動させるセンサ５として、ＬｉＤＡＲセンサとしての第４センサ５Ｄを選択する（図１１参照）。
　実測フェーズで得られたセンシング情報に基づいて他車両としての被写体についての解析を行うことにより、他車両との位置関係を適切に限定することができる。そして、実測フェーズにおいて、第１センサ５Ａ、第２センサ５Ｂ及び第３センサ５Ｃを駆動させないことで、消費電力の削減等を図ることができる。
＜２．処理の流れ＞
　上述した撮像装置１の信号処理部３及び制御部４等が実行する処理の流れについて、図１２を参照して説明する。
　制御部４は、被写体についてのセンシング情報を取得するために、先ずステップＳ１０１において、事前測定を行うためのコマンドを各センシング部２に送信する。
　該コマンドを受信した各センシング部２（第１センシング部２Ａ、第２センシング部２Ｂ、・・・、第Ｎセンシング部２Ｎ）は、ステップＳ１０２（ステップＳ１０２－１、Ｓ１０２－２、・・・、Ｓ１０２－Ｎ）において、簡易センシング情報を取得し、信号処理部３へ出力する。
　信号処理部３は、各種センサ５の種別に応じた信号処理を施し（ステップＳ１０３）、被写体についての推論処理を行う（ステップＳ１０４）。
　推論結果の情報は制御部４に出力される。
　制御部４は、ステップＳ１０５において、推論結果に基づいて実測フェーズにおいて駆動するセンサ５を選択する処理を行い、ステップＳ１０６において、実測としてのセンシング情報を得るためのコマンドを選択したセンシング部２へ送信する。
　該コマンドを受信したセンシング部２（図１２においては第２センシング部２Ｂ）は、実測フェーズにおけるセンシング情報の取得をステップＳ１０７（ステップＳ１０７－２）で行い、該センシング情報を信号処理部３に送信する。
　信号処理部３はステップＳ１０８において、センシング情報に対する信号処理を施し、その結果を制御部４に送信する。
　その後、制御部４では、信号処理を施したセンシング情報を利用する各アプリケーションなどに対してデータを提供する。
＜３．第２の実施の形態＞
　第１の実施の形態は、静止画のような１回のセンシング情報の取得を適切に行うものであった。第２の実施の形態では、動画像のように複数回のセンシング情報の取得を適切に行うものである。
　撮像装置１の構成例は図１に示したものと同様である。第１の実施の形態と異なるのは、制御部４が、簡易センシング情報に基づいて実測フェーズにおいて駆動するセンサ５を選択するだけでなく、実測フェーズにおけるセンシング情報の取得タイミングを決定する処理を行う点である。
　第２の実施の形態における事前測定フェーズと実測フェーズについて図１３を参照して説明する。
　各センシング部２は、事前測定フェーズにおいて簡易センシング情報を取得する。該簡易センシング情報は、信号処理部３の各処理部によって信号処理が施された後、制御部４に出力される。
　制御部４は、信号処理が施された簡易センシング情報に基づいて、実測フェーズで駆動するセンサ５（図１３に示す例ではＲＧＢセンサとしての第１センサ５Ａ）を選択すると共に、該センサ５を駆動するまでのインターバルＴ１を決定する。
　続いて、再度事前測定フェーズにおける簡易センシング情報の取得が行われ、該簡易センシング情報に基づいて制御部４は実測フェーズで駆動するセンサ５（図１３に示す例ではＲＧＢセンサとしての第１センサ５Ａと分光センサとしての第２センサ５Ｂ）を選択すると共に、インターバルＴ２を決定する。
　このように、インターバルＴ１、Ｔ２を決定することで、センシング情報を取得するためのセンサ５の駆動が多すぎてしまうことを防止し、消費電力の抑制等を図ることができる。
　第２の実施の形態における各部の処理の流れについて図１４を参照して説明する。なお、図１２と同様の処理については同じステップ番号を付し適宜説明を省略する。
　制御部４は、先ずステップＳ１０１において、事前測定を行うためのコマンドを各センシング部２に送信する。
　該コマンドを受信した各センシング部２（第１センシング部２Ａ、第２センシング部２Ｂ、・・・、第Ｎセンシング部２Ｎ）は、ステップＳ１０２（ステップＳ１０２－１、Ｓ１０２－２、・・・、Ｓ１０２－Ｎ）において、簡易センシング情報を取得し、信号処理部３へ出力する。
　信号処理部３は、各種センサ５の種別に応じた信号処理を施し（ステップＳ１０３）、被写体についての推論処理を行う（ステップＳ１０４）。
　推論結果の情報は制御部４に出力される。
　制御部４は、ステップＳ１０５において、推論結果に基づいて実測フェーズにおいて駆動するセンサ５を選択する処理を行い、ステップＳ１２１において、実測フェーズでセンシング情報を得るためのインターバルを算出する。
　制御部４はステップＳ１２２において、算出したインターバルに応じた待機時間を消化し、ステップＳ１０６において、実測としてのセンシング情報を得るためのコマンドを選択したセンシング部２へ送信する。
　該コマンドを受信したセンシング部２は、実測フェーズにおけるセンシング情報の取得をステップＳ１０７で行い、該センシング情報を信号処理部３に送信する。
　信号処理部３はステップＳ１０８において、センシング情報に対する信号処理を施し、その結果を制御部４に送信する。
　制御部４はステップＳ１２３において、センシング情報の取得を終了するか否かを判定する。この判定処理は、例えば、ユーザの操作などに基づいてもよいし、所定回数のセンシング情報の取得が完了したかどうかに基づいてもよい。
　センシング情報の取得を終了しないと判定した場合、制御部４はステップＳ１０１へと戻る。一方、センシング情報の取得を終了すると判定した場合、制御部４及びその他の各部は図１４に示す一連の処理を終了する。
　なお、事前測定フェーズと実測フェーズを交互に繰り返す以外にも方法は考えられる。例えば、事前測定フェーズの後に実測フェーズを連続して取得する方法が考えられる。そして実測フェーズを所定回数、或いは所定時間に亘って繰り返した後、再び事前測定フェーズを実行してもよい。
　具体的に図１５を参照して説明する。
　各センシング部２は、事前測定フェーズにおいて簡易センシング情報を取得する。該簡易センシング情報は、信号処理部３の各処理部によって信号処理が施された後、制御部４に出力される。
　制御部４は、信号処理が施された簡易センシング情報に基づいて、実測フェーズで駆動するセンサ５（図１５に示す例ではＲＧＢセンサとしての第１センサ５Ａ）を選択すると共に、該センサ５を駆動するまでのインターバルＴ１を決定する。
　駆動するセンサ５とインターバルＴ１とが一旦決定された後、選択されたセンサ５を有するセンシング部２はインターバルＴ１ごとに実測フェーズとしてのセンシング情報の取得を行う。取得されたセンシング情報は、都度、信号処理部３によって必要な信号処理が施される。
　インターバルＴ１よりも長い一定の時間が経過した後、或いは、所定回数の実測フェーズとしてのセンシング情報の取得を終えた後、事前測定フェーズにおける簡易センシング情報の取得が再び行われ、該簡易センシング情報に基づいて制御部４は実測フェーズで駆動するセンサ５（図１５に示す例ではＲＧＢセンサとしての第１センサ５Ａと分光センサとしての第２センサ５Ｂ）を選択すると共に、インターバルＴ２を決定する。
　センサ５とインターバルＴ２とが決定された後、実測フェーズとしてのセンシング情報の取得がインターバルＴ２を介して連続して行われる。
　このように、１フレームごとに事前測定フェーズを挟まなくても、ある程度所望しているセンシング情報を適切に取得することが可能である。
　なお、複数回実測フェーズとしてのセンシング情報を取得する場合には、事前測定フェーズにおいて簡易センシング情報を取得するのではなく、センサ５ごとの最大限の性能を発揮させて精密なセンシング情報を取得してもよい。
　即ち、実測フェーズにおいて駆動しないと決定したセンサ５は、その後一定期間に亘ってセンシング情報の取得に用いられず駆動されないため、大きな消費電力削減効果を得ることができる。
＜４．第３の実施の形態＞
　第３の実施の形態における撮像装置１は、センシング情報の取得タイミングごとにセンシング部２を順に駆動させるものである。
　撮像装置１の構成例については図１に示したものと同様である。第１の実施の形態と異なるのは、信号処理部３がセンサ間補間やフレーム間補間としての推定処理を行うこと、そして、制御部４が実測フェーズのためのセンサ５を選択する処理を行わないことである。
　なお、第３の実施の形態においては事前測定フェーズが存在せず、実測フェーズのみとされる。或いは、最初に事前測定フェーズによる簡易センシング情報の取得を行い、該簡易センシング情報の解析を行った結果、第３の実施の形態における実測フェーズのみのセンシング情報の取得を行うことを決定してもよい。
　第３の実施の形態における実測フェーズについて図１６を参照して説明する。
　なお、センシング情報の取得が行われるタイミングについてその時刻を取得タイミングＴｉ１、Ｔｉ２、・・・と記載する。
　各センシング部２のうち、選択された一つのセンシング部２のセンサ５（図１６においてはＲＧＢセンサとしての第１センサ５Ａ）を駆動することにより、取得タイミングＴｉ１におけるセンシング情報（図１６の例ではＲＧＢ画像）を得る。
　このセンシング情報は、信号処理部３の第１処理部６Ａによって信号処理が施された後、推論処理部７に出力される。
　推論処理部７は、ＡＩモデルを利用した推定処理を行うことによりＲＧＢ画像の入力に基づくセンサ間補間を行う。このセンサ間補間により、取得タイミングＴｉ１にて分光センサとしての第２センサ５Ｂで得られるはずの分光情報と、測距センサとしての第３センサ５Ｃで得られるはずの距離画像を生成する。
　なお、このとき、推論処理部７は、ＲＧＢ画像に基づいて被写体を特定する処理を行ってもよい。そして、センサ間補間の処理は、被写体に応じてなされてもよい。即ち、被写体の種別等を考慮してセンサ間補間がなされてもよい。
　次のセンシング情報を取得する取得タイミングＴｉ２で、制御部４は、分光センサとしての第２センサ５Ｂの駆動を行う。
　これにより、被写体についての分光情報を得ることができる。
　該分光情報は、信号処理部３の第２処理部６Ｂによって信号処理が施された後、推論処理部７に出力される。
　推論処理部７は、推論処理により、分光情報の入力に基づくセンサ間補間を行い、取得タイミングＴｉ２で得られるべきＲＧＢ画像と距離画像を得る。
　また、推論処理部７は、ＡＩモデルを利用した推論処理としてフレーム間補間を行うことにより、ＲＧＢセンサとしての第１センサ５Ａから取得タイミングＴｉ１で得た先のＲＧＢ画像を入力として取得タイミングＴｉ２におけるＲＧＢ画像と距離画像を得る。
　即ち、取得タイミングＴｉ２におけるＲＧＢ画像の推定は、取得タイミングＴｉ１で得られたＲＧＢ画像と、取得タイミングＴｉ２で得られた分光情報に基づいて行われる。
　同様に、取得タイミングＴｉ２における距離画像の推定は、取得タイミングＴｉ１で得られたＲＧＢ画像と取得タイミングＴｉ２で得られた分光情報に基づいて行われる。
　なお、図１６に破線の矢印で示すように、取得タイミングＴｉ２における距離画像の推定に取得タイミングＴｉ１で得られるものと推定された距離画像を用いてもよい。
　なお、このとき、推論処理部７によるセンサ間補間やフレーム間補間の処理は、被写体に応じてなされてもよい。即ち、被写体の種別等を考慮してセンサ間補間やフレーム間補間がなされてもよい。
　取得タイミングＴｉ３においては、制御部４は、測距センサとしての第３センサ５Ｃを駆動させる。これにより、被写体についての距離画像を得ることができる。
　取得タイミングＴｉ３で得られるべきＲＧＢ画像は、取得タイミングＴｉ３で取得された距離画像と取得タイミングＴｉ２で取得された分光情報に基づいて推定される。そして、該推定においては、取得タイミングＴｉ２で推定されたＲＧＢ画像を用いてもよい。
　また、取得タイミングＴｉ３で得られるべき分光情報は、取得タイミングＴｉ３で取得された距離画像と取得タイミングＴｉ２で取得された分光情報に基づいて推定される。
　撮像装置１が備えるセンサ５が３種類である場合には、取得タイミングＴｉ１、Ｔｉ２、Ｔｉ３でセンシング情報の取得が一巡していることから、制御部４は、取得タイミングＴｉ４で再びＲＧＢセンサとしての第１センサ５Ａを駆動させる。
　このように、制御部４は、取得タイミングＴｉごとに複数のセンサ５の中から駆動するセンサ５を順次切り換える処理を行う。
　第３の実施の形態における各部の処理の流れについて図１７を参照して説明する。なお、図１２や図１４と同様の処理については同じステップ番号を付し適宜説明を省略する。
　制御部４は先ずステップＳ１０６において、実測のためのコマンド送信を行う。コマンドの送信対象のセンサ５は第１センシング部２Ａの第１センサ５Ａである。
　該コマンドを受信した第１センシング部２Ａは、ステップＳ１０７において、センシング情報の取得を行いその結果を信号処理部３に出力する。
　信号処理部３は、ステップＳ１０８において、センサ５の種別に応じた必要な信号処理を行う。
　続いて、信号処理部３はステップＳ１０４において、推論処理を行う。この推論処理では、センサ間補間やフレーム間補間を行うことにより駆動していないセンサ５についてのセンシング情報を推論する。
　ステップＳ１０６、Ｓ１０７、Ｓ１０８及びＳ１０４の各処理をセンサ５ごとに繰り返し行う。
　処理対象のセンサ５を変更して各処理を一巡させた制御部４は、ステップＳ１２３において、センシング情報の取得を終了するか否かを判定する。
　センシング情報の取得を終了しないと判定した場合、制御部４は第１センシング部２Ａを対象としたステップＳ１０６の処理（図１７のフローの開始直後）へと進む。
　一方、センシング情報の取得を終了すると判定した場合、各部は図１７に示す一連の処理を終了する。
　このように、一部のセンサ５から得られたセンシング情報に基づいて他のセンシング情報を推定する。これにより、実際に駆動するセンサ５の数を少なくすることができる。
　従って、消費電力の削減を図ることができる。また、駆動させるセンサ５を絞ることにより、電磁波ノイズの軽減や、発熱量の軽減や、データ量削減等を図ることができる。そして、電磁波ノイズを軽減できることから、電磁波ノイズ対策部品を減らすことができ、コスト削減や実装工数削減やテスト工数削減を図ることができる。また、発熱量を軽減できることから、放熱部品を減らすことができる。更に、データ量削減できることから、ストレージ消費量が減るため、メモリ部品を削減することができる。これらによっても、コスト削減や実装工数削減やテスト工数削減を図ることができる。
　他にも、部品削減により設計工数が削減できると共に設計自由度を向上させることができる。
　なお、図１６や図１７に示す例では、各取得タイミングで各センサ５のうちの一つのみを駆動させる例を挙げたが、各取得タイミングで必ず駆動させるセンサ５があってもよい。例えば、取得タイミングＴｉ１においては、第１センサ５Ａと第２センサ５Ｂを駆動し、取得タイミングＴｉ２においては、第１センサ５Ａと第３センサ５Ｃを駆動する。そして、取得タイミングＴｉ３においては、再度第１センサ５Ａと第２センサ５Ｂを共に駆動する。このようにＲＧＢセンサを毎回駆動させてもよい。
　また、第２の実施の形態のように、駆動させるセンサ５に応じてインターバルの時間長を変えてもよい。
＜５．第４の実施の形態＞
　第４の実施の形態は、一つのセンシング部２が複数の機能を有しているものである。
　具体的には、第１の機能を有するセンシング部２が有するセンサ５と、第２の機能を有するセンシング部２が有するセンサ５が、同軸上に配置されるものである。
　このような態様として例えば二つの例が考えられる。
　一つの例は、センシング部２が備えるセンサ５のセンサ面上に機能ごとの画素が設けられる例である。
　ここでは、第５センシング部２Ｅが第５センサ５Ｅを備えており、第５センサ５Ｅのセンサ面には、第５センサ５ＥをＲＧＢセンサとして機能させるためのＲＧＢ画素と、第５センサ５ＥをｉＴｏＦ方式の測距センサとして機能させるための測距画素とが配列されている例について説明する。
　しかし、本技術はこれに限らず、センサ５を異なる種類のセンサとして機能させるための画素が一つのセンサ面に混在して配置されているものに広く適用することができる。
　第５センサ５Ｅを備える撮像装置１の構成例を図１８に示す。なお、既に述べた構成については説明を省略する。
　第５センシング部２Ｅが備える第５センサ５Ｅは、Ｒ画素、Ｇ画素及びＢ画素から出力される画素信号を信号処理部３の第１処理部６Ａに供給する。
　第１処理部６Ａは、画素信号に対して各種の処理を施し画像データを生成する。生成された画像データは、推論処理部７に供給される。
　また、第５センサ５Ｅは、測距画素が備える二つの電荷蓄積部それぞれから出力される検出信号を信号処理部３の第３処理部６Ｃに供給する。
　第３処理部６Ｃは、第５センサ５Ｅから出力される検出信号に基づいてｉＴｏＦ方式に対応した距離の算出処理を行い、距離情報を推論処理部７に供給する。
　第５センサ５Ｅのセンサ面における画素配列の一例を図１９に示す。図中においては、Ｒ画素を「Ｒ」と記載し、Ｇ画素を「Ｇ」と記載し、Ｂ画素を「Ｂ」と記載しており、また、ｉＴｏＦ方式に対応した測距画素を「Ｔ」と記載している。
　図示するように、ベイヤー配列におけるＧ画素の一部が測距画素（Ｔ画素）に置き換えられている。
　図中においては、縦横４画素から成る１６画素の領域ごとに一つの距離画素が配置されているが、距離画素の配置は、距離情報の空間方向の解像度に応じて適切に配置されていればよい。
　なお、第５センサ５Ｅにおいては、ｉＴｏＦ方式に対応した測距画素の代わりに、像面位相差方式に対応した測距画素が設けられていてもよい。
　本実施の形態における一つ目の例においては、推論処理部７の推論結果に基づいて、Ｒ画素、Ｇ画素、Ｂ画素から成る画素群と、測距画素からなる画素群の何れか一方の読み出しを停止することや、双方の画素群の読み出しを停止することが可能となる。
　従って、消費電力の削減等を図ることが可能となる。
　また、推論処理部７の推論結果に基づいてＲ画素、Ｇ画素、Ｂ画素から成る画素群と、測距画素からなる画素群の双方を駆動させないことを決定した場合には、図１８に示す第５センシング部２Ｅ自体の駆動を停止させることができ、消費電力をより大きく削減することが可能となる。
　本実施の形態の二つ目の例は、センシング部２が備えるセンサ５が光軸方向に離隔して配置された二つのセンサ面を有する例である。具体的には、センサ５のセンサ面に配列された各画素において、ＲＧＢセンサとして機能する上段センサ部Ｓ１と、ＩＲ（Infra-Red）センサとして機能する下段センサ部Ｓ２が光軸方向に並んでいる。
　第６センサ５Ｆを備える撮像装置１の構成例を図２０に示す。なお、既に述べた構成については説明を省略する。
　第６センシング部２Ｆが備える第６センサ５Ｆは、ＲＧＢセンサとしての上段センサ部Ｓ１から出力される画素信号を信号処理部３の第１処理部６Ａに供給する。
　第１処理部６Ａは、上段センサ部Ｓ１から出力される画素信号に対して各種の処理を施し画像データを生成する。生成された画像データは、推論処理部７に供給される。
　また、第６センサ５Ｆは、ＩＲセンサとしての下段センサ部Ｓ２から出力される検出信号を信号処理部３の第５処理部６Ｅに供給する。
　第５処理部６Ｅは、下段センサ部Ｓ２から出力される検出信号に対して各種の処理を施すことで、ＩＲ画像データを生成する。生成された画像データは、推論処理部７に供給される。
　第６センサ５Ｆが有する各画素の構成について図２１に示す。
　第６センサ５Ｆは、ＲＧＢセンサとしての上段センサ部Ｓ１と、ＩＲセンサとしての下段センサ部Ｓ２とを有しており、上段センサ部Ｓ１と下段センサ部Ｓ２は光軸方向に並んで配置されている。
　上段センサ部Ｓ１は、青色光（Ｂ光）の光量に応じた信号を出力するＢ層８Ｂと、緑色光（Ｇ光）の光量に応じた信号を出力するＧ層８Ｇと、赤色光（Ｒ光）の光量に応じた信号を出力するＲ層８Ｒとが光軸方向に積層されて成る。各層は、所定の波長帯の光に対して感度を有し受光した光量に応じた電荷を蓄積する有機光電電膜層９と、有機光電電膜層９で発生した電荷を読み出して検出信号として出力する透明電極層１０から成る。
　下段センサ部Ｓ２は、ＩＲ光に対する感度を有し受光したＩＲ光の光量に応じた電荷を蓄積するＩＲ受光層１１と、ＩＲ受光層１１で発生した電荷を読み出して検出信号として出力する電極層１２から成る。
　本実施の形態における二つ目の例においては、推論処理部７の推論結果に基づいて、上段センサ部Ｓ１と下段センサ部Ｓ２の読み出しのうち、一方を停止することや、双方を停止することが可能となる。
　従って、消費電力の削減等を図ることが可能となる。
　また、推論処理部７の推論結果に基づいて上段センサ部Ｓ１と下段センサ部Ｓ２の双方について読み出しを停止することを決定した場合には、図２０に示す第６センシング部２Ｆ自体の駆動を停止させることができ、消費電力をより大きく削減することが可能となる。
　図２１では、上段センサ部Ｓ１におけるＲ光を受光する部分とＧ光を受光する部分とＢ光を受光する部分が光軸方向に配置された例を示したが、上段センサ部Ｓ１がベイヤー配列のカラーフィルタを有して構成されていても同様の効果を得ることができる。
　本実施の形態のように、各センサ機能についての光軸が略同軸とされることにより、空間上における画角を略同一とすることができるため、後段の処理において視差等を考慮する必要がない。従って、後段の処理負担が軽減され、消費電力の削減を図ることができる。
　なお、図１８や図２０に示したように、撮像装置１は、第５センシング部２Ｅや第６センシング部２Ｆと共に第２センシング部２Ｂを備えている構成を示したが、本技術の実施はこれに限定されない。
　例えば、撮像装置１が第５センシング部２Ｅや第６センシング部２Ｆと共に第２センシング部２Ｂ以外のセンシング部２を備えていてもよい。また、撮像装置１が第５センシング部２Ｅと第６センシング部２Ｆの何れか一方のみを備えていてもよいし、双方を備えていてもよい。
　また、一つのセンシング部２が三つ以上のセンサ機能を備えていてもよい。例えば、一つのセンシング部２がＲＧＢセンサとしての機能と、分光センサとしての機能と、測距センサとしての機能を備えていてもよく、更にＩＲセンサやＬｉＤＡＲセンサとしての機能を備えていてもよい。
　その場合には、一部のセンサが光軸方向に対して垂直方向に並んで配置されると共に、一部のセンサが光軸方向に並んで配置されてもよい。即ち、第４の実施の形態における一つ目の例と二つ目の例を組み合わせてもよい。
＜６．センサの選択について＞
　制御部４が取得タイミングごとに駆動するセンサ５を選択する例を説明した。この選択処理においては、上述したようにＡＩモデルを用いてもよい。
　具体的に図２２を参照して説明する。
　例えば、第１の実施の形態のように、事前測定フェーズにおいて取得したＲＧＢ画像、分光情報及び距離画像における一まとまりの小さなデータ群（画像であれば、所定領域）が入力される入力層と複数段の中間層と出力層とを有するニューラルネットワークを利用する。
　出力層では、センサ５の種別ごとに値が出力される。出力層の値が所定値以上とされたセンサ５を次回のセンシング情報の取得タイミングで駆動させることにより、制御部４におけるセンサ５の選択処理が実現可能である。
　なお、図２２に示すように、入力データ（例えば、ＲＧＢ画像や距離画像）ごとに選択すべきセンサ５が出力される場合には、それぞれの出力をポスト処理によって統合することによりセンサ５を適切に選択することが可能である。
　或いは、全てのセンシング情報が入力される入力層を有するようにニューラルネットワークを構築することにより、ポスト処理による統合を行わずにセンサ５を選択することが可能である。
　また、出力層の値に紐付けられるラベルとしてセンサ５の種別の代わりにインターバルの時間長を用いることにより、第２の実施の形態におけるインターバルＴ１、Ｔ２の時間長を決定することができる。
　これにより、例えば、動く被写体などの場合には短いインターバルが選択されて時間方向に密にセンシング情報を取得することが可能となり、風景画など被写体の動きが乏しい撮影の場合には長いインターバルが選択されることにより消費電力をより抑えることなどが可能となる。
＜７．まとめ＞
　上述したように、撮像装置１としての情報処理装置は、複数のセンサ５のうち、少なくとも一部のセンサ５から得られたセンシング情報に基づいて、センシング対象の被写体を特定する特定処理部（推論処理部７）と、特定された被写体に応じて、新たなセンシング情報を得るためのセンサ５を複数のセンサ５から選択する制御部４と、を備えている。
　被写体の特定とは、人物や動物や車両など被写体の種別を特定することだけでなく、被写体についてのセンシング情報が得られたシーンを特定することも含む。例えば、センシング対象の被写体として、昼間の人物、夜間の人物、昼間の風景、夜景、などが特定される。
　そして、特定した被写体に応じて複数のセンサ５から適切なセンサ５を選択することができる。即ち、搭載された全てのセンサ５のうち選択されたセンサ５のみを駆動させることができるため、消費電力の削減を図ることができる。また、駆動させるセンサ５を絞ることにより、電磁波ノイズの軽減や、発熱量の軽減や、データ量削減等を図ることができる。そして、電磁波ノイズを軽減できることから、電磁波ノイズ対策部品を減らすことができ、コスト削減や実装工数削減やテスト工数削減を図ることができる。また、発熱量を軽減できることから、放熱部品を減らすことができる。更に、データ量削減できることから、ストレージ消費量が減るため、メモリ部品を削減することができる。これらによっても、コスト削減や実装工数削減やテスト工数削減を図ることができる。
　他にも、部品削減により設計工数が削減できると共に設計自由度を向上させることができる。
　なお、複数のセンサ５として種別の異なるセンサ５を備えている場合には、撮像装置１を用いて実現したいことに応じて適切な種別のセンサ５のみが選択されて駆動されてもよい。これにより、実現したいことに必要なセンサ５と不要なセンサ５を明確に選り分けることが可能となり、消費電力の削減等を図ることが可能となる。
　第１の実施の形態において説明したように、撮像装置１の特定処理部（推論処理部７）は、複数のセンサ５全てから得られたセンシング情報に基づいて被写体を特定してもよい。
　これにより、被写体を多面的に捉えたセンシング情報に基づいて被写体を正確に特定することができるため、適切なセンサ５が選択されやすくすることができる。
　第１の実施の形態において説明したように、撮像装置１の特定処理部（推論処理部７）は、被写体を特定するためのセンシング情報として簡易センシング情報を用い、制御部４は、静止画撮影のために選択を行ってもよい。
　これにより、センサ５を最大限に駆動させずに得られたセンシング情報に基づいて被写体を特定することができる。従って、消費電力の削減等をより図ることができる。
　図２等を参照して説明したように、撮像装置１の特定処理部（推論処理部７）は、簡易センシング情報としてＲＧＢセンサ（第１センサ５Ａ）における有効画素数よりも少ない画素から得られたセンシング情報を用いてもよい。
　これにより、事前測定フェーズにおいてＲＧＢセンサの駆動についての消費電力等を削減することができる。
　図３等を参照して説明したように、撮像装置１の特定処理部（推論処理部７）は、簡易センシング情報として分光センサ（第２センサ５Ｂ）における測定波長の一部のみを用いて取得されたセンシング情報を用いてもよい。
　これにより、事前測定フェーズにおける分光センサの駆動についての消費電力等を削減することができる。
　図４等を参照して説明したように、撮像装置１の特定処理部（推論処理部７）は、簡易センシング情報としてｉＴｏＦ方式の測距センサ（第３センサ５Ｃ）におけるタップ切換回数を所定回数よりも少なくして得られたセンシング情報を用いてもよい。
　これにより、事前測定フェーズにおける測距センサの駆動についての消費電力等を削減することができる。
　図５等を参照して説明したように、撮像装置１の制御部４は、特定処理部（推論処理部７）によって特定された被写体が植物だった場合に、ＲＧＢセンサ（第１センサ５Ａ）と分光センサ（第２センサ５Ｂ）とを選択してもよい。
　例えば、被写体は野菜などとされる。これにより、事前測定フェーズの後の実測フェーズにおいて、野菜の鮮度等を測定するために必要なセンサ５としてＲＧＢセンサと分光センサが選択される。そして、それ以外のセンサ５が選択されないことにより、駆動させるセンサ５を限定することができ、消費電力の削減等を図ることができる。
　図１０、図１１等を参照して説明したように、撮像装置１の制御部４は、特定処理部（推論処理部７）によって特定された被写体が移動体であった場合に、ＲＧＢセンサ（第１センサ５Ａ）とＬｉＤＡＲセンサ（第４センサ５Ｄ）とを選択してもよい。
　例えば、被写体は車両などとされる。これにより、事前測定フェーズの後の実測フェーズにおいて、車両との位置関係を特定するために必要なセンサ５としてＲＧＢセンサとＬｉＤＡＲセンサが選択される。そして、それ以外のセンサ５が選択されないことにより、駆動させるセンサ５を限定することができ、消費電力の削減等を図ることができる。
　図７等を参照して説明したように、撮像装置１の制御部４は、特定処理部（推論処理部７）によって特定された被写体とセンサ５間の距離が所定距離未満である場合に、ＲＧＢセンサ（第１センサ５Ａ）と測距センサ（第３センサ５Ｃ）とを選択してもよい。
　被写体とセンサ５間の距離が短い場合、例えば、車載のセンサ５と被写体としての先行車の距離が短い場合、ＲＧＢセンサに加えて距離をより正確に測定するための測距センサが選択される。そして、それ以外のセンサ５が選択されないことにより、駆動させるセンサ５を限定することができ、消費電力等を削減することができる。
　図６等を参照して説明したように、撮像装置１の制御部４は、特定処理部（推論処理部７）によって特定された被写体が風景であった場合に、ＲＧＢセンサ（第１センサ５Ａ）のみを選択してもよい。
　被写体が風景の場合には測距センサ（第３センサ５Ｃ）等被写体からの反射光をセンシングするセンサ５は適切でない。このようなセンサ５が選ばれないようにＲＧＢセンサのみを選択することで不要なセンサ５を駆動せずに済み、消費電力等の削減を図ることができる。
　図９等を参照して説明したように、撮像装置１の制御部４は、一部のセンサ５としてのＲＧＢセンサ（第１センサ５Ａ）及び測距センサ（第３センサ５Ｃ）から得られたセンシング情報に基づいて特定処理部（推論処理部７）が被写体を人物の顔であると特定した場合に、分光センサ（第２センサ５Ｂ）を選択してもよい。
　分光センサを選択することにより、被写体が人物の顔であることの確からしさを算出するためのセンシングデータを取得することができる。
　図８等を参照して説明したように、撮像装置１の制御部４は、一部のセンサ５としてのＲＧＢセンサ（第１センサ５Ａ）及び分光センサ（第２センサ５Ｂ）から得られたセンシング情報に基づいて特定処理部（推論処理部７）が被写体を人物の顔であると特定した場合に、測距センサ（第３センサ５Ｃ）を選択してもよい。
　測距センサを選択することにより、被写体が人物の顔であることの確からしさを算出するためのセンシングデータを取得することができる。即ち、被写体の凹凸情報と人物の顔の凹凸情報を比較することにより被写体が人物の顔であるか否かをより正確に判定することができる。また、凹凸情報を詳細に取得することにより、被写体と特定の人物を比較する個人認証処理を行うことも可能となる。
　第２の実施の形態において説明したように、撮像装置１の制御部４は、特定処理部（推論処理部７）によって特定された被写体に応じてセンシング情報の取得のインターバルＴ１、Ｔ２を決定してもよい。
　これにより、センシング情報を得るための取得間隔が最適化される。従って、不必要に取得タイミングを増やしてしまい消費電力が増大してしまうことを抑制することができる。
　第３の実施の形態において説明したように、撮像装置１としての情報処理装置は、複数のセンサ５のうちの一部のセンサ５を駆動して得られたセンシング情報に基づいて駆動していないセンサ５からのセンシング情報を推定する推定処理部（推論処理部７）と、センシング情報の取得タイミングＴｉ（Ｔｉ１、Ｔｉ２、Ｔｉ３、Ｔｉ４）ごとに複数のセンサ５の中から駆動するセンサ５を順次切り換える制御部４と、を備えたものである。
　即ち、一部のセンサ５から得られたセンシング情報に基づいて他のセンシング情報を推定する。これにより、実際に駆動するセンサ５の数を少なくすることができる。
　従って、消費電力の削減を図ることができる。また、駆動させるセンサ５を絞ることにより、電磁波ノイズの軽減や、発熱量の軽減や、データ量削減等を図ることができる。そして、電磁波ノイズを軽減できることから、電磁波ノイズ対策部品を減らすことができ、コスト削減や実装工数削減やテスト工数削減を図ることができる。また、発熱量を軽減できることから、放熱部品を減らすことができる。更に、データ量削減できることから、ストレージ消費量が減るため、メモリ部品を削減することができる。これらによっても、コスト削減や実装工数削減やテスト工数削減を図ることができる。
　他にも、部品削減により設計工数が削減できると共に設計自由度を向上させることができる。
　第３の実施の形態において説明したように、撮像装置１は、一部のセンサ５を駆動して得られたセンシング情報と推定されたセンシング情報とに基づいてセンシング対象の被写体を特定する特定処理部（推論処理部７）を備えていてもよい。
　被写体の特定とは、人物や動物や車両など被写体の種別を特定することだけでなく、被写体についてのセンシング情報が得られたシーンを特定することも含む。例えば、センシング対象の被写体として、昼間の人物、夜間の人物、昼間の風景、夜景、などが特定される。これにより、適切なセンサ５に切り換えることが可能となる。
　第３の実施の形態において説明したように、撮像装置１の推定処理部（推論処理部７）は、過去のセンシング情報に基づいて推定を行ってもよい。
　例えば、駆動するセンサ５を撮像フレームごとに切り換えている場合には、直前フレームやその前のフレームで撮像されたセンシング情報に基づいて駆動していないセンサ５についてのセンシング情報を推定する。
　これにより、センサ５間の補間だけでなくフレーム間の補間が行われ、推定されたセンシング情報の確度を向上させることができる。
　第３の実施の形態において説明したように、撮像装置１の推定処理部（推論処理部７）は、駆動していないセンサ５についての過去のセンシング情報に基づいて推定を行ってもよい。
　フレーム間補間において、駆動していないセンサ５で過去に取得されたセンシング情報を用いることにより、推定結果としてのセンシング情報の確度を向上させることができる。
　上述した第３の実施の形態においては、フレーム間補間として直前に取得したセンシング情報を用いた補間について説明したが、それよりも前に取得されたセンシング情報を用いてフレーム間補間を行ってもよい。
　そして、どこまで古いセンシング情報をフレーム補間に用いるかについては、フレーム補間についての処理を行うプロセッサの演算能力に基づいて適宜決定されることが望ましい。
　なお、上述した各例では、各センサ５がフレームデータを出力する構成を例示した説明を行ったが、センサ５の種別によっては必ずしもフレームごとにデータを出力する態様を採らなくてもよい。
　また、上述した各例では、センサ５としてＲＧＢセンサ、分光センサ、測距センサ及びＬｉＤＡＲセンサを例に挙げたが、これ以外のセンサ５を撮像装置１が備えていてもよい。
　例えば、温度センサや湿度センサや近接センサや音波センサや匂いセンサやＥＶＳ（Event-based Vision Sensors）など、各種のものが考えられる。
　なお、上述した撮像装置１としての情報処理装置は、複数のセンサ５のうちの少なくとも一部のセンサ５を駆動して得られたセンシング情報を学習モデルに入力することにより省電力駆動のための推定を行う推定処理部（推論処理部７）と、推定処理によって複数のセンサ５のうちの一部のみを駆動する制御部４と、を備えたものと捉えることが可能である。
　このような情報処理装置によって、実際に駆動するセンサ５の数を少なくすることができる。
　従って、情報処理装置の消費電力の削減を図ることができる。また、駆動させるセンサ５を絞ることにより、電磁波ノイズの軽減や、発熱量の軽減や、データ量削減等を図ることができる。そして、電磁波ノイズを軽減できることから、電磁波ノイズ対策部品を減らすことができ、コスト削減や実装工数削減やテスト工数削減を図ることができる。また、発熱量を軽減できることから、放熱部品を減らすことができる。更に、データ量削減できることから、ストレージ消費量が減るため、メモリ部品を削減することができる。これらによっても、コスト削減や実装工数削減やテスト工数削減を図ることができる。
　他にも、部品削減により設計工数が削減できると共に設計自由度を向上させることができる。
　このような情報処理装置の適用先の装置としては、スマートフォンなど、消費電力の削減についての需要が大きい携帯端末装置が好適である。また、それ以外にも、車載カメラにおいて、第１センサ５Ａを駆動させることによりＲＧＢ画像を継続して取得しつつ画角内に写り込んだ被写体を特定するための推定処理を行い、注意すべき被写体が検出された場合には、その他のセンサ５を駆動させることで被写体を正確に特定するような利用態様が考えられる。
　或いは、上述した情報処理装置を監視カメラに適用することにより、普段の監視状態においては駆動するセンサ５を絞ることにより消費電力の削減等を図りつつ、画角内に動く被写体が検出された場合に他のセンサ５を駆動させて該被写体の特定を正確に行うことが考えられる。
　また、上述した第１の実施の形態における情報処理装置をデジタルカメラに適用する場合には、特定の被写体にフォーカスを合わせるためにシャッタボタンの半押し操作を実行中は、事前測定フェーズを連続して行うことにより、被写体の特定と駆動するセンサ５の選択を継続して行い、撮像のためにシャッタボタンを更に押し込む操作を実行した際には最終的に選択されたセンサ５のみを駆動させて被写体についての撮像画像などのセンシング情報を取得することも可能である。これにより、フォーカスを合わせた被写体に応じて駆動させるセンサ５が自動的に選択されるため、撮影者は意識することなく適切なセンシング情報を取得できると共に消費電力の削減等の効果を得ることができる。
　上述した撮像装置１としての情報処理装置が実行するプログラムは、図１２、図１４及び図１７等に示す各処理を演算処理装置に実行させるものであり、コンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤ（Hard Disk Drive）や、ＣＰＵ（Central Processing Unit）を有するマイクロコンピュータ内のＲＯＭ（Read Only Memory）等に予め記録しておくことができる。あるいはまたプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
　また、上述した各例はいかように組み合わせてもよく、各種の組み合わせを用いた場合であっても上述した種々の作用効果を得ることが可能である。
＜８．本技術＞
（１）
　複数のセンサのうち、少なくとも一部のセンサから得られたセンシング情報に基づいて、センシング対象の被写体を特定する特定処理部と、
　特定された前記被写体に応じて、新たなセンシング情報を得るためのセンサを前記複数のセンサから選択する制御部と、を備えた
　情報処理装置。
（２）
　前記特定処理部は、前記複数のセンサ全てから得られたセンシング情報に基づいて前記被写体を特定する
　上記（１）に記載の情報処理装置。
（３）
　前記特定処理部は、前記被写体を特定するためのセンシング情報として簡易センシング情報を用い、
　前記制御部は、静止画撮影のために前記選択を行う
　上記（１）から上記（２）の何れかに記載の情報処理装置。
（４）
　前記特定処理部は、前記簡易センシング情報としてＲＧＢセンサにおける有効画素数よりも少ない画素から得られたセンシング情報を用いる
　上記（３）に記載の情報処理装置。
（５）
　前記特定処理部は、前記簡易センシング情報として分光センサにおける測定波長の一部のみを用いて取得されたセンシング情報を用いる
　上記（３）から上記（４）の何れかに記載の情報処理装置。
（６）
　前記特定処理部は、前記簡易センシング情報としてｉＴｏＦ方式の測距センサにおけるタップ切換回数を所定回数よりも少なくして得られたセンシング情報を用いる
　上記（３）から上記（５）の何れかに記載の情報処理装置。
（７）
　前記制御部は、前記特定処理部によって特定された前記被写体が植物だった場合に、ＲＧＢセンサと分光センサとを選択する
　上記（１）から上記（６）の何れかに記載の情報処理装置。
（８）
　前記制御部は、前記特定処理部によって特定された前記被写体が移動体であった場合に、ＲＧＢセンサとＬｉＤＡＲセンサとを選択する
　上記（１）から上記（６）の何れかに記載の情報処理装置。
（９）
　前記制御部は、前記特定処理部によって特定された前記被写体とセンサ間の距離が所定距離未満である場合に、ＲＧＢセンサと測距センサとを選択する
　上記（１）から上記（６）の何れかに記載の情報処理装置。
（１０）
　前記制御部は、前記特定処理部によって特定された前記被写体が風景であった場合に、ＲＧＢセンサのみを選択する
　上記（１）から上記（６）の何れかに記載の情報処理装置。
（１１）
　前記制御部は、前記一部のセンサとしてのＲＧＢセンサ及び測距センサから得られたセンシング情報に基づいて前記特定処理部が前記被写体を人物の顔であると特定した場合に、分光センサを選択する
　上記（１）から上記（６）の何れかに記載の情報処理装置。
（１２）
　前記制御部は、前記一部のセンサとしてのＲＧＢセンサ及び分光センサから得られたセンシング情報に基づいて前記特定処理部が前記被写体を人物の顔であると特定した場合に、測距センサを選択する
　上記（１）から上記（６）の何れかに記載の情報処理装置。
（１３）
　前記制御部は、前記特定処理部によって特定された前記被写体に応じて前記センシング情報の取得のインターバルを決定する
　上記（１）から上記（１２）の何れかに記載の情報処理装置。
（１４）
　複数のセンサのうちの一部のセンサを駆動して得られたセンシング情報に基づいて駆動していないセンサからのセンシング情報を推定する推定処理部と、
　センシング情報の取得タイミングごとに前記複数のセンサの中から駆動するセンサを順次切り換える制御部と、を備えた
　情報処理装置。
（１５）
　前記一部のセンサを駆動して得られたセンシング情報と前記推定されたセンシング情報とに基づいてセンシング対象の被写体を特定する特定処理部を備えた
　上記（１４）に記載の情報処理装置。
（１６）
　前記推定処理部は、過去のセンシング情報に基づいて前記推定を行う
　上記（１４）から上記（１５）の何れかに記載の情報処理装置。
（１７）
　前記推定処理部は、駆動していないセンサについての過去のセンシング情報に基づいて前記推定を行う
　上記（１６）に記載の情報処理装置。
１　撮像装置（情報処理装置）
４　制御部
５　センサ
５Ａ　第１センサ（ＲＧＢセンサ）
５Ｂ　第２センサ（分光センサ）
５Ｃ　第３センサ（測距センサ）
５Ｄ　第４センサ（ＬｉＤＡＲセンサ）
７　推論処理部（特定処理部、推定処理部）
Ｔ１、Ｔ２　インターバル
Ｔｉ１、Ｔｉ２、Ｔｉ３、Ｔｉ４　取得タイミング

Claims (17)

  1. 　複数のセンサのうち、少なくとも一部のセンサから得られたセンシング情報に基づいて、センシング対象の被写体を特定する特定処理部と、
    　特定された前記被写体に応じて、新たなセンシング情報を得るためのセンサを前記複数のセンサから選択する制御部と、を備えた
    　情報処理装置。
  2. 　前記特定処理部は、前記複数のセンサ全てから得られたセンシング情報に基づいて前記被写体を特定する
    　請求項１に記載の情報処理装置。
  3. 　前記特定処理部は、前記被写体を特定するためのセンシング情報として簡易センシング情報を用い、
    　前記制御部は、静止画撮影のために前記選択を行う
    　請求項１に記載の情報処理装置。
  4. 　前記特定処理部は、前記簡易センシング情報としてＲＧＢセンサにおける有効画素数よりも少ない画素から得られたセンシング情報を用いる
    　請求項３に記載の情報処理装置。
  5. 　前記特定処理部は、前記簡易センシング情報として分光センサにおける測定波長の一部のみを用いて取得されたセンシング情報を用いる
    　請求項３に記載の情報処理装置。
  6. 　前記特定処理部は、前記簡易センシング情報としてｉＴｏＦ方式の測距センサにおけるタップ切換回数を所定回数よりも少なくして得られたセンシング情報を用いる
    　請求項３に記載の情報処理装置。
  7. 　前記制御部は、前記特定処理部によって特定された前記被写体が植物だった場合に、ＲＧＢセンサと分光センサとを選択する
    　請求項１に記載の情報処理装置。
  8. 　前記制御部は、前記特定処理部によって特定された前記被写体が移動体であった場合に、ＲＧＢセンサとＬｉＤＡＲセンサとを選択する
    　請求項１に記載の情報処理装置。
  9. 　前記制御部は、前記特定処理部によって特定された前記被写体とセンサ間の距離が所定距離未満である場合に、ＲＧＢセンサと測距センサとを選択する
    　請求項１に記載の情報処理装置。
  10. 　前記制御部は、前記特定処理部によって特定された前記被写体が風景であった場合に、ＲＧＢセンサのみを選択する
    　請求項１に記載の情報処理装置。
  11. 　前記制御部は、前記一部のセンサとしてのＲＧＢセンサ及び測距センサから得られたセンシング情報に基づいて前記特定処理部が前記被写体を人物の顔であると特定した場合に、分光センサを選択する
    　請求項１に記載の情報処理装置。
  12. 　前記制御部は、前記一部のセンサとしてのＲＧＢセンサ及び分光センサから得られたセンシング情報に基づいて前記特定処理部が前記被写体を人物の顔であると特定した場合に、測距センサを選択する
    　請求項１に記載の情報処理装置。
  13. 　前記制御部は、前記特定処理部によって特定された前記被写体に応じて前記センシング情報の取得のインターバルを決定する
    　請求項１に記載の情報処理装置。
  14. 　複数のセンサのうちの一部のセンサを駆動して得られたセンシング情報に基づいて駆動していないセンサからのセンシング情報を推定する推定処理部と、
    　センシング情報の取得タイミングごとに前記複数のセンサの中から駆動するセンサを順次切り換える制御部と、を備えた
    　情報処理装置。
  15. 　前記一部のセンサを駆動して得られたセンシング情報と前記推定されたセンシング情報とに基づいてセンシング対象の被写体を特定する特定処理部を備えた
    　請求項１４に記載の情報処理装置。
  16. 　前記推定処理部は、過去のセンシング情報に基づいて前記推定を行う
    　請求項１４に記載の情報処理装置。
  17. 　前記推定処理部は、駆動していないセンサについての過去のセンシング情報に基づいて前記推定を行う
    　請求項１６に記載の情報処理装置。
PCT/JP2023/000104 2022-02-08 2023-01-05 情報処理装置 WO2023153117A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-017968 2022-02-08
JP2022017968A JP2023115633A (ja) 2022-02-08 2022-02-08 情報処理装置

Publications (1)

Publication Number Publication Date
WO2023153117A1 true WO2023153117A1 (ja) 2023-08-17

Family

ID=87564277

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/000104 WO2023153117A1 (ja) 2022-02-08 2023-01-05 情報処理装置

Country Status (2)

Country Link
JP (1) JP2023115633A (ja)
WO (1) WO2023153117A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231192A (ja) * 2009-03-06 2010-10-14 Nikon Corp ステレオ撮像装置
JP2016127571A (ja) * 2015-01-08 2016-07-11 キヤノン株式会社 カメラシステム、表示制御装置、表示制御方法、及びプログラム
JP2017092899A (ja) * 2015-11-17 2017-05-25 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231192A (ja) * 2009-03-06 2010-10-14 Nikon Corp ステレオ撮像装置
JP2016127571A (ja) * 2015-01-08 2016-07-11 キヤノン株式会社 カメラシステム、表示制御装置、表示制御方法、及びプログラム
JP2017092899A (ja) * 2015-11-17 2017-05-25 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP2023115633A (ja) 2023-08-21

Similar Documents

Publication Publication Date Title
JP3762725B2 (ja) 撮像システムおよび画像処理プログラム
JP5331945B2 (ja) 撮像装置及びその駆動方法
CN104702826A (zh) 摄像设备及其控制方法
JP4660342B2 (ja) 画像処理システム、画像処理プログラム
JP4126721B2 (ja) 顔領域抽出方法及び装置
CN101605208A (zh) 图像处理设备、成像设备、图像处理方法及程序
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
JP6574878B2 (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
US20140232901A1 (en) Imaging apparatus
CN108028894A (zh) 控制***、成像装置和程序
Battiato et al. Image processing for embedded devices
US8295609B2 (en) Image processing apparatus, image processing method and computer readable-medium
JP6041871B2 (ja) 撮像装置及び撮像装置の制御方法
US20060092485A1 (en) Color signal correcting method, apparatus, and program
JP2001249267A (ja) 自動合焦装置、デジタルカメラ、携帯情報入力装置、合焦位置検出方法、およびコンピュータが読取可能な記録媒体
JP2009105495A (ja) 分光特性補正装置、分光特性補正方法
WO2023153117A1 (ja) 情報処理装置
JP2012044339A (ja) 撮像装置及びパノラマ画像データ生成方法
JP4718113B2 (ja) ホワイトバランス調整方法および画像処理装置
JP5183441B2 (ja) 撮像装置
JP4281199B2 (ja) 電子カメラ
JP4871664B2 (ja) 撮像装置及び撮像装置の制御方法
JP2003244552A (ja) 撮像装置および画像データ出力方法
JP2006285094A (ja) オートフォーカスカメラおよびオートフォーカス装置
JP4245373B2 (ja) 画素信号処理回路

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23752586

Country of ref document: EP

Kind code of ref document: A1