WO2024024129A1 - 光演算装置および光演算処理システム - Google Patents
光演算装置および光演算処理システム Download PDFInfo
- Publication number
- WO2024024129A1 WO2024024129A1 PCT/JP2023/002797 JP2023002797W WO2024024129A1 WO 2024024129 A1 WO2024024129 A1 WO 2024024129A1 JP 2023002797 W JP2023002797 W JP 2023002797W WO 2024024129 A1 WO2024024129 A1 WO 2024024129A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- optical
- image data
- neural network
- unit
- light
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 204
- 238000004364 calculation method Methods 0.000 title claims abstract description 62
- 238000012545 processing Methods 0.000 title claims description 117
- 238000013528 artificial neural network Methods 0.000 claims abstract description 139
- 238000004891 communication Methods 0.000 claims abstract description 82
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 238000009826 distribution Methods 0.000 claims abstract description 36
- 230000010365 information processing Effects 0.000 claims description 26
- 239000000463 material Substances 0.000 claims description 12
- 230000001427 coherent effect Effects 0.000 claims description 11
- 239000004973 liquid crystal related substance Substances 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 10
- 238000012821 model calculation Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000001678 irradiating effect Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 description 32
- 230000004048 modification Effects 0.000 description 32
- 238000003384 imaging method Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06E—OPTICAL COMPUTING DEVICES; COMPUTING DEVICES USING OTHER RADIATIONS WITH SIMILAR PROPERTIES
- G06E3/00—Devices not provided for in group G06E1/00, e.g. for processing analogue or hybrid data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06G—ANALOGUE COMPUTERS
- G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
- G06G7/48—Analogue computers for specific processes, systems or devices, e.g. simulators
- G06G7/60—Analogue computers for specific processes, systems or devices, e.g. simulators for living beings, e.g. their nervous systems ; for problems in the medical field
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
Definitions
- the present disclosure relates to an optical processing device and an optical processing system.
- the optical calculation device includes an optical neural network section, a light detection section, and an output section.
- the optical neural network unit is configured with hardware that encodes incident light and outputs a feature map as a light intensity distribution.
- the photodetector generates image data by photodetecting the feature map.
- the output unit outputs the image data to an external communication network.
- the optical processing system includes an optical processing device and an information processing device that can communicate with each other via a communication network.
- the optical calculation device includes an optical neural network section, a light detection section, and an output section.
- the optical neural network unit is configured with hardware that encodes incident light and outputs a feature map as a light intensity distribution.
- the photodetector generates image data by photodetecting the feature map.
- the output unit outputs the image data to the information processing device via the communication network.
- the information processing device includes a processing unit that processes image data obtained from the optical processing device via a communication network.
- a feature amount map is generated by encoding incident light by the optical neural network unit, and the feature amount Image data is generated by photodetecting the map with a photodetector.
- FIG. 1 is a diagram illustrating a schematic configuration example of an optical arithmetic device and an optical arithmetic processing system including the same according to an embodiment of the present disclosure.
- FIG. 2 is a diagram showing an example of the hardware configuration of the optical neural network shown in FIG. 1.
- FIG. 3 is a diagram showing a modified example of the optical processing system of FIG. 1.
- FIG. 4 is a diagram illustrating a modified example of the optical processing system of FIG. 1.
- FIG. 5 is a diagram illustrating a modified example of the optical processing system of FIG. 1.
- FIG. 6 is a diagram showing a modified example of the optical processing system of FIG. 1.
- FIG. 7 is a diagram illustrating a modified example of the optical processing system of FIG. 1.
- FIG. 1 is a diagram illustrating a schematic configuration example of an optical arithmetic device and an optical arithmetic processing system including the same according to an embodiment of the present disclosure.
- FIG. 2 is a diagram showing an example of the hardware configuration of the
- FIG. 8 is a diagram showing a modified example of the optical arithmetic device shown in FIGS. 1 and 3 to 7.
- FIG. 9 is a diagram showing a modified example of the optical arithmetic device shown in FIGS. 1 and 3 to 7.
- FIG. 10 is a diagram illustrating a modified example of the optical arithmetic device of FIG. 8.
- FIG. 11 is a diagram showing an example of the hardware configuration of the optical neural network shown in FIGS. 9 and 10.
- FIG. 12 is a diagram showing a schematic configuration example of an information processing device in the optical processing system including the optical neural network shown in FIGS. 9 and 10.
- FIG. 13 is a diagram showing a schematic configuration example of an optical processing system including the optical processing device of FIG. 9 or 10.
- FIG. 14 is a diagram showing a modified example of the schematic configuration of the optical processing system shown in FIG. 13.
- FIG. 15 is a diagram showing a schematic configuration example of the arithmetic device shown in FIGS. 13 and 14.
- FIG. 16 is a diagram illustrating a modified example of the schematic configuration of the arithmetic device of FIG. 15.
- FIG. 17 is a block diagram showing an example of a schematic configuration of a vehicle control system.
- FIG. 18 is an explanatory diagram showing an example of the installation positions of the outside-vehicle information detection section and the imaging section.
- FIG. 1 shows a schematic configuration example of an optical processing system 1 according to an embodiment of the present disclosure.
- the optical processing system 1 is a low communication capacity type system in which an optical neural network section 110 and a neural network section 220 are connected via a communication network 300.
- the optical processing system 1 includes an optical processing device 100 and an information processing device 200.
- the optical processing device 100 and the information processing device 200 are configured to be able to communicate with each other via a communication network 300.
- the optical calculation device 100 includes an optical neural network section 110, an image sensor 120, and an interface section 130 (output section).
- the information processing device 200 includes an interface section 210, a neural network section 220, and a calculation section 230.
- the interface units 130 and 210 are configured with interfaces that can communicate with each other via the communication network 300.
- the communication network 300 may be any network such as a PAN (Personal Area Network) such as USB or Bluetooth (registered trademark), a LAN (Local Area Network) such as Ethernet (registered trademark), or IEEE 802.11, or a WAN (Wide Area Network). communication network is sufficient.
- the optical neural network section 110 is provided before the image sensor 120.
- the optical neural network unit 110 encodes (optically modulates) light input from the outside (for example, incident light La or input image light Lb, which will be described later) using the plurality of modulation elements 111 . It is composed of hardware that outputs a feature quantity map Lc according to optical characteristics as a light intensity distribution.
- the above-mentioned “hardware” is composed of, for example, a plurality of modulation elements 111 arranged in a line with a predetermined gap in between, as shown in FIG.
- the modulation element 111 will be described in detail later.
- the input image light Lb is, for example, the light (transmitted light) that has passed through the aperture 400 out of the incident light La that has entered from the outside, as shown in FIG.
- the aperture 400 has an opening pattern such that transmitted light (input image light Lb) becomes light representing the number "0" as shown in FIG. 2, for example.
- the aperture 400 is provided for convenience in order to obtain light representing the number "0" as the input image light Lb, and is an arbitrary component in the optical processing system 1.
- the image sensor 120 generates image data Da by optically detecting the feature map Lc output from the optical neural network unit 110.
- the image sensor 120 is, for example, a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
- the interface unit 130 outputs image data Da generated by the image sensor 120 to the information processing device 200 via the communication network 300.
- the interface unit 130 outputs the image data Da generated by the image sensor 120 to the information processing device 200 via the communication network 300.
- the interface section 210 acquires image data Da from the optical processing device 100 via the communication network 300.
- the information processing device 200 processes image data Da obtained from the optical processing device 100 via the communication network 300.
- the neural network unit 220 is, for example, an arithmetic device connected to the optical neural network unit 110 via the image sensor 120, the interface unit 130, the communication network 300, and the interface unit 210.
- This arithmetic device is equipped with a neural network that realizes the functions of the neural network section 220.
- the neural network unit 220 generates reconstructed image data Db corresponding to the incident light La or the input image light Lb, for example, by decoding the image data Da acquired from the optical calculation device 100.
- the calculation unit 230 is a calculation device that processes the reconstructed image data Db generated by the neural network unit 220.
- the calculation unit 230 includes, for example, a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
- Software that realizes the functions of the arithmetic unit 230 is installed in the arithmetic unit 230, and the arithmetic unit 230 realizes the functions of the arithmetic unit 230 by executing the software.
- Each modulation element 111 is, for example, a phase difference element or a metasurface.
- the plurality of modulation elements 111 are physically implemented encoders obtained by learning with learning model software, which will be described later.
- the “learning model software” is a learning model that imitates a neural network in which the optical neural network section 110 and the neural network section 220 are connected end-to-end.
- the neural network corresponding to the optical neural network unit 110 is implemented on software as a physical model that can learn an actual optical system based on the laws of physics. It consists of possible optical diffraction calculations and phase modulation calculations, and learning is performed by adjusting the amount of phase modulation.
- the neural network corresponding to the neural network unit 220 is configured to realize functions such as image reconstruction and classification using the feature map outputted as image data Da by the optical calculation device 110 as input. Yes, it may be realized as a neural network such as a convolutional neural network or a transformer.
- the optical neural network section 110 encodes the incident light La to generate the feature map Lc, and the image sensor 120 optically detects the feature map Lc to generate the image data Da. Ru.
- the optical neural network unit 110 by generating the feature map Lc by the optical neural network unit 110 before acquiring the image data Da by the image sensor 120, information can be compressed at low calculation cost and low power consumption. Therefore, calculation cost and power consumption can be suppressed.
- the optical neural network section 110 is configured by a plurality of phase difference elements 111. This eliminates the need to store the image data Da as digital data in a memory or the like, which not only makes it possible to suppress calculation costs and power consumption, but is also excellent in terms of security and privacy protection.
- the image sensor 120 is used to detect the feature map Lc.
- the feature amount map Lc can be efficiently converted into image data Da, which is digital data.
- a neural network unit 220 is provided in the information processing device 200. Thereby, by decoding the image data Da having a small data capacity, it is possible to generate reconstructed image data Db corresponding to the incident light La. As a result, data transmission with low communication capacity can be realized.
- the information processing device 200 may include a plurality of neural networks 220 (eg, 220A, 220B, 220C), as shown in FIG. 3, for example. Note that in this modification, for example, only at least two of the neural networks 220A, 220B, and 220C may be provided.
- the neural networks 220A, 220B, and 220C are connected to the output end of the interface section 210 in parallel with each other.
- Image data Da is input to the neural networks 220A, 220B, and 220C.
- Outputs from the neural networks 220A, 220B, and 220C are input to a common calculation unit 230, for example.
- the neural networks 220A, 220B, and 220C are, for example, arithmetic devices connected to the optical neural network section 110 via the image sensor 120, the interface section 130, the communication network 300, and the interface section 210.
- a neural network that realizes the functions of the neural network unit 220A is installed in the arithmetic unit that constitutes the neural network 220A.
- a neural network that realizes the functions of the neural network section 220B is installed in the arithmetic device that constitutes the neural network 220B.
- a neural network that realizes the functions of the neural network unit 220C is installed in the arithmetic unit that constitutes the neural network 220C.
- the neural network unit 220A generates reconstructed image data DbA corresponding to the incident light La or the input image light Lb, for example, by decoding the image data Da acquired from the optical calculation device 100.
- the neural network unit 220B generates a character classification DbB (for example, the number "0") included in the incident light La or the input image light Lb by decoding the image data Da acquired from the optical calculation device 100.
- the neural network unit 220C generates handwriting DbC of characters included in the incident light La or the input image light Lb (for example, Mr. Adam's handwriting) by decoding the image data Da acquired from the optical calculation device 100, for example. .
- the calculation unit 230 processes data (for example, reconstructed image data DbA, classification DbB, handwriting DbC) input from the plurality of neural networks 220 (for example, 220A, 220B, 220C).
- data for example, reconstructed image data DbA, classification DbB, handwriting DbC
- the plurality of neural networks 220 for example, 220A, 220B, 220C.
- image data Da acquired from the optical calculation device 100 is decoded in a plurality of neural networks 220, thereby generating a plurality of data (for example, reconstructed image data DbA, classification DbB, handwriting DbC). .
- This allows the calculation unit 230 to perform processing using at least one of the plurality of data.
- the optical calculation device 100 includes, for example, as shown in FIG. It may have.
- the object OB when the object OB is irradiated with the irradiation light Ld, reflected light is generated from the object OB. This reflected light becomes incident light La and enters the optical neural network 110.
- the irradiation light Ld is, for example, light with a single wavelength or light including multiple wavelengths (for example, light including red light, green light, and blue light, or light including wavelengths across the entire visible region). Good too.
- the irradiation light Ld may be, for example, monochromatic light or white light.
- the irradiation light Ld may be, for example, spherical wave light or collimated light.
- the irradiation light Ld may be, for example, non-polarized light or linearly polarized light.
- the light projector 140 may be, for example, a point light source or a light source capable of outputting structured light.
- the light projecting unit 140 may output the irradiation light Ld continuously in time, or may output the irradiation light Ld intermittently (that is, in a pulse shape).
- the calculation unit 230 may reconstruct the three-dimensional shape of the object OB based on the reconstructed image data Db. Furthermore, the calculation unit 230 may estimate the posture or orientation of the object OB based on the reconstructed image data Db. Furthermore, the calculation unit 230 may estimate the material of the object OB based on the reconstructed image data Db. When the object OB is made up of a plurality of members made of different materials, the calculation unit 230 may estimate the material of the object OB for each location of the object OB based on the reconstructed image data Db.
- the optical calculation device 100 generates a plurality of reflected lights by irradiating the object OB with the irradiation light Ld from a plurality of directions, as shown in FIG. 5, for example. It may be configured to allow
- the optical calculation device 100 includes, for example, as shown in FIG. It has a plurality of image sensors 120, one for each image sensor 110, and an interface section 150.
- the interface unit 150 outputs a plurality of image data Da obtained one by one for each image sensor 120 to the information processing device 200 via the communication network 300.
- the interface unit 210 combines a plurality of image data Da input via the communication network 300, and outputs the resulting image data Dc to the neural network 220.
- the neural network 220 estimates the three-dimensional shape of the object OB by decoding the image data Dc.
- the calculation unit 230 processes data on the three-dimensional shape of the object OB obtained by the neural network 220.
- a plurality of image data Da obtained one by one for each module including the optical neural network unit 110 and the image sensor 120 are output to the information processing device 200 via the communication network 300. This allows the information processing device 200 to perform more complex processing based on the image data Dc.
- the optical processing device 100 irradiates the optically addressed spatial light modulator 160 and the optically addressed spatial light modulator 160 with coherent light Le, as shown in FIG. 6, for example.
- the light source section 161 may also include a light source section 161.
- the optically addressed spatial light modulator 160 is an optical element made of a material whose optical characteristics change when irradiated with coherent light Le.
- materials whose optical properties change include photorefractive materials and photochromic materials.
- the optically addressable spatial light modulator 160 generates coherent light Le and incoherent light Lf, which is external light (for example, sunlight or indoor light), by irradiation with coherent light Le. It is designed to generate composite light (coherent light that includes phase information). This combined light becomes incident light La and enters the optical neural network 110.
- the incident light La is generated using the optically addressed spatial light modulator 160.
- the plurality of modulation elements 111 may be made of a birefringent material.
- a feature amount map Lc and image data Da are generated according to the vertically polarized light
- Reconstructed image data Db is generated according to the polarization.
- a feature amount map Lc and image data Da are generated according to the horizontally polarized light
- the horizontally polarized light Reconstructed image data Db is generated according to.
- information regarding polarization can be extracted in this way, so for example, image reconstruction can be performed for each of vertically polarized light and horizontally polarized light, and surface conditions can be estimated based on the ratio of polarized light directions. It becomes possible to
- the optical calculation device 100 may include a photodetector array 170 instead of the image sensor 120, for example, as shown in FIG.
- the readout speed can be increased compared to the image sensor 120, and the overall driving speed can be increased.
- the optical calculation device 100 may include an optical neural network 180 instead of the optical neural network 110, as shown in FIGS. 9 and 10, for example.
- Optical neural network 180 is provided before image sensor 120 or photodetector array 170.
- the optical neural network unit 180 encodes (light modulates) light input from the outside (for example, incident light La or input image light Lb) using a plurality of modulation elements 181. It is configured with hardware that outputs a feature quantity map Lc according to the optical characteristics of the plurality of modulation elements 181 as a light intensity distribution.
- Each modulation element 181 is, for example, a spatial light modulation liquid crystal element or a MEMS mirror.
- the plurality of modulation elements 181 are physically implemented encoders obtained by learning with learning model software, which will be described later.
- the “learning model software” is a learning model that imitates a neural network in which the optical neural network section 180 and the neural network section 220 are connected end-to-end.
- the neural network corresponding to the optical neural network unit 180 includes, for example, an input layer, an intermediate layer, and an output layer.
- the neural network corresponding to the neural network unit 220 includes, for example, an input layer, an intermediate layer, and an output layer.
- Each layer comprises one or more neurons. Neurons in adjacent layers are connected to each other, and a weight (connection weight) is set for each connection. The number of neuron connections may be set as appropriate. A threshold value is set for each neuron, and the output value of each neuron is determined, for example, depending on whether the sum of the products of the input value and the weight for each neuron exceeds the threshold value.
- the optical arithmetic device 100 further includes a drive section 190 that switches the weights of the plurality of modulation elements 181, for example, as shown in FIG.
- the drive unit 190 switches the weights of the plurality of modulation elements 181 based on the control signal Dout input from the information processing device 200.
- the optical neural network 180 outputs a new feature amount map Lc as a light intensity distribution every time the weights of the plurality of modulation elements 181 are switched.
- the information processing device 200 includes an interface unit 240 that generates the control signal Dout based on the reconstructed image data Db obtained from the calculation unit 230, as shown in FIG. 12, for example. .
- the interface unit 240 outputs the generated control signal Dout to the optical processing device 100 via the communication network 500.
- the communication network 300 may also serve as the communication network 500, or the communication network 500 may be provided separately from the communication network 300.
- a plurality of modulation elements 181 whose weights can be switched are provided. This makes it possible to increase the gradation of the reconstructed image data Db. Furthermore, it is also possible to sequentially train the optical neural network section 180 based on the output of the neural network section 220 (decoder), and it is also possible to generate highly accurate reconstructed image data Db.
- [Modification H] 13 and 14 show a modification of the optical processing system 1 including the optical processing device 100 according to modification G above.
- the optical calculation processing system 1 may include, for example, a calculation device 600 and an image display device 700, as shown in FIGS. 13 and 14.
- the image display device 700 generates various types of image light (input image light Lb) necessary for machine learning on the optical neural network 180.
- the image display device 700 generates various types of image light (input image light Lb) based on the control signal Ctr1 input from the arithmetic device 600, for example.
- the image display device 700 outputs, for example, various generated image lights (input image light Lb) to the optical calculation device 100 (optical neural network unit 180).
- the image display device 700 includes, for example, a liquid crystal display panel or an organic EL display panel.
- the arithmetic device 600 uses machine learning to adjust the phase amount (weight) of each modulation element 181 included in the optical neural network 180.
- phase amount weight
- the arithmetic unit 600 uses machine learning to adjust the phase amount (weight) of each modulation element 181 included in the optical neural network 180.
- the calculation device 600 includes an image acquisition section 610, a model calculation section 620, a gradient calculation section 630, a phase update section 640, and a drive section 650.
- Software that realizes the functions of the arithmetic device 600 is installed in the arithmetic device 600, and the arithmetic device 600 realizes the functions of the arithmetic device 600 by executing the software.
- Computing device 600 includes at least one processor, such as at least one processor (e.g., central processing unit (CPU)), at least one application specific integrated circuit (ASIC), and/or at least one field programmable gate array (FPGA). It can be implemented by a circuit including two semiconductor integrated circuits. At least one processor is configurable to perform all or some of the various functions in computing device 600 by reading instructions from at least one non-transitory, tangible, computer-readable medium. Such media can take a variety of forms, including various magnetic media such as hard disks, various optical media such as CDs or DVDs, and various semiconductor memories (i.e., semiconductor circuits) such as volatile or non-volatile memories, but It is not limited to these. Volatile memory may include DRAM and SRAM.
- processor e.g., central processing unit (CPU)
- ASIC application specific integrated circuit
- FPGA field programmable gate array
- At least one processor is configurable to perform all or some of the various functions in computing device 600 by reading instructions from at least one non-transi
- Non-volatile memory may include ROM and NVRAM.
- An ASIC is an integrated circuit (IC) that is specialized to perform all or some of the various functions in computing device 600.
- FPGAs are integrated circuits designed to be configurable after manufacture to perform all or some of the various functions in computing device 600.
- the image acquisition unit 610 acquires image data Da and Db from the neural network units 180 and 220, and outputs the acquired image data Da and Db to the gradient calculation unit 630 as light intensity distribution data I1 .
- the model calculation unit 620 calculates light intensity distribution data I 2 (image data) for learning based on, for example, equations (1), (2), (3), and (4) shown in FIG. It is generated and output to the gradient calculation section 630.
- Equations (1), (2), (3), and (4) are Rayleigh-Sommerfeld formulas.
- x and y are the coordinates of each pixel of the modulation element 181.
- the method of generating the light intensity distribution data I2 in the model calculation unit 620 is not limited to the above.
- L is a loss function and ⁇ is a phase distribution.
- equation (1) is an equation for calculating the intensity distribution from the optical complex amplitude distribution.
- Equation (2) is the Rayleigh-Sommerfeld formula.
- Equation (3) is an auxiliary equation of equation (2).
- Equation (4) is an auxiliary equation of equation (2).
- the meaning of each symbol is as follows. h(x,y,z): Rayleigh-Sommerfeld formula integral kernel ⁇ : Phase distribution displayed on SLM ⁇ : Light wavelength
- the gradient calculation unit 630 inputs the light intensity distribution data I1 acquired from the image acquisition unit 610 and the light intensity distribution data I2 acquired from the model calculation unit 620 into equation (5) of FIG. , a gradient (differential value ( ⁇ L/ ⁇ )) for the phase distribution of the loss function L is derived.
- the gradient calculation unit 630 outputs the derived differential value ( ⁇ L/ ⁇ ) to the phase update unit 640.
- the light intensity distribution data I2 in the model calculation unit 620 is used as the light intensity distribution data in the right term. This is because how a minute change in phase distribution affects the actually measured intensity distribution is a black box.
- the left term uses the light intensity distribution data I1 acquired from the image acquisition unit 610 as the light intensity distribution data. This means that the term on the left side of the right side of equation (5) indicates how a small change in the intensity distribution affects the loss function L, and it can be precisely calculated using the actually measured intensity distribution. This is because calculation is possible.
- the phase update unit 640 updates the phase amount obtained in the previous step based on the differential value ( ⁇ L/ ⁇ ) obtained from the gradient calculation unit 630.
- the phase update unit 640 updates the phase amount obtained in the previous step, for example, based on equation (6) in FIG. 15.
- ⁇ is the learning rate.
- the phase update unit 640 outputs the derived phase amount to the drive unit 650.
- the drive unit 650 outputs the phase amount of each modulation element 181 included in the optical neural network 180 to the optical neural network 180 as a control signal Ctr2. Thereby, the driving section 650 sets the phase amount of each modulation element 181 included in the optical neural network 180 to the phase amount acquired from the phase updating section 640.
- the phase amount of each modulation element 181 included in the optical neural network 180 is adjusted by machine learning by the arithmetic device 600.
- the arithmetic device 600 As a result, for example, it becomes possible to perform image reconstruction with high accuracy in the neural network unit 220 (or 220A), it becomes possible to classify characters with high accuracy in the neural network unit 220B, and it becomes possible to accurately classify characters in the neural network unit 220C. It becomes possible to judge handwriting with high accuracy.
- FIG. 16 shows a modification of the arithmetic device 600 according to modification H above.
- the arithmetic device 600 corresponds to a device in which the model calculation section 620 is omitted and a gradient calculation section 660 is provided in place of the gradient calculation section 630, as shown in FIG. 16, for example.
- each modulation element 181 is an element that can drive each pixel at high speed, by minutely changing the phase amount of each pixel of each modulation element 181 one by one, the gradient
- the calculation unit 660 can directly calculate ⁇ I1/ ⁇ (see equation (8)).
- the gradient calculation unit 660 calculates the gradient (differential The value ( ⁇ L/ ⁇ )) is derived.
- the gradient calculation unit 660 outputs the derived differential value ( ⁇ L/ ⁇ ) to the phase update unit 640.
- the technology according to the present disclosure can be applied to various products.
- the technology according to the present disclosure can be applied to any type of transportation such as a car, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility vehicle, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor), etc. It may also be realized as a device mounted on the body.
- FIG. 17 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile object control system to which the technology according to the present disclosure can be applied.
- Vehicle control system 7000 includes multiple electronic control units connected via communication network 7010.
- the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside vehicle information detection unit 7400, an inside vehicle information detection unit 7500, and an integrated control unit 7600. .
- the communication network 7010 connecting these plurality of control units is, for example, a communication network based on any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
- CAN Controller Area Network
- LIN Local Interconnect Network
- LAN Local Area Network
- FlexRay registered trademark
- Each control unit includes a microcomputer that performs calculation processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various devices to be controlled. Equipped with.
- Each control unit is equipped with a network I/F for communicating with other control units via the communication network 7010, and also communicates with devices or sensors inside and outside the vehicle through wired or wireless communication.
- a communication I/F is provided for communication.
- the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon receiving section 7650, an in-vehicle device I/F 7660, an audio image output section 7670, An in-vehicle network I/F 7680 and a storage unit 7690 are illustrated.
- the other control units similarly include a microcomputer, a communication I/F, a storage section, and the like.
- the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
- the drive system control unit 7100 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for a steering mechanism to adjust and a braking device to generate braking force for the vehicle.
- the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
- a vehicle state detection section 7110 is connected to the drive system control unit 7100.
- the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotation movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, or a steering wheel. At least one sensor for detecting angle, engine rotational speed, wheel rotational speed, etc. is included.
- the drive system control unit 7100 performs arithmetic processing using signals input from the vehicle state detection section 7110, and controls the internal combustion engine, the drive motor, the electric power steering device, the brake device, and the like.
- the body system control unit 7200 controls the operations of various devices installed in the vehicle body according to various programs.
- the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
- radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 7200.
- the body system control unit 7200 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
- the battery control unit 7300 controls the secondary battery 7310, which is a power supply source for the drive motor, according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including a secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
- the external information detection unit 7400 detects information external to the vehicle in which the vehicle control system 7000 is mounted. For example, at least one of an imaging section 7410 and an external information detection section 7420 is connected to the vehicle exterior information detection unit 7400.
- the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
- the vehicle external information detection unit 7420 includes, for example, an environmental sensor for detecting the current weather or weather, or a sensor for detecting other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors is included.
- the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunlight sensor that detects the degree of sunlight, and a snow sensor that detects snowfall.
- the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
- the imaging section 7410 and the vehicle external information detection section 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
- FIG. 18 shows an example of the installation positions of the imaging section 7410 and the vehicle external information detection section 7420.
- the imaging units 7910, 7912, 7914, 7916, and 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumper, back door, and upper part of the windshield inside the vehicle 7900.
- An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 7900.
- Imaging units 7912 and 7914 provided in the side mirrors mainly capture images of the sides of the vehicle 7900.
- An imaging unit 7916 provided in the rear bumper or back door mainly acquires images of the rear of the vehicle 7900.
- the imaging unit 7918 provided above the windshield inside the vehicle is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
- FIG. 18 shows an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
- Imaging range a indicates the imaging range of imaging unit 7910 provided on the front nose
- imaging ranges b and c indicate imaging ranges of imaging units 7912 and 7914 provided on the side mirrors, respectively
- imaging range d is The imaging range of an imaging unit 7916 provided in the rear bumper or back door is shown. For example, by superimposing image data captured by imaging units 7910, 7912, 7914, and 7916, an overhead image of vehicle 7900 viewed from above can be obtained.
- the external information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided at the front, rear, sides, corners, and the upper part of the windshield inside the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
- External information detection units 7920, 7926, and 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield inside the vehicle 7900 may be, for example, LIDAR devices.
- These external information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, and the like.
- the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image of the exterior of the vehicle, and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection section 7420 to which it is connected.
- the external information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
- the external information detection unit 7400 transmits ultrasonic waves or electromagnetic waves, and receives information on the received reflected waves.
- the external information detection unit 7400 may perform object detection processing such as a person, car, obstacle, sign, or characters on the road surface or distance detection processing based on the received information.
- the external information detection unit 7400 may perform environment recognition processing to recognize rain, fog, road surface conditions, etc. based on the received information.
- the vehicle exterior information detection unit 7400 may calculate the distance to the object outside the vehicle based on the received information.
- the outside-vehicle information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing people, cars, obstacles, signs, characters on the road, etc., based on the received image data.
- the outside-vehicle information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and also synthesizes image data captured by different imaging units 7410 to generate an overhead image or a panoramic image. Good too.
- the outside-vehicle information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
- the in-vehicle information detection unit 7500 detects in-vehicle information.
- a driver condition detection section 7510 that detects the condition of the driver is connected to the in-vehicle information detection unit 7500.
- the driver state detection unit 7510 may include a camera that images the driver, a biosensor that detects biometric information of the driver, a microphone that collects audio inside the vehicle, or the like.
- the biosensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of a passenger sitting on a seat or a driver holding a steering wheel.
- the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or determine whether the driver is dozing off. You may.
- the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
- the integrated control unit 7600 controls overall operations within the vehicle control system 7000 according to various programs.
- An input section 7800 is connected to the integrated control unit 7600.
- the input unit 7800 is realized by, for example, a device such as a touch panel, a button, a microphone, a switch, or a lever that can be inputted by the passenger.
- the integrated control unit 7600 may be input with data obtained by voice recognition of voice input through a microphone.
- the input unit 7800 may be, for example, a remote control device that uses infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that is compatible with the operation of the vehicle control system 7000. You can.
- the input unit 7800 may be, for example, a camera, in which case the passenger can input information using gestures. Alternatively, data obtained by detecting the movement of a wearable device worn by a passenger may be input. Further, the input section 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input section 7800 described above and outputs it to the integrated control unit 7600. By operating this input unit 7800, a passenger or the like inputs various data to the vehicle control system 7000 and instructs processing operations.
- the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, etc. Further, the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
- ROM Read Only Memory
- RAM Random Access Memory
- the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication with various devices existing in the external environment 7750.
- the general-purpose communication I/F7620 supports cellular communication protocols such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution), or LTE-A (LTE-Advanced). , or other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi (registered trademark)) or Bluetooth (registered trademark).
- the general-purpose communication I/F 7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point, for example. You may.
- the general-purpose communication I/F 7620 uses, for example, P2P (Peer To Peer) technology to communicate with a terminal located near the vehicle (for example, a driver, a pedestrian, a store terminal, or an MTC (Machine Type Communication) terminal). You can also connect it with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point, for example. You may.
- P2P Peer To Peer
- a terminal located near the vehicle for example, a driver, a pedestrian, a store terminal, or an MTC (Machine Type Communication) terminal. You can also connect it with
- the dedicated communication I/F 7630 is a communication I/F that supports communication protocols developed for use in vehicles.
- the dedicated communication I/F 7630 uses standard protocols such as WAVE (Wireless Access in Vehicle Environment), which is a combination of lower layer IEEE802.11p and upper layer IEEE1609, DSRC (Dedicated Short Range Communications), or cellular communication protocol. May be implemented.
- the dedicated communication I/F 7630 typically supports vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) communications, a concept that includes one or more of the following:
- the positioning unit 7640 performs positioning by receiving, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), and determines the latitude, longitude, and altitude of the vehicle. Generate location information including. Note that the positioning unit 7640 may specify the current location by exchanging signals with a wireless access point, or may acquire location information from a terminal such as a mobile phone, PHS, or smartphone that has a positioning function.
- GNSS Global Navigation Satellite System
- GPS Global Positioning System
- the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a wireless station installed on the road, and obtains information such as the current location, traffic jams, road closures, or required travel time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I/F 7630 described above.
- the in-vehicle device I/F 7660 is a communication interface that mediates connections between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
- the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
- the in-vehicle device I/F 7660 connects to USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile High).
- USB Universal Serial Bus
- HDMI registered trademark
- MHL Mobile High
- the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by a passenger, or an information device carried into or attached to the vehicle.
- the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination. or exchange data signals.
- the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
- the in-vehicle network I/F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
- the microcomputer 7610 of the integrated control unit 7600 communicates via at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon reception section 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
- the vehicle control system 7000 is controlled according to various programs based on the information obtained. For example, the microcomputer 7610 calculates a control target value for a driving force generating device, a steering mechanism, or a braking device based on acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Good too.
- the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or impact mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. Coordination control may be performed for the purpose of
- the microcomputer 7610 controls the driving force generating device, steering mechanism, braking device, etc. based on the acquired information about the surroundings of the vehicle, so that the microcomputer 7610 can drive the vehicle autonomously without depending on the driver's operation. Cooperative control for the purpose of driving etc. may also be performed.
- ADAS Advanced Driver Assistance System
- the microcomputer 7610 acquires information through at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon reception section 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680. Based on this, three-dimensional distance information between the vehicle and surrounding objects such as structures and people may be generated, and local map information including surrounding information of the current position of the vehicle may be generated. Furthermore, the microcomputer 7610 may predict dangers such as a vehicle collision, a pedestrian approaching, or entering a closed road, based on the acquired information, and generate a warning signal.
- the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
- the audio and image output unit 7670 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
- an audio speaker 7710, a display section 7720, and an instrument panel 7730 are illustrated as output devices.
- Display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
- the display section 7720 may have an AR (Augmented Reality) display function.
- the output device may be other devices other than these devices, such as headphones, a wearable device such as a glasses-type display worn by the passenger, a projector, or a lamp.
- the output device When the output device is a display device, the display device displays results obtained from various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, graphs, etc. Show it visually. Further, when the output device is an audio output device, the audio output device converts an audio signal consisting of reproduced audio data or acoustic data into an analog signal and audibly outputs the analog signal.
- control units connected via the communication network 7010 may be integrated as one control unit.
- each control unit may be composed of a plurality of control units.
- vehicle control system 7000 may include another control unit not shown.
- some or all of the functions performed by one of the control units may be provided to another control unit. In other words, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any one of the control units.
- sensors or devices connected to any control unit may be connected to other control units, and multiple control units may send and receive detection information to and from each other via communication network 7010. .
- a computer program for realizing each function of the optical processing system 1 described using FIGS. 1 to 16 and the like can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
- the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
- the above computer program may be distributed, for example, via a network, without using a recording medium.
- the optical processing system 1 described using FIGS. 1 to 16 and the like can be used, for example, as a light source steering unit of LIDAR as an environmental sensor. Further, image recognition in the imaging section can also be performed by an optical computing unit using the optical processing system 1 described using FIGS. 1 to 16 and the like.
- the optical processing system 1 described using FIGS. 1 to 16 and the like is used as a highly efficient and bright projection device, lines and characters can be projected onto the ground. Specifically, it can display lines so that people outside the vehicle can see where the car is passing when backing up, and it can display crosswalks with lights when giving way to pedestrians.
- the components of the optical processing system 1 described using FIGS. 1 to 16 etc. are a module for the integrated control unit 7600 shown in FIG. (integrated circuit module).
- the optical processing system 1 described using FIGS. 1 to 16 and the like may be realized by a plurality of control units of the vehicle control system 7000 shown in FIG. 17.
- the present disclosure can take the following configuration.
- an optical neural network section consisting of hardware that outputs a feature map as an intensity distribution by encoding incident light; a light detection unit that generates image data by optically detecting the feature map; and an output section that outputs the image data to an external communication network.
- the optical neural network section includes a plurality of phase difference elements or a plurality of metasurfaces.
- the optical neural network section includes a plurality of spatial light modulation liquid crystal elements or a plurality of MEMS mirrors.
- the optical arithmetic device includes: an optical neural network section composed of hardware that outputs a feature map as a light intensity distribution by encoding incident light; a light detection unit that generates image data by optically detecting the feature map; an output unit that outputs the image data to the information processing device via the communication network;
- the information processing device includes a processing unit that processes the image data obtained from the optical processing device via the communication network.
- Optical processing system (7) The optical processing system according to (6), wherein the optical neural network section includes a plurality of phase difference elements or a plurality of metasurfaces.
- optical processing system includes a plurality of spatial light modulation liquid crystal elements or a plurality of MEMS mirrors.
- the light detection section includes an image sensor or a photodetector array.
- the processing unit includes a neural network unit that generates reconstructed image data corresponding to the incident light by decoding the image data. system.
- the processing unit reconstructs a three-dimensional shape of an object irradiated with the irradiation light based on the reconstructed image data.
- the processing unit estimates the posture or orientation of the object irradiated with the irradiation light based on the reconstructed image data.
- the processing unit estimates the material of the object to which the irradiation light is irradiated, based on the reconstructed image data.
- the light projecting unit is configured to generate a plurality of reflected lights by irradiating the object with the irradiation light from a plurality of directions
- the optical arithmetic device includes: a plurality of optical neural network units, one for each of the reflected lights; and a plurality of the light detection units, one for each of the optical neural network units,
- the processing unit includes: a first neural network unit that generates reconstructed image data corresponding to the incident light by decoding the image data; a second neural network unit that generates a classification of characters included in the incident light by decoding the image data; and a second neural network unit that generates handwriting of the characters included in the incident light by decoding the image data.
- the optical processing system according to any one of (6) to (16), including at least two of the third neural network units.
- the optical arithmetic device includes: further comprising: an optically addressable spatial light modulator; and a light source unit that irradiates coherent light to the optically addressable spatial light modulator,
- processing system The optical processing system according to any one of (6) to (18), wherein the optical neural network section includes a plurality of retardation elements made of a birefringent material.
- the processing unit includes a neural network unit that generates reconstructed image data corresponding to the incident light by decoding the image data, Based on the reconstructed image data and the image data obtained by model calculation, a differential value, which is the gradient of the loss function with respect to the phase distribution, is derived, and based on the derived differential value, the optical neural network section
- a differential value which is a gradient of the loss function with respect to the phase distribution, is derived, and based on the derived differential value, the phase amount to be output to the optical neural network section is determined.
- the optical processing system further comprising an updating processing device.
- the processing unit includes a neural network unit that generates reconstructed image data corresponding to the incident light by decoding the image data, further comprising an arithmetic device that derives a differential value that is a gradient of a phase distribution of a loss function based on the reconstructed image data, and updates a phase amount output to the optical neural network unit based on the derived differential value.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Neurology (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Neurosurgery (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本開示の一実施の形態に係る光演算装置は、光演算装置は、光ニューラルネットワーク部と、光検出部と、出力部とを備える。光ニューラルネットワーク部は、入射光をエンコードすることにより特徴量マップを光強度分布として出力するハードウェアで構成される。光検出部は、特徴量マップを光検出することにより画像データを生成する。出力部は、画像データを外部の通信ネットワークに出力する。
Description
本開示は、光演算装置および光演算処理システムに関する。
近年、ニューラルネットワークによって抽出されたメタデータやそれに類する特徴量のみを送信することで通信容量を削減する技術が注目されている。
しかし、ニューラルネットワークによる特徴量の抽出は、計算コストが高く、エッジデバイス上での消費電力が大きくなってしまうという問題があった。従って、計算コストおよび消費電力を抑制することの可能な光演算装置、およびそれを備えた光演算処理システムを提供することが望ましい。
本開示の第1の側面に係る光演算装置は、光ニューラルネットワーク部と、光検出部と、出力部とを備える。光ニューラルネットワーク部は、入射光をエンコードすることにより特徴量マップを光強度分布として出力するハードウェアで構成される。光検出部は、特徴量マップを光検出することにより画像データを生成する。出力部は、画像データを外部の通信ネットワークに出力する。
本開示の第2の側面に係る光演算処理システムは、通信ネットワークを介して互いに通信可能な光演算装置および情報処理装置を備える。光演算装置は、光ニューラルネットワーク部と、光検出部と、出力部とを有する。光ニューラルネットワーク部は、入射光をエンコードすることにより特徴量マップを光強度分布として出力するハードウェアで構成される。光検出部は、特徴量マップを光検出することにより画像データを生成する。出力部は、画像データを、通信ネットワークを介して情報処理装置に出力する。情報処理装置は、通信ネットワークを介して光演算装置から得られた画像データを処理する処理部を有する。
本開示の第1の側面に係る光演算装置、および本開示の第2の側面に係る光演算処理システムでは、光ニューラルネットワーク部によって入射光をエンコードすることにより特徴量マップが生成され、特徴量マップを光検出部で光検出することにより画像データが生成される。このように、光検出部での画像データ取得前に光ニューラルネットワーク部によって特徴量マップが生成されることにより、低計算コストかつ低消費電力での情報圧縮を行うことができる。
以下、本開示を実施するための形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.実施の形態(図1、図2)
2.変形例(図3~図16)
3.応用例(図17、図18)
1.実施の形態(図1、図2)
2.変形例(図3~図16)
3.応用例(図17、図18)
<1.実施の形態>
[構成]
図1は、本開示の一実施の形態に係る光演算処理システム1の概略構成例を表したものである。光演算処理システム1は、光ニューラルネットワーク部110とニューラルネットワーク部220とが通信ネットワーク300を介して接続された低通信容量型のシステムである。光演算処理システム1は、光演算装置100および情報処理装置200を備えている。光演算装置100および情報処理装置200は、通信ネットワーク300を介して互いに通信可能に構成されている。
[構成]
図1は、本開示の一実施の形態に係る光演算処理システム1の概略構成例を表したものである。光演算処理システム1は、光ニューラルネットワーク部110とニューラルネットワーク部220とが通信ネットワーク300を介して接続された低通信容量型のシステムである。光演算処理システム1は、光演算装置100および情報処理装置200を備えている。光演算装置100および情報処理装置200は、通信ネットワーク300を介して互いに通信可能に構成されている。
光演算装置100は、光ニューラルネットワーク部110、イメージセンサ120およびインターフェース部130(出力部)を有している。情報処理装置200は、インターフェース部210、ニューラルネットワーク部220および演算部230を有している。インターフェース部130、210は、通信ネットワーク300を介して互いに通信を行うことの可能なインターフェースで構成されている。通信ネットワーク300は、例えば、USB、Bluetooth(登録商標)などのPAN(Personal Area Network)、イーサネット(登録商標)、IEEE802.11などのLAN(Local Area Network)、WAN(Wide Area Network)などの任意の通信ネットワークでよい。
光ニューラルネットワーク部110は、イメージセンサ120の前段に設けられている。光ニューラルネットワーク部110は、外部から入力された光(例えば、入射光La、または後述の入力画像光Lb)を複数の変調素子111によってエンコード(光変調)することにより、複数の変調素子111の光学特性に応じた特徴量マップLcを光強度分布として出力するハードウェアで構成されている。
ここで、上記の「ハードウェア」は、例えば、図2に示したように、所定の間隙を介して一列に配置された複数の変調素子111によって構成されている。変調素子111については、後に詳述する。
入力画像光Lbは、例えば、図2に示したように、外部から入射した入射光Laのうち、アパーチャ400を透過した光(透過光)である。アパーチャ400は、透過光(入力画像光Lb)が例えば図2に示したような数字の「0」を表す光となるような開口パターンを有している。なお、アパーチャ400は、入力画像光Lbとして数字の「0」を表す光を得るために便宜的に設けられたものであり、光演算処理システム1における任意の構成要素である。
イメージセンサ120は、光ニューラルネットワーク部110から出力された特徴量マップLcを光検出することにより画像データDaを生成する。イメージセンサ120は、例えば、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子である。インターフェース部130は、イメージセンサ120で生成された画像データDaを、通信ネットワーク300を介して情報処理装置200に出力する。
インターフェース部130は、イメージセンサ120で生成された画像データDaを、通信ネットワーク300を介して情報処理装置200に出力する。インターフェース部210は、画像データDaを、通信ネットワーク300を介して光演算装置100から取得する。情報処理装置200は、通信ネットワーク300を介して光演算装置100から得られた画像データDaを処理する。
ニューラルネットワーク部220は、例えば、イメージセンサ120、インターフェース部130、通信ネットワーク300およびインターフェース部210を介して光ニューラルネットワーク部110と連結された演算装置である。この演算装置には、ニューラルネットワーク部220の機能を実現するニューラルネットワークが実装されている。ニューラルネットワーク部220は、例えば、光演算装置100から取得した画像データDaをデコードすることにより、入射光Laまたは入力画像光Lbに対応する再構成画像データDbを生成する。
演算部230は、ニューラルネットワーク部220で生成された再構成画像データDbを処理する演算装置である。演算部230は、例えば、CPU(Central Processing Unit)およびGPU(Graphics Processing Unit)を含んで構成されている。この演算部230には、演算部230の機能を実現するソフトウェアが実装されており、演算部230は、そのソフトウェアを実行することにより、演算部230の機能を実現する。
次に、変調素子111について説明する。各変調素子111は、例えば、位相差素子またはメタサーフェスである。複数の変調素子111は、後述の学習モデルソフトウェアに学習させることにより得られたエンコーダを物理的に実装したものである。
ここで、「学習モデルソフトウェア」は、光ニューラルネットワーク部110およびニューラルネットワーク部220をend-to-endで連結したニューラルネットワークを模した学習モデルである。「学習モデルソフトウェア」において、光ニューラルネットワーク部110に対応するニューラルネットワークは、物理法則にもとづいて実際の光学系を学習可能な物理モデルとしてソフトウェア上に実装したものであり、具体的には、微分可能な光回折計算および位相変調計算から構成されており、位相変調量の調節によって学習が行われたものである。「学習モデルソフトウェア」において、ニューラルネットワーク部220に対応するニューラルネットワークは、光演算装置110により画像データDaとして出力された特徴マップを入力として、画像の再構成や分類などの機能を実現するものであり、畳み込みニューラルネットワーク、Transformerなどのニューラルネットワークとして実現されてよい。
[効果]
次に、光演算処理システム1の効果について説明する。
次に、光演算処理システム1の効果について説明する。
近年、ニューラルネットワークによって抽出されたメタデータやそれに類する特徴量のみを送信することで通信容量を削減する技術が注目されている。しかし、ニューラルネットワークによる特徴量の抽出は、計算コストが高く、エッジデバイス上での消費電力が大きくなってしまうという問題があった。
一方、本実施の形態では、光ニューラルネットワーク部110によって入射光Laをエンコードすることにより特徴量マップLcが生成され、特徴量マップLcをイメージセンサ120で光検出することにより画像データDaが生成される。このように、イメージセンサ120での画像データDa取得前に光ニューラルネットワーク部110によって特徴量マップLcが生成されることにより、低計算コストかつ低消費電力での情報圧縮を行うことができる。従って、計算コストおよび消費電力を抑制することができる。
本実施の形態では、光ニューラルネットワーク部110が複数の位相差素子111によって構成されている。これにより、画像データDaをデジタルデータとしてメモリ等に格納しておく必要がないので、計算コストおよび消費電力を抑制することができるだけでなく、セキュリティやプライバシーの保護の観点でも優れている。
本実施の形態では、特徴量マップLcの検出にイメージセンサ120が用いられている。これにより、特徴量マップLcを効率よく、デジタルデータである画像データDaに変換することができる。
本実施の形態では、ニューラルネットワーク部220が情報処理装置200に設けられている。これにより、データ容量の小さな画像データDaをデコードすることにより、入射光Laに対応する再構成画像データDbを生成することができる。その結果、低通信容量でのデータ伝送を実現することができる。
<2.変形例>
次に、上記実施の形態に係る光演算処理システム1の変形例について説明する。以下では、共通の構成要素に対しては、共通の符号を付与し、共通の構成要素についての説明を適宜、省略するものとする。
次に、上記実施の形態に係る光演算処理システム1の変形例について説明する。以下では、共通の構成要素に対しては、共通の符号を付与し、共通の構成要素についての説明を適宜、省略するものとする。
[変形例A]
上記実施の形態において、情報処理装置200は、例えば、図3に示したように、複数のニューラルネットワーク220(例えば、220A,220B,220C)を有していてもよい。なお、本変形例において、例えば、ニューラルネットワーク220A,220B,220Cのうち少なくとも2つだけが設けられていてもよい。
上記実施の形態において、情報処理装置200は、例えば、図3に示したように、複数のニューラルネットワーク220(例えば、220A,220B,220C)を有していてもよい。なお、本変形例において、例えば、ニューラルネットワーク220A,220B,220Cのうち少なくとも2つだけが設けられていてもよい。
ニューラルネットワーク220A,220B,220Cは、インターフェース部210の出力端に互いに並列に接続されている。ニューラルネットワーク220A,220B,220Cには、画像データDaが入力される。ニューラルネットワーク220A,220B,220Cからの出力は、例えば、共通の演算部230に入力される。
ニューラルネットワーク220A,220B,220Cは、例えば、イメージセンサ120、インターフェース部130、通信ネットワーク300およびインターフェース部210を介して光ニューラルネットワーク部110と連結された演算装置である。ニューラルネットワーク220Aを構成する演算装置には、ニューラルネットワーク部220Aの機能を実現するニューラルネットワークが実装されている。ニューラルネットワーク220Bを構成する演算装置には、ニューラルネットワーク部220Bの機能を実現するニューラルネットワークが実装されている。ニューラルネットワーク220Cを構成する演算装置には、ニューラルネットワーク部220Cの機能を実現するニューラルネットワークが実装されている。
ニューラルネットワーク部220Aは、例えば、光演算装置100から取得した画像データDaをデコードすることにより、入射光Laまたは入力画像光Lbに対応する再構成画像データDbAを生成する。ニューラルネットワーク部220Bは、例えば、光演算装置100から取得した画像データDaをデコードすることにより、入射光Laまたは入力画像光Lbに含まれる文字の分類DbB(例えば、数字の“0”)を生成する。ニューラルネットワーク部220Cは、例えば、光演算装置100から取得した画像データDaをデコードすることにより、入射光Laまたは入力画像光Lbに含まれる文字の筆跡DbC(例えば、Adam氏の筆跡)を生成する。
演算部230は、複数のニューラルネットワーク220(例えば、220A,220B,220C)から入力されるデータ(例えば、再構成画像データDbA、分類DbB、筆跡DbC)を処理する。
本変形例では、光演算装置100から取得した画像データDaが複数のニューラルネットワーク220においてデコードされることにより、複数のデータ(例えば、再構成画像データDbA、分類DbB、筆跡DbC)が生成される。これにより、演算部230において、複数のデータのうち少なくとも1つを用いた処理を行うことができる。
[変形例B]
上記実施の形態およびその変形例において、光演算装置100は、例えば、図4に示したように、照射光Ldを生成し、照射光Ldの反射光により入射光Laを生成する投光部140を有していてもよい。例えば、図4に示したように、照射光Ldによって物体OBが照射されることにより、物体OBから反射光が生成される。この反射光が入射光Laとなって光ニューラルネットワーク110に入射する。
上記実施の形態およびその変形例において、光演算装置100は、例えば、図4に示したように、照射光Ldを生成し、照射光Ldの反射光により入射光Laを生成する投光部140を有していてもよい。例えば、図4に示したように、照射光Ldによって物体OBが照射されることにより、物体OBから反射光が生成される。この反射光が入射光Laとなって光ニューラルネットワーク110に入射する。
照射光Ldは、例えば、単波長の光、または、複数波長を含む光(例えば、赤色光、緑色光および青色光を含む光、または、可視領域全体に渡る波長を含む光)となっていてもよい。照射光Ldは、例えば、単色光となっていてもよいし、白色光となっていてもよい。照射光Ldは、例えば、球面波の光であってもよいし、コリメート光であってもよい。照射光Ldは、例えば、無偏光光であってもよいし、直線偏光光であってもよい。
投光部140は、例えば、点光源であってもよいし、構造光を出力可能な光源であってもよい。投光部140は、例えば、照射光Ldを時間的に連続して出力してもよいし、照射光Ldを時間的に断続して(つまりパルス状に)出力してもよい。
本変形例では、照射光Ldによって物体OBが照射されることにより生成される反射光が入射光Laとなって光ニューラルネットワーク110に入射する。これにより、照射光Ldの性質に応じた画像データDaおよび再構成画像データDbが得られる。その結果、演算部230は、再構成画像データDbに基づいて、物体OBの3次元形状を再構成してもよい。また、演算部230は、再構成画像データDbに基づいて、物体OBの姿勢もしくは向きを推定してもよい。また、演算部230は、再構成画像データDbに基づいて、物体OBの材質を推定してもよい。物体OBが材料の異なる複数の部材によって構成されている場合には、演算部230は、再構成画像データDbに基づいて、物体OBの材質を、物体OBの場所ごとに推定してもよい。
[変形例C]
上記実施の形態およびその変形例において、光演算装置100は、例えば、図5に示したように、物体OBに対して複数の方向から照射光Ldを照射することにより、複数の反射光を生成させるように構成されていてもよい。
上記実施の形態およびその変形例において、光演算装置100は、例えば、図5に示したように、物体OBに対して複数の方向から照射光Ldを照射することにより、複数の反射光を生成させるように構成されていてもよい。
このとき、光演算装置100は、例えば、図5に示したように、複数の投光部140と、反射光ごとに1つずつ設けられた複数の光ニューラルネットワーク部110と、光ニューラルネットワーク部110ごとに1つずつ設けられた複数のイメージセンサ120と、インターフェース部150とを有している。インターフェース部150は、イメージセンサ120ごとに1つずつ得られた複数の画像データDaを、通信ネットワーク300を介して情報処理装置200に出力する。
情報処理装置200において、インターフェース部210は、通信ネットワーク300を介して入力された複数の画像データDaを結合し、それにより得られた画像データDcをニューラルネットワーク220に出力する。ニューラルネットワーク220は、画像データDcをデコードすることにより、物体OBの3次元形状を推定する。演算部230は、ニューラルネットワーク220で得られた物体OBの3次元形状のデータを処理する。
本変形例では、光ニューラルネットワーク部110およびイメージセンサ120を含むモジュールごとに1つずつ得られた複数の画像データDaが、通信ネットワーク300を介して情報処理装置200に出力される。これにより、情報処理装置200において、画像データDcに基づいた、より複雑な処理を行うことが可能となる。
[変形例D]
上記実施の形態およびその変形例において、光演算装置100は、例えば、図6に示したように、光アドレス式空間光変調素子160と、光アドレス式空間光変調素子160にコヒーレント光Leを照射する光源部161とを有していてもよい。
上記実施の形態およびその変形例において、光演算装置100は、例えば、図6に示したように、光アドレス式空間光変調素子160と、光アドレス式空間光変調素子160にコヒーレント光Leを照射する光源部161とを有していてもよい。
光アドレス式空間光変調素子160は、コヒーレント光Leを照射することにより光学特性が変化する材料によって構成された光学素子である。上記「光学特性が変化する材料」としては、例えば、フォトリフラクティブ材料、または、フォトクロミック材料などが挙げられる。
光アドレス式空間光変調素子160は、例えば、図6に示したように、コヒーレント光Leの照射により、コヒーレント光Leと、外光(例えば、太陽光または室内光)であるインコヒーレント光Lfとの合成光(位相情報を含むコヒーレント光)を生成するようになっている。この合成光が入射光Laとなって光ニューラルネットワーク110に入射する。
本変形例では、光アドレス式空間光変調素子160を利用して入射光Laが生成される。これにより、光電場と位相との関係に非線形性を持たせることができるので、入射光Laまたは入力画像光Lbに対応する再構成画像データDbを精度よく生成することができる。
[変形例E]
上記実施の形態およびその変形例において、複数の変調素子111が複屈折材料で構成されていてもよい。このとき、例えば、図7に示したように、入射光Laとして縦偏光光が光ニューラルネットワーク110に入射した場合には、縦偏光に応じた特徴量マップLcおよび画像データDaが生成され、縦偏光に応じた再構成画像データDbが生成される。また、例えば、図7に示したように、入射光Laとして横偏光光が光ニューラルネットワーク110に入射した場合には、横偏光に応じた特徴量マップLcおよび画像データDaが生成され、横偏光に応じた再構成画像データDbが生成される。本変形例では、このように、偏光に関する情報を抽出することができるので、例えば、縦偏光および横偏光のそれぞれで、画像再構成を行ったり、偏光方向の割合に基づく表面状態の推定を行ったりすることが可能となる。
上記実施の形態およびその変形例において、複数の変調素子111が複屈折材料で構成されていてもよい。このとき、例えば、図7に示したように、入射光Laとして縦偏光光が光ニューラルネットワーク110に入射した場合には、縦偏光に応じた特徴量マップLcおよび画像データDaが生成され、縦偏光に応じた再構成画像データDbが生成される。また、例えば、図7に示したように、入射光Laとして横偏光光が光ニューラルネットワーク110に入射した場合には、横偏光に応じた特徴量マップLcおよび画像データDaが生成され、横偏光に応じた再構成画像データDbが生成される。本変形例では、このように、偏光に関する情報を抽出することができるので、例えば、縦偏光および横偏光のそれぞれで、画像再構成を行ったり、偏光方向の割合に基づく表面状態の推定を行ったりすることが可能となる。
[変形例F]
上記実施の形態およびその変形例において、光演算装置100は、例えば、図8に示したように、イメージセンサ120の代わりに、フォトディテクタアレイ170を有していてもよい。このようにした場合には、イメージセンサ120と比べて、読み出し速度を速くすることができ、全体の駆動速度を速くすることができる。
上記実施の形態およびその変形例において、光演算装置100は、例えば、図8に示したように、イメージセンサ120の代わりに、フォトディテクタアレイ170を有していてもよい。このようにした場合には、イメージセンサ120と比べて、読み出し速度を速くすることができ、全体の駆動速度を速くすることができる。
[変形例G]
上記実施の形態およびその変形例において、光演算装置100は、例えば、図9,図10に示したように、光ニューラルネットワーク110の代わりに、光ニューラルネットワーク180を有していてもよい。光ニューラルネットワーク180は、イメージセンサ120もしくはフォトディテクタアレイ170の前段に設けられている。光ニューラルネットワーク部180は、例えば、図11に示したように、外部から入力された光(例えば、入射光La、または入力画像光Lb)を複数の変調素子181によってエンコード(光変調)することにより、複数の変調素子181の光学特性に応じた特徴量マップLcを光強度分布として出力するハードウェアで構成されている。
上記実施の形態およびその変形例において、光演算装置100は、例えば、図9,図10に示したように、光ニューラルネットワーク110の代わりに、光ニューラルネットワーク180を有していてもよい。光ニューラルネットワーク180は、イメージセンサ120もしくはフォトディテクタアレイ170の前段に設けられている。光ニューラルネットワーク部180は、例えば、図11に示したように、外部から入力された光(例えば、入射光La、または入力画像光Lb)を複数の変調素子181によってエンコード(光変調)することにより、複数の変調素子181の光学特性に応じた特徴量マップLcを光強度分布として出力するハードウェアで構成されている。
各変調素子181は、例えば、空間光変調液晶素子またはMEMSミラーである。複数の変調素子181は、後述の学習モデルソフトウェアに学習させることにより得られたエンコーダを物理的に実装したものである。
ここで、「学習モデルソフトウェア」は、光ニューラルネットワーク部180およびニューラルネットワーク部220をend-to-endで連結したニューラルネットワークを模した学習モデルである。「学習モデルソフトウェア」において、光ニューラルネットワーク部180に対応するニューラルネットワークは、例えば、入力層、中間層および出力層を含む。「学習モデルソフトウェア」において、ニューラルネットワーク部220に対応するニューラルネットワークは、例えば、入力層、中間層および出力層を含む。
各層は、1または複数のニューロンを備えている。互いに隣接する層のニューロン同士は結合されており、各結合には重み(結合荷重)が設定されている。ニューロンの結合数は、適宜設定されてよい。各ニューロンには閾値が設定されており、例えば、各ニューロンへの入力値と重みとの積の和が閾値を超えているか否かによって各ニューロンの出力値が決定される。
本変形例では、光演算装置100は、さらに、例えば、図11に示したように、複数の変調素子181の重みを切り替える駆動部190を有している。駆動部190は、情報処理装置200から入力される制御信号Doutに基づいて、複数の変調素子181の重みを切り替える。これにより、光ニューラルネットワーク180は、複数の変調素子181の重みが切り替えられる度に、新たな特徴量マップLcを光強度分布として出力する。
本変形例では、情報処理装置200は、例えば、図12に示したように、演算部230から得られた再構成画像データDbに基づいて制御信号Doutを生成するインターフェース部240を有している。インターフェース部240は、生成した制御信号Doutを、通信ネットワーク500を介して光演算装置100に出力する。なお、通信ネットワーク300が通信ネットワーク500を兼ねていてもよいし、通信ネットワーク500が通信ネットワーク300とは別体に設けられていてもよい。
本変形例では、重みを切り替え可能な複数の変調素子181が設けられている。これにより、再構成画像データDbの高階調化が可能となる。また、ニューラルネットワーク部220(デコーダ)の出力を元に光ニューラルネットワーク部180を逐次学習させることも可能となり、高精度な再構成画像データDbを生成することも可能となる。
[変形例H]
図13、図14は、上記変形例Gに係る光演算装置100を備えた光演算処理システム1の一変形例を表したものである。上記変形例Gにおいて、光演算処理システム1は、例えば、図13、図14に示したように、演算装置600と、画像表示デバイス700とを備えていてもよい。
図13、図14は、上記変形例Gに係る光演算装置100を備えた光演算処理システム1の一変形例を表したものである。上記変形例Gにおいて、光演算処理システム1は、例えば、図13、図14に示したように、演算装置600と、画像表示デバイス700とを備えていてもよい。
画像表示デバイス700は、光ニューラルネットワーク180に対する機械学習の際に必要となる種々の画像光(入力画像光Lb)を生成する。画像表示デバイス700は、例えば、演算装置600から入力される制御信号Ctr1に基づいて種々の画像光(入力画像光Lb)を生成する。画像表示デバイス700は、例えば、生成した種々の画像光(入力画像光Lb)を光演算装置100(光ニューラルネットワーク部180)に出力する。画像表示デバイス700は、例えば、液晶表示パネルまたは有機EL表示パネルを含んで構成されている。
演算装置600は、機械学習により、光ニューラルネットワーク180に含まれる各変調素子181の位相量(重み)を調整する。演算装置600による位相量の調整により、例えば、ニューラルネットワーク部220(もしくは220A)において精度良く画像再構成を行うことが可能となったり、ニューラルネットワーク部220Bにおいて精度良く文字を分類することが可能となったり、ニューラルネットワーク部220Cにおいて精度良く筆跡を判断することが可能となったりする。
演算装置600は、例えば、図15に示したように、画像取得部610、モデル計算部620、勾配計算部630、位相更新部640および駆動部650を有している。この演算装置600には、演算装置600の機能を実現するソフトウェアが実装されており、演算装置600は、そのソフトウェアを実行することにより、演算装置600の機能を実現する。
演算装置600は、少なくとも1つのプロセッサ(例えば、中央演算処理装置(CPU))、少なくとも1つの特定用途向け集積回路(ASIC)および/または少なくとも1つのフィールドプログラマブルゲートアレイ(FPGA)等の、少なくとも1つの半導体集積回路を含む回路によって実施可能である。少なくとも1つのプロセッサは、少なくとも1つの非一時的かつ有形のコンピュータ可読媒体から指示を読み込むことによって、演算装置600における各種機能のうちの全部または一部を実行するように構成可能である。そのような媒体は、ハードディスク等の各種磁気媒体、CDまたはDVD等の各種光媒体、揮発性メモリまたは不揮発性メモリ等の各種半導体メモリ(すなわち、半導体回路)を含む様々な形態をとり得るが、これらには限定されない。揮発性メモリは、DRAMおよびSRAMを含み得る。不揮発性メモリは、ROMおよびNVRAMを含み得る。ASICは、演算装置600における各種機能のうちの全部または一部を実行するように特化された集積回路(IC)である。FPGAは、演算装置600における各種機能のうちの全部または一部を実行するように、製造後に構成可能に設計された集積回路である。
画像取得部610は、ニューラルネットワーク部180,220から画像データDa,Dbを取得し、取得した画像データDa,Dbを光強度分布データI1として、勾配計算部630に出力する。
モデル計算部620は、例えば、図15に記載の式(1)、式(2)、式(3)および式(4)に基づいて、学習用の光強度分布データI2(画像データ)を生成し、勾配計算部630に出力する。式(1)、式(2)、式(3)および式(4)は、Rayleigh-Sommerfeld公式である。式(1)、式(2)、式(3)および式(4)において、x、yは変調素子181の各画素の座標である。モデル計算部620における光強度分布データI2の生成方法は、上記に限られるものではない。Lはロス関数であり、φは位相分布である。
ここで、式(1)は、光複素振幅分布より強度分布を計算する式である。式(2)は、Rayleigh-Sommerfeld公式である。式(3)は、式(2)の補助式である。式(4)は、式(2)の補助式である。また、各記号の意味は、下記の通りである。
h(x,y,z):Rayleigh-Sommerfeld公式の積分カーネル
φ:SLMに表示する位相分布
λ:光の波長
h(x,y,z):Rayleigh-Sommerfeld公式の積分カーネル
φ:SLMに表示する位相分布
λ:光の波長
勾配計算部630は、例えば、画像取得部610から取得した光強度分布データI1と、モデル計算部620から取得した光強度分布データI2とを図15の式(5)に入力することにより、ロス関数Lの位相分布に対する勾配(微分値(δL/δφ))を導出する。勾配計算部630は、例えば、導出した微分値(δL/δφ)を位相更新部640に出力する。
式(5)の右辺において、右側の項では、光強度分布データとしてモデル計算部620における光強度分布データI2が用いられる。これは、位相分布の微小変化が実測の強度分布に対してどのような影響を与えるかがブラックボックスとなっているためである。式(5)の右辺において、左側の項では、光強度分布データとして画像取得部610から取得した光強度分布データI1が用いられる。これは、式(5)の右辺における左側の項は、強度分布の微小変化がロス関数Lに対してどのような影響を与えるかを示したものであり、実測の強度分布を用いて厳密に計算可能となっているためである。
位相更新部640は、勾配計算部630から取得した微分値(δL/δφ)に基づいて、前のステップで求められた位相量を更新する。位相更新部640は、例えば、図15の式(6)に基づいて、前のステップで求められた位相量を更新する。式(6)において、γは学習率である。位相更新部640は、例えば、導出した位相量を駆動部650に出力する。
駆動部650は、光ニューラルネットワーク180に含まれる各変調素子181の位相量を制御信号Ctr2として光ニューラルネットワーク180に出力する。これにより、駆動部650は、光ニューラルネットワーク180に含まれる各変調素子181の位相量を、位相更新部640から取得した位相量に設定する。
本変形例では、光ニューラルネットワーク180に含まれる各変調素子181の位相量が演算装置600による機械学習によって調整される。これにより、例えば、ニューラルネットワーク部220(もしくは220A)において精度良く画像再構成を行うことが可能となったり、ニューラルネットワーク部220Bにおいて精度良く文字を分類することが可能となったり、ニューラルネットワーク部220Cにおいて精度良く筆跡を判断することが可能となったりする。
[変形例I]
図16は、上記変形例Hに係る演算装置600の一変形例を表したものである。上記変形例Hにおいて、演算装置600は、例えば、図16に示したように、モデル計算部620が省略され、勾配計算部630の代わりに勾配計算部660が設けられた装置に相当する。
図16は、上記変形例Hに係る演算装置600の一変形例を表したものである。上記変形例Hにおいて、演算装置600は、例えば、図16に示したように、モデル計算部620が省略され、勾配計算部630の代わりに勾配計算部660が設けられた装置に相当する。
本変形例では、光ニューラルネットワーク180に含まれる各変調素子181が、高速に各画素を駆動することの可能な素子となっている。各変調素子181が、例えば、500x500の画素で構成されているとする。このとき、各変調素子181の各画素の位相量を1つずつ変化させると、500x500=25万枚の画像が得られる。各変調素子181が、例えば、1GHzの駆動周波数で各画素を駆動することが可能となっている場合、各変調素子181からは、25万枚の画像が0.25msで出力可能である。このように、各変調素子181が、高速に各画素を駆動することの可能な素子となっている場合、各変調素子181の各画素の位相量を1つずつ微小に変化させることにより、勾配計算部660は、δI1/δφを直接計算することが可能となる(式(8)参照)。
勾配計算部660は、例えば、画像取得部610から取得した光強度分布データI1を図16の式(7)、式(8)に入力することにより、ロス関数Lの位相分布に対する勾配(微分値(δL/δφ))を導出する。勾配計算部660は、例えば、導出した微分値(δL/δφ)を位相更新部640に出力する。
本変形例では、δI1/δφが実測画像に基づいて得られる。これにより、上記変形例Hと比べて、画像再構成や文字分類、筆跡判断の性能を向上させることができる。
<3.応用例>
次に、上記実施の形態に係る光演算処理システム1の応用例について説明する。
次に、上記実施の形態に係る光演算処理システム1の応用例について説明する。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図17は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図17に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図17では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図18は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図18には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図17に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図17の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図17に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
なお、図1~図16等を用いて説明した光演算処理システム1の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム7000において、図1~図16等を用いて説明した光演算処理システム1は、例えば,環境センサとしてのLIDARの光源ステアリング部として用いることができる。また,撮像部における画像認識を、図1~図16等を用いて説明した光演算処理システム1を用いた光コンピューティングユニットで行うこともできる。図1~図16等を用いて説明した光演算処理システム1を、高効率・高輝度なプロジェクションデバイスとして用いた場合は,地面に線や文字を投影することができる。具体的には、車が後退する際に車外の人が車の通る位置が分かるように線を表示したり、歩行者に道を譲る場合に横断歩道を光で表示したりすることができる。
また、図1~図16等を用いて説明した光演算処理システム1の少なくとも一部の構成要素は、図17に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図1~図16等を用いて説明した光演算処理システム1が、図17に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。
以上、実施の形態およびその応用例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
また、例えば、本開示は以下のような構成を取ることができる。
(1)
入射光をエンコードすることにより特徴量マップを強度分布として出力するハードウェアで構成された光ニューラルネットワーク部と、
前記特徴量マップを光検出することにより画像データを生成する光検出部と、
前記画像データを外部の通信ネットワークに出力する出力部と
を備えた
光演算装置。
(2)
前記光ニューラルネットワーク部は、複数の位相差素子、または、複数のメタサーフェスを含んで構成されている
(1)に記載の光演算装置。
(3)
前記光ニューラルネットワーク部は、複数の空間光変調液晶素子、または、複数のMEMSミラーを含んで構成されている
(1)に記載の光演算装置。
(4)
外部からの入力データに基づいて、前記複数の空間光変調液晶素子、または、前記複数のMEMSミラーの重みを切り替える制御部を更に備えた
(3)に記載の光演算装置。
(5)
前記光検出部は、イメージセンサ、または、フォトディテクタアレイを含んで構成されている
(1)ないし(4)のいずれか1つに記載の光演算装置。
(6)
通信ネットワークを介して互いに通信可能な光演算装置および情報処理装置を備え、
前記光演算装置は、
入射光をエンコードすることにより特徴量マップを光強度分布として出力する、ハードウェアで構成された光ニューラルネットワーク部と、
前記特徴量マップを光検出することにより画像データを生成する光検出部と、
前記画像データを、前記通信ネットワークを介して前記情報処理装置に出力する出力部と
を有し、
前記情報処理装置は、前記通信ネットワークを介して前記光演算装置から得られた前記画像データを処理する処理部を有する
光演算処理システム。
(7)
前記光ニューラルネットワーク部は、複数の位相差素子、または、複数のメタサーフェスを含んで構成されている
(6)に記載の光演算処理システム。
(8)
前記光ニューラルネットワーク部は、複数の空間光変調液晶素子、または、複数のMEMSミラーを含んで構成されている
(6)に記載の光演算処理システム。
(9)
外部からの入力データに基づいて、前記複数の空間光変調液晶素子、または、前記複数のMEMSミラーの重みを切り替える制御部を更に備えた
(8)に記載の光演算処理システム。
(10)
前記光検出部は、イメージセンサ、または、フォトディテクタアレイを含んで構成されている
(6)ないし(9)のいずれか1つに記載の光演算処理システム。
(11)
前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有する
(6)ないし(10)のいずれか1つに記載の光演算処理システム。
(12)
照射光を生成し、前記照射光の反射光により前記入射光を生成させる投光部を更に備えた
(11)に記載の光演算処理システム。
(13)
前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の3次元形状を再構成する
(12)に記載の光演算処理システム。
(14)
前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の姿勢もしくは向きを推定する
(12)に記載の光演算処理システム。
(15)
前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の材質を推定する
(12)に記載の光演算処理システム。
(16)
前記投光部は、物体に対して複数の方向から前記照射光を照射することにより、複数の前記反射光を生成させるように構成され、
前記光演算装置は、
前記反射光ごとに1つずつ設けられた複数の前記光ニューラルネットワーク部と、
前記光ニューラルネットワーク部ごとに1つずつ設けられた複数の前記光検出部と
を有し、
前記出力部は、前記光検出部ごとに得られた前記画像データを、前記通信ネットワークを介して前記情報処理装置に出力する
(12)に記載の光演算処理システム。
(17)
前記処理部は、
前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成する第1のニューラルネットワーク部、
前記画像データをデコードすることにより、前記入射光に含まれる文字の分類を生成する第2のニューラルネットワーク部、および
前記画像データをデコードすることにより、前記入射光に含まれる文字の筆跡を生成する第3のニューラルネットワーク部のうち少なくとも2つを有する
(6)ないし(16)のいずれか1つに記載の光演算処理システム。
(18)
前記光演算装置は、
光アドレス式空間光変調素子と
前記光アドレス式空間光変調素子にコヒーレント光を照射する光源部と
を更に有し、
前記光アドレス式空間光変調素子は、前記コヒーレント光の照射により、前記コヒーレント光と前記入射光とを合成するようになっている
(6)ないし(17)のいずれか1つに記載の光演算処理システム。
(19)
前記光ニューラルネットワーク部は、複屈折材料で構成された複数の位相差素子を含んで構成されている
(6)ないし(18)のいずれか1つに記載の光演算処理システム。
(20)
前記光検出部で得られた前記画像データと、モデル計算によって得られた画像データとに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
(6)に記載の光演算処理システム。
(21)
前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有し、
前記再構成画像データと、モデル計算によって得られた画像データとに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
(6)に記載の光演算処理システム。
(22)
前記光検出部で得られた前記画像データに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
(6)に記載の光演算処理システム。
(23)
前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有し、
前記再構成画像データに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
(6)に記載の光演算処理システム。
(1)
入射光をエンコードすることにより特徴量マップを強度分布として出力するハードウェアで構成された光ニューラルネットワーク部と、
前記特徴量マップを光検出することにより画像データを生成する光検出部と、
前記画像データを外部の通信ネットワークに出力する出力部と
を備えた
光演算装置。
(2)
前記光ニューラルネットワーク部は、複数の位相差素子、または、複数のメタサーフェスを含んで構成されている
(1)に記載の光演算装置。
(3)
前記光ニューラルネットワーク部は、複数の空間光変調液晶素子、または、複数のMEMSミラーを含んで構成されている
(1)に記載の光演算装置。
(4)
外部からの入力データに基づいて、前記複数の空間光変調液晶素子、または、前記複数のMEMSミラーの重みを切り替える制御部を更に備えた
(3)に記載の光演算装置。
(5)
前記光検出部は、イメージセンサ、または、フォトディテクタアレイを含んで構成されている
(1)ないし(4)のいずれか1つに記載の光演算装置。
(6)
通信ネットワークを介して互いに通信可能な光演算装置および情報処理装置を備え、
前記光演算装置は、
入射光をエンコードすることにより特徴量マップを光強度分布として出力する、ハードウェアで構成された光ニューラルネットワーク部と、
前記特徴量マップを光検出することにより画像データを生成する光検出部と、
前記画像データを、前記通信ネットワークを介して前記情報処理装置に出力する出力部と
を有し、
前記情報処理装置は、前記通信ネットワークを介して前記光演算装置から得られた前記画像データを処理する処理部を有する
光演算処理システム。
(7)
前記光ニューラルネットワーク部は、複数の位相差素子、または、複数のメタサーフェスを含んで構成されている
(6)に記載の光演算処理システム。
(8)
前記光ニューラルネットワーク部は、複数の空間光変調液晶素子、または、複数のMEMSミラーを含んで構成されている
(6)に記載の光演算処理システム。
(9)
外部からの入力データに基づいて、前記複数の空間光変調液晶素子、または、前記複数のMEMSミラーの重みを切り替える制御部を更に備えた
(8)に記載の光演算処理システム。
(10)
前記光検出部は、イメージセンサ、または、フォトディテクタアレイを含んで構成されている
(6)ないし(9)のいずれか1つに記載の光演算処理システム。
(11)
前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有する
(6)ないし(10)のいずれか1つに記載の光演算処理システム。
(12)
照射光を生成し、前記照射光の反射光により前記入射光を生成させる投光部を更に備えた
(11)に記載の光演算処理システム。
(13)
前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の3次元形状を再構成する
(12)に記載の光演算処理システム。
(14)
前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の姿勢もしくは向きを推定する
(12)に記載の光演算処理システム。
(15)
前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の材質を推定する
(12)に記載の光演算処理システム。
(16)
前記投光部は、物体に対して複数の方向から前記照射光を照射することにより、複数の前記反射光を生成させるように構成され、
前記光演算装置は、
前記反射光ごとに1つずつ設けられた複数の前記光ニューラルネットワーク部と、
前記光ニューラルネットワーク部ごとに1つずつ設けられた複数の前記光検出部と
を有し、
前記出力部は、前記光検出部ごとに得られた前記画像データを、前記通信ネットワークを介して前記情報処理装置に出力する
(12)に記載の光演算処理システム。
(17)
前記処理部は、
前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成する第1のニューラルネットワーク部、
前記画像データをデコードすることにより、前記入射光に含まれる文字の分類を生成する第2のニューラルネットワーク部、および
前記画像データをデコードすることにより、前記入射光に含まれる文字の筆跡を生成する第3のニューラルネットワーク部のうち少なくとも2つを有する
(6)ないし(16)のいずれか1つに記載の光演算処理システム。
(18)
前記光演算装置は、
光アドレス式空間光変調素子と
前記光アドレス式空間光変調素子にコヒーレント光を照射する光源部と
を更に有し、
前記光アドレス式空間光変調素子は、前記コヒーレント光の照射により、前記コヒーレント光と前記入射光とを合成するようになっている
(6)ないし(17)のいずれか1つに記載の光演算処理システム。
(19)
前記光ニューラルネットワーク部は、複屈折材料で構成された複数の位相差素子を含んで構成されている
(6)ないし(18)のいずれか1つに記載の光演算処理システム。
(20)
前記光検出部で得られた前記画像データと、モデル計算によって得られた画像データとに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
(6)に記載の光演算処理システム。
(21)
前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有し、
前記再構成画像データと、モデル計算によって得られた画像データとに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
(6)に記載の光演算処理システム。
(22)
前記光検出部で得られた前記画像データに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
(6)に記載の光演算処理システム。
(23)
前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有し、
前記再構成画像データに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
(6)に記載の光演算処理システム。
本出願は、日本国特許庁において2022年7月26日に出願された日本特許出願番号第2022-119067号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
Claims (23)
- 入射光をエンコードすることにより特徴量マップを強度分布として出力するハードウェアで構成された光ニューラルネットワーク部と、
前記特徴量マップを光検出することにより画像データを生成する光検出部と、
前記画像データを外部の通信ネットワークに出力する出力部と
を備えた
光演算装置。 - 前記光ニューラルネットワーク部は、複数の位相差素子、または、複数のメタサーフェスを含んで構成されている
請求項1に記載の光演算装置。 - 前記光ニューラルネットワーク部は、複数の空間光変調液晶素子、または、複数のMEMSミラーを含んで構成されている
請求項1に記載の光演算装置。 - 外部からの入力データに基づいて、前記複数の空間光変調液晶素子、または、前記複数のMEMSミラーの重みを切り替える制御部を更に備えた
請求項3に記載の光演算装置。 - 前記光検出部は、イメージセンサ、または、フォトディテクタアレイを含んで構成されている
請求項1に記載の光演算装置。 - 通信ネットワークを介して互いに通信可能な光演算装置および情報処理装置を備え、
前記光演算装置は、
入射光をエンコードすることにより特徴量マップを光強度分布として出力する、ハードウェアで構成された光ニューラルネットワーク部と、
前記特徴量マップを光検出することにより画像データを生成する光検出部と、
前記画像データを、前記通信ネットワークを介して前記情報処理装置に出力する出力部と
を有し、
前記情報処理装置は、前記通信ネットワークを介して前記光演算装置から得られた前記画像データを処理する処理部を有する
光演算処理システム。 - 前記光ニューラルネットワーク部は、複数の位相差素子、または、複数のメタサーフェスを含んで構成されている
請求項6に記載の光演算処理システム。 - 前記光ニューラルネットワーク部は、複数の空間光変調液晶素子、または、複数のMEMSミラーを含んで構成されている
請求項6に記載の光演算処理システム。 - 外部からの入力データに基づいて、前記複数の空間光変調液晶素子、または、前記複数のMEMSミラーの重みを切り替える制御部を更に備えた
請求項8に記載の光演算処理システム。 - 前記光検出部は、イメージセンサ、または、フォトディテクタアレイを含んで構成されている
請求項6に記載の光演算処理システム。 - 前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有する
請求項6に記載の光演算処理システム。 - 照射光を生成し、前記照射光の反射光により前記入射光を生成させる投光部を更に備えた
請求項11に記載の光演算処理システム。 - 前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の3次元形状を再構成する
請求項12に記載の光演算処理システム。 - 前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の姿勢もしくは向きを推定する
請求項12に記載の光演算処理システム。 - 前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の材質を推定する
請求項12に記載の光演算処理システム。 - 前記投光部は、物体に対して複数の方向から前記照射光を照射することにより、複数の前記反射光を生成させるように構成され、
前記光演算装置は、
前記反射光ごとに1つずつ設けられた複数の前記光ニューラルネットワーク部と、
前記光ニューラルネットワーク部ごとに1つずつ設けられた複数の前記光検出部と
を有し、
前記出力部は、前記光検出部ごとに得られた前記画像データを、前記通信ネットワークを介して前記情報処理装置に出力する
請求項12に記載の光演算処理システム。 - 前記処理部は、
前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成する第1のニューラルネットワーク部、
前記画像データをデコードすることにより、前記入射光に含まれる文字の分類を生成する第2のニューラルネットワーク部、および
前記画像データをデコードすることにより、前記入射光に含まれる文字の筆跡を生成する第3のニューラルネットワーク部のうち少なくとも2つを有する
請求項6に記載の光演算処理システム。 - 前記光演算装置は、
光アドレス式空間光変調素子と
前記光アドレス式空間光変調素子にコヒーレント光を照射する光源部と
を更に有し、
前記光アドレス式空間光変調素子は、前記コヒーレント光の照射により、前記コヒーレント光と前記入射光とを合成するようになっている
請求項6に記載の光演算処理システム。 - 前記光ニューラルネットワーク部は、複屈折材料で構成された複数の位相差素子を含んで構成されている
請求項6に記載の光演算処理システム。 - 前記光検出部で得られた前記画像データと、モデル計算によって得られた画像データとに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
請求項6に記載の光演算処理システム。 - 前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有し、
前記再構成画像データと、モデル計算によって得られた画像データとに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
請求項6に記載の光演算処理システム。 - 前記光検出部で得られた前記画像データに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
請求項6に記載の光演算処理システム。 - 前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有し、
前記再構成画像データに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
請求項6に記載の光演算処理システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-119067 | 2022-07-26 | ||
JP2022119067 | 2022-07-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024024129A1 true WO2024024129A1 (ja) | 2024-02-01 |
Family
ID=89705873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/002797 WO2024024129A1 (ja) | 2022-07-26 | 2023-01-30 | 光演算装置および光演算処理システム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024024129A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07143484A (ja) * | 1993-11-16 | 1995-06-02 | Sharp Corp | 光直交変換による画像圧縮復元装置 |
JPH09211513A (ja) * | 1996-02-07 | 1997-08-15 | Olympus Optical Co Ltd | 光演算装置 |
JP2018092133A (ja) * | 2016-08-31 | 2018-06-14 | Scivax株式会社 | 光結像装置 |
JP2020507113A (ja) * | 2017-01-27 | 2020-03-05 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 異なって向けられたナノビームを有するメタ表面によって形成された回折格子 |
-
2023
- 2023-01-30 WO PCT/JP2023/002797 patent/WO2024024129A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07143484A (ja) * | 1993-11-16 | 1995-06-02 | Sharp Corp | 光直交変換による画像圧縮復元装置 |
JPH09211513A (ja) * | 1996-02-07 | 1997-08-15 | Olympus Optical Co Ltd | 光演算装置 |
JP2018092133A (ja) * | 2016-08-31 | 2018-06-14 | Scivax株式会社 | 光結像装置 |
JP2020507113A (ja) * | 2017-01-27 | 2020-03-05 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 異なって向けられたナノビームを有するメタ表面によって形成された回折格子 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7070423B2 (ja) | 画像処理装置と画像処理方法および撮像装置 | |
JP7040447B2 (ja) | 画像処理装置および情報生成装置と情報生成方法 | |
US10880498B2 (en) | Image processing apparatus and image processing method to improve quality of a low-quality image | |
JP7134952B2 (ja) | 撮像素子、及び、撮像素子を備えた電子機器 | |
US10877288B2 (en) | Imaging device and imaging method | |
WO2018150683A1 (ja) | 情報処理装置と情報処理方法とプログラムおよび撮像装置 | |
WO2019163315A1 (ja) | 情報処理装置、撮像装置、及び撮像システム | |
WO2019116746A1 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
CN111630452B (zh) | 成像装置和电子设备 | |
WO2024024129A1 (ja) | 光演算装置および光演算処理システム | |
WO2022044830A1 (ja) | 情報処理装置、および情報処理方法 | |
JP7363890B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2024503389A (ja) | 物体認識方法および飛行時間型物体認識回路 | |
WO2019215979A1 (ja) | 画像処理装置、車載装置、画像処理方法及びプログラム | |
WO2024070673A1 (ja) | 固体撮像装置、電子機器及びプログラム | |
WO2024018812A1 (ja) | 固体撮像装置 | |
WO2023007821A1 (ja) | 空間位相変調器、加工装置および情報処理装置 | |
WO2020255589A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2023234033A1 (ja) | 測距装置 | |
WO2024004644A1 (ja) | センサ装置 | |
WO2020195969A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2022059550A1 (ja) | 固体撮像装置及びその製造方法 | |
WO2021229983A1 (ja) | 撮像装置及びプログラム | |
WO2024048292A1 (ja) | 光検出素子、撮像装置、及び車両制御システム | |
JP2023550078A (ja) | 飛行時間型物体検出回路および飛行時間型物体検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23845869 Country of ref document: EP Kind code of ref document: A1 |