WO2024024129A1 - 光演算装置および光演算処理システム - Google Patents

光演算装置および光演算処理システム Download PDF

Info

Publication number
WO2024024129A1
WO2024024129A1 PCT/JP2023/002797 JP2023002797W WO2024024129A1 WO 2024024129 A1 WO2024024129 A1 WO 2024024129A1 JP 2023002797 W JP2023002797 W JP 2023002797W WO 2024024129 A1 WO2024024129 A1 WO 2024024129A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical
image data
neural network
unit
light
Prior art date
Application number
PCT/JP2023/002797
Other languages
English (en)
French (fr)
Inventor
昂平 山本
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024024129A1 publication Critical patent/WO2024024129A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06E—OPTICAL COMPUTING DEVICES; COMPUTING DEVICES USING OTHER RADIATIONS WITH SIMILAR PROPERTIES
    • G06E3/00—Devices not provided for in group G06E1/00, e.g. for processing analogue or hybrid data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/48—Analogue computers for specific processes, systems or devices, e.g. simulators
    • G06G7/60—Analogue computers for specific processes, systems or devices, e.g. simulators for living beings, e.g. their nervous systems ; for problems in the medical field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means

Definitions

  • the present disclosure relates to an optical processing device and an optical processing system.
  • the optical calculation device includes an optical neural network section, a light detection section, and an output section.
  • the optical neural network unit is configured with hardware that encodes incident light and outputs a feature map as a light intensity distribution.
  • the photodetector generates image data by photodetecting the feature map.
  • the output unit outputs the image data to an external communication network.
  • the optical processing system includes an optical processing device and an information processing device that can communicate with each other via a communication network.
  • the optical calculation device includes an optical neural network section, a light detection section, and an output section.
  • the optical neural network unit is configured with hardware that encodes incident light and outputs a feature map as a light intensity distribution.
  • the photodetector generates image data by photodetecting the feature map.
  • the output unit outputs the image data to the information processing device via the communication network.
  • the information processing device includes a processing unit that processes image data obtained from the optical processing device via a communication network.
  • a feature amount map is generated by encoding incident light by the optical neural network unit, and the feature amount Image data is generated by photodetecting the map with a photodetector.
  • FIG. 1 is a diagram illustrating a schematic configuration example of an optical arithmetic device and an optical arithmetic processing system including the same according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the optical neural network shown in FIG. 1.
  • FIG. 3 is a diagram showing a modified example of the optical processing system of FIG. 1.
  • FIG. 4 is a diagram illustrating a modified example of the optical processing system of FIG. 1.
  • FIG. 5 is a diagram illustrating a modified example of the optical processing system of FIG. 1.
  • FIG. 6 is a diagram showing a modified example of the optical processing system of FIG. 1.
  • FIG. 7 is a diagram illustrating a modified example of the optical processing system of FIG. 1.
  • FIG. 1 is a diagram illustrating a schematic configuration example of an optical arithmetic device and an optical arithmetic processing system including the same according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the
  • FIG. 8 is a diagram showing a modified example of the optical arithmetic device shown in FIGS. 1 and 3 to 7.
  • FIG. 9 is a diagram showing a modified example of the optical arithmetic device shown in FIGS. 1 and 3 to 7.
  • FIG. 10 is a diagram illustrating a modified example of the optical arithmetic device of FIG. 8.
  • FIG. 11 is a diagram showing an example of the hardware configuration of the optical neural network shown in FIGS. 9 and 10.
  • FIG. 12 is a diagram showing a schematic configuration example of an information processing device in the optical processing system including the optical neural network shown in FIGS. 9 and 10.
  • FIG. 13 is a diagram showing a schematic configuration example of an optical processing system including the optical processing device of FIG. 9 or 10.
  • FIG. 14 is a diagram showing a modified example of the schematic configuration of the optical processing system shown in FIG. 13.
  • FIG. 15 is a diagram showing a schematic configuration example of the arithmetic device shown in FIGS. 13 and 14.
  • FIG. 16 is a diagram illustrating a modified example of the schematic configuration of the arithmetic device of FIG. 15.
  • FIG. 17 is a block diagram showing an example of a schematic configuration of a vehicle control system.
  • FIG. 18 is an explanatory diagram showing an example of the installation positions of the outside-vehicle information detection section and the imaging section.
  • FIG. 1 shows a schematic configuration example of an optical processing system 1 according to an embodiment of the present disclosure.
  • the optical processing system 1 is a low communication capacity type system in which an optical neural network section 110 and a neural network section 220 are connected via a communication network 300.
  • the optical processing system 1 includes an optical processing device 100 and an information processing device 200.
  • the optical processing device 100 and the information processing device 200 are configured to be able to communicate with each other via a communication network 300.
  • the optical calculation device 100 includes an optical neural network section 110, an image sensor 120, and an interface section 130 (output section).
  • the information processing device 200 includes an interface section 210, a neural network section 220, and a calculation section 230.
  • the interface units 130 and 210 are configured with interfaces that can communicate with each other via the communication network 300.
  • the communication network 300 may be any network such as a PAN (Personal Area Network) such as USB or Bluetooth (registered trademark), a LAN (Local Area Network) such as Ethernet (registered trademark), or IEEE 802.11, or a WAN (Wide Area Network). communication network is sufficient.
  • the optical neural network section 110 is provided before the image sensor 120.
  • the optical neural network unit 110 encodes (optically modulates) light input from the outside (for example, incident light La or input image light Lb, which will be described later) using the plurality of modulation elements 111 . It is composed of hardware that outputs a feature quantity map Lc according to optical characteristics as a light intensity distribution.
  • the above-mentioned “hardware” is composed of, for example, a plurality of modulation elements 111 arranged in a line with a predetermined gap in between, as shown in FIG.
  • the modulation element 111 will be described in detail later.
  • the input image light Lb is, for example, the light (transmitted light) that has passed through the aperture 400 out of the incident light La that has entered from the outside, as shown in FIG.
  • the aperture 400 has an opening pattern such that transmitted light (input image light Lb) becomes light representing the number "0" as shown in FIG. 2, for example.
  • the aperture 400 is provided for convenience in order to obtain light representing the number "0" as the input image light Lb, and is an arbitrary component in the optical processing system 1.
  • the image sensor 120 generates image data Da by optically detecting the feature map Lc output from the optical neural network unit 110.
  • the image sensor 120 is, for example, a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the interface unit 130 outputs image data Da generated by the image sensor 120 to the information processing device 200 via the communication network 300.
  • the interface unit 130 outputs the image data Da generated by the image sensor 120 to the information processing device 200 via the communication network 300.
  • the interface section 210 acquires image data Da from the optical processing device 100 via the communication network 300.
  • the information processing device 200 processes image data Da obtained from the optical processing device 100 via the communication network 300.
  • the neural network unit 220 is, for example, an arithmetic device connected to the optical neural network unit 110 via the image sensor 120, the interface unit 130, the communication network 300, and the interface unit 210.
  • This arithmetic device is equipped with a neural network that realizes the functions of the neural network section 220.
  • the neural network unit 220 generates reconstructed image data Db corresponding to the incident light La or the input image light Lb, for example, by decoding the image data Da acquired from the optical calculation device 100.
  • the calculation unit 230 is a calculation device that processes the reconstructed image data Db generated by the neural network unit 220.
  • the calculation unit 230 includes, for example, a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • Software that realizes the functions of the arithmetic unit 230 is installed in the arithmetic unit 230, and the arithmetic unit 230 realizes the functions of the arithmetic unit 230 by executing the software.
  • Each modulation element 111 is, for example, a phase difference element or a metasurface.
  • the plurality of modulation elements 111 are physically implemented encoders obtained by learning with learning model software, which will be described later.
  • the “learning model software” is a learning model that imitates a neural network in which the optical neural network section 110 and the neural network section 220 are connected end-to-end.
  • the neural network corresponding to the optical neural network unit 110 is implemented on software as a physical model that can learn an actual optical system based on the laws of physics. It consists of possible optical diffraction calculations and phase modulation calculations, and learning is performed by adjusting the amount of phase modulation.
  • the neural network corresponding to the neural network unit 220 is configured to realize functions such as image reconstruction and classification using the feature map outputted as image data Da by the optical calculation device 110 as input. Yes, it may be realized as a neural network such as a convolutional neural network or a transformer.
  • the optical neural network section 110 encodes the incident light La to generate the feature map Lc, and the image sensor 120 optically detects the feature map Lc to generate the image data Da. Ru.
  • the optical neural network unit 110 by generating the feature map Lc by the optical neural network unit 110 before acquiring the image data Da by the image sensor 120, information can be compressed at low calculation cost and low power consumption. Therefore, calculation cost and power consumption can be suppressed.
  • the optical neural network section 110 is configured by a plurality of phase difference elements 111. This eliminates the need to store the image data Da as digital data in a memory or the like, which not only makes it possible to suppress calculation costs and power consumption, but is also excellent in terms of security and privacy protection.
  • the image sensor 120 is used to detect the feature map Lc.
  • the feature amount map Lc can be efficiently converted into image data Da, which is digital data.
  • a neural network unit 220 is provided in the information processing device 200. Thereby, by decoding the image data Da having a small data capacity, it is possible to generate reconstructed image data Db corresponding to the incident light La. As a result, data transmission with low communication capacity can be realized.
  • the information processing device 200 may include a plurality of neural networks 220 (eg, 220A, 220B, 220C), as shown in FIG. 3, for example. Note that in this modification, for example, only at least two of the neural networks 220A, 220B, and 220C may be provided.
  • the neural networks 220A, 220B, and 220C are connected to the output end of the interface section 210 in parallel with each other.
  • Image data Da is input to the neural networks 220A, 220B, and 220C.
  • Outputs from the neural networks 220A, 220B, and 220C are input to a common calculation unit 230, for example.
  • the neural networks 220A, 220B, and 220C are, for example, arithmetic devices connected to the optical neural network section 110 via the image sensor 120, the interface section 130, the communication network 300, and the interface section 210.
  • a neural network that realizes the functions of the neural network unit 220A is installed in the arithmetic unit that constitutes the neural network 220A.
  • a neural network that realizes the functions of the neural network section 220B is installed in the arithmetic device that constitutes the neural network 220B.
  • a neural network that realizes the functions of the neural network unit 220C is installed in the arithmetic unit that constitutes the neural network 220C.
  • the neural network unit 220A generates reconstructed image data DbA corresponding to the incident light La or the input image light Lb, for example, by decoding the image data Da acquired from the optical calculation device 100.
  • the neural network unit 220B generates a character classification DbB (for example, the number "0") included in the incident light La or the input image light Lb by decoding the image data Da acquired from the optical calculation device 100.
  • the neural network unit 220C generates handwriting DbC of characters included in the incident light La or the input image light Lb (for example, Mr. Adam's handwriting) by decoding the image data Da acquired from the optical calculation device 100, for example. .
  • the calculation unit 230 processes data (for example, reconstructed image data DbA, classification DbB, handwriting DbC) input from the plurality of neural networks 220 (for example, 220A, 220B, 220C).
  • data for example, reconstructed image data DbA, classification DbB, handwriting DbC
  • the plurality of neural networks 220 for example, 220A, 220B, 220C.
  • image data Da acquired from the optical calculation device 100 is decoded in a plurality of neural networks 220, thereby generating a plurality of data (for example, reconstructed image data DbA, classification DbB, handwriting DbC). .
  • This allows the calculation unit 230 to perform processing using at least one of the plurality of data.
  • the optical calculation device 100 includes, for example, as shown in FIG. It may have.
  • the object OB when the object OB is irradiated with the irradiation light Ld, reflected light is generated from the object OB. This reflected light becomes incident light La and enters the optical neural network 110.
  • the irradiation light Ld is, for example, light with a single wavelength or light including multiple wavelengths (for example, light including red light, green light, and blue light, or light including wavelengths across the entire visible region). Good too.
  • the irradiation light Ld may be, for example, monochromatic light or white light.
  • the irradiation light Ld may be, for example, spherical wave light or collimated light.
  • the irradiation light Ld may be, for example, non-polarized light or linearly polarized light.
  • the light projector 140 may be, for example, a point light source or a light source capable of outputting structured light.
  • the light projecting unit 140 may output the irradiation light Ld continuously in time, or may output the irradiation light Ld intermittently (that is, in a pulse shape).
  • the calculation unit 230 may reconstruct the three-dimensional shape of the object OB based on the reconstructed image data Db. Furthermore, the calculation unit 230 may estimate the posture or orientation of the object OB based on the reconstructed image data Db. Furthermore, the calculation unit 230 may estimate the material of the object OB based on the reconstructed image data Db. When the object OB is made up of a plurality of members made of different materials, the calculation unit 230 may estimate the material of the object OB for each location of the object OB based on the reconstructed image data Db.
  • the optical calculation device 100 generates a plurality of reflected lights by irradiating the object OB with the irradiation light Ld from a plurality of directions, as shown in FIG. 5, for example. It may be configured to allow
  • the optical calculation device 100 includes, for example, as shown in FIG. It has a plurality of image sensors 120, one for each image sensor 110, and an interface section 150.
  • the interface unit 150 outputs a plurality of image data Da obtained one by one for each image sensor 120 to the information processing device 200 via the communication network 300.
  • the interface unit 210 combines a plurality of image data Da input via the communication network 300, and outputs the resulting image data Dc to the neural network 220.
  • the neural network 220 estimates the three-dimensional shape of the object OB by decoding the image data Dc.
  • the calculation unit 230 processes data on the three-dimensional shape of the object OB obtained by the neural network 220.
  • a plurality of image data Da obtained one by one for each module including the optical neural network unit 110 and the image sensor 120 are output to the information processing device 200 via the communication network 300. This allows the information processing device 200 to perform more complex processing based on the image data Dc.
  • the optical processing device 100 irradiates the optically addressed spatial light modulator 160 and the optically addressed spatial light modulator 160 with coherent light Le, as shown in FIG. 6, for example.
  • the light source section 161 may also include a light source section 161.
  • the optically addressed spatial light modulator 160 is an optical element made of a material whose optical characteristics change when irradiated with coherent light Le.
  • materials whose optical properties change include photorefractive materials and photochromic materials.
  • the optically addressable spatial light modulator 160 generates coherent light Le and incoherent light Lf, which is external light (for example, sunlight or indoor light), by irradiation with coherent light Le. It is designed to generate composite light (coherent light that includes phase information). This combined light becomes incident light La and enters the optical neural network 110.
  • the incident light La is generated using the optically addressed spatial light modulator 160.
  • the plurality of modulation elements 111 may be made of a birefringent material.
  • a feature amount map Lc and image data Da are generated according to the vertically polarized light
  • Reconstructed image data Db is generated according to the polarization.
  • a feature amount map Lc and image data Da are generated according to the horizontally polarized light
  • the horizontally polarized light Reconstructed image data Db is generated according to.
  • information regarding polarization can be extracted in this way, so for example, image reconstruction can be performed for each of vertically polarized light and horizontally polarized light, and surface conditions can be estimated based on the ratio of polarized light directions. It becomes possible to
  • the optical calculation device 100 may include a photodetector array 170 instead of the image sensor 120, for example, as shown in FIG.
  • the readout speed can be increased compared to the image sensor 120, and the overall driving speed can be increased.
  • the optical calculation device 100 may include an optical neural network 180 instead of the optical neural network 110, as shown in FIGS. 9 and 10, for example.
  • Optical neural network 180 is provided before image sensor 120 or photodetector array 170.
  • the optical neural network unit 180 encodes (light modulates) light input from the outside (for example, incident light La or input image light Lb) using a plurality of modulation elements 181. It is configured with hardware that outputs a feature quantity map Lc according to the optical characteristics of the plurality of modulation elements 181 as a light intensity distribution.
  • Each modulation element 181 is, for example, a spatial light modulation liquid crystal element or a MEMS mirror.
  • the plurality of modulation elements 181 are physically implemented encoders obtained by learning with learning model software, which will be described later.
  • the “learning model software” is a learning model that imitates a neural network in which the optical neural network section 180 and the neural network section 220 are connected end-to-end.
  • the neural network corresponding to the optical neural network unit 180 includes, for example, an input layer, an intermediate layer, and an output layer.
  • the neural network corresponding to the neural network unit 220 includes, for example, an input layer, an intermediate layer, and an output layer.
  • Each layer comprises one or more neurons. Neurons in adjacent layers are connected to each other, and a weight (connection weight) is set for each connection. The number of neuron connections may be set as appropriate. A threshold value is set for each neuron, and the output value of each neuron is determined, for example, depending on whether the sum of the products of the input value and the weight for each neuron exceeds the threshold value.
  • the optical arithmetic device 100 further includes a drive section 190 that switches the weights of the plurality of modulation elements 181, for example, as shown in FIG.
  • the drive unit 190 switches the weights of the plurality of modulation elements 181 based on the control signal Dout input from the information processing device 200.
  • the optical neural network 180 outputs a new feature amount map Lc as a light intensity distribution every time the weights of the plurality of modulation elements 181 are switched.
  • the information processing device 200 includes an interface unit 240 that generates the control signal Dout based on the reconstructed image data Db obtained from the calculation unit 230, as shown in FIG. 12, for example. .
  • the interface unit 240 outputs the generated control signal Dout to the optical processing device 100 via the communication network 500.
  • the communication network 300 may also serve as the communication network 500, or the communication network 500 may be provided separately from the communication network 300.
  • a plurality of modulation elements 181 whose weights can be switched are provided. This makes it possible to increase the gradation of the reconstructed image data Db. Furthermore, it is also possible to sequentially train the optical neural network section 180 based on the output of the neural network section 220 (decoder), and it is also possible to generate highly accurate reconstructed image data Db.
  • [Modification H] 13 and 14 show a modification of the optical processing system 1 including the optical processing device 100 according to modification G above.
  • the optical calculation processing system 1 may include, for example, a calculation device 600 and an image display device 700, as shown in FIGS. 13 and 14.
  • the image display device 700 generates various types of image light (input image light Lb) necessary for machine learning on the optical neural network 180.
  • the image display device 700 generates various types of image light (input image light Lb) based on the control signal Ctr1 input from the arithmetic device 600, for example.
  • the image display device 700 outputs, for example, various generated image lights (input image light Lb) to the optical calculation device 100 (optical neural network unit 180).
  • the image display device 700 includes, for example, a liquid crystal display panel or an organic EL display panel.
  • the arithmetic device 600 uses machine learning to adjust the phase amount (weight) of each modulation element 181 included in the optical neural network 180.
  • phase amount weight
  • the arithmetic unit 600 uses machine learning to adjust the phase amount (weight) of each modulation element 181 included in the optical neural network 180.
  • the calculation device 600 includes an image acquisition section 610, a model calculation section 620, a gradient calculation section 630, a phase update section 640, and a drive section 650.
  • Software that realizes the functions of the arithmetic device 600 is installed in the arithmetic device 600, and the arithmetic device 600 realizes the functions of the arithmetic device 600 by executing the software.
  • Computing device 600 includes at least one processor, such as at least one processor (e.g., central processing unit (CPU)), at least one application specific integrated circuit (ASIC), and/or at least one field programmable gate array (FPGA). It can be implemented by a circuit including two semiconductor integrated circuits. At least one processor is configurable to perform all or some of the various functions in computing device 600 by reading instructions from at least one non-transitory, tangible, computer-readable medium. Such media can take a variety of forms, including various magnetic media such as hard disks, various optical media such as CDs or DVDs, and various semiconductor memories (i.e., semiconductor circuits) such as volatile or non-volatile memories, but It is not limited to these. Volatile memory may include DRAM and SRAM.
  • processor e.g., central processing unit (CPU)
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • At least one processor is configurable to perform all or some of the various functions in computing device 600 by reading instructions from at least one non-transi
  • Non-volatile memory may include ROM and NVRAM.
  • An ASIC is an integrated circuit (IC) that is specialized to perform all or some of the various functions in computing device 600.
  • FPGAs are integrated circuits designed to be configurable after manufacture to perform all or some of the various functions in computing device 600.
  • the image acquisition unit 610 acquires image data Da and Db from the neural network units 180 and 220, and outputs the acquired image data Da and Db to the gradient calculation unit 630 as light intensity distribution data I1 .
  • the model calculation unit 620 calculates light intensity distribution data I 2 (image data) for learning based on, for example, equations (1), (2), (3), and (4) shown in FIG. It is generated and output to the gradient calculation section 630.
  • Equations (1), (2), (3), and (4) are Rayleigh-Sommerfeld formulas.
  • x and y are the coordinates of each pixel of the modulation element 181.
  • the method of generating the light intensity distribution data I2 in the model calculation unit 620 is not limited to the above.
  • L is a loss function and ⁇ is a phase distribution.
  • equation (1) is an equation for calculating the intensity distribution from the optical complex amplitude distribution.
  • Equation (2) is the Rayleigh-Sommerfeld formula.
  • Equation (3) is an auxiliary equation of equation (2).
  • Equation (4) is an auxiliary equation of equation (2).
  • the meaning of each symbol is as follows. h(x,y,z): Rayleigh-Sommerfeld formula integral kernel ⁇ : Phase distribution displayed on SLM ⁇ : Light wavelength
  • the gradient calculation unit 630 inputs the light intensity distribution data I1 acquired from the image acquisition unit 610 and the light intensity distribution data I2 acquired from the model calculation unit 620 into equation (5) of FIG. , a gradient (differential value ( ⁇ L/ ⁇ )) for the phase distribution of the loss function L is derived.
  • the gradient calculation unit 630 outputs the derived differential value ( ⁇ L/ ⁇ ) to the phase update unit 640.
  • the light intensity distribution data I2 in the model calculation unit 620 is used as the light intensity distribution data in the right term. This is because how a minute change in phase distribution affects the actually measured intensity distribution is a black box.
  • the left term uses the light intensity distribution data I1 acquired from the image acquisition unit 610 as the light intensity distribution data. This means that the term on the left side of the right side of equation (5) indicates how a small change in the intensity distribution affects the loss function L, and it can be precisely calculated using the actually measured intensity distribution. This is because calculation is possible.
  • the phase update unit 640 updates the phase amount obtained in the previous step based on the differential value ( ⁇ L/ ⁇ ) obtained from the gradient calculation unit 630.
  • the phase update unit 640 updates the phase amount obtained in the previous step, for example, based on equation (6) in FIG. 15.
  • ⁇ is the learning rate.
  • the phase update unit 640 outputs the derived phase amount to the drive unit 650.
  • the drive unit 650 outputs the phase amount of each modulation element 181 included in the optical neural network 180 to the optical neural network 180 as a control signal Ctr2. Thereby, the driving section 650 sets the phase amount of each modulation element 181 included in the optical neural network 180 to the phase amount acquired from the phase updating section 640.
  • the phase amount of each modulation element 181 included in the optical neural network 180 is adjusted by machine learning by the arithmetic device 600.
  • the arithmetic device 600 As a result, for example, it becomes possible to perform image reconstruction with high accuracy in the neural network unit 220 (or 220A), it becomes possible to classify characters with high accuracy in the neural network unit 220B, and it becomes possible to accurately classify characters in the neural network unit 220C. It becomes possible to judge handwriting with high accuracy.
  • FIG. 16 shows a modification of the arithmetic device 600 according to modification H above.
  • the arithmetic device 600 corresponds to a device in which the model calculation section 620 is omitted and a gradient calculation section 660 is provided in place of the gradient calculation section 630, as shown in FIG. 16, for example.
  • each modulation element 181 is an element that can drive each pixel at high speed, by minutely changing the phase amount of each pixel of each modulation element 181 one by one, the gradient
  • the calculation unit 660 can directly calculate ⁇ I1/ ⁇ (see equation (8)).
  • the gradient calculation unit 660 calculates the gradient (differential The value ( ⁇ L/ ⁇ )) is derived.
  • the gradient calculation unit 660 outputs the derived differential value ( ⁇ L/ ⁇ ) to the phase update unit 640.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be applied to any type of transportation such as a car, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility vehicle, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor), etc. It may also be realized as a device mounted on the body.
  • FIG. 17 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile object control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 7000 includes multiple electronic control units connected via communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside vehicle information detection unit 7400, an inside vehicle information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 connecting these plurality of control units is, for example, a communication network based on any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs calculation processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various devices to be controlled. Equipped with.
  • Each control unit is equipped with a network I/F for communicating with other control units via the communication network 7010, and also communicates with devices or sensors inside and outside the vehicle through wired or wireless communication.
  • a communication I/F is provided for communication.
  • the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon receiving section 7650, an in-vehicle device I/F 7660, an audio image output section 7670, An in-vehicle network I/F 7680 and a storage unit 7690 are illustrated.
  • the other control units similarly include a microcomputer, a communication I/F, a storage section, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for a steering mechanism to adjust and a braking device to generate braking force for the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection section 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotation movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, or a steering wheel. At least one sensor for detecting angle, engine rotational speed, wheel rotational speed, etc. is included.
  • the drive system control unit 7100 performs arithmetic processing using signals input from the vehicle state detection section 7110, and controls the internal combustion engine, the drive motor, the electric power steering device, the brake device, and the like.
  • the body system control unit 7200 controls the operations of various devices installed in the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
  • radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 7200.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310, which is a power supply source for the drive motor, according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including a secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the external information detection unit 7400 detects information external to the vehicle in which the vehicle control system 7000 is mounted. For example, at least one of an imaging section 7410 and an external information detection section 7420 is connected to the vehicle exterior information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle external information detection unit 7420 includes, for example, an environmental sensor for detecting the current weather or weather, or a sensor for detecting other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunlight sensor that detects the degree of sunlight, and a snow sensor that detects snowfall.
  • the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging section 7410 and the vehicle external information detection section 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 18 shows an example of the installation positions of the imaging section 7410 and the vehicle external information detection section 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumper, back door, and upper part of the windshield inside the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirrors mainly capture images of the sides of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or back door mainly acquires images of the rear of the vehicle 7900.
  • the imaging unit 7918 provided above the windshield inside the vehicle is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 18 shows an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • Imaging range a indicates the imaging range of imaging unit 7910 provided on the front nose
  • imaging ranges b and c indicate imaging ranges of imaging units 7912 and 7914 provided on the side mirrors, respectively
  • imaging range d is The imaging range of an imaging unit 7916 provided in the rear bumper or back door is shown. For example, by superimposing image data captured by imaging units 7910, 7912, 7914, and 7916, an overhead image of vehicle 7900 viewed from above can be obtained.
  • the external information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided at the front, rear, sides, corners, and the upper part of the windshield inside the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • External information detection units 7920, 7926, and 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield inside the vehicle 7900 may be, for example, LIDAR devices.
  • These external information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image of the exterior of the vehicle, and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection section 7420 to which it is connected.
  • the external information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the external information detection unit 7400 transmits ultrasonic waves or electromagnetic waves, and receives information on the received reflected waves.
  • the external information detection unit 7400 may perform object detection processing such as a person, car, obstacle, sign, or characters on the road surface or distance detection processing based on the received information.
  • the external information detection unit 7400 may perform environment recognition processing to recognize rain, fog, road surface conditions, etc. based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to the object outside the vehicle based on the received information.
  • the outside-vehicle information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing people, cars, obstacles, signs, characters on the road, etc., based on the received image data.
  • the outside-vehicle information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and also synthesizes image data captured by different imaging units 7410 to generate an overhead image or a panoramic image. Good too.
  • the outside-vehicle information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects in-vehicle information.
  • a driver condition detection section 7510 that detects the condition of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that images the driver, a biosensor that detects biometric information of the driver, a microphone that collects audio inside the vehicle, or the like.
  • the biosensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of a passenger sitting on a seat or a driver holding a steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or determine whether the driver is dozing off. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls overall operations within the vehicle control system 7000 according to various programs.
  • An input section 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by, for example, a device such as a touch panel, a button, a microphone, a switch, or a lever that can be inputted by the passenger.
  • the integrated control unit 7600 may be input with data obtained by voice recognition of voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device that uses infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that is compatible with the operation of the vehicle control system 7000. You can.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information using gestures. Alternatively, data obtained by detecting the movement of a wearable device worn by a passenger may be input. Further, the input section 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input section 7800 described above and outputs it to the integrated control unit 7600. By operating this input unit 7800, a passenger or the like inputs various data to the vehicle control system 7000 and instructs processing operations.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, etc. Further, the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication with various devices existing in the external environment 7750.
  • the general-purpose communication I/F7620 supports cellular communication protocols such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution), or LTE-A (LTE-Advanced). , or other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi (registered trademark)) or Bluetooth (registered trademark).
  • the general-purpose communication I/F 7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point, for example. You may.
  • the general-purpose communication I/F 7620 uses, for example, P2P (Peer To Peer) technology to communicate with a terminal located near the vehicle (for example, a driver, a pedestrian, a store terminal, or an MTC (Machine Type Communication) terminal). You can also connect it with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point, for example. You may.
  • P2P Peer To Peer
  • a terminal located near the vehicle for example, a driver, a pedestrian, a store terminal, or an MTC (Machine Type Communication) terminal. You can also connect it with
  • the dedicated communication I/F 7630 is a communication I/F that supports communication protocols developed for use in vehicles.
  • the dedicated communication I/F 7630 uses standard protocols such as WAVE (Wireless Access in Vehicle Environment), which is a combination of lower layer IEEE802.11p and upper layer IEEE1609, DSRC (Dedicated Short Range Communications), or cellular communication protocol. May be implemented.
  • the dedicated communication I/F 7630 typically supports vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) communications, a concept that includes one or more of the following:
  • the positioning unit 7640 performs positioning by receiving, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), and determines the latitude, longitude, and altitude of the vehicle. Generate location information including. Note that the positioning unit 7640 may specify the current location by exchanging signals with a wireless access point, or may acquire location information from a terminal such as a mobile phone, PHS, or smartphone that has a positioning function.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a wireless station installed on the road, and obtains information such as the current location, traffic jams, road closures, or required travel time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates connections between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 connects to USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile High).
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Mobile High
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by a passenger, or an information device carried into or attached to the vehicle.
  • the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination. or exchange data signals.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I/F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 communicates via at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon reception section 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information obtained. For example, the microcomputer 7610 calculates a control target value for a driving force generating device, a steering mechanism, or a braking device based on acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Good too.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or impact mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. Coordination control may be performed for the purpose of
  • the microcomputer 7610 controls the driving force generating device, steering mechanism, braking device, etc. based on the acquired information about the surroundings of the vehicle, so that the microcomputer 7610 can drive the vehicle autonomously without depending on the driver's operation. Cooperative control for the purpose of driving etc. may also be performed.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 acquires information through at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon reception section 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680. Based on this, three-dimensional distance information between the vehicle and surrounding objects such as structures and people may be generated, and local map information including surrounding information of the current position of the vehicle may be generated. Furthermore, the microcomputer 7610 may predict dangers such as a vehicle collision, a pedestrian approaching, or entering a closed road, based on the acquired information, and generate a warning signal.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio and image output unit 7670 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
  • an audio speaker 7710, a display section 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display section 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices other than these devices, such as headphones, a wearable device such as a glasses-type display worn by the passenger, a projector, or a lamp.
  • the output device When the output device is a display device, the display device displays results obtained from various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, graphs, etc. Show it visually. Further, when the output device is an audio output device, the audio output device converts an audio signal consisting of reproduced audio data or acoustic data into an analog signal and audibly outputs the analog signal.
  • control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions performed by one of the control units may be provided to another control unit. In other words, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any one of the control units.
  • sensors or devices connected to any control unit may be connected to other control units, and multiple control units may send and receive detection information to and from each other via communication network 7010. .
  • a computer program for realizing each function of the optical processing system 1 described using FIGS. 1 to 16 and the like can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed, for example, via a network, without using a recording medium.
  • the optical processing system 1 described using FIGS. 1 to 16 and the like can be used, for example, as a light source steering unit of LIDAR as an environmental sensor. Further, image recognition in the imaging section can also be performed by an optical computing unit using the optical processing system 1 described using FIGS. 1 to 16 and the like.
  • the optical processing system 1 described using FIGS. 1 to 16 and the like is used as a highly efficient and bright projection device, lines and characters can be projected onto the ground. Specifically, it can display lines so that people outside the vehicle can see where the car is passing when backing up, and it can display crosswalks with lights when giving way to pedestrians.
  • the components of the optical processing system 1 described using FIGS. 1 to 16 etc. are a module for the integrated control unit 7600 shown in FIG. (integrated circuit module).
  • the optical processing system 1 described using FIGS. 1 to 16 and the like may be realized by a plurality of control units of the vehicle control system 7000 shown in FIG. 17.
  • the present disclosure can take the following configuration.
  • an optical neural network section consisting of hardware that outputs a feature map as an intensity distribution by encoding incident light; a light detection unit that generates image data by optically detecting the feature map; and an output section that outputs the image data to an external communication network.
  • the optical neural network section includes a plurality of phase difference elements or a plurality of metasurfaces.
  • the optical neural network section includes a plurality of spatial light modulation liquid crystal elements or a plurality of MEMS mirrors.
  • the optical arithmetic device includes: an optical neural network section composed of hardware that outputs a feature map as a light intensity distribution by encoding incident light; a light detection unit that generates image data by optically detecting the feature map; an output unit that outputs the image data to the information processing device via the communication network;
  • the information processing device includes a processing unit that processes the image data obtained from the optical processing device via the communication network.
  • Optical processing system (7) The optical processing system according to (6), wherein the optical neural network section includes a plurality of phase difference elements or a plurality of metasurfaces.
  • optical processing system includes a plurality of spatial light modulation liquid crystal elements or a plurality of MEMS mirrors.
  • the light detection section includes an image sensor or a photodetector array.
  • the processing unit includes a neural network unit that generates reconstructed image data corresponding to the incident light by decoding the image data. system.
  • the processing unit reconstructs a three-dimensional shape of an object irradiated with the irradiation light based on the reconstructed image data.
  • the processing unit estimates the posture or orientation of the object irradiated with the irradiation light based on the reconstructed image data.
  • the processing unit estimates the material of the object to which the irradiation light is irradiated, based on the reconstructed image data.
  • the light projecting unit is configured to generate a plurality of reflected lights by irradiating the object with the irradiation light from a plurality of directions
  • the optical arithmetic device includes: a plurality of optical neural network units, one for each of the reflected lights; and a plurality of the light detection units, one for each of the optical neural network units,
  • the processing unit includes: a first neural network unit that generates reconstructed image data corresponding to the incident light by decoding the image data; a second neural network unit that generates a classification of characters included in the incident light by decoding the image data; and a second neural network unit that generates handwriting of the characters included in the incident light by decoding the image data.
  • the optical processing system according to any one of (6) to (16), including at least two of the third neural network units.
  • the optical arithmetic device includes: further comprising: an optically addressable spatial light modulator; and a light source unit that irradiates coherent light to the optically addressable spatial light modulator,
  • processing system The optical processing system according to any one of (6) to (18), wherein the optical neural network section includes a plurality of retardation elements made of a birefringent material.
  • the processing unit includes a neural network unit that generates reconstructed image data corresponding to the incident light by decoding the image data, Based on the reconstructed image data and the image data obtained by model calculation, a differential value, which is the gradient of the loss function with respect to the phase distribution, is derived, and based on the derived differential value, the optical neural network section
  • a differential value which is a gradient of the loss function with respect to the phase distribution, is derived, and based on the derived differential value, the phase amount to be output to the optical neural network section is determined.
  • the optical processing system further comprising an updating processing device.
  • the processing unit includes a neural network unit that generates reconstructed image data corresponding to the incident light by decoding the image data, further comprising an arithmetic device that derives a differential value that is a gradient of a phase distribution of a loss function based on the reconstructed image data, and updates a phase amount output to the optical neural network unit based on the derived differential value.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本開示の一実施の形態に係る光演算装置は、光演算装置は、光ニューラルネットワーク部と、光検出部と、出力部とを備える。光ニューラルネットワーク部は、入射光をエンコードすることにより特徴量マップを光強度分布として出力するハードウェアで構成される。光検出部は、特徴量マップを光検出することにより画像データを生成する。出力部は、画像データを外部の通信ネットワークに出力する。

Description

光演算装置および光演算処理システム
　本開示は、光演算装置および光演算処理システムに関する。
　近年、ニューラルネットワークによって抽出されたメタデータやそれに類する特徴量のみを送信することで通信容量を削減する技術が注目されている。
特開２０１９－１９１６３５号
　しかし、ニューラルネットワークによる特徴量の抽出は、計算コストが高く、エッジデバイス上での消費電力が大きくなってしまうという問題があった。従って、計算コストおよび消費電力を抑制することの可能な光演算装置、およびそれを備えた光演算処理システムを提供することが望ましい。
　本開示の第１の側面に係る光演算装置は、光ニューラルネットワーク部と、光検出部と、出力部とを備える。光ニューラルネットワーク部は、入射光をエンコードすることにより特徴量マップを光強度分布として出力するハードウェアで構成される。光検出部は、特徴量マップを光検出することにより画像データを生成する。出力部は、画像データを外部の通信ネットワークに出力する。
　本開示の第２の側面に係る光演算処理システムは、通信ネットワークを介して互いに通信可能な光演算装置および情報処理装置を備える。光演算装置は、光ニューラルネットワーク部と、光検出部と、出力部とを有する。光ニューラルネットワーク部は、入射光をエンコードすることにより特徴量マップを光強度分布として出力するハードウェアで構成される。光検出部は、特徴量マップを光検出することにより画像データを生成する。出力部は、画像データを、通信ネットワークを介して情報処理装置に出力する。情報処理装置は、通信ネットワークを介して光演算装置から得られた画像データを処理する処理部を有する。
　本開示の第１の側面に係る光演算装置、および本開示の第２の側面に係る光演算処理システムでは、光ニューラルネットワーク部によって入射光をエンコードすることにより特徴量マップが生成され、特徴量マップを光検出部で光検出することにより画像データが生成される。このように、光検出部での画像データ取得前に光ニューラルネットワーク部によって特徴量マップが生成されることにより、低計算コストかつ低消費電力での情報圧縮を行うことができる。
図１は、本開示の一実施の形態に係る光演算装置およびそれを備えた光演算処理システムの概略構成例を表す図である。 図２は、図１の光ニューラルネットワークのハードウェア構成例を表す図である。 図３は、図１の光演算処理システムの一変形例を表す図である。 図４は、図１の光演算処理システムの一変形例を表す図である。 図５は、図１の光演算処理システムの一変形例を表す図である。 図６は、図１の光演算処理システムの一変形例を表す図である。 図７は、図１の光演算処理システムの一変形例を表す図である。 図８は、図１、図３～図７の光演算装置の一変形例を表す図である。 図９は、図１、図３～図７の光演算装置の一変形例を表す図である。 図１０は、図８の光演算装置の一変形例を表す図である。 図１１は、図９、図１０の光ニューラルネットワークのハードウェア構成例を表す図である。 図１２は、図９、図１０の光ニューラルネットワークを備えた光演算処理システムにおける情報処理装置の概略構成例を表す図である。 図１３は、図９もしくは図１０の光演算装置を備えた光演算処理システムの概略構成例を表す図である。 図１４は、図１３の光演算処理システムの概略構成の一変形例を表す図である。 図１５は、図１３、図１４の演算装置の概略構成例を表す図である。 図１６は、図１５の演算装置の概略構成の一変形例を表す図である。 図１７は、車両制御システムの概略的な構成の一例を示すブロック図である。 図１８は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示を実施するための形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
 
１．実施の形態（図１、図２）
２．変形例（図３～図１６）
３．応用例（図１７、図１８）
＜１．実施の形態＞
[構成]
　図１は、本開示の一実施の形態に係る光演算処理システム１の概略構成例を表したものである。光演算処理システム１は、光ニューラルネットワーク部１１０とニューラルネットワーク部２２０とが通信ネットワーク３００を介して接続された低通信容量型のシステムである。光演算処理システム１は、光演算装置１００および情報処理装置２００を備えている。光演算装置１００および情報処理装置２００は、通信ネットワーク３００を介して互いに通信可能に構成されている。
　光演算装置１００は、光ニューラルネットワーク部１１０、イメージセンサ１２０およびインターフェース部１３０（出力部）を有している。情報処理装置２００は、インターフェース部２１０、ニューラルネットワーク部２２０および演算部２３０を有している。インターフェース部１３０、２１０は、通信ネットワーク３００を介して互いに通信を行うことの可能なインターフェースで構成されている。通信ネットワーク３００は、例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのＰＡＮ（Personal Area Network）、イーサネット（登録商標）、ＩＥＥＥ８０２．１１などのＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などの任意の通信ネットワークでよい。
　光ニューラルネットワーク部１１０は、イメージセンサ１２０の前段に設けられている。光ニューラルネットワーク部１１０は、外部から入力された光（例えば、入射光Ｌａ、または後述の入力画像光Ｌｂ）を複数の変調素子１１１によってエンコード（光変調）することにより、複数の変調素子１１１の光学特性に応じた特徴量マップＬｃを光強度分布として出力するハードウェアで構成されている。
　ここで、上記の「ハードウェア」は、例えば、図２に示したように、所定の間隙を介して一列に配置された複数の変調素子１１１によって構成されている。変調素子１１１については、後に詳述する。
　入力画像光Ｌｂは、例えば、図２に示したように、外部から入射した入射光Ｌａのうち、アパーチャ４００を透過した光（透過光）である。アパーチャ４００は、透過光（入力画像光Ｌｂ）が例えば図２に示したような数字の「０」を表す光となるような開口パターンを有している。なお、アパーチャ４００は、入力画像光Ｌｂとして数字の「０」を表す光を得るために便宜的に設けられたものであり、光演算処理システム１における任意の構成要素である。
　イメージセンサ１２０は、光ニューラルネットワーク部１１０から出力された特徴量マップＬｃを光検出することにより画像データＤａを生成する。イメージセンサ１２０は、例えば、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子である。インターフェース部１３０は、イメージセンサ１２０で生成された画像データＤａを、通信ネットワーク３００を介して情報処理装置２００に出力する。
　インターフェース部１３０は、イメージセンサ１２０で生成された画像データＤａを、通信ネットワーク３００を介して情報処理装置２００に出力する。インターフェース部２１０は、画像データＤａを、通信ネットワーク３００を介して光演算装置１００から取得する。情報処理装置２００は、通信ネットワーク３００を介して光演算装置１００から得られた画像データＤａを処理する。
　ニューラルネットワーク部２２０は、例えば、イメージセンサ１２０、インターフェース部１３０、通信ネットワーク３００およびインターフェース部２１０を介して光ニューラルネットワーク部１１０と連結された演算装置である。この演算装置には、ニューラルネットワーク部２２０の機能を実現するニューラルネットワークが実装されている。ニューラルネットワーク部２２０は、例えば、光演算装置１００から取得した画像データＤａをデコードすることにより、入射光Ｌａまたは入力画像光Ｌｂに対応する再構成画像データＤｂを生成する。
　演算部２３０は、ニューラルネットワーク部２２０で生成された再構成画像データＤｂを処理する演算装置である。演算部２３０は、例えば、ＣＰＵ（Central Processing Unit）およびＧＰＵ（Graphics Processing Unit）を含んで構成されている。この演算部２３０には、演算部２３０の機能を実現するソフトウェアが実装されており、演算部２３０は、そのソフトウェアを実行することにより、演算部２３０の機能を実現する。
　次に、変調素子１１１について説明する。各変調素子１１１は、例えば、位相差素子またはメタサーフェスである。複数の変調素子１１１は、後述の学習モデルソフトウェアに学習させることにより得られたエンコーダを物理的に実装したものである。
　ここで、「学習モデルソフトウェア」は、光ニューラルネットワーク部１１０およびニューラルネットワーク部２２０をｅｎｄ－ｔｏ－ｅｎｄで連結したニューラルネットワークを模した学習モデルである。「学習モデルソフトウェア」において、光ニューラルネットワーク部１１０に対応するニューラルネットワークは、物理法則にもとづいて実際の光学系を学習可能な物理モデルとしてソフトウェア上に実装したものであり、具体的には、微分可能な光回折計算および位相変調計算から構成されており、位相変調量の調節によって学習が行われたものである。「学習モデルソフトウェア」において、ニューラルネットワーク部２２０に対応するニューラルネットワークは、光演算装置１１０により画像データＤａとして出力された特徴マップを入力として、画像の再構成や分類などの機能を実現するものであり、畳み込みニューラルネットワーク、Transformerなどのニューラルネットワークとして実現されてよい。
［効果］
　次に、光演算処理システム１の効果について説明する。
　近年、ニューラルネットワークによって抽出されたメタデータやそれに類する特徴量のみを送信することで通信容量を削減する技術が注目されている。しかし、ニューラルネットワークによる特徴量の抽出は、計算コストが高く、エッジデバイス上での消費電力が大きくなってしまうという問題があった。
　一方、本実施の形態では、光ニューラルネットワーク部１１０によって入射光Ｌａをエンコードすることにより特徴量マップＬｃが生成され、特徴量マップＬｃをイメージセンサ１２０で光検出することにより画像データＤａが生成される。このように、イメージセンサ１２０での画像データＤａ取得前に光ニューラルネットワーク部１１０によって特徴量マップＬｃが生成されることにより、低計算コストかつ低消費電力での情報圧縮を行うことができる。従って、計算コストおよび消費電力を抑制することができる。
　本実施の形態では、光ニューラルネットワーク部１１０が複数の位相差素子１１１によって構成されている。これにより、画像データＤａをデジタルデータとしてメモリ等に格納しておく必要がないので、計算コストおよび消費電力を抑制することができるだけでなく、セキュリティやプライバシーの保護の観点でも優れている。
　本実施の形態では、特徴量マップＬｃの検出にイメージセンサ１２０が用いられている。これにより、特徴量マップＬｃを効率よく、デジタルデータである画像データＤａに変換することができる。
　本実施の形態では、ニューラルネットワーク部２２０が情報処理装置２００に設けられている。これにより、データ容量の小さな画像データＤａをデコードすることにより、入射光Ｌａに対応する再構成画像データＤｂを生成することができる。その結果、低通信容量でのデータ伝送を実現することができる。
＜２．変形例＞
　次に、上記実施の形態に係る光演算処理システム１の変形例について説明する。以下では、共通の構成要素に対しては、共通の符号を付与し、共通の構成要素についての説明を適宜、省略するものとする。
［変形例Ａ］
　上記実施の形態において、情報処理装置２００は、例えば、図３に示したように、複数のニューラルネットワーク２２０（例えば、２２０Ａ，２２０Ｂ，２２０Ｃ）を有していてもよい。なお、本変形例において、例えば、ニューラルネットワーク２２０Ａ，２２０Ｂ，２２０Ｃのうち少なくとも２つだけが設けられていてもよい。
　ニューラルネットワーク２２０Ａ，２２０Ｂ，２２０Ｃは、インターフェース部２１０の出力端に互いに並列に接続されている。ニューラルネットワーク２２０Ａ，２２０Ｂ，２２０Ｃには、画像データＤａが入力される。ニューラルネットワーク２２０Ａ，２２０Ｂ，２２０Ｃからの出力は、例えば、共通の演算部２３０に入力される。
　ニューラルネットワーク２２０Ａ，２２０Ｂ，２２０Ｃは、例えば、イメージセンサ１２０、インターフェース部１３０、通信ネットワーク３００およびインターフェース部２１０を介して光ニューラルネットワーク部１１０と連結された演算装置である。ニューラルネットワーク２２０Ａを構成する演算装置には、ニューラルネットワーク部２２０Ａの機能を実現するニューラルネットワークが実装されている。ニューラルネットワーク２２０Ｂを構成する演算装置には、ニューラルネットワーク部２２０Ｂの機能を実現するニューラルネットワークが実装されている。ニューラルネットワーク２２０Ｃを構成する演算装置には、ニューラルネットワーク部２２０Ｃの機能を実現するニューラルネットワークが実装されている。
　ニューラルネットワーク部２２０Ａは、例えば、光演算装置１００から取得した画像データＤａをデコードすることにより、入射光Ｌａまたは入力画像光Ｌｂに対応する再構成画像データＤｂＡを生成する。ニューラルネットワーク部２２０Ｂは、例えば、光演算装置１００から取得した画像データＤａをデコードすることにより、入射光Ｌａまたは入力画像光Ｌｂに含まれる文字の分類ＤｂＢ（例えば、数字の“０”）を生成する。ニューラルネットワーク部２２０Ｃは、例えば、光演算装置１００から取得した画像データＤａをデコードすることにより、入射光Ｌａまたは入力画像光Ｌｂに含まれる文字の筆跡ＤｂＣ（例えば、Ａｄａｍ氏の筆跡）を生成する。
　演算部２３０は、複数のニューラルネットワーク２２０（例えば、２２０Ａ，２２０Ｂ，２２０Ｃ）から入力されるデータ（例えば、再構成画像データＤｂＡ、分類ＤｂＢ、筆跡ＤｂＣ）を処理する。
　本変形例では、光演算装置１００から取得した画像データＤａが複数のニューラルネットワーク２２０においてデコードされることにより、複数のデータ（例えば、再構成画像データＤｂＡ、分類ＤｂＢ、筆跡ＤｂＣ）が生成される。これにより、演算部２３０において、複数のデータのうち少なくとも１つを用いた処理を行うことができる。
［変形例Ｂ］
　上記実施の形態およびその変形例において、光演算装置１００は、例えば、図４に示したように、照射光Ｌｄを生成し、照射光Ｌｄの反射光により入射光Ｌａを生成する投光部１４０を有していてもよい。例えば、図４に示したように、照射光Ｌｄによって物体ＯＢが照射されることにより、物体ＯＢから反射光が生成される。この反射光が入射光Ｌａとなって光ニューラルネットワーク１１０に入射する。
　照射光Ｌｄは、例えば、単波長の光、または、複数波長を含む光（例えば、赤色光、緑色光および青色光を含む光、または、可視領域全体に渡る波長を含む光）となっていてもよい。照射光Ｌｄは、例えば、単色光となっていてもよいし、白色光となっていてもよい。照射光Ｌｄは、例えば、球面波の光であってもよいし、コリメート光であってもよい。照射光Ｌｄは、例えば、無偏光光であってもよいし、直線偏光光であってもよい。
　投光部１４０は、例えば、点光源であってもよいし、構造光を出力可能な光源であってもよい。投光部１４０は、例えば、照射光Ｌｄを時間的に連続して出力してもよいし、照射光Ｌｄを時間的に断続して（つまりパルス状に）出力してもよい。
　本変形例では、照射光Ｌｄによって物体ＯＢが照射されることにより生成される反射光が入射光Ｌａとなって光ニューラルネットワーク１１０に入射する。これにより、照射光Ｌｄの性質に応じた画像データＤａおよび再構成画像データＤｂが得られる。その結果、演算部２３０は、再構成画像データＤｂに基づいて、物体ＯＢの３次元形状を再構成してもよい。また、演算部２３０は、再構成画像データＤｂに基づいて、物体ＯＢの姿勢もしくは向きを推定してもよい。また、演算部２３０は、再構成画像データＤｂに基づいて、物体ＯＢの材質を推定してもよい。物体ＯＢが材料の異なる複数の部材によって構成されている場合には、演算部２３０は、再構成画像データＤｂに基づいて、物体ＯＢの材質を、物体ＯＢの場所ごとに推定してもよい。
［変形例Ｃ］
　上記実施の形態およびその変形例において、光演算装置１００は、例えば、図５に示したように、物体ＯＢに対して複数の方向から照射光Ｌｄを照射することにより、複数の反射光を生成させるように構成されていてもよい。
　このとき、光演算装置１００は、例えば、図５に示したように、複数の投光部１４０と、反射光ごとに１つずつ設けられた複数の光ニューラルネットワーク部１１０と、光ニューラルネットワーク部１１０ごとに１つずつ設けられた複数のイメージセンサ１２０と、インターフェース部１５０とを有している。インターフェース部１５０は、イメージセンサ１２０ごとに１つずつ得られた複数の画像データＤａを、通信ネットワーク３００を介して情報処理装置２００に出力する。
　情報処理装置２００において、インターフェース部２１０は、通信ネットワーク３００を介して入力された複数の画像データＤａを結合し、それにより得られた画像データＤｃをニューラルネットワーク２２０に出力する。ニューラルネットワーク２２０は、画像データＤｃをデコードすることにより、物体ＯＢの３次元形状を推定する。演算部２３０は、ニューラルネットワーク２２０で得られた物体ＯＢの３次元形状のデータを処理する。
　本変形例では、光ニューラルネットワーク部１１０およびイメージセンサ１２０を含むモジュールごとに１つずつ得られた複数の画像データＤａが、通信ネットワーク３００を介して情報処理装置２００に出力される。これにより、情報処理装置２００において、画像データＤｃに基づいた、より複雑な処理を行うことが可能となる。
［変形例Ｄ］
　上記実施の形態およびその変形例において、光演算装置１００は、例えば、図６に示したように、光アドレス式空間光変調素子１６０と、光アドレス式空間光変調素子１６０にコヒーレント光Ｌｅを照射する光源部１６１とを有していてもよい。
　光アドレス式空間光変調素子１６０は、コヒーレント光Ｌｅを照射することにより光学特性が変化する材料によって構成された光学素子である。上記「光学特性が変化する材料」としては、例えば、フォトリフラクティブ材料、または、フォトクロミック材料などが挙げられる。
　光アドレス式空間光変調素子１６０は、例えば、図６に示したように、コヒーレント光Ｌｅの照射により、コヒーレント光Ｌｅと、外光（例えば、太陽光または室内光）であるインコヒーレント光Ｌｆとの合成光（位相情報を含むコヒーレント光）を生成するようになっている。この合成光が入射光Ｌａとなって光ニューラルネットワーク１１０に入射する。
　本変形例では、光アドレス式空間光変調素子１６０を利用して入射光Ｌａが生成される。これにより、光電場と位相との関係に非線形性を持たせることができるので、入射光Ｌａまたは入力画像光Ｌｂに対応する再構成画像データＤｂを精度よく生成することができる。
［変形例Ｅ］
　上記実施の形態およびその変形例において、複数の変調素子１１１が複屈折材料で構成されていてもよい。このとき、例えば、図７に示したように、入射光Ｌａとして縦偏光光が光ニューラルネットワーク１１０に入射した場合には、縦偏光に応じた特徴量マップＬｃおよび画像データＤａが生成され、縦偏光に応じた再構成画像データＤｂが生成される。また、例えば、図７に示したように、入射光Ｌａとして横偏光光が光ニューラルネットワーク１１０に入射した場合には、横偏光に応じた特徴量マップＬｃおよび画像データＤａが生成され、横偏光に応じた再構成画像データＤｂが生成される。本変形例では、このように、偏光に関する情報を抽出することができるので、例えば、縦偏光および横偏光のそれぞれで、画像再構成を行ったり、偏光方向の割合に基づく表面状態の推定を行ったりすることが可能となる。
［変形例Ｆ］
　上記実施の形態およびその変形例において、光演算装置１００は、例えば、図８に示したように、イメージセンサ１２０の代わりに、フォトディテクタアレイ１７０を有していてもよい。このようにした場合には、イメージセンサ１２０と比べて、読み出し速度を速くすることができ、全体の駆動速度を速くすることができる。
［変形例Ｇ］
　上記実施の形態およびその変形例において、光演算装置１００は、例えば、図９，図１０に示したように、光ニューラルネットワーク１１０の代わりに、光ニューラルネットワーク１８０を有していてもよい。光ニューラルネットワーク１８０は、イメージセンサ１２０もしくはフォトディテクタアレイ１７０の前段に設けられている。光ニューラルネットワーク部１８０は、例えば、図１１に示したように、外部から入力された光（例えば、入射光Ｌａ、または入力画像光Ｌｂ）を複数の変調素子１８１によってエンコード（光変調）することにより、複数の変調素子１８１の光学特性に応じた特徴量マップＬｃを光強度分布として出力するハードウェアで構成されている。
　各変調素子１８１は、例えば、空間光変調液晶素子またはＭＥＭＳミラーである。複数の変調素子１８１は、後述の学習モデルソフトウェアに学習させることにより得られたエンコーダを物理的に実装したものである。
　ここで、「学習モデルソフトウェア」は、光ニューラルネットワーク部１８０およびニューラルネットワーク部２２０をｅｎｄ－ｔｏ－ｅｎｄで連結したニューラルネットワークを模した学習モデルである。「学習モデルソフトウェア」において、光ニューラルネットワーク部１８０に対応するニューラルネットワークは、例えば、入力層、中間層および出力層を含む。「学習モデルソフトウェア」において、ニューラルネットワーク部２２０に対応するニューラルネットワークは、例えば、入力層、中間層および出力層を含む。
　各層は、１または複数のニューロンを備えている。互いに隣接する層のニューロン同士は結合されており、各結合には重み（結合荷重）が設定されている。ニューロンの結合数は、適宜設定されてよい。各ニューロンには閾値が設定されており、例えば、各ニューロンへの入力値と重みとの積の和が閾値を超えているか否かによって各ニューロンの出力値が決定される。
　本変形例では、光演算装置１００は、さらに、例えば、図１１に示したように、複数の変調素子１８１の重みを切り替える駆動部１９０を有している。駆動部１９０は、情報処理装置２００から入力される制御信号Ｄｏｕｔに基づいて、複数の変調素子１８１の重みを切り替える。これにより、光ニューラルネットワーク１８０は、複数の変調素子１８１の重みが切り替えられる度に、新たな特徴量マップＬｃを光強度分布として出力する。
　本変形例では、情報処理装置２００は、例えば、図１２に示したように、演算部２３０から得られた再構成画像データＤｂに基づいて制御信号Ｄｏｕｔを生成するインターフェース部２４０を有している。インターフェース部２４０は、生成した制御信号Ｄｏｕｔを、通信ネットワーク５００を介して光演算装置１００に出力する。なお、通信ネットワーク３００が通信ネットワーク５００を兼ねていてもよいし、通信ネットワーク５００が通信ネットワーク３００とは別体に設けられていてもよい。
　本変形例では、重みを切り替え可能な複数の変調素子１８１が設けられている。これにより、再構成画像データＤｂの高階調化が可能となる。また、ニューラルネットワーク部２２０（デコーダ）の出力を元に光ニューラルネットワーク部１８０を逐次学習させることも可能となり、高精度な再構成画像データＤｂを生成することも可能となる。
［変形例Ｈ］
　図１３、図１４は、上記変形例Ｇに係る光演算装置１００を備えた光演算処理システム１の一変形例を表したものである。上記変形例Ｇにおいて、光演算処理システム１は、例えば、図１３、図１４に示したように、演算装置６００と、画像表示デバイス７００とを備えていてもよい。
　画像表示デバイス７００は、光ニューラルネットワーク１８０に対する機械学習の際に必要となる種々の画像光（入力画像光Ｌｂ）を生成する。画像表示デバイス７００は、例えば、演算装置６００から入力される制御信号Ｃｔｒ１に基づいて種々の画像光（入力画像光Ｌｂ）を生成する。画像表示デバイス７００は、例えば、生成した種々の画像光（入力画像光Ｌｂ）を光演算装置１００（光ニューラルネットワーク部１８０）に出力する。画像表示デバイス７００は、例えば、液晶表示パネルまたは有機ＥＬ表示パネルを含んで構成されている。
　演算装置６００は、機械学習により、光ニューラルネットワーク１８０に含まれる各変調素子１８１の位相量（重み）を調整する。演算装置６００による位相量の調整により、例えば、ニューラルネットワーク部２２０（もしくは２２０Ａ）において精度良く画像再構成を行うことが可能となったり、ニューラルネットワーク部２２０Ｂにおいて精度良く文字を分類することが可能となったり、ニューラルネットワーク部２２０Ｃにおいて精度良く筆跡を判断することが可能となったりする。
　演算装置６００は、例えば、図１５に示したように、画像取得部６１０、モデル計算部６２０、勾配計算部６３０、位相更新部６４０および駆動部６５０を有している。この演算装置６００には、演算装置６００の機能を実現するソフトウェアが実装されており、演算装置６００は、そのソフトウェアを実行することにより、演算装置６００の機能を実現する。
　演算装置６００は、少なくとも１つのプロセッサ（例えば、中央演算処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）および／または少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の、少なくとも１つの半導体集積回路を含む回路によって実施可能である。少なくとも１つのプロセッサは、少なくとも１つの非一時的かつ有形のコンピュータ可読媒体から指示を読み込むことによって、演算装置６００における各種機能のうちの全部または一部を実行するように構成可能である。そのような媒体は、ハードディスク等の各種磁気媒体、ＣＤまたはＤＶＤ等の各種光媒体、揮発性メモリまたは不揮発性メモリ等の各種半導体メモリ（すなわち、半導体回路）を含む様々な形態をとり得るが、これらには限定されない。揮発性メモリは、ＤＲＡＭおよびＳＲＡＭを含み得る。不揮発性メモリは、ＲＯＭおよびＮＶＲＡＭを含み得る。ＡＳＩＣは、演算装置６００における各種機能のうちの全部または一部を実行するように特化された集積回路（ＩＣ）である。ＦＰＧＡは、演算装置６００における各種機能のうちの全部または一部を実行するように、製造後に構成可能に設計された集積回路である。
　画像取得部６１０は、ニューラルネットワーク部１８０，２２０から画像データＤａ，Ｄｂを取得し、取得した画像データＤａ，Ｄｂを光強度分布データＩ１として、勾配計算部６３０に出力する。
　モデル計算部６２０は、例えば、図１５に記載の式（１）、式（２）、式（３）および式（４）に基づいて、学習用の光強度分布データＩ２（画像データ）を生成し、勾配計算部６３０に出力する。式（１）、式（２）、式（３）および式（４）は、Ｒａｙｌｅｉｇｈ－Ｓｏｍｍｅｒｆｅｌｄ公式である。式（１）、式（２）、式（３）および式（４）において、ｘ、ｙは変調素子１８１の各画素の座標である。モデル計算部６２０における光強度分布データＩ２の生成方法は、上記に限られるものではない。Ｌはロス関数であり、φは位相分布である。
　ここで、式（１）は、光複素振幅分布より強度分布を計算する式である。式（２）は、Rayleigh-Sommerfeld公式である。式（３）は、式（２）の補助式である。式（４）は、式（２）の補助式である。また、各記号の意味は、下記の通りである。
　h(x,y,z)：Rayleigh-Sommerfeld公式の積分カーネル
　φ：SLMに表示する位相分布
　λ：光の波長
　勾配計算部６３０は、例えば、画像取得部６１０から取得した光強度分布データＩ１と、モデル計算部６２０から取得した光強度分布データＩ２とを図１５の式（５）に入力することにより、ロス関数Ｌの位相分布に対する勾配（微分値（δＬ／δφ））を導出する。勾配計算部６３０は、例えば、導出した微分値（δＬ／δφ）を位相更新部６４０に出力する。
　式（５）の右辺において、右側の項では、光強度分布データとしてモデル計算部６２０における光強度分布データＩ２が用いられる。これは、位相分布の微小変化が実測の強度分布に対してどのような影響を与えるかがブラックボックスとなっているためである。式（５）の右辺において、左側の項では、光強度分布データとして画像取得部６１０から取得した光強度分布データＩ１が用いられる。これは、式（５）の右辺における左側の項は、強度分布の微小変化がロス関数Ｌに対してどのような影響を与えるかを示したものであり、実測の強度分布を用いて厳密に計算可能となっているためである。
　位相更新部６４０は、勾配計算部６３０から取得した微分値（δＬ／δφ）に基づいて、前のステップで求められた位相量を更新する。位相更新部６４０は、例えば、図１５の式（６）に基づいて、前のステップで求められた位相量を更新する。式（６）において、γは学習率である。位相更新部６４０は、例えば、導出した位相量を駆動部６５０に出力する。
　駆動部６５０は、光ニューラルネットワーク１８０に含まれる各変調素子１８１の位相量を制御信号Ｃｔｒ２として光ニューラルネットワーク１８０に出力する。これにより、駆動部６５０は、光ニューラルネットワーク１８０に含まれる各変調素子１８１の位相量を、位相更新部６４０から取得した位相量に設定する。
　本変形例では、光ニューラルネットワーク１８０に含まれる各変調素子１８１の位相量が演算装置６００による機械学習によって調整される。これにより、例えば、ニューラルネットワーク部２２０（もしくは２２０Ａ）において精度良く画像再構成を行うことが可能となったり、ニューラルネットワーク部２２０Ｂにおいて精度良く文字を分類することが可能となったり、ニューラルネットワーク部２２０Ｃにおいて精度良く筆跡を判断することが可能となったりする。
［変形例Ｉ］
　図１６は、上記変形例Ｈに係る演算装置６００の一変形例を表したものである。上記変形例Ｈにおいて、演算装置６００は、例えば、図１６に示したように、モデル計算部６２０が省略され、勾配計算部６３０の代わりに勾配計算部６６０が設けられた装置に相当する。
　本変形例では、光ニューラルネットワーク１８０に含まれる各変調素子１８１が、高速に各画素を駆動することの可能な素子となっている。各変調素子１８１が、例えば、５００ｘ５００の画素で構成されているとする。このとき、各変調素子１８１の各画素の位相量を１つずつ変化させると、５００ｘ５００＝２５万枚の画像が得られる。各変調素子１８１が、例えば、１ＧＨｚの駆動周波数で各画素を駆動することが可能となっている場合、各変調素子１８１からは、２５万枚の画像が０．２５ｍｓで出力可能である。このように、各変調素子１８１が、高速に各画素を駆動することの可能な素子となっている場合、各変調素子１８１の各画素の位相量を１つずつ微小に変化させることにより、勾配計算部６６０は、δＩ１／δφを直接計算することが可能となる（式（８）参照）。
　勾配計算部６６０は、例えば、画像取得部６１０から取得した光強度分布データＩ１を図１６の式（７）、式（８）に入力することにより、ロス関数Ｌの位相分布に対する勾配（微分値（δＬ／δφ））を導出する。勾配計算部６６０は、例えば、導出した微分値（δＬ／δφ）を位相更新部６４０に出力する。
　本変形例では、δＩ１／δφが実測画像に基づいて得られる。これにより、上記変形例Ｈと比べて、画像再構成や文字分類、筆跡判断の性能を向上させることができる。
＜３．応用例＞
　次に、上記実施の形態に係る光演算処理システム１の応用例について説明する。
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１７では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１８は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１８には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１７に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１７に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１～図１６等を用いて説明した光演算処理システム１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１～図１６等を用いて説明した光演算処理システム１は、例えば，環境センサとしてのLIDARの光源ステアリング部として用いることができる。また，撮像部における画像認識を、図１～図１６等を用いて説明した光演算処理システム１を用いた光コンピューティングユニットで行うこともできる。図１～図１６等を用いて説明した光演算処理システム１を、高効率・高輝度なプロジェクションデバイスとして用いた場合は，地面に線や文字を投影することができる。具体的には、車が後退する際に車外の人が車の通る位置が分かるように線を表示したり、歩行者に道を譲る場合に横断歩道を光で表示したりすることができる。
　また、図１～図１６等を用いて説明した光演算処理システム１の少なくとも一部の構成要素は、図１７に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１～図１６等を用いて説明した光演算処理システム１が、図１７に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　以上、実施の形態およびその応用例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
　また、例えば、本開示は以下のような構成を取ることができる。
（１）
　入射光をエンコードすることにより特徴量マップを強度分布として出力するハードウェアで構成された光ニューラルネットワーク部と、
　前記特徴量マップを光検出することにより画像データを生成する光検出部と、
　前記画像データを外部の通信ネットワークに出力する出力部と
　を備えた
　光演算装置。
（２）
　前記光ニューラルネットワーク部は、複数の位相差素子、または、複数のメタサーフェスを含んで構成されている
　（１）に記載の光演算装置。
（３）
　前記光ニューラルネットワーク部は、複数の空間光変調液晶素子、または、複数のＭＥＭＳミラーを含んで構成されている
　（１）に記載の光演算装置。
（４）
　外部からの入力データに基づいて、前記複数の空間光変調液晶素子、または、前記複数のＭＥＭＳミラーの重みを切り替える制御部を更に備えた
　（３）に記載の光演算装置。
（５）
　前記光検出部は、イメージセンサ、または、フォトディテクタアレイを含んで構成されている
　（１）ないし（４）のいずれか１つに記載の光演算装置。
（６）
　通信ネットワークを介して互いに通信可能な光演算装置および情報処理装置を備え、
　前記光演算装置は、
　入射光をエンコードすることにより特徴量マップを光強度分布として出力する、ハードウェアで構成された光ニューラルネットワーク部と、
　前記特徴量マップを光検出することにより画像データを生成する光検出部と、
　前記画像データを、前記通信ネットワークを介して前記情報処理装置に出力する出力部と
　を有し、
　前記情報処理装置は、前記通信ネットワークを介して前記光演算装置から得られた前記画像データを処理する処理部を有する
　光演算処理システム。
（７）
　前記光ニューラルネットワーク部は、複数の位相差素子、または、複数のメタサーフェスを含んで構成されている
　（６）に記載の光演算処理システム。
（８）
　前記光ニューラルネットワーク部は、複数の空間光変調液晶素子、または、複数のＭＥＭＳミラーを含んで構成されている
　（６）に記載の光演算処理システム。
（９）
　外部からの入力データに基づいて、前記複数の空間光変調液晶素子、または、前記複数のＭＥＭＳミラーの重みを切り替える制御部を更に備えた
　（８）に記載の光演算処理システム。
（１０）
　前記光検出部は、イメージセンサ、または、フォトディテクタアレイを含んで構成されている
　（６）ないし（９）のいずれか１つに記載の光演算処理システム。
（１１）
　前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有する
　（６）ないし（１０）のいずれか１つに記載の光演算処理システム。
（１２）
　照射光を生成し、前記照射光の反射光により前記入射光を生成させる投光部を更に備えた
　（１１）に記載の光演算処理システム。
（１３）
　前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の３次元形状を再構成する
　（１２）に記載の光演算処理システム。
（１４）
　前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の姿勢もしくは向きを推定する
　（１２）に記載の光演算処理システム。
（１５）
　前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の材質を推定する
　（１２）に記載の光演算処理システム。
（１６）
　前記投光部は、物体に対して複数の方向から前記照射光を照射することにより、複数の前記反射光を生成させるように構成され、
　前記光演算装置は、
　前記反射光ごとに１つずつ設けられた複数の前記光ニューラルネットワーク部と、
　前記光ニューラルネットワーク部ごとに１つずつ設けられた複数の前記光検出部と
　を有し、
　前記出力部は、前記光検出部ごとに得られた前記画像データを、前記通信ネットワークを介して前記情報処理装置に出力する
　（１２）に記載の光演算処理システム。
（１７）
　前記処理部は、
　前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成する第１のニューラルネットワーク部、
　前記画像データをデコードすることにより、前記入射光に含まれる文字の分類を生成する第２のニューラルネットワーク部、および
　前記画像データをデコードすることにより、前記入射光に含まれる文字の筆跡を生成する第３のニューラルネットワーク部のうち少なくとも２つを有する
　（６）ないし（１６）のいずれか１つに記載の光演算処理システム。
（１８）
　前記光演算装置は、
　光アドレス式空間光変調素子と
　前記光アドレス式空間光変調素子にコヒーレント光を照射する光源部と
　を更に有し、
　前記光アドレス式空間光変調素子は、前記コヒーレント光の照射により、前記コヒーレント光と前記入射光とを合成するようになっている
　（６）ないし（１７）のいずれか１つに記載の光演算処理システム。
（１９）
　前記光ニューラルネットワーク部は、複屈折材料で構成された複数の位相差素子を含んで構成されている
　（６）ないし（１８）のいずれか１つに記載の光演算処理システム。
（２０）
　前記光検出部で得られた前記画像データと、モデル計算によって得られた画像データとに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
　（６）に記載の光演算処理システム。
（２１）
　前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有し、
　前記再構成画像データと、モデル計算によって得られた画像データとに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
　（６）に記載の光演算処理システム。
（２２）
　前記光検出部で得られた前記画像データに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
　（６）に記載の光演算処理システム。
（２３）
　前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有し、
　前記再構成画像データに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
　（６）に記載の光演算処理システム。
　本出願は、日本国特許庁において２０２２年７月２６日に出願された日本特許出願番号第２０２２－１１９０６７号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (23)

  1. 　入射光をエンコードすることにより特徴量マップを強度分布として出力するハードウェアで構成された光ニューラルネットワーク部と、
    　前記特徴量マップを光検出することにより画像データを生成する光検出部と、
    　前記画像データを外部の通信ネットワークに出力する出力部と
    　を備えた
    　光演算装置。
  2. 　前記光ニューラルネットワーク部は、複数の位相差素子、または、複数のメタサーフェスを含んで構成されている
    　請求項１に記載の光演算装置。
  3. 　前記光ニューラルネットワーク部は、複数の空間光変調液晶素子、または、複数のＭＥＭＳミラーを含んで構成されている
    　請求項１に記載の光演算装置。
  4. 　外部からの入力データに基づいて、前記複数の空間光変調液晶素子、または、前記複数のＭＥＭＳミラーの重みを切り替える制御部を更に備えた
    　請求項３に記載の光演算装置。
  5. 　前記光検出部は、イメージセンサ、または、フォトディテクタアレイを含んで構成されている
    　請求項１に記載の光演算装置。
  6. 　通信ネットワークを介して互いに通信可能な光演算装置および情報処理装置を備え、
    　前記光演算装置は、
    　入射光をエンコードすることにより特徴量マップを光強度分布として出力する、ハードウェアで構成された光ニューラルネットワーク部と、
    　前記特徴量マップを光検出することにより画像データを生成する光検出部と、
    　前記画像データを、前記通信ネットワークを介して前記情報処理装置に出力する出力部と
    　を有し、
    　前記情報処理装置は、前記通信ネットワークを介して前記光演算装置から得られた前記画像データを処理する処理部を有する
    　光演算処理システム。
  7. 　前記光ニューラルネットワーク部は、複数の位相差素子、または、複数のメタサーフェスを含んで構成されている
    　請求項６に記載の光演算処理システム。
  8. 　前記光ニューラルネットワーク部は、複数の空間光変調液晶素子、または、複数のＭＥＭＳミラーを含んで構成されている
    　請求項６に記載の光演算処理システム。
  9. 　外部からの入力データに基づいて、前記複数の空間光変調液晶素子、または、前記複数のＭＥＭＳミラーの重みを切り替える制御部を更に備えた
    　請求項８に記載の光演算処理システム。
  10. 　前記光検出部は、イメージセンサ、または、フォトディテクタアレイを含んで構成されている
    　請求項６に記載の光演算処理システム。
  11. 　前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有する
    　請求項６に記載の光演算処理システム。
  12. 　照射光を生成し、前記照射光の反射光により前記入射光を生成させる投光部を更に備えた
    　請求項１１に記載の光演算処理システム。
  13. 　前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の３次元形状を再構成する
    　請求項１２に記載の光演算処理システム。
  14. 　前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の姿勢もしくは向きを推定する
    　請求項１２に記載の光演算処理システム。
  15. 　前記処理部は、前記再構成画像データに基づいて、前記照射光が照射される物体の材質を推定する
    　請求項１２に記載の光演算処理システム。
  16. 　前記投光部は、物体に対して複数の方向から前記照射光を照射することにより、複数の前記反射光を生成させるように構成され、
    　前記光演算装置は、
    　前記反射光ごとに１つずつ設けられた複数の前記光ニューラルネットワーク部と、
    　前記光ニューラルネットワーク部ごとに１つずつ設けられた複数の前記光検出部と
    　を有し、
    　前記出力部は、前記光検出部ごとに得られた前記画像データを、前記通信ネットワークを介して前記情報処理装置に出力する
    　請求項１２に記載の光演算処理システム。
  17. 　前記処理部は、
    　前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成する第１のニューラルネットワーク部、
    　前記画像データをデコードすることにより、前記入射光に含まれる文字の分類を生成する第２のニューラルネットワーク部、および
    　前記画像データをデコードすることにより、前記入射光に含まれる文字の筆跡を生成する第３のニューラルネットワーク部のうち少なくとも２つを有する
    　請求項６に記載の光演算処理システム。
  18. 　前記光演算装置は、
    　光アドレス式空間光変調素子と
    　前記光アドレス式空間光変調素子にコヒーレント光を照射する光源部と
    　を更に有し、
    　前記光アドレス式空間光変調素子は、前記コヒーレント光の照射により、前記コヒーレント光と前記入射光とを合成するようになっている
    　請求項６に記載の光演算処理システム。
  19. 　前記光ニューラルネットワーク部は、複屈折材料で構成された複数の位相差素子を含んで構成されている
    　請求項６に記載の光演算処理システム。
  20. 　前記光検出部で得られた前記画像データと、モデル計算によって得られた画像データとに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
    　請求項６に記載の光演算処理システム。
  21. 　前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有し、
    　前記再構成画像データと、モデル計算によって得られた画像データとに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
    　請求項６に記載の光演算処理システム。
  22. 　前記光検出部で得られた前記画像データに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
    　請求項６に記載の光演算処理システム。
  23. 　前記処理部は、前記画像データをデコードすることにより、前記入射光に対応する再構成画像データを生成するニューラルネットワーク部を有し、
    　前記再構成画像データに基づいて、ロス関数の位相分布に対する勾配である微分値を導出し、導出した前記微分値に基づいて、前記光ニューラルネットワーク部に出力する位相量を更新する演算装置を更に備えた
    　請求項６に記載の光演算処理システム。
PCT/JP2023/002797 2022-07-26 2023-01-30 光演算装置および光演算処理システム WO2024024129A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-119067 2022-07-26
JP2022119067 2022-07-26

Publications (1)

Publication Number Publication Date
WO2024024129A1 true WO2024024129A1 (ja) 2024-02-01

Family

ID=89705873

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/002797 WO2024024129A1 (ja) 2022-07-26 2023-01-30 光演算装置および光演算処理システム

Country Status (1)

Country Link
WO (1) WO2024024129A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07143484A (ja) * 1993-11-16 1995-06-02 Sharp Corp 光直交変換による画像圧縮復元装置
JPH09211513A (ja) * 1996-02-07 1997-08-15 Olympus Optical Co Ltd 光演算装置
JP2018092133A (ja) * 2016-08-31 2018-06-14 Ｓｃｉｖａｘ株式会社 光結像装置
JP2020507113A (ja) * 2017-01-27 2020-03-05 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 異なって向けられたナノビームを有するメタ表面によって形成された回折格子

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07143484A (ja) * 1993-11-16 1995-06-02 Sharp Corp 光直交変換による画像圧縮復元装置
JPH09211513A (ja) * 1996-02-07 1997-08-15 Olympus Optical Co Ltd 光演算装置
JP2018092133A (ja) * 2016-08-31 2018-06-14 Ｓｃｉｖａｘ株式会社 光結像装置
JP2020507113A (ja) * 2017-01-27 2020-03-05 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 異なって向けられたナノビームを有するメタ表面によって形成された回折格子

Similar Documents

Publication Publication Date Title
JP7070423B2 (ja) 画像処理装置と画像処理方法および撮像装置
JP7040447B2 (ja) 画像処理装置および情報生成装置と情報生成方法
US10880498B2 (en) Image processing apparatus and image processing method to improve quality of a low-quality image
JP7134952B2 (ja) 撮像素子、及び、撮像素子を備えた電子機器
US10877288B2 (en) Imaging device and imaging method
WO2018150683A1 (ja) 情報処理装置と情報処理方法とプログラムおよび撮像装置
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
WO2019116746A1 (ja) 画像処理装置、画像処理方法及び撮像装置
CN111630452B (zh) 成像装置和电子设备
WO2024024129A1 (ja) 光演算装置および光演算処理システム
WO2022044830A1 (ja) 情報処理装置、および情報処理方法
JP7363890B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2024503389A (ja) 物体認識方法および飛行時間型物体認識回路
WO2019215979A1 (ja) 画像処理装置、車載装置、画像処理方法及びプログラム
WO2024070673A1 (ja) 固体撮像装置、電子機器及びプログラム
WO2024018812A1 (ja) 固体撮像装置
WO2023007821A1 (ja) 空間位相変調器、加工装置および情報処理装置
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2023234033A1 (ja) 測距装置
WO2024004644A1 (ja) センサ装置
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022059550A1 (ja) 固体撮像装置及びその製造方法
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2024048292A1 (ja) 光検出素子、撮像装置、及び車両制御システム
JP2023550078A (ja) 飛行時間型物体検出回路および飛行時間型物体検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23845869

Country of ref document: EP

Kind code of ref document: A1