WO2024106784A1 - 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법 및 클러스터링된 광전자 모듈을 통한 광신경망 장치 - Google Patents

광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법 및 클러스터링된 광전자 모듈을 통한 광신경망 장치 Download PDF

Info

Publication number
WO2024106784A1
WO2024106784A1 PCT/KR2023/016452 KR2023016452W WO2024106784A1 WO 2024106784 A1 WO2024106784 A1 WO 2024106784A1 KR 2023016452 W KR2023016452 W KR 2023016452W WO 2024106784 A1 WO2024106784 A1 WO 2024106784A1
Authority
WO
WIPO (PCT)
Prior art keywords
optoelectronic
stack
optical
clustering
neural network
Prior art date
Application number
PCT/KR2023/016452
Other languages
English (en)
French (fr)
Inventor
주영구
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230040124A external-priority patent/KR20240071987A/ko
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Publication of WO2024106784A1 publication Critical patent/WO2024106784A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means

Definitions

  • the present invention relates to an optical neural network computer, and in particular, instead of a complex electronic circuit, several high-speed optoelectronic modules with a certain number of input and output nodes that operate in combination with a light source, lens, spatial light modulator, and light detector are connected and combined in parallel in a special structure.
  • a method of implementing an optical neural network through clustering of optoelectronic modules that facilitates expansion of the number of inputs and outputs by increasing the number of input and output nodes and enabling expansion in three spatial axes to enable optical connections between input and output nodes, and clustered optoelectronics
  • This relates to an optical neural network device through a module.
  • Opto-electronic module refers to a device containing at least one active optical device and at least one passive optical device.
  • active optical component A light-sensing or light-emitting device.
  • active optical devices may exist as bare die or within a package, that is, as packaged devices.
  • Passive optical component Optics, such as lenses, prisms, mirrors, or optical systems, that redirect light by refraction and/or diffraction and/or reflection (internal and/or external).
  • An optical system referring to a device, is a collection of such optical devices, possibly also including mechanical elements such as an aperture stop, an image screen, and a holder.
  • An optical computer refers to a computer that uses optical integrated circuits (optical ICs) that utilize the characteristics of light in the computer's operating circuits, allowing for more overlapping communications than electrical communication lines.
  • optical integrated circuits optical ICs
  • Figure 1 shows an example of an existing neural network.
  • Equation 1 the equation connecting the (l-1)th input layer and the lth output layer is as shown in Equation 1 below.
  • N l-1 represents the number of artificial neurons or nodes in the (l-1)th layer.
  • the existing method of calculating a neural network is to calculate Equation 1 above using a digital computer. For example, assuming that there are N inputs and N outputs, calculations that require NxN multiplication, Nx(N-1) addition, and calling the ⁇ function N times are required.
  • the structure shown in the attached Figure 2 is called a non-difference mode, and the structure shown in Figure 3a or 3b is called a differential mode, and the prior art is an optoelectronic module using a spatial light modulator. and an optical computer including the same, which can increase calculation speed without generating noise even when light paths from a plurality of light sources to an optical detector overlap.
  • Figure 3b is a conceptual diagram showing the optical module shown in Figure 3a in three dimensions, and the input and output may be a two-dimensional array. Therefore, the input is a 2X2 array and the output is a 3X3 array.
  • Figure 3a shows an optical computer structure that performs general neural network calculations without using interference effects by collecting light at different optical detectors according to the sign of the weight and performing a subtraction operation on it through an electronic circuit. for example If the sign of is negative and use negative absolute values for uses 0. If the sign of is positive Use the absolute value of a positive number for Use 0.
  • a plurality of first light sources are formed on the substrate at a certain distance from each other, each is formed to correspond to the plurality of first light sources, and irradiated from the corresponding first light source.
  • a plurality of first lenses that reduce the divergence angle of the light ray, and the intensity of the light ray that passes through the corresponding first lens through each pixel formed to correspond to the plurality of first lenses and having a preset weight.
  • a plurality of spatial light modulators that adjust, a plurality of light detectors that are spaced apart from the plurality of spatial light modulators and acquire a current value according to the intensity of light, and a plurality of light detectors formed between the plurality of spatial light modulators and the plurality of light detectors.
  • a lens unit that collects light rays emitted from different first light sources passing through pixels at the same relative position of each spatial light modulator to one light detector.
  • the optical computer structure presented in the prior art enables parallel calculations corresponding to the number of pixels of the spatial light modulator, so when using a Full HD LCD microdisplay, 1,024 input nodes and 1,024 output nodes are used in a neural network. It connects to the structure and has the effect of increasing processing capacity by about 10 6 times.
  • micro optical system such as a micro lens array
  • it provides the advantage of being able to miniaturize the system to a size of about 10mm x 10mm x 20mm.
  • a 32 will occupy. This is a case where a first lens converts the light from an input node or an input light source into parallel light and illuminates the micro display 32 ⁇ 32 pixels, which is a spatial light modulator.
  • Light rays passing through each pixel of the microdisplay are distributed to a 32 ⁇ 32 photodetector array on a second substrate. Since the number of input nodes is also a 32 ⁇ 32 array, the spacing between input light sources is 640 ⁇ m, and the overall size of the input light source array placed on the first substrate is about 20.5mm ⁇ 20.5mm.
  • the number of input nodes and output nodes cannot be increased indefinitely due to the limitations of the optical system.
  • the image of one pixel in the spatial light modulator must pass through the second and third lenses and be focused on one photodetector. If it falls on the light detector next to it, cross-talk will occur and normal operation will not occur.
  • the size of an image in an optical system is largely determined by two causes: one is diffraction phenomenon and the other is geometric optical aberration.
  • the diffraction limit is related to the beam diameter, wavelength ⁇ , and focal length f 3 of the third lens.
  • the beam diameter can be increased up to the second lens aperture D 2 with the image size by the first lens of the light source diameter.
  • the diffraction limit spot diameter is approximately equal to 2 ⁇ f 3 /D 2 .
  • the spacing between the input light source or photodetectors is equal to 640 ⁇ m, which is the diameter or spacing of the first lens. Since the image of the pixel array corresponds to the photodetector position, the image of one pixel occupies 1/4 of the photodetector spacing.
  • the second and third lenses have ray aberrations, the actual spot size becomes larger.
  • the ratio of the focal length and diameter (hereinafter referred to as 'f/#') of the second and third lenses as simple plano-convex lenses is 2, the diffraction limit is small, but Ray aberration increases significantly.
  • the angular aberration of a plano-convex lens with f/# 2 can be calculated by dividing the effective focal length by the RMS spot diameter and is approximately 50 mrad (mili-radian). When this is applied to the effective focal length of the third lens of 41mm, the spot diameter is expanded by about 2mm. Therefore, when combined with a diffraction limit of 60 ⁇ m and a geometric optical image size of 160 ⁇ m, cross-talk noise occurs beyond the photodetector spacing.
  • each aberration is preferably 4 mrad or less.
  • the increase in spot diameter due to ray aberration is about 160 ⁇ m. Therefore, adding the diffraction limit and geometric optical image size, it is about 380 ⁇ m, and 260 ⁇ m can be used as an alignment tolerance.
  • the spatial light modulator pixel size and spacing are maintained at 5 ⁇ m and 20 ⁇ m and the number is increased by ⁇ times, the portion of the spatial light modulator illuminated by one light source through the first lens increases by ⁇ times in one direction and its area increases by ⁇ times . . Therefore, the spacing between light sources also increases by ⁇ times. Since the diameter of the second lens also increases by ⁇ times and the focal length f 2 of the second lens also increases by ⁇ times, f/# of the second lens remains the same.
  • the lens diameter must be increased by ⁇ 2 times, and the focal length f 3 must be increased by ⁇ 2 times to maintain f/#. Therefore, the magnification by the second lens and the third lens is f 3 /f 2 , so it increases by ⁇ times, and the spacing between photo detectors also increases by ⁇ times like the spacing of input light sources. In this case, the geometrical optical image size of the pixel increases by a factor of ⁇ . The increase in spot diameter due to the diffraction limit increases the beam diameter or the diameter of the second lens by ⁇ times, but the focal length of the third lens increases by ⁇ times because it increases by ⁇ times.
  • the mechanical optical aberration is the same, but since the focal length of the third lens increases by ⁇ 2 times, the ray error increases by ⁇ 2 times. Although the spacing between photodetectors increases by a factor of ⁇ , the ray error increases by a factor of ⁇ . Therefore, the angular aberrations of the second and third lenses must be reduced to reduce the geometric optical error, which increases the number of lenses and improves the precision and price of the optical system. There is a limit because it causes height.
  • each aberration must be reduced by a factor of 1/ ⁇ .
  • each aberration should be reduced to about 0.5 mrad, which is 1/8 of the original value, and the alignment tolerance at this time is about 2,080 ⁇ m.
  • the ratio of the alignment tolerance to the photodetector spacing remains at 0.41.
  • the second and third lenses must each be composed of four or more lens groups.
  • the method of increasing the number of input/output node arrays has the problem that it cannot be increased indefinitely due to limitations due to the mechanical optical aberration of the lens.
  • Patent Document 1 Republic of Korea Patent No. 10-0624852
  • Patent Document 2 Republic of Korea Patent No. 10-2079833
  • Patent Document 3 Republic of Korea Patent Application No. 10-2021-010386
  • the purpose of the present invention to solve the above-mentioned problems is related to an optical neural network computer, and in particular, a high-speed optoelectronic module having a certain number of input/output nodes that operate in combination with a light source, lens, spatial light modulator, and light detector instead of a complex electronic circuit.
  • Clustering of optoelectronic modules that facilitates expansion of the number of inputs and outputs is achieved by increasing the number of input/output nodes by connecting and combining them in parallel in a special structure and enabling expansion in three spatial axes to enable optical connections between input and output nodes.
  • the object is to provide a method of implementing an optical neural network through an optical neural network and an optical neural network device through a clustered optoelectronic module.
  • the characteristic of the method of implementing an optical neural network through clustering of optoelectronic modules according to the present invention to achieve the above-described object is that N optoelectronic modules having M input terminals and M output terminals are arranged in parallel (2P). -1) A stack is formed, and N+1 optoelectronic modules having M input terminals and M output terminals are arranged in parallel to form a 2P stack, and the input terminal of the optoelectronic module forming the 2P stack is provided with the first optoelectronic module.
  • (2P-1) The output terminals of each optoelectronic module forming the stack are connected, and the first stack arranges N optoelectronic modules with M input terminals and M output terminals in parallel to create an optoelectronic module clustering structure on a two-dimensional plane.
  • a first process of forming Among the input terminals of the N optoelectronic modules forming the first stack, only M/2 input terminals for each optoelectronic module are used to have a total of (M/2)*N inputs, and the (2P-1) )
  • the optoelectronic module formed through the first process has a total of (M/2)*N outputs by using only M/2 output terminals for each optoelectronic module among the output terminals of the N optoelectronic modules forming the stack.
  • a front stack is installed at the input terminal of the optoelectronic module forming each stack in the first process.
  • the output terminals of the forming optoelectronic module are connected one to one;
  • the output terminal of the optoelectronic module forming each stack is connected one to one to the input terminal of the optoelectronic module forming the subsequent stack.
  • the variables M and N can be at least 2 and 4, respectively, and can be expanded.
  • the optoelectronic module clustering structure formed through the first to third processes is 2Q. Stacked to form an optoelectronic module clustering structure in three-dimensional space, the first input terminal and the final output terminal each have a matrix structure of ((M/2)*N,Q), and the variable Q can be increased to at least 2.
  • the goal is to further include the fourth process.
  • the optoelectronic module clustering structure formed through the first process is formed into a right-angled bent structure. Or, it can be formed into a folded structure so that it can be formed in three-dimensional space.
  • Another additional feature of the method of implementing an optical neural network through clustering of optoelectronic modules according to the present invention to achieve the above-described purpose is branching, copying, direct connection, cross connection, or complete connection through the third process.
  • the optoelectronic modules in each stack forming the optoelectronic module clustering structure that performs either a transfer process or a transfer process after weight calculation the optoelectronic modules that copy or branch the optical signal flowing in through the input terminal use weight calculation.
  • the purpose is to connect the optical signal to the output terminal using a passive optical device.
  • the passive optical element uses a diffractive optical element, a refractive optical element, an aperture, or a combination thereof. This is to perform optical connection.
  • the characteristic of the optical neural network device using clustered optoelectronic modules according to the present invention to achieve the above-described purpose is that N optoelectronic modules having M input terminals and M output terminals are aligned in the same direction. and are arranged in parallel to form the (2P-1) stack; N+1 optoelectronic modules having M input terminals and M output terminals are arranged in parallel with the input terminals and output terminals aligned in the same direction to form a (2P) stack;
  • the output terminals of the optoelectronic modules forming the (2P-1) stack are connected to the input terminals of the optoelectronic modules forming the (2P) stack to have an optoelectronic module clustering structure, and the optoelectronic module clustering structure has a left-right symmetrical structure.
  • the optoelectronic modules in each stack transmit the optical signal flowing in through the input terminal to the output terminal, but branch Or, it performs one of the following transfer processes: copy or straight concatenation, cross concatenation or complete concatenation, and forwarding after weight calculation.
  • the input terminals of the optoelectronic modules of each stack are connected to the output terminals of the optoelectronic modules forming the front stack in a one-to-one relationship. make it connected;
  • the output terminal of the optoelectronic module is connected one-to-one with the input terminal of the optoelectronic module forming the rear stack.
  • the optoelectronic module in each stack forming the optoelectronic module clustering structure may be connected to two or more neighboring optoelectronic modules forming the front stack.
  • the input terminal is used among the optoelectronic modules in each stack forming the optoelectronic module clustering structure.
  • Optoelectronic modules that copy or branch optical signals connect optical signals to the output terminal using passive optical elements without using weight calculations, and the passive optical elements use diffractive optical elements, refractive optical elements, apertures, or a combination thereof. This is to perform optical connection.
  • the optoelectronic module clustering structure is formed in a right angle bending structure or a folding structure to form a three-dimensional space It is to be formed in .
  • 2Q optoelectronic module clustering structures are stacked to form a three-dimensional space, and the first input terminal and the final output terminal each have a matrix structure of ((M/2)*N,Q), and the variable Q can be increased to at least 2.
  • the number of module inputs and outputs can be doubled in the same way, and the number of connections between nodes and parallel processing capacity increases by four times each time clustering is performed.
  • This method is not affected by crosstalk noise due to the increase in geometrical optical aberration that occurs when scaling up the existing optical structure, and has the effect of increasing the parallel processing capacity of the optoelectronic module by continuously doubling the number of input and output nodes.
  • Figure 1 is a general neural network conceptual diagram
  • Figure 2 is a conceptual diagram of an existing non-differential mode optical neural network module.
  • Figure 3a is a conceptual diagram of an existing differential mode optical neural network module
  • Figure 3b is a conceptual diagram showing the optical module shown in Figure 3a in three dimensions.
  • Figure 4a is a conceptual diagram illustrating an embodiment in which the method of implementing an optical neural network through clustering of optoelectronic modules according to the present invention is applied.
  • Figure 4b is an example cross-sectional view of the input portion of L5 in Figure 4a seen in the z direction.
  • Figure 5 is a conceptual illustration showing an optical connection implementing clustering using an optoelectronic module consisting only of passive optical elements in an embodiment of the present invention.
  • Figure 6a is a three-dimensional illustration of an optical neural network using clustering shown in Figure 4a.
  • Figure 6b is an example of vertically stacking the optical neural network using clustering shown in Figure 6a.
  • Figure 7 is an example diagram showing the optical neural network using clustering shown in Figure 6a in a right-angled bending structure.
  • Figure 8 is an example diagram showing the optical neural network using clustering shown in Figure 6a in a folded structure.
  • FIG. 4a is a conceptual diagram illustrating an embodiment in which the method of implementing an optical neural network through clustering of optoelectronic modules according to the present invention is applied, and Figure 5 shows clustering using an optoelectronic module consisting of only passive optical elements in an embodiment of the present invention.
  • This is a conceptual example showing optical connection using .
  • the method of implementing an optical neural network through clustering of optoelectronic modules according to the present invention is largely implemented according to three processes.
  • the first process is implemented by arranging N optoelectronic modules having M input terminals and M output terminals in parallel.
  • a (2P-1) stack is formed, and N+1 optoelectronic modules having M input terminals and M output terminals are arranged in parallel to form a 2P stack.
  • the input terminal of the optoelectronic module forming the 2P stack is
  • the output terminals of each optoelectronic module forming the (2P-1) stack are connected, and the first stack arranges N optoelectronic modules having M input terminals and M output terminals in parallel to form an optoelectronic module clustering structure.
  • the M input/output terminals may have a two-dimensional array as shown in Figure 3b.
  • the output terminal of the optoelectronic module forming the front stack is connected one-to-one to the input terminal of the optoelectronic modules of each stack forming the optoelectronic module clustering structure as described above, and the output terminal of the optoelectronic module forming each stack is connected to the output terminal of the optoelectronic module forming the stack at the rear end.
  • the input terminals of the optoelectronic modules that form are connected one to one.
  • the optoelectronic modules in each stack forming the optoelectronic module clustering structure may be connected to two or more neighboring optoelectronic modules forming the front stack.
  • variable P may be a number representing the stack number or index.
  • the 2Pth means the even-numbered stack
  • the optoelectronic module clustering structure formed through the first process has (M/2)*N inputs and (M/2)*N output structures.
  • the variables M and N are at least 2 and 4, respectively, and can be expanded.
  • the input (light source) of the 2P stack can be directly connected to the outputs (light detectors) of two photoelectric modules in the (2P-1) stack.
  • the input (light source) of the (2P+1) stack can be directly connected to the outputs (photo detectors) of two photoelectric modules in the (2P) stack at the front. That is, the photoelectric modules of the (2P-1) stack and the photoelectric modules of the (2P) stack are arranged alternately, so that one optoelectronic module in one stack is connected to two or more neighboring optoelectronic modules forming the front stack. It can be connected.
  • the optoelectronic module in each stack forming the optoelectronic module clustering structure transmits the optical signal flowing in through the input terminal to the output terminal, and transmits it after branching, copying, straight connection, cross connection or complete connection and weight calculation. Perform one of the delivery processes.
  • input terminals a1, a2, b1, and b2 are arranged in the first layer (L1) of the neural network layer. That is, the four optoelectronic modules constituting the first stack (S1) each have two input terminals and two output terminals, and one of the two input terminals is used.
  • One input terminal can represent one input node, but it can also represent multiple two-dimensional input arrays.
  • Figure 4b is a diagram showing the cross section of L5 viewed in the z direction after stacking in Figure 4a.
  • the input nodes have a two-dimensional array on the xy plane in the form of a 4 Corresponds to an array.
  • the other terminals a2, b1, etc. shown in Figure 4b also represent eight input nodes each.
  • the a1, a2, b1, and b2 input terminals of the first layer (L1) of the neural network layer are used as input terminals of the optoelectronic module clustering structure shown in FIG. 4A.
  • the input/output terminal in Figure 4a may be thought of as the light source or light detector shown in Figures 2, 3a, or 3b, which illustrate the prior art, or as a combination of a light detector and a light source.
  • circular terminals not filled with patterns are deactivated (unused) terminals, and circular terminals filled with patterns are activated and used terminals.
  • the optical connection line connecting the input terminal and the output terminal is a two-dot chain line
  • it is an optical connection line that transmits the input optical signal to the output terminal, and in the present invention, it branches (one input optical signal to two output terminals to prevent deformation or loss). It refers to transmitting without data) or copying (here, copying means duplicating data and even branching it, so copying and branching are used with the same meaning). Therefore, in Figure 4a, the optoelectronic modules constituting the first stack (S1) to the fourth stack (S4) may use the basic optoelectronic module as is or may be composed only of passive optical elements. If the signal is weak when it is made up of only passive optical elements, a repeater using a photodetector and a light source may be used to amplify the signal.
  • the optical signal flowing into the input terminal referred to as a1 in Figure 4a is branched to two output terminals through straight-through connection, cross connection, copy, and movement processes. Therefore, the input/output terminal a1 of the nth layer Ln is It can be written as .
  • Equation 2 the relationship between the input values of each terminal expressed as a general input symbol can be summarized in a formula as shown in Equation 2 below.
  • Equation 2 the used variable i is 1, 2,... , M/2, and based on Equation 2, the value of the output terminal corresponding to the input terminal referred to by reference number a1 in the first stack (S1) is defined as Equation 3 below. You can.
  • all four optoelectronic modules constituting the first stack (S1) are designed to perform radiation and branching, but some of the optoelectronic modules constituting the second stack (S2) perform other functions than copying or branching.
  • Cross connections may also occur.
  • the two connection lines are displayed crossing in the shape of an X.
  • the value of the output terminal corresponding to the input terminal can be defined as in Equation 4 below.
  • the optoelectronic modules constituting each stack are It consists only of passive optical elements.
  • the above-mentioned optical signal transmission, branching, and “num* conversion can be implemented through a combination of passive optical elements such as diffractive optical elements, refractive elements, and apertures installed at each input/output node, and can be implemented through a photo detector and laser light source. There is no need for a regeneration process of the optical signal.
  • each stack (S1 to S4) is composed of passive optical device blocks, only a delay due to the progress of light occurs and no time delay due to the use of electronic devices occurs.
  • each optoelectronic module of the 5th stack (S5), the input and output are fully connected, the number of connections is M 2 each, and the total number of connections in the four blocks is 4M 2 .
  • Block output is divided into four A1, A2, B1, and B2 with each data number being M/2.
  • A1(a) is the result of receiving data from inputs a1 and a2, calculating weights, and adding them up
  • A1(b) is the result of receiving data from inputs b1 and b2, calculating weights, and adding them up, which is expressed in Equation 2 above. If organized into a formula based on Equation 4, it becomes Equation 5 below.
  • Equation 5 organized as above, indicates that the variable j is 1, 2,... , based on M/2.
  • the weight calculated results in the 5th stack (S5) are rearranged in the 6th stack (S6) through straight connection or cross connection, and in the 7th stack (S7) A1 (a) and A1 ( b) is connected, and by adding the a input result and the b input result, the final A1(ab) result is obtained.
  • the A1(ab) is the result of calculating weights from all input values.
  • A1(ab), A2(ab), B1(ab), and B2(ab) are organized as in Equation 6 below.
  • Equation 6 organized as above, indicates that the variable j is 1, 2,... , based on M/2.
  • the output from the 7th stack (S7) is rearranged through the 8th stack (S8) and the 9th stack (S9) and arranged in the order of A1, A2, B1, and B2.
  • Equation 7 The final output can be simply expressed as Equation 7 below.
  • the entire cluster output is the result of fully connecting the 2M input and 2M output and calculating the weight, resulting in a new photoelectric block with twice the input and output and four times the number of connections compared to the basic photoelectric block.
  • the number of inputs/outputs and connections increases by 2-fold and 4-fold, respectively, and in this way, the number of inputs/outputs and connections of the system can be continuously increased.
  • the weight calculation is performed only in the 5th stack (S5) and the 7th stack (S7), and in the case of the remaining stacks, relocation, direction change, and copying of the optical signal can be performed with passive optical elements, so the time according to the progress of light There are only delays.
  • This time delay is shorter than the calculation time of an electronic circuit, and even if a repeater is used to amplify the signal in the middle, a time delay of about 1 cycle occurs, so the actual calculation time delay is about 2 to 4 cycles.
  • FIG. 6a is a three-dimensional example of an optical neural network using the clustering shown in Figure 4a
  • Figure 6b is a structure in which the clustered blocks shown in Figure 6a are re-clustered in the x direction perpendicular to the y direction scaled up in the previous clustering.
  • the input array has a two-dimensional array structure.
  • FIG. 7 is an example diagram showing the optical neural network using clustering shown in FIG. 6A in a right-angled bent structure
  • FIG. 8 is an exemplary diagram showing the optical neural network using clustering shown in FIG. 6A in a folded structure.
  • optical neural networks using the clustering shown in Figure 6a are stacked and the input signals are different from each other, that is, (M/2)N input terminals of a planar structure consisting of the x-axis and the z-axis and
  • An optoelectronic module clustering structure is formed in a three-dimensional space by stacking 2Q optoelectronic module clustering structures with output terminals, and the first input terminal and final output terminal are implemented to have a matrix structure of ((M/2)N,Q), respectively. It might be possible.
  • an optical neural network using clustering can be implemented in a folded structure, as shown in the attached structure shown in Figure 8. If implemented in a folded structure like this, the spatial burden in implementing clustering can be reduced.
  • the optoelectronic module clustering structure according to the present invention provides the advantage of continuously doubling the number of input/output nodes by repeating clustering, and enables a four-fold increase in the number of connections and an increase in parallel processing capacity for each clustering process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Photo Coupler, Interrupter, Optical-To-Optical Conversion Devices (AREA)

Abstract

본 발명은 M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N개가 동일방향으로 입력단자와 출력단자가 정렬되고 병렬 배치되어 제(2P-1)스텍을 형성하고, M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N+1개가 동일방향으로 입력단자와 출력단자가 정렬되고 병렬 배치되어 제(2P)스텍을 형성하며, 상기 제(2P)스텍을 형성하는 광전자 모듈들의 입력단자에는 상기 제(2P-1)스텍을 형성하는 광전자 모듈들의 출력단자가 연결되어 광전자 모듈 클러스터링 구조를 가지고, 상기 광전자 모듈 클러스터링 구조는 좌우 대칭 구조를 갖는 (M/2)*N개의 입력과 좌우 대칭 구조를 갖는 (M/2)*N개의 출력을 가지고, 각 스텍내의 광전자 모듈은 입력단자를 통해 유입되는 광신호를 출력단자로 전달하되, 분기 혹은 복사 혹은 직진연결, 교차연결 혹은 완전 연결 및 가중치 계산후 전달 중 어느 하나의 전달과정을 수행하는 것을 특징으로 하는 클러스터링된 광전자 모듈을 통한 광신경망 장치에 관한 발명이다. [대표도] 도 4a

Description

광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법 및 클러스터링된 광전자 모듈을 통한 광신경망 장치
본 발명은 광 신경망 컴퓨터에 관한 것으로 특히, 복잡한 전자회로 대신 광원과 렌즈와 공간광변조기 및 광 검출기 등으로 조합 작동하는 일정 개수의 입출력 노드를 가진 고속 광전자 모듈을 여러개를 특별한 구조로 병렬 연결 및 결합을 통해, 입출력 노드의 개수를 증가시키고, 입출력 노드 간 광 연결이 가능하게 하는 공간 3축으로 확장 가능하도록 함으로써 입출력 개수의 확장이 용이한 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법 및 클러스터링된 광전자 모듈을 통한 광신경망 장치에 관한 것이다.
우선 본 발명에서 사용되는 용어들을 정의하면 다음과 같다.
"광전자 모듈(opto-electronic module)": 적어도 하나의 능동광(학)소자 및 적어도 하나의 수동광(학)소자가 포함된 소자을 지칭하는 것이다.
"능동광(학)소자(active optical component)": 광 감지 또는 광 방출 소자. 예를 들어, 포토다이오드, 영상센서, LED, OLED, 레이저 칩을 지칭하는 것으로, 능동광학소자는 베어 다이(bare die)로서 또는 패키지 내에 즉, 패키지된 소자로서 존재할 수 있다.
"수동광(학)소자(passive optical component)": 렌즈, 프리즘, 미러, 또는 광학 시스템과 같은 굴절 및(또는) 회절 및(또는) 반사(내부 및/또는 외부)에 의해 광을 재지향하는 광학 소자을 지칭하는 것으로, 광학 시스템은 구경 조리개, 영상 화면, 홀더와 같은 기계적 요소들 또한 가능하게 포함하는 그러한 광학 소자의 모음이다.
일반적으로, 최근 화상처리 등의 분야에서 2차원, 3차원의 정보를 대상으로 하는 고속의 연산처리 기술에 대한 수요가 급증하고 있다.
광 컴퓨터(Optical Computer)는 컴퓨터의 연산회로에 빛의 특성을 이용한, 광집적회로(optical IC)를 사용한 컴퓨터를 말하는 것으로, 전기통신 회선보다 많은 중복통신이 가능하다.
현재의 전자계산기는 전자회로로 구성되어 있다. 그 때문에 연산속도는 소자의 지연시간, 부유용량 등에 따라 제한되어 고속화에는 한계가 있다. 광 컴퓨터는 이러한 한계를 해결할 것으로 기대되고 있다.
도 1은 기존의 신경망(neural network)의 한 예를 보이고 있다.
입력 값
Figure PCTKR2023016452-appb-img-000001
,
Figure PCTKR2023016452-appb-img-000002
에 가중치
Figure PCTKR2023016452-appb-img-000003
를 곱해서 바이어스(bias)
Figure PCTKR2023016452-appb-img-000004
를 합한 다음 시그모이드(sigmoid) 함수인
Figure PCTKR2023016452-appb-img-000005
를 적용한 값을 출력 값으로 계산하고, 이를 그 다음 층(layer)의 입력 값으로 사용하는 방식이다.
일반적으로, (l-1)번째 입력 층과 l번째 출력층을 연결하는 수식은 다음의 수학식1과 같다. 여기서, Nl-1은 (l-1)번째 층의 인공 뉴런(Neuron) 또는 노드(Node) 개수를 나타낸다.
Figure PCTKR2023016452-appb-img-000006
기존의 신경망을 계산하는 방식은 디지털 컴퓨터를 이용하여 상기 수학식1을 계산하는 방식이다. 예를 들어, N개의 입력과 N개의 출력이 있다고 가정하면 NxN 번의 곱셈과 Nx(N-1) 번의 덧셈, 그리고 б함수를 N번 호출해야 하는 계산이 필요하다.
최근 들어, 병렬 프로세서들이 있어서 이를 빠르게 수행하기는 하지만 여전히 프로세서의 숫자가 N개라고 하더라도 각 프로세서 별로 N번의 곱셈과 (N-1)번의 덧셈 계산 수행이 필요하다.
따라서, 전기적으로 아날로그 신경망을 구현하고 동시에 계산하는 경우, 선이 겹쳐지기 때문에 생기는 전자파 잡음이 생기거나 회로 배선의 배치가 복잡해지는 문제들이 발생하게 된다.
이러한 문제들을 해결하고자 제안되어진 기술이 첨부한 도2와 도3에 도시되어진 기술로써, 대한민국 특허출원번호 10-2021-0103865호(이하, 선행기술이라 칭함)를 통해 제안되었다.
첨부한 도2에 도시되어진 구조는 비차동 모드(non-difference mode)라 하고 첨부한 도3a 혹은 도3b의 구조를 차동 모드(difference mode)라 하는데, 상기 선행기술은 공간 광변조기를 이용한 광전자 모듈 및 이를 포함하는 광 컴퓨터를 제안한 것으로, 복수의 광원에서 광 검출기에 이르는 빛의 경로가 중첩되어도 잡음을 일으키지 않고 계산 속도를 증가시킬 수 있다.
또한, 도3b는 도3a에 도시되어진 광모듈을 3차원으로 표시한 개념도로써, 입력 출력은 2차원 배열일 수 있다. 따라서 입력은 2X2 배열이고 출력은 3X3 배열이다.
또한, 도3a에서는 가중치의 부호에 따라 서로 다른 광 검출기에 빛을 모으고 이를 전자회로를 통해 뺄셈 연산을 수행함으로써 간섭 효과를 사용하지 않고 일반적인 신경망 계산을 수행하는 광 컴퓨터 구조를 보이고 있다. 예를 들어
Figure PCTKR2023016452-appb-img-000007
의 부호가 음수이면
Figure PCTKR2023016452-appb-img-000008
에 음수의 절대 값을 사용하고
Figure PCTKR2023016452-appb-img-000009
는 0을 사용한다.
Figure PCTKR2023016452-appb-img-000010
의 부호가 양수이면
Figure PCTKR2023016452-appb-img-000011
에 양수의 절대 값을 사용하고
Figure PCTKR2023016452-appb-img-000012
에는 0을 사용한다.
첨부한 도2와 도3a에 도시되어진 구조를 간략히 살펴보면, 기판에 서로 일정 거리 이격되어 형성되는 복수의 제1광원과, 복수의 제1광원에 각각 대응하여 형성되고 대응하는 제1광원에서 조사된 광선의 발산각(divergence angle)을 감소시키는 복수의 제1렌즈와, 복수의 제1렌즈에 각각 대응하여 형성되고 미리 설정된 가중치를 갖는 각각의 픽셀들을 통해 대응하는 제1렌즈를 통과한 광선의 세기를 조절하는 복수의 공간광변조기와, 복수의 공간광변조기로부터 이격되어 형성되며 빛의 세기에 따른 전류 값을 획득하는 복수의 광 검출기, 및 복수의 공간광변조기와 복수의 광 검출기 사이에 형성되어, 각 공간광변조기의 동일한 상대 위치에 있는 픽셀을 통과하는 서로 다른 제1광원에서 조사된 광선을 하나의 광 검출기로 모으는 렌즈부를 포함한다.
상술한 선행기술의 구조와 그 동작은 해당 기술의 특허출원 명세서에 상세히 기재되어 있으므로 이하에서는 생략한다.
상술한 선행기술에 제시된 광 컴퓨터 구조는 전자식 컴퓨터에 비해 공간광변조기의 픽셀 개수에 해당하는 병렬 계산을 가능하게 함으로써, Full HD LCD 마이크로디스플레이를 사용하는 경우, 입력 노드 1,024개 출력 노드 1,024개를 신경망 구조로 연결하며 처리 용량이 106배 정도 증가하는 효과를 가져온다.
또한, 마이크로 렌즈 배열과 같은 마이크로 광학계를 사용할 경우 시스템의 크기를 10mm×10mm×20mm 정도의 크기로 소형화 할 수 있는 장점을 제공한다.
하지만 시스템의 크기를 더 크게 해서 연결 개수를 늘릴 경우 여러가지 문제점이 발생하게 된다.
예를 들어 상술한 바와같이 1,024의 입력 노드를 2차원 평면에 배치하기 위해서는 32×32 정사각형 배열을 이루어야 하고, LCD 마이크로 디스플레이의 픽셀 사이즈를 5μm, 간격을 20μm으로 가정할 경우, 약 640μm ×640μm 면적을 차지하게 된다. 이것은 입력 노드 또는 입력 광원 하나에서 나오는 빛을 제1렌즈 하나가 평행광으로 만들어 공간광변조기인 마이크로 디스플레이 32×32 픽셀을 비추는 경우이다.
마이크로 디스플레이의 각 픽셀을 통과한 광선은 제2 기판에 있는 32×32 광 검출기 배열로 분산된다. 입력 노드의 개수도 32×32 배열이기 때문에 입력 광원의 간격은 640μm 이고 제1기판에 배치된 입력 광원 배열 전체 크기는 20.5mm×20.5mm정도이다.
그러나 입력 노드와 출력 노드의 개 수는 광학계의 한계로 인해 무한정 늘릴 수 없다. 공간 광변조기에 있는 한 픽셀의 상이 제2렌즈와 제3렌즈를 통과해 하나의 광검출기에 맺혀야 하는데. 그 옆에 있는 광 검출기에 맺히게 되면 혼선(cross-talk)을 일으키게 되어 정상적 작동이 일어나지 않는다.
광학계에 의한 상의 크기는 크게 두가지 원인에 의해 결정되는데 하나는 회절 현상이고 다른 하나는 기하 광학 수차이다. 회절 한계는 빔 직경, 파장 λ, 제3렌즈의 초점 거리 f3가 관여한다.
빔 직경은 광원 직경의 제1렌즈에 의한 상 크기로 제2렌즈 구경 D2 까지 증가할 수 있다. 회절 한계 스폿 직경은 대략 2λf3/D2와 같다. 여기서 f3=41mm, D2=0.64mm를 사용하면 가시광선 영역에서 대략 60μm 정도이다. 마이크로 디스플레이 픽셀의 크기를 5μm 가정하고 f2가 제2 렌즈 직경의 두배인 1.28mm 라고 가정하면 제2렌즈와 제3렌즈에 의한 배율은 f3/f2=32 이므로 픽셀의 기하 광학적 상 크기는 대략 160μm이 된다.
입력 광원이나 광 검출기의 배열 크기가 공간 광 변조기의 전체 크기와 같다고 가정하면 입력 광원이나 광 검출기들 사이의 간격은 제1 렌즈의 직경 또는 간격인 640μm와 같다. 픽셀 배열의 이미지가 광 검출기 위치와 일치하기 때문에 한 픽셀의 상은 광 검출기 간격의 1/4을 차지하고 있다.
그런데 제2렌즈와 제3렌즈는 광선 수차가 있기 때문에 실제 상의 스폿 크기는 더욱 크게 된다. 특히 제2렌즈와 제3렌즈를 단순한 평볼록(plano-convex)렌즈에 예시된 렌즈들의 초점 거리와 직경의 비율(이하 ‘f/#’로 칭함)이 2인 경우로 가정하면 회절 한계는 작지만 광선 수차(ray aberration)는 크게 증가한다. f/#가 2인 평볼록 렌즈의 각 수차(angular aberration)는 RMS 스폿 직경에서 유효 초점 거리를 나누어 계산할 수 있으며 대략 50mrad(mili-radian) 정도이다. 이를 제3렌즈의 유효 초점 거리 41mm에 적용하면 2mm 정도의 스폿 직경 확대가 일어난다. 따라서 회절 한계 60μm와 기하 광학적 상 크기 160μm와 더하게 되면 광 검출기 간격을 초과하여 혼선(cross-talk) 잡음이 발생한다.
이를 해결하기 위해서는 각 수차를 6mrad 이하로 낮출 필요가 있다. 이 경우 기하 광학 수차에 의한 스폿 직경 확대는 240μm 정도로서 회절 한계 60μm, 와 더해서 기하 광학적 상 크기 160μm와 더해도 검출기 간격 640μm 를 넘지 않는다. 정렬 공차를 고려한다면 각 수차는 4mrad 이하가 바람직하다. 4mrad 각 수차에서 광선 수차에 의한 스폿 직경 증가는 160μm 정도이다. 따라서 회절 한계 및 기하 광학적 상 크기를 더하면 380μm 정도로 260μm는 정렬 공차로 활용 가능하다. 이러한 수차를 얻기 위해서는 제2 렌즈 및 제3 렌즈를 단일 렌즈로 하지 않고 3장 이상의 렌즈로 구성한 렌즈 모듈을 사용할 필요가 있다.
위의 시스템 구성 예에서 입력 광원의 수를 증가시키는 스케일링업 과정에 대해 고려해 볼 필요가 있다. 처음 시스템의 입출력 노드 수를 각각 N2 라고 가정한다. 광원 수를 한 방향으로 α배 증가시키면 전체 입력 광원의 개수는 α2N2 로 증가한다. 광 검출기 개수도 α2N2 으로 증가하며 노드 간 연결 수도 α4N4 으로 증가하며 병렬 처리 용량도 α4 배 증가하게 되므로 시스템 성능이 급격히 증가하게 된다. f/#를 그대로 유지한 채, 입력 광원의 개수를 α배 증가시키는 것을 가정한다.
공간 광 변조기 픽셀 크기와 간격은 5μm, 20μm로 유지하고 개수를 α배 증가시키면 하나의 광원이 제1렌즈를 통해 비추는 공간 광 변조기 부분은 한 방향으로 α배 증가하고 그 면적은 α2배 증가한다. 따라서 광원 사이의 간격도 α배 증가한다. 제2 렌즈의 직경도 α배 증가하고 제2 렌즈의 초점 거리 f2 도 α배 증가하기 때문에 제2 렌즈의 f/#는 그대로 유지된다.
즉, 입력 광원의 개수가 α배 증가하면 하나의 광원이 비추는 공간 광 변조기 영역의 길이 뿐만 아니라 개수도 α배 증가하기 때문에 공간 광 변조기 전체의 길이는 한 방향으로 α2배 증가하고 면적은 α4배 증가한다.
따라서 제3렌즈의 경우 렌즈 직경이 α2배 증가하고, f/#를 유지하기 위해서는 초점 거리 f3가 α2배 증가해야 한다. 제2렌즈와 제3렌즈에 의한 배율은 따라서 f3/f2 이므로 α배 증가하고 광 검출기의 간격도 입력 광원 간격과 마찬가지로 α배 증가한다. 이 경우 픽셀의 기학 광학적 상 크기는 α배 증가한다. 회절 한계에 의한 스폿 직경의 증가는 빔 직경 또는 제2 렌즈 직경이 α배 증가하지만 제3렌즈의 초점 거리는 α2배 증가하기 때문에 α배 증가하게 된다.
기학 광학 수차는 전체 광학 시스템의 f/#가 유지되기 때문에 각 수차는 동일하지만 제3 렌즈의 초점 거리가 α2배 증가하기 때문에 광선 오차가 α2배 증가하게 된다. 광 검출기 사이 간격이 α배 증가하지만 광선 오차가 α2배 증가하기 때문에 기하 광학 오차를 줄이기 위해 제2 렌즈와 제3 렌즈의 각 수차를 줄여야 하는데, 이는 렌즈 개수를 늘리고 광학 시스템의 정밀도와 가격을 높이는 원인이 되므로 한계가 있다.
예를 들어 기하광학 수차가 광 검출기 간격에서 동일한 비율을 유지하고자 한다면 1/α배로 각 수차를 줄여야 한다. 또한, 예를 들어 입력 광원 개수를 8배 증가 시키고자 한다면 각 수차는 원래 값의 1/8인 0.5mrad 정도로 줄여야 하고 이 때 정렬 공차는 2,080μm 정도이다. 정렬 공차가 광 검출기 간격에서 차지하는 비율은 0.41로 유지된다. 각 수차를 0.5mrad 정도로 줄이기 위해서는 제2렌즈와 제3렌즈를 각각 4개 이상의 렌즈 그룹으로 구성해야 한다.
따라서 입출력 노드 배열의 개수를 늘리는 방법은 렌즈의 기학 광학 수차로 인한 한계 때문에 무한정 늘일 수는 없다는 문제점을 갖는다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 대한민국등록특허 10-0624852호
(특허문헌 2) 대한민국등록특허 10-2079833호
(특허문헌 3) 대한민국특허출원번호 10-2021-010386
상술한 문제점을 해소하기 위한 본 발명의 목적은, 광 신경망 컴퓨터에 관한 것으로 특히, 복잡한 전자회로 대신 광원과 렌즈와 공간광변조기 및 광 검출기 등으로 조합 작동하는 일정 개수의 입출력 노드를 가진 고속 광전자 모듈을 여러개를 특별한 구조로 병렬 연결 및 결합을 통해, 입출력 노드의 개수를 증가시키고, 입출력 노드 간 광 연결이 가능하게 하는 공간 3축으로 확장 가능하도록 함으로써 입출력 개수의 확장이 용이한 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법 및 클러스터링된 광전자 모듈을 통한 광신경망 장치를 제공하는 데 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법의 특징은, M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N개를 병렬 배치하여 제(2P-1)스텍을 형성하고, M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N+1개를 병렬 배치하여 제2P스텍을 형성하되, 상기 제2P스텍을 형성하는 광전자 모듈의 입력단에는 상기 제(2P-1)스텍을 형성하는 각 광전자 모듈의 출력단자가 연결되도록 하며, 제1스텍은 M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N개를 병렬 배치하여 2차원 평면에 광전자 모듈 클러스터링 구조를 형성하는 제1과정과; 상기 제1스텍을 형성하는 N개의 광전자 모듈이 갖는 입력단자 중 각 광전자 모듈당 M/2개씩의 입력단자 만을 이용하여 전체적으로 (M/2)*N개의 입력을 갖도록 하고, 상기 제(2P-1)스텍을 형성하는 N개의 광전자 모듈이 갖는 출력단자 중 각 광전자 모듈당 M/2개씩의 출력단자 만을 이용하여 전체적으로 (M/2)*N개의 출력을 갖도록 하여 상기 제1과정을 통해 형성된 광전자 모듈 클러스터링 구조가 (M/2)*N개의 입력과 (M/2)*N개의 출력구조를 갖도록 하는 제2과정; 및 상기 광전자 모듈 클러스터링 구조를 형성하는 각 스텍내의 광전자 모듈은 입력단자를 통해 유입되는 광신호를 출력단자로 전달하되, 분기 혹은 복사 혹은 직진연결, 교차연결 혹은 완전 연결 및 가중치 계산후 전달 중 어느 하나의 전달과정을 수행하는 제3과정을 포함하는 데 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법의 부가적인 특징으로, 상기 제1과정에서 각 스텍을 형성하는 광전자 모듈의 입력단자에는 전단의 스텍을 형성하는 광전자 모듈의 출력단자가 일대일로 연결되도록 하고; 각 스텍을 형성하는 광전자 모듈의 출력단자에는 후단의 스텍을 형성하는 광전자 모듈의 입력단자가 일대일로 연결되는 데 있다. 또한 상기 제1과정을 통해 형성되어진 광전자 모듈 클러스터링 구조에서 변수M과 변수N은 각각 최소 2와 4일 수 있으며 확장될 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법의 부가적인 다른 특징으로, 상기 제1과정 내지 제3과정을 통해 형성되어진 광전자 모듈 클러스터링 구조를 2Q개 적층하여 3차원 공간에 광전자 모듈 클러스터링 구조를 형성하고, 최초 입력단자와 최종 출력단자는 각각 ((M/2)*N,Q)의 행렬구조를 갖도록 하되, 상기 변수Q는 최소 2이상으로 증가 가능한 제4과정을 더 포함하는 데 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법의 부가적인 또 다른 특징으로, 상기 제1과정을 통해 형성되는 광전자 모듈 클러스터링 구조를 직각 꺾임 구조로 형성하거나 접힘 구조로 형성하여 3차원 공간에 형성되도록 하는 데 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법의 부가적인 또 다른 특징으로, 상기 제3과정을 통해 분기 혹은 복사 혹은 직접연결, 교차연결 혹은 완전 연결 전달 및 가중치 계산후 전달 중 어느 하나의 전달과정을 수행하는 상기 광전자 모듈 클러스터링 구조를 형성하는 각 스텍내의 광전자 모듈 중, 입력단자를 통해 유입되는 광신호를 복사하거나 분기하는 광전자 모듈 들은 가중치 계산을 사용하지 않고 수동 광소자를 사용하여 출력단자 측으로 광신호의 연결을 수행하는 데 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법의 부가적인 또 다른 특징으로, 상기 수동 광소자는 회절 광소자, 굴절 광소자, 조리개 또는 이 조합을 사용하여 광 연결을 수행하는 데 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 클러스터링된 광전자 모듈을 통한 광신경망 장치의 특징은, M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N개가 동일방향으로 입력단자와 출력단자가 정렬되고 병렬 배치되어 제(2P-1)스텍을 형성하고; M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N+1개가 동일방향으로 입력단자와 출력단자가 정렬되고 병렬 배치되어 제(2P)스텍을 형성하며; 상기 제(2P)스텍을 형성하는 광전자 모듈들의 입력단자에는 상기 제(2P-1)스텍을 형성하는 광전자 모듈들의 출력단자가 연결되어 광전자 모듈 클러스터링 구조를 가지고, 상기 광전자 모듈 클러스터링 구조는 좌우 대칭 구조를 갖는 (M/2)*N개의 입력과 좌우 대칭 구조를 갖는 (M/2)*N개의 출력을 가지고, 각 스텍내의 광전자 모듈들은 입력단자를 통해 유입되는 광신호를 출력단자로 전달하되, 분기 혹은 복사 혹은 직진연결, 교차연결 혹은 완전 연결 및 가중치 계산후 전달 중 어느 하나의 전달과정을 수행하는 데 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 클러스터링된 광전자 모듈을 통한 광신경망 장치의 부가적인 특징으로, 각 스텍의 광전자 모듈들의 입력단자에는 전단의 스텍을 형성하는 광전자 모듈의 출력단자가 일대일로 연결되도록 하고; 광전자 모듈의 출력단자에는 후단의 스텍을 형성하는 광전자 모듈의 입력단자가 일대일로 연결되는 데 있다. 또한 상기 광전자 모듈 클러스터링 구조를 형성하는 각 스텍에 있는 광전자 모듈은 전단의 스텍을 형성하는 이웃하는 두 개 이상의 광전자 모듈들과 연결될 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 클러스터링된 광전자 모듈을 통한 광신경망 장치의 부가적인 다른 특징으로, 상기 광전자 모듈 클러스터링 구조를 형성하는 각 스텍내의 광전자 모듈 중, 입력단자를 통해 유입되는 광신호를 복사하거나 분기하는 광전자 모듈들은 가중치 계산을 사용하지 않고 수동 광소자를 사용하여 출력단자 측으로 광신호의 연결을 수행하되, 상기 수동 광소자는 회절 광소자, 굴절 광소자, 조리개 또는 이 조합을 사용하여 광 연결을 수행하는 데 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 클러스터링된 광전자 모듈을 통한 광신경망 장치의 부가적인 또 다른 특징으로, 상기 광전자 모듈 클러스터링 구조를 직각 꺾임 구조로 형성되거나 접힘 구조로 형성되어 3차원 공간에 형성되도록 하는 데 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 클러스터링된 광전자 모듈을 통한 광신경망 장치의 부가적인 또 다른 특징으로, 상기 광전자 모듈 클러스터링 구조를 2Q개 적층하여 3차원 공간에 형성하고, 최초 입력단자와 최종 출력단자는 각각 ((M/2)*N,Q)의 행렬구조를 갖도록 하되, 상기 변수Q는 최소 2이상으로 증가 가능하는 데 있다.
이와 같은 본 발명에 따른 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법 및 클러스터링된 광전자 모듈을 통한 광신경망 장치를 제공하면, M개의 입출력 노드를 각각 2배 증가한 클러스터 모듈을 만들 수 있고, 이를 기본 광전자 모듈 블록으로 사용해서 다시 클러스터링 방식을 적용하면 4M 개의 입출력 노드를 가지는 클러스터 모듈을 만들 수 있다.
또한, 같은 방식으로 계속 모듈의 입출력 개수를 배가 할 수 있으며 노드 간 연결 수와 병렬 처리 용량은 클러스터링 할 때마다 4배씩 증가하게 된다. 이러한 방식은 기존의 광학 구조를 스케일업할 때 생기는 기학광학적 수차 증가로 인한 혼선 잡음의 영향을 받지 아니하며 계속 입출력 노드의 개수를 배가하면서 광전자 모듈의 병렬 처리 용량을 증가 시키는 효과를 갖는다.
도1은 일반적인 신경망 개념도
도2은 기존 비차동 모드 광 신경망 모듈의 개념도
도3a는 기존 차동 모드 광 신경망 모듈의 개념도
도3b는 도3a에 도시되어진 광모듈을 3차원으로 표시한 개념도
도4a는 본 발명에 따른 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법이 적용되는 실시예를 설명하는 개념도
도4b는 도4a의 L5의 입력 부분을 z 방향으로 본 단면 예시도.
도5는 본 발명의 실시예에서 수동 광소자만으로 이루어진 광전자 모듈을 이용한 클러스터링을 구현한 광 연결을 보이는 개념 예시도
도6a는 도4a에 도시되어진 클러스터링을 이용한 광 신경망의 입체적인 예시도
도6b는 도6a에 도시되어진 클러스터링을 이용한 광 신경망을 수직 방향으로 스태킹한 예시도
도7은 도6a에 도시되어진 클러스터링을 이용한 광 신경망을 직각 꺾임 구조로 도시한 예시도
도8은 도6a에 도시되어진 클러스터링을 이용한 광 신경망을 접힘 구조로 도시한 예시도
이하, 첨부된 도면을 참조하여 본 발명에 따른 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법 및 클러스터링된 광전자 모듈을 통한 광신경망 장치를 설명하면 다음과 같다.
첨부한 도4a는 본 발명에 따른 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법이 적용되는 실시예를 설명하는 개념도이고, 도5는 본 발명의 실시예에서 수동 광소자만으로 이루어진 광전자 모듈을 이용한 클러스터링을 사용한 광 연결을 보이는 개념 예시도이다.
본 발명에 따른 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법은, 크게 3개의 과정에 따라 구현되는데, 첫 번째 과정은 M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N개를 병렬 배치하여 제(2P-1)스텍을 형성하고, M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N+1개를 병렬 배치하여 제2P스텍을 형성하되, 상기 제2P스텍을 형성하는 광전자 모듈의 입력단에는 상기 제(2P-1)스텍을 형성하는 각 광전자 모듈의 출력단자가 연결되도록 하며, 제1스텍은 M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N개를 병렬 배치하여 광전자 모듈 클러스터링 구조를 형성한다. M개의 입력 출력 단자들은 도3b와 같이 2차원 배열을 가질 수 있다.
따라서 상기와 같은 광전자 모듈 클러스터링 구조를 형성하는 각 스텍의 광전자 모듈들의 입력단자에는 전단의 스텍을 형성하는 광전자 모듈의 출력단자가 일대일로 연결되도록 하고 각 스텍을 형성하는 광전자 모듈의 출력단자에는 후단의 스텍을 형성하는 광전자 모듈의 입력단자가 일대일로 연결되어진다.
또한 광전자 모듈 클러스터링 구조를 형성하는 각 스텍에 있는 광전자 모듈은 전단의 스텍을 형성하는 이웃하는 두 개 이상의 광전자 모듈과 연결될 수 있다.
또한, 상기 변수 P는 스텍의 번호 또는 index를 나타내는 숫자일 수 있다. 예를 들어 2P번째는, 즉 짝수 번째 스텍이란 의미이고, 스텍의 최종 숫자를 나타내는 경우 Np 기호가 사용될 수 있다. 즉, 예를 들어 Np=5 이면 전체 스텍의 개수는 2Np-1=9 로서 도4a에 나온 9번째 스텍 S9을 가르키게 되는 것이다.
이후 두 번째 과정에서 상기 제1스텍을 형성하는 N개의 광전자 모듈이 갖는 입력단자 중 각 광전자 모듈당 M/2개씩의 입력단자를 이용하여 전체적으로 (M/2)*N개의 입력을 갖도록 하고, 광전자 모듈 클러스터링 구조의 최종 스텍인 제(2Np-1) 스텍을 형성하는 N개의 광전자 모듈이 갖는 출력단자 중 각 광전자 모듈당 M/2개씩의 출력단자를 이용하여 전체적으로 (M/2)*N개의 출력을 갖도록 하여 상기 제1과정을 통해 형성된 광전자 모듈 클러스터링 구조가 (M/2)*N개의 입력과 (M/2)*N개의 출력구조를 갖도록 한다. 한편, 상기 과정에서 변수M과 변수N은 각각 최소 2와 4이며, 확장 가능하다.
이때, 제2P스텍의 입력(광원)이 제(2P-1)스텍에 있는 두 개의 광전 모듈 출력(광 검출기)과 직접 연결될 수 있다. 또한 제(2P+1)스텍의 입력(광원)이 전단에 있는 제(2P)스텍에 있는 두 개의 광전 모듈 출력(광 검출기)과 직접 연결될 수 있다. 즉, 제(2P-1) 스텍의 광전 모듈과 제(2P) 스텍의 광전 모듈은 엇갈려 배치되어 있어서, 한 스텍에 있는 하나의 광전자 모듈은 전단의 스텍을 형성하는 이웃하는 두 개 이상의 광전자 모듈과 연결될 수 있는 것이다.
세 번째 과정으로서, 광전자 모듈 클러스터링 구조를 형성하는 각 스텍내의 광전자 모듈은 입력단자를 통해 유입되는 광신호를 출력단자로 전달하되, 분기 혹은 복사 혹은 직진연결, 교차연결 혹은 완전 연결 및 가중치 계산후 전달 중 어느 하나의 전달과정을 수행한다.
이와같은 본 발명에 따른 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법을 적용한 실시예가 첨부한 도4a에 도시되어진 것으로, 변수 P의 최대값을 Np라고 할 때, 변수 M=2, 변수 N=4, 변수 Np=5로 정의한 상태의 실시예이다.
첨부한 도4a에 도시되어진 실시예는 신경망 층의 제1레이어(layer)(L1)에 a1, a2, b1, b2 입력 단자가 배치되어 있다. 즉, 제1스텍(S1)을 구성하는 4개의 광전자 모듈은 각각 2개의 입력단자와 2개의 출력단자를 가지며, 2개의 입력단자 중 하나의 입력단자를 사용한다. 입력 단자 하나는 입력 노드 하나를 나타낼 수 도 있지만 여러 개의 이차원 입력 배열을 나타낼 수도 있다. 예를 들어 도4b는 도4a에서 스테킹한 z 방향으로 본 L5 단면을 보여주는 도면이다. 입력 노드들이 각 모듈 당 4X4 배열 형태로 xy 평면 상에서 2차원 형태의 배열을 가지고 있으며, M=16이 되고, a1 입력 단자는 하나의 광전자모듈 절반에 해당하는 입력 배열인 4X2 또는 M/2=8개의 배열에 해당한다. 이때 도4b에 나온 다른 단자 a2, b1, .. 등도 마찬가지로 각각 8개의 입력 노드를 각각 나타낸다.
즉, 도 4a 및 도4b에 따르면, 도 4a 의 원형 입력단자 1개로 표시된 a1, a2, b1, b2 등은 실질적으로 4X2 또는 M/2=8 개에 해당하는 입력배열을 의미할 수 있는 것이다.
따라서 신경망 층의 제1레이어(layer)(L1)에 a1, a2, b1, b2 입력 단자가 도4a에 도시되어진 광전자 모듈 클러스터링 구조의 입력단자로 사용되는 것이다.
첨부한 도4a에서 입출력 단자는 종래기술을 설명한 첨부도면 도2, 도3a, 또는 도 3b에 나온 광원 또는 광 검출기로 생각할 수도 있으며, 광 검출기와 광원의 결합된 형태로 생각할 수도 있다.
따라서 기본 광전자 블록이 상하로 연결된 경우 이전 단계의 블록을 광 검출기까지로 생각하고 다음 블록은 광원부터 시작한다고 생각할 수 있으며, 이전 블록의 광 검출기와 다음 블록의 광원은 기판 내에서 전기적으로 연결된 형태이므로 첨부한 도4a에서는 하나의 원형 단자로 표시하고 있다. 입력 단자와 출력 단자를 연결한 선은 광 연결을 나타낸다.
이때 원형단자로 표시되어진 입출력단자에서 패턴으로 채워지지 않은 원형단자는 비활성화된(사용하지 않는) 단자이며, 패턴으로 채워진 원형 단자는 활성화되어 사용하는 단자를 의미한다.
또한, 입력단자와 출력단자를 연결한 광연결선이 이점 쇄선인 경우는 입력된 광신호를 출력단자로 전달하는 광연결선으로 본 발명에서는 분기(하나의 입력 광신호를 두 개의 출력단자로 변형이나 손실 없이 전송하는 것) 또는 복사(여기서 복사는 데이터를 복제하고 분기까지 하는 것으로 복사와 분기는 같은 의미로 사용함)를 나타내고 있다. 따라서 첨부한 도4a에서 제1스텍(S1) 내지 제4스텍(S4)를 구성하는 광전자 모듈은 기본 광전자 모듈을 그대로 사용하거나 또는 수동 광소자로만 이루어질 수 있다. 수동 광소자로만 이루어 질 경우 신호가 약해지면 신호 증폭을 위해 중간에 광검출기와 광원을 사용한 중계기(repeater)가 사용될 수 도 있다.
예를들어 도4a에서 참조번호 a1으로 지칭되는 입력 단자에 유입되는 광신호는 직진 연결(straight-through connection), 교차 연결(cross connection), 복사, 이동 과정을 통해 두개의 출력 단자로 분기 된다. 그러므로 n번째 층 Ln의 입출력 단자 a1은
Figure PCTKR2023016452-appb-img-000013
로 표기할 수 있다.
따라서 상술한 표시방식으로 각 단자의 입력값을 일반적인 입력 기호로 표시한 연관 관계를 수식으로 정리하면 아래의 수학식2와 같다.
Figure PCTKR2023016452-appb-img-000014
이때 상술한 수학식2는 사용변수 i가 1, 2, …, M/2 일 때를 기준으로 하며, 상기 수학식2를 기준으로 제1 스텍(S1)에서 참조번호 a1으로 지칭되는 입력 단자에 대응하는 출력 단자의 값은 아래의 수학식3과 같이 정의할 수 있다.
Figure PCTKR2023016452-appb-img-000015
따라서 제1스텍(S1)에서 참조번호 a1,a2,b1,b2로 지칭되는 입력 단자에서도 상술한 복사와 분기가 이루어진다.
도시되어진 도4a의 실시예에서 제1스텍(S1)을 구성하는 4개의 광전자 모듈은 모두 복사와 분기가 이루어지도록 설계되었으나, 제2스텍(S2)를 구성하는 광전자 모듈중 일부는 복사 혹은 분기 이외에 교차 연결(cross connect)가 이루어지기도 한다. 첨부한 도4a에서 교차연결이 이루어지는 경우는 두 연결선이 X자 형태로 교차하게 표시되어져 있다.
이때 예를 들어 a1’과 a2 사이에 교차 연결이 진행된다면 입력 단자에 대응하는 출력 단자의 값은 아래의 수학식4와 같이 정의할 수 있다.
Figure PCTKR2023016452-appb-img-000016
따라서 상기 수학식3과 수학식4에서도 알 수 있듯이 첨부한 도4a에서 제1스텍(S1)에서 제4스텍(S4)까지는 가중치 곱셈과 입력 항들 사이의 덧셈이 이루어지기 보다는 데이터의 복사 및 이동이 일어나며 복사된 데이터를 재배치하는 과정이 진행된다.
이러한 과정은 기본 광전 블록의 가중치 계산을 통해 수행할 수도 있지만 단순한 광 신호의 전달 및 분기, 방향 전환(redirect)을 통해 가능하기 때문에, 본 발명에서는 각 스텍(S1~S4)을 구성하는 광전자 모듈은 수동 광소자로만 구성한다.
즉, 상술한 광신호 전달, 분기, "눰* 전환은 각 입출력 노드에 설치된 회절 광 소자, 굴절 소자, 구경(aperture)과 같은 수동 광소자의 조합을 통해 구현이 가능하며 광 검출기와 레이저 광원을 통한 광신호의 재생성 과정이 필요하지 않다.
따라서 각 스텍(S1~S4)에 이르는 과정을 수동 광 소자 블록으로 구성할 경우 빛의 진행에 따른 지연만 일어나고 전자 소자의 사용에 따른 시간 지연이 발생하지 않는다.
이러한 수동 광 소자로 된 기본 광전 블록을 스케일업하는 것도 가능하며 첨부한 도5에 입출력 노드를 두배로 스케일업하는 연결 방식의 예를 도시하고 있다. 이때 직진 연결이나 교차 연결을 모두 구성할 수 있으며 이를 동시에 사용할 경우 복사 및 분기 연결이 될 수 있다.
상술한 제4스텍(S4)까지 진행되어 제5레이어(L5)에 도착한 데이터는 네 개 블록의 입력으로 들어가며 a1, a2는 한 쌍으로 M개의 데이터를 구성하며 두 개 블록의 입력으로 복사되어 들어가고 있음을 알 수 있다.
제5스텍(S5)의 각 광전자모듈에서는 입출력 간 완전 연결이 이루어지며 연결 수는 각각 M2이고 네 블록에서 전체 연결 수는 4M2이다. 블록 출력은 데이터 개수가 각각 M/2개인 네 개의 A1, A2, B1, B2로 구분한다.
A1(a)는 a1과 a2 입력으로부터 데이터를 받고 가중치를 계산한 뒤 합산한 결과이고 A1(b)는 b1, b2 입력으로부터 데이터를 받아 가중치를 계산한 뒤 합산한 결과이며, 이를 상기 수학식2 내지 수학식4을 기준으로 수식으로 정리하면 아래의 수학식5와 같다.
Figure PCTKR2023016452-appb-img-000017
Figure PCTKR2023016452-appb-img-000018
Figure PCTKR2023016452-appb-img-000019
Figure PCTKR2023016452-appb-img-000020
상기와 같이 정리되어진 상기 수학식5는 사용변수 j가 1, 2, …, M/2 일 때를 기준으로 한다.
상술한 바와 같이 제5스텍(S5)에서의 가중치 계산된 결과들은 제6스텍(S6)에서 직진 연결 또는 교차 연결을 통해 데이터가 재배치되며, 제7스텍(S7)에서 A1(a)와 A1(b)가 연결되며 a입력 결과와 b입력 결과를 더하면 최종 A1(ab) 결과를 얻게 된다.
상기 A1(ab)는 모든 입력 값에서 가중치가 계산된 결과이다.
따라서 A1(ab), A2(ab), B1(ab), B2(ab)는 아래의 수학식6과 같이 정리되어진다.
Figure PCTKR2023016452-appb-img-000021
상기와 같이 정리되어진 상기 수학식6은 사용변수 j가 1, 2, …, M/2 일 때를 기준으로 한다.
상술한 바와 같이 제7스텍(S7)에서의 출력을 제8스텍(S8)과 제9스텍(S9)을 통해 재배치되어 A1, A2, B1, B2 의 순서대로 배치된다.
최종 출력을 간단히 표현하면 아래의 수학식7와 같다.
Figure PCTKR2023016452-appb-img-000022
결국 전체 클러스터 출력은 2M 입력과 2M 출력을 완전 연결하고 가중치를 계산한 결과로 기본 광전 블록에 비해 입출력이 각각 2배 증가하고 연결 수는 4배 증가한 새로운 광전 블록이 된다.
연결 수가 4배 증가하면 병렬 처리 용량도 4배 증가한다.
따라서 스케일업한 광전 모듈을 다시 클러스터링하면 입출력과 연결 수가 각각 2배, 4배 증가하며 이런 식으로 계속 시스템의 입출력과 연결 수를 증가시킬 수 있다.
또한, 2배 스케일업하기 위해서 9개의 스텍을 사용함으로써 각 모듈에서 발생하는 계산 시간의 9배가 들 수 있는데 계산 지연을 9배 일으킬 수 있지만 연속된 데이터가 계속 진행된다면 최종적으로 최초 기본 광전 블록의 계산 시간 또는 1사이클(1사이클에 기본 광전 모듈의 계산이 끝난다고 가정)마다 출력이 하나씩 나오기 때문에 사이클 당 병렬 처리 개수는 연결 수에 비례한다.
이것은 디지털 컴퓨터의 파이프라이닝 기법과 비슷하다.
또한 제5스텍(S5)와 제7스텍(S7)에서만 가중치 계산이 이루어지고 나머지 스텍의 경우에는 광 신호의 재배치, 방향 전환, 복사 등 수동 광 소자로 수행할 수 있기 때문에 빛의 진행에 따른 시간 지연만 벌어진다.
이러한 시간 지연은 전자 회로의 계산 시간에 비해 짧고 중간에 신호 증폭을 위해 중계기를 사용해도 1사이클 정도의 시간 지연이 생기기 때문에 실제 계산 시간 지연은 2~4사이클 정도이다.
첨부한 도6a는 도4a에 도시되어진 클러스터링을 이용한 광 신경망의 입체적인 예시도이고, 도6b는 도6a에 나온 클러스터링한 블록을 이전 클러스터링에서 스케일업한 y 방향과 수직인 x 방향으로 다시 클러스터링한 구조로서 결국 입력 배열이 2차원 배열 구조를 가지게 되는 구조이다. 도7은 도6a에 도시되어진 클러스터링을 이용한 광 신경망을 직각 꺾임 구조로 도시한 예시도이며, 도8은 도6a에 도시되어진 클러스터링을 이용한 광 신경망을 접힘 구조로 도시한 예시도이다.
첨부한 도6b에 나온 것과 같이 도6a에 도시되어진 클러스터링을 이용한 광 신경망을 적층하고 그 입력신호를 각각 달리한다면, 즉 x축과 z축으로 이루어진 평면구조의 (M/2)N개의 입력단자와 출력단자를 갖는 광전자 모듈 클러스터링 구조를 2Q개 적층하여 3차원 공간에 광전자 모듈 클러스터링 구조를 형성하고, 최초 입력단자와 최종 출력단자는 각각 ((M/2)N,Q)의 행렬구조를 갖도록 구현 할 수도 있을 것이다.
또한, 도7에 도시되어진 예는 단순히 평면 구조를 갖는 클러스터링을 이용한 광 신경망을 직각 방향으로 접힌 구조이나, 이를 확대 해석해보면, 도4a 혹은 도6a에서 스케일업한 y방향 및 스테킹(stacking)한 z 방향과 직각인 x 방향으로 접히면서 다시 클러스터 모듈을 구성할 수 있음을 알 수 있다. 즉, 스테킹 할 때 구부러지는 S5 부분의 모듈에서 제3렌즈와 광 검출기 사이에 45도 반사경을 배치하여 방향을 직각 방향으로 접을 수 있는 것이다.
반면에 첨부한 도8에 도시되어진 구조와 같이 클러스터링을 이용한 광 신경망을 접힘 구조로 구현할 수 있는데, 이와 같이 접힘구조로 구현하는 경우 클러스터링을 구현하는 데 있어 공간적인 부담을 줄일 수 있다.
즉, 예를들어 스텍이 100개가 필요하다면, 도6a에서와 같이 평면구조로 클러스터링을 하면 스텍이 100개가 펼쳐질 수 있는 평면공간이 필요하여 공간적 손실이 커지게 되는데, 도8에 도시되어진 접힘 구조를 활용하면 한번 접는 경우 평면적 관점에서 스텍 50개가 펼쳐질 수 있는 평면공간이 필요하고, 두 번 접는 경우 평면적 관점에서 스텍 30여개가 펼쳐질 수 있는 평면공간이 필요하게 된다.
따라서 평면적으로 펼쳐질 수 없는 공간에서 3차원적인 공간을 활용하여 공간적인 부담을 줄일 수 있다.
그러므로, 본 발명에 따른 광전자 모듈 클러스터링 구조는 클러스터링을 반복함으로써 입출력 노드 개수를 계속 배증할 수 있는 장점을 제공하며, 각 클러스터링 과정마다 4배의 연결수 증가와 병렬 처리 용량 증가를 가능하게 해 준다.
따라서, 광 컴퓨터에 적용되어 초소형, 초고속의 연산이 가능하며, 종래의 소자로는 어려웠던 패턴인식, 문장의 의미 파악 분야, 편미분 방정식 계산, 이미지 프로세싱에 유용하게 적용할 수 있을 것으로 예상된다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 방법이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.

Claims (12)

  1. M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N개를 병렬 배치하여 제(2P-1)스텍을 형성하고, M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N+1개를 병렬 배치하여 제2P스텍을 형성하되, 상기 제2P스텍을 형성하는 광전자 모듈의 입력단에는 상기 제(2P-1)스텍을 형성하는 각 광전자 모듈의 출력단자가 연결되도록 하며, 제1스텍은 M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N개를 병렬 배치하여 2차원 평면에 광전자 모듈 클러스터링 구조를 형성하는 제1과정과;
    상기 제1스텍을 형성하는 N개의 광전자 모듈이 전체적으로 (M/2)*N개의 입력을 갖도록 하고, 상기 광전자 모듈 클러스터링 구조의 최종 스텍을 형성하는 N개의 광전자 모듈이 전체적으로 (M/2)*N개의 출력을 갖도록 하여 상기 제1과정을 통해 형성된 광전자 모듈 클러스터링 구조가 (M/2)*N개의 입력과 (M/2)*N개의 출력구조를 갖도록 하는 제2과정; 및
    상기 제1과정을 통해 형성된 광전자 모듈 클러스터링 구조의 각 스텍내의 광전자 모듈은 입력단자를 통해 유입되는 광신호를 출력단자로 전달하되, 분기 혹은 복사 혹은 직진연결, 교차연결 혹은 완전 연결 및 가중치 계산후 전달 중 어느 하나의 전달과정을 수행하는 제3과정을 포함하는 것을 특징으로 하는 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법.
  2. 제1항에 있어서,
    상기 제2과정은, 상기 제1스텍을 형성하는 N개의 광전자 모듈이 갖는 입력단자 중 각 광전자 모듈당 M/2개씩의 입력단자 만을 이용하여 전체적으로 (M/2)*N개의 입력을 갖도록 하고, 상기 광전자 모듈 클러스터링 구조의 최종 스텍을 형성하는 N개의 광전자 모듈이 갖는 출력단자 중 각 광전자 모듈당 M/2개씩의 출력단자 만을 이용하여 전체적으로 (M/2)*N개의 출력을 갖도록 하여 상기 제1과정을 통해 형성된 광전자 모듈 클러스터링 구조가 (M/2)*N개의 입력과 (M/2)*N개의 출력구조를 갖도록 하는 것을 특징으로 하는 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법.
  3. 제1항에 있어서,
    각 스텍을 형성하는 광전자 모듈의 입력단자에는 전단의 스텍을 형성하는 광전자 모듈의 출력단자가 일대일로 연결되도록 하고;
    각 스텍을 형성하는 광전자 모듈의 출력단자에는 후단의 스텍을 형성하는 광전자 모듈의 입력단자가 일대일로 연결되되,
    상기 광전자 모듈 클러스터링 구조를 형성하는 각 스텍에 있는 광전자 모듈은 전단의 스텍을 형성하는 이웃하는 두 개 이상의 광전자 모듈들과 연결되는 것을 특징으로 하는 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법.
  4. 제1항에 있어서,
    상기 광전자 모듈 클러스터링 구조를 2Q개 적층하여 3차원 공간에 광전자 모듈 클러스터링 구조를 형성하고, 최초 입력단자와 최종 출력단자는 각각 ((M/2)*N,Q)의 행렬구조를 갖도록 하되, 상기 변수Q는 최소 2이상으로 증가 가능한 것을 특징으로 하는 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법.
  5. 제1항에 있어서,
    상기 광전자 모듈 클러스터링 구조를 직각 꺾임 구조로 형성하거나 접힘 구조로 형성하여 3차원 공간에 광전자 모듈 클러스터링 구조를 형성하는 것을 특징으로 하는 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법.
  6. 제1항에 있어서,
    상기 광전자 모듈 클러스터링 구조를 형성하는 각 스텍내의 광전자 모듈 중, 입력단자를 통해 유입되는 광신호를 복사하거나 분기하는 광전자 모듈들은 가중치 계산을 사용하지 않고 수동 광소자를 사용하여 출력단자 측으로 광신호의 연결을 수행하는 것을 특징으로 하는 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법.
  7. 제6항에 있어서,
    상기 수동 광소자는 회절 광소자, 굴절 광소자, 조리개 또는 이 조합을 사용하여 광 연결을 수행하는 것을 특징으로 하는 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법.
  8. M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N개가 동일방향으로 입력단자와 출력단자가 정렬되고 병렬 배치되어 제(2P-1)스텍을 형성하고; M개의 입력단자와 M개의 출력단자를 가지는 광전자 모듈 N+1개가 동일방향으로 입력단자와 출력단자가 정렬되고 병렬 배치되어 제(2P)스텍을 형성하며; 상기 제(2P)스텍을 형성하는 광전자 모듈들의 입력단자에는 상기 제(2P-1)스텍을 형성하는 광전자 모듈들의 출력단자가 연결되어 광전자 모듈 클러스터링 구조를 가지고;
    상기 광전자 모듈 클러스터링 구조는 좌우 대칭 구조를 갖는 (M/2)*N개의 입력과 좌우 대칭 구조를 갖는 (M/2)*N개의 출력을 가지고;
    각 스텍내의 광전자 모듈은 입력단자를 통해 유입되는 광신호를 출력단자로 전달하되, 분기 혹은 복사 혹은 직진연결, 교차연결 혹은 완전 연결 및 가중치 계산후 전달 중 어느 하나의 전달과정을 수행하는 것을 특징으로 하는 클러스터링된 광전자 모듈을 통한 광신경망 장치.
  9. 제8항에 있어서,
    각 스텍을 형성하는 광전자 모듈들의 입력단자에는 전단의 스텍을 형성하는 광전자 모듈의 출력단자가 일대일로 연결되도록 하고;
    각 스텍을 형성하는 광전자 모듈의 출력단자에는 후단의 스텍을 형성하는 광전자 모듈의 입력단자가 일대일로 연결되되,
    상기 광전자 모듈 클러스터링 구조를 형성하는 각 스텍에 있는 광전자 모듈은 전단의 스텍을 형성하는 이웃하는 두 개 이상의 광전자 모듈들과 연결되는 것을 특징으로 하는 클러스터링된 광전자 모듈을 통한 광신경망 장치.
  10. 제8항에 있어서,
    상기 광전자 모듈 클러스터링 구조를 형성하는 각 스텍내의 광전자 모듈 중, 입력단자를 통해 유입되는 광신호를 복사하거나 분기하는 광전자 모듈들은 가중치 계산을 사용하지 않고 수동 광소자를 사용하여 출력단자 측으로 광신호의 연결을 수행하되,
    상기 수동 광소자는 회절 광소자, 굴절 광소자, 조리개 또는 이 조합을 사용하여 광 연결을 수행하는 것을 특징으로 하는 클러스터링된 광전자 모듈을 통한 광신경망 장치.
  11. 제8항에 있어서,
    상기 광신경망 장치는,
    상기 광전자 모듈 클러스터링 구조를 직각 꺾임 구조로 형성하거나 접힘 구조로 형성되어 3차원 공간에 형성되도록 하는 것을 특징으로 하는 클러스터링된 광전자 모듈을 통한 광신경망 장치.
  12. 제8항에 있어서,
    상기 광신경망 장치는,
    상기 광전자 모듈 클러스터링 구조를 2Q개 적층하여 3차원 공간에 형성하고, 최초 입력단자와 최종 출력단자는 각각 ((M/2)*N,Q)의 행렬구조를 갖도록 하되, 상기 변수Q는 최소 2이상으로 증가 가능한 것을 특징으로 하는 클러스터링된 광전자 모듈을 통한 광신경망 장치.
PCT/KR2023/016452 2022-11-16 2023-10-23 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법 및 클러스터링된 광전자 모듈을 통한 광신경망 장치 WO2024106784A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220154008 2022-11-16
KR10-2022-0154008 2022-11-16
KR1020230040124A KR20240071987A (ko) 2022-11-16 2023-03-28 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법 및 클러스터링된 광전자 모듈을 통한 광신경망 장치
KR10-2023-0040124 2023-03-28

Publications (1)

Publication Number Publication Date
WO2024106784A1 true WO2024106784A1 (ko) 2024-05-23

Family

ID=91085060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/016452 WO2024106784A1 (ko) 2022-11-16 2023-10-23 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법 및 클러스터링된 광전자 모듈을 통한 광신경망 장치

Country Status (1)

Country Link
WO (1) WO2024106784A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100624852B1 (ko) * 2004-01-07 2006-09-18 엘지전자 주식회사 광학 유닛
KR102079833B1 (ko) * 2011-12-20 2020-02-20 헵타곤 마이크로 옵틱스 피티이. 리미티드 광 전자 모듈 및 이를 포함하는 장치
KR20210020758A (ko) * 2019-08-13 2021-02-24 주식회사 옵토전자 마이크로 광학소자 및 이를 포함하는 광전자 모듈
KR20210062682A (ko) * 2018-11-22 2021-05-31 난징 유니버시티 광전자 컴퓨팅 유닛, 광전자 컴퓨팅 어레이 및 광전자 컴퓨팅 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100624852B1 (ko) * 2004-01-07 2006-09-18 엘지전자 주식회사 광학 유닛
KR102079833B1 (ko) * 2011-12-20 2020-02-20 헵타곤 마이크로 옵틱스 피티이. 리미티드 광 전자 모듈 및 이를 포함하는 장치
KR20210062682A (ko) * 2018-11-22 2021-05-31 난징 유니버시티 광전자 컴퓨팅 유닛, 광전자 컴퓨팅 어레이 및 광전자 컴퓨팅 방법
KR20210020758A (ko) * 2019-08-13 2021-02-24 주식회사 옵토전자 마이크로 광학소자 및 이를 포함하는 광전자 모듈

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHOU TIANKUANG; LIN XING; WU JIAMIN; CHEN YITONG; XIE HAO; LI YIPENG; FAN JINGTAO; WU HUAQIANG; FANG LU; DAI QIONGHAI: "Large-scale neuromorphic optoelectronic computing with a reconfigurable diffractive processing unit", NATURE PHOTONICS, NATURE PUBLISHING GROUP UK, LONDON, vol. 15, no. 5, 12 April 2021 (2021-04-12), London, pages 367 - 373, XP037441356, ISSN: 1749-4885, DOI: 10.1038/s41566-021-00796-w *

Similar Documents

Publication Publication Date Title
Goodman et al. Optical interconnections for VLSI systems
Jahns Planar packaging of free-space optical interconnections
EP1370894B1 (en) Optical cross connect
Haney et al. Description and evaluation of the FAST-Net smart pixel-based optical interconnection prototype
JPH02103011A (ja) 光通信ネットワーク
CN114158277A (zh) 光电计算平台
WO2024106784A1 (ko) 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법 및 클러스터링된 광전자 모듈을 통한 광신경망 장치
Haney et al. Multichip free-space global optical interconnection demonstration with integrated arrays of vertical-cavity surface-emitting lasers and photodetectors
Louri et al. 3D optical interconnects for high-speed interchip and interboard communications
EP1310134B1 (en) Optical transpose system
Li et al. Three-dimensional optoelectronic stacked processor by use of free-space optical interconnection and three-dimensional VLSI chip stacks
US5078499A (en) Optical interconnection arrangement
McArdle et al. Reconfigurable optical interconnections for parallel computing
McArdle et al. Optoelectronic parallel computing using optically interconnected pipelined processing arrays
Zheng et al. Free-space parallel multichip interconnection system
KR20240071987A (ko) 광전자 모듈의 클러스터링을 통한 광 신경망의 구현 방법 및 클러스터링된 광전자 모듈을 통한 광신경망 장치
Michael et al. Experimental evaluation of the 3-D optical shuffle interconnection module of the sliding Banyan architecture
Rolston et al. A hybrid-SEED smart pixel array for a four-stage intelligent optical backplane demonstrator
US20240178923A1 (en) Photonic programmable interconnect configurations
Morrison et al. Diffractive optics in a free-space digital optic system
Boisset et al. In situ measurement of misalignment errors in free-space optical interconnects
Rolston The design, layout, and characterization of vlsi optoelectronic chips for free-space optical interconnects
Christensen et al. Two-bounce free-space arbitrary interconnection architecture
Hinton Current Issues in Free-Space Digital Optical Systems
JPH06318121A (ja) 並列演算装置