JP2020180342A - Lamination molding monitoring system - Google Patents
Lamination molding monitoring system Download PDFInfo
- Publication number
- JP2020180342A JP2020180342A JP2019084304A JP2019084304A JP2020180342A JP 2020180342 A JP2020180342 A JP 2020180342A JP 2019084304 A JP2019084304 A JP 2019084304A JP 2019084304 A JP2019084304 A JP 2019084304A JP 2020180342 A JP2020180342 A JP 2020180342A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- modeling
- learning
- nozzle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 28
- 238000000465 moulding Methods 0.000 title abstract description 11
- 238000003475 lamination Methods 0.000 title abstract 5
- 239000000463 material Substances 0.000 claims abstract description 100
- 238000011156 evaluation Methods 0.000 claims description 121
- 238000010801 machine learning Methods 0.000 claims description 28
- 238000012790 confirmation Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 15
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 claims description 8
- 239000010936 titanium Substances 0.000 claims description 8
- 229910052719 titanium Inorganic materials 0.000 claims description 8
- 238000002844 melting Methods 0.000 claims description 7
- 230000008018 melting Effects 0.000 claims description 7
- 238000010030 laminating Methods 0.000 claims description 6
- 238000005245 sintering Methods 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 abstract description 13
- 239000000126 substance Substances 0.000 abstract 2
- 238000013527 convolutional neural network Methods 0.000 description 35
- 238000000034 method Methods 0.000 description 28
- 239000007789 gas Substances 0.000 description 18
- 238000012545 processing Methods 0.000 description 15
- 230000002159 abnormal effect Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 239000012159 carrier gas Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 239000011261 inert gas Substances 0.000 description 5
- 230000003313 weakening effect Effects 0.000 description 5
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 4
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 4
- 230000003647 oxidation Effects 0.000 description 4
- 238000007254 oxidation reaction Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000000137 annealing Methods 0.000 description 2
- 229910052786 argon Inorganic materials 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 229910052757 nitrogen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000012254 powdered material Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P10/00—Technologies related to metal processing
- Y02P10/25—Process efficiency
Landscapes
- Powder Metallurgy (AREA)
Abstract
Description
本発明の実施形態は、積層造形監視システムに関する。 An embodiment of the present invention relates to a laminated modeling monitoring system.
ノズルから粉末状の材料を供給するとともに、レーザ光を照射することで当該材料を溶融又は焼結させ、固化した材料の層を造形する積層造形装置が知られる。固化した材料の層が積層されることで、立体形状の物体が積層造形される。 A laminated molding apparatus is known in which a powdered material is supplied from a nozzle and the material is melted or sintered by irradiating with a laser beam to form a layer of the solidified material. By laminating layers of solidified material, a three-dimensional object is laminated.
チタンのような材料の溶融又は焼結において火花が発生している場合、材料が酸化している虞がある。作業者が目視により火花の発生を監視することで、材料の酸化が抑制されるが、監視のコストが増大してしまう。 If sparks occur in the melting or sintering of a material such as titanium, the material may be oxidized. By visually monitoring the generation of sparks by the operator, oxidation of the material is suppressed, but the cost of monitoring increases.
一つの実施形態に係る積層造形監視システムは、学習部と、撮像部と、推定部とを備える。前記学習部は、積層造形される物体の粉末状の材料を吐出するとともに、当該材料にエネルギー線を照射して溶融又は焼結させる、ノズルが映された複数の第１の画像と、当該複数の第１の画像に火花が映っているか否かを示す火花情報と、に基づき機械学習し、学習結果を生成する。前記撮像部は、前記ノズルを撮影し、当該ノズルが映された第２の画像を生成する。前記推定部は、前記第２の画像と、前記学習結果と、に基づき、前記第２の画像に火花が映っているか否かを推定する。 The laminated modeling monitoring system according to one embodiment includes a learning unit, an imaging unit, and an estimation unit. The learning unit discharges a powdery material of an object to be laminated and molded, and irradiates the material with energy rays to melt or sinter the material, and a plurality of first images showing nozzles and the plurality of objects. Machine learning is performed based on the spark information indicating whether or not the spark is reflected in the first image of the above, and the learning result is generated. The imaging unit photographs the nozzle and generates a second image in which the nozzle is projected. The estimation unit estimates whether or not a spark is reflected in the second image based on the second image and the learning result.
（第１の実施形態）
以下に、第１の実施形態について、図１乃至図１１を参照して説明する。なお、本明細書においては基本的に、鉛直上方を上方向、鉛直下方を下方向と定義する。また、本明細書において、実施形態に係る構成要素及び当該要素の説明が、複数の表現で記載されることがある。構成要素及びその説明は、一例であり、本明細書の表現によって限定されない。構成要素は、本明細書におけるものとは異なる名称で特定され得る。また、構成要素は、本明細書の表現とは異なる表現によって説明され得る。
(First Embodiment)
The first embodiment will be described below with reference to FIGS. 1 to 11. In this specification, the vertically upper direction is basically defined as the upward direction, and the vertically lower direction is defined as the downward direction. Further, in the present specification, the constituent elements according to the embodiment and the description of the elements may be described in a plurality of expressions. The components and their description are examples and are not limited by the representations herein. The components may be identified by names different from those herein. Also, the components may be described by expressions different from those herein.
図１は、第１の実施形態に係る積層造形システム１を模式的に示す例示的な斜視図である。積層造形システム１は、積層造形監視システムとも称され得る。積層造形システム１は、いわゆるレーザーマテリアルデポジション方式の三次元プリンタを含むシステムである。なお、積層造形システム１はこの例に限らない。 FIG. 1 is an exemplary perspective view schematically showing the laminated modeling system 1 according to the first embodiment. The laminated modeling system 1 may also be referred to as a laminated modeling monitoring system. The laminated modeling system 1 is a system including a so-called laser material deposition type three-dimensional printer. The laminated modeling system 1 is not limited to this example.
各図面に示されるように、本明細書において、Ｘ軸、Ｙ軸及びＺ軸が定義される。Ｘ軸とＹ軸とＺ軸とは、互いに直交する。Ｚ軸は、例えば鉛直方向に延びる。Ｘ軸及びＹ軸は、例えば水平方向に延びる。なお、積層造形システム１は、Ｚ軸が鉛直方向と斜めに交差するように配置されても良い。 As shown in each drawing, the X-axis, Y-axis and Z-axis are defined herein. The X-axis, Y-axis, and Z-axis are orthogonal to each other. The Z-axis extends, for example, in the vertical direction. The X-axis and Y-axis extend, for example, in the horizontal direction. The laminated modeling system 1 may be arranged so that the Z-axis intersects the vertical direction diagonally.
図２は、第１の実施形態の積層造形システム１の一部及び造形物３を模式的に示す例示的な断面図である。積層造形システム１は、例えば、粉末状の材料Ｍを層状に積み重ねることにより、所定の形状の造形物３を積層造形（付加製造）する。造形物３は、積層造形される物体の一例である。 FIG. 2 is an exemplary cross-sectional view schematically showing a part of the laminated modeling system 1 and the modeled object 3 of the first embodiment. In the laminated modeling system 1, for example, by stacking powdery materials M in layers, a modeled object 3 having a predetermined shape is laminated (additionally manufactured). The modeled object 3 is an example of an object to be laminated and modeled.
図１に示すように、積層造形システム１は、テーブル１１と、造形部１２と、撮像部１３と、制御部１４と、複数の信号線１６とを有する。制御部１４は、情報処理装置又はコンピュータとも称され得る。テーブル１１、造形部１２、撮像部１３、及び制御部１４は、例えば、積層造形システム１の筐体の内部、又は造形のための部屋の内部に設けられた、チャンバＣに配置される。チャンバＣは、例えば、密閉可能な空間である。 As shown in FIG. 1, the laminated modeling system 1 includes a table 11, a modeling unit 12, an imaging unit 13, a control unit 14, and a plurality of signal lines 16. The control unit 14 may also be referred to as an information processing device or a computer. The table 11, the modeling unit 12, the imaging unit 13, and the control unit 14 are arranged in the chamber C provided, for example, inside the housing of the laminated modeling system 1 or inside the room for modeling. Chamber C is, for example, a space that can be sealed.
テーブル１１は、支持面１１ａを有する。支持面１１ａは、略平坦に形成され、Ｚ軸の正方向（Ｚ軸の矢印が示す方向、上方向）に向く。支持面１１ａは、積層造形された造形物３や、造形物３の仕掛品や、材料Ｍを積層させるためのベースを支持する。以下の説明において、造形物３は、積層造形が完了した造形物３、造形物３の仕掛品、及びベースを含む。テーブル１１は、当該テーブル１１の少なくとも一部が回転することにより、支持面１１ａに支持された造形物３をＺ軸に平行な回転中心まわりに回転させることが可能である。 The table 11 has a support surface 11a. The support surface 11a is formed substantially flat and faces in the positive direction of the Z axis (the direction indicated by the arrow on the Z axis, the upward direction). The support surface 11a supports the laminated model 3, the work-in-process of the model 3, and the base for laminating the material M. In the following description, the model 3 includes the model 3 for which the laminated modeling has been completed, the work-in-process of the model 3, and the base. The table 11 can rotate the model 3 supported by the support surface 11a around a rotation center parallel to the Z axis by rotating at least a part of the table 11.
テーブル１１は、造形物３をＸ軸方向、Ｙ軸方向、及びＺ軸方向に移動させても良い。また、テーブル１１は造形物３を、Ｙ軸に平行な回転中心や、Ｘ軸に平行な回転中心まわりにさらに回転させても良い。 The table 11 may move the model 3 in the X-axis direction, the Y-axis direction, and the Z-axis direction. Further, the table 11 may further rotate the modeled object 3 around a rotation center parallel to the Y axis or a rotation center parallel to the X axis.
造形部１２は、材料Ｍを供給し、支持面１１ａ、又は支持面１１ａに支持されたベースの上に積み重ねる。材料Ｍは、例えば、粉末状のチタンである。なお、材料Ｍはこれに限られず、他の金属、合成樹脂、及びセラミックスのような他の材料であっても良い。積層造形システム１は、複数種類の材料Ｍにより、造形物３を積層造形しても良い。 The modeling unit 12 supplies the material M and stacks it on the support surface 11a or the base supported by the support surface 11a. The material M is, for example, powdered titanium. The material M is not limited to this, and may be other materials such as other metals, synthetic resins, and ceramics. In the laminated modeling system 1, the modeled object 3 may be laminated and modeled by using a plurality of types of materials M.
造形部１２は、ノズル２１と、供給装置２２と、移動装置２３と、調整装置２４とを有する。ノズル２１は、テーブル１１の支持面１１ａ、又は支持面１１ａの上の造形物３に材料Ｍを吐出する。また、図２に示すように、エネルギー線Ｅが、ノズル２１から、吐出された材料Ｍや支持面１１ａの上の造形物３に照射される。エネルギー線Ｅは、例えば、レーザ光である。 The modeling unit 12 includes a nozzle 21, a supply device 22, a moving device 23, and an adjusting device 24. The nozzle 21 discharges the material M onto the support surface 11a of the table 11 or the model 3 on the support surface 11a. Further, as shown in FIG. 2, the energy ray E is irradiated from the nozzle 21 to the discharged material M and the model 3 on the support surface 11a. The energy ray E is, for example, a laser beam.
エネルギー線Ｅとしてのレーザ光が、材料Ｍの供給と並行してノズル２１から照射される。ノズル２１から、レーザ光に限らず、他のエネルギー線Ｅが照射されても良い。エネルギー線Ｅは、レーザ光のように材料Ｍを溶融又は焼結できるものであれば良く、例えば、電子ビームや、マイクロ波乃至紫外線領域の電磁波であっても良い。 The laser beam as the energy ray E is emitted from the nozzle 21 in parallel with the supply of the material M. Not only the laser beam but also other energy rays E may be irradiated from the nozzle 21. The energy ray E may be any one capable of melting or sintering the material M like a laser beam, and may be, for example, an electron beam or an electromagnetic wave in the microwave or ultraviolet region.
造形部１２は、ベースや吐出された材料Ｍをエネルギー線Ｅにより加熱し、溶融領域（ビード）３ａを形成する。ノズル２１は、溶融領域３ａにおいて、材料Ｍにエネルギー線Ｅを照射して溶融又は焼結させ、材料Ｍを集合させる。このように、溶融領域３ａは、供給された材料Ｍのみならず、エネルギー線Ｅを照射されたベースや造形物３の一部を含み得る。また、溶融領域３ａは、完全に溶融した材料Ｍのみならず、部分的に溶融した材料Ｍ同士が結合したものであっても良い。 The modeling unit 12 heats the base and the discharged material M with energy rays E to form a molten region (bead) 3a. In the melting region 3a, the nozzle 21 irradiates the material M with energy rays E to melt or sinter the material M to collect the material M. As described above, the molten region 3a may include not only the supplied material M but also a part of the base or the model 3 irradiated with the energy ray E. Further, the molten region 3a may be not only a completely melted material M but also a partially melted material M bonded to each other.
溶融領域３ａが固化することで、ベースや造形物３の上に、層状又は薄膜状等の材料Ｍの集合としての層３ｂが形成される。なお、材料Ｍは、材料Ｍの集合への伝熱によって冷却されることにより、粒状で積層され、粒状の集合（層）となっても良い。 When the molten region 3a is solidified, a layer 3b is formed on the base or the modeled object 3 as an aggregate of the material M in the form of a layer or a thin film. The material M may be laminated in granular form by being cooled by heat transfer to the aggregate of the material M to form a granular aggregate (layer).
造形部１２は、ノズル２１から、材料Ｍの集合にエネルギー線Ｅを照射することで、アニール処理を行っても良い。材料Ｍの集合は、エネルギー線Ｅにより再溶融又は再焼結され、固化することにより層３ｂになる。 The modeling unit 12 may perform annealing treatment by irradiating the aggregate of the material M with energy rays E from the nozzle 21. The aggregate of the material M is remelted or resintered by the energy ray E and solidified to form the layer 3b.
造形部１２は、層３ｂを反復的に積み重ねることにより、造形物３を積層造形する。このように、造形部１２のノズル２１は、エネルギー線Ｅを照射して材料Ｍを溶融又は焼結させて層３ｂを造形し、層３ｂの造形を繰り返し行うことで、支持面１１ａに支持された造形物３を積層造形する。 The modeling unit 12 repeatedly forms the modeled object 3 by repeatedly stacking the layers 3b. In this way, the nozzle 21 of the modeling unit 12 is supported by the support surface 11a by irradiating the energy ray E to melt or sinter the material M to form the layer 3b and repeatedly forming the layer 3b. The model 3 is laminated.
ノズル２１は、ノズルヘッド３１を有する。ノズルヘッド３１の先端３１ａは、間隔を介して造形物３に向く。ノズルヘッド３１に、出射路３２、吐出路３３、及び供給路３４が設けられる。出射路３２、吐出路３３、及び供給路３４は、例えば、先端３１ａに開口する。 The nozzle 21 has a nozzle head 31. The tip 31a of the nozzle head 31 faces the model 3 via an interval. The nozzle head 31 is provided with an exit path 32, a discharge path 33, and a supply path 34. The exit path 32, the discharge path 33, and the supply path 34 open to, for example, the tip 31a.
出射路３２は、略円形の断面を有する孔である。エネルギー線Ｅが、出射路３２を通り、ノズルヘッド３１の外部に出射される。吐出路３３は、略円環状の断面を有する孔であり、出射路３２を囲むように設けられる。キャリアガス及び材料Ｍが、吐出路３３を通り、ノズルヘッド３１の外部に吐出される。供給路３４は、略円環状の断面を有する孔であり、吐出路３３を囲むように設けられる。シールドガスＧが、供給路３４を通り、ノズルヘッド３１の外部に吐出される。シールドガスＧは、例えば、窒素やアルゴンのような不活性ガスである。 The exit path 32 is a hole having a substantially circular cross section. The energy ray E passes through the exit path 32 and is emitted to the outside of the nozzle head 31. The discharge path 33 is a hole having a substantially annular cross section, and is provided so as to surround the discharge path 32. The carrier gas and the material M pass through the discharge path 33 and are discharged to the outside of the nozzle head 31. The supply path 34 is a hole having a substantially annular cross section, and is provided so as to surround the discharge path 33. The shield gas G passes through the supply path 34 and is discharged to the outside of the nozzle head 31. The shield gas G is, for example, an inert gas such as nitrogen or argon.
図１に示すように、供給装置２２は、光学装置４１と、材料供給装置４２と、ガス供給装置４３とを有する。光学装置４１は、例えば、光源及び光学系を有する。光源は、発振素子を有し、発振素子の発振によりエネルギー線Ｅとしてのレーザ光を出射する。光源は、出射されるエネルギー線Ｅの出力（パワー）を変更可能である。 As shown in FIG. 1, the supply device 22 includes an optical device 41, a material supply device 42, and a gas supply device 43. The optical device 41 has, for example, a light source and an optical system. The light source has an oscillating element, and emits laser light as an energy ray E by oscillating the oscillating element. The light source can change the output (power) of the emitted energy ray E.
光源は、出射されたエネルギー線Ｅを光学系に入射させる。エネルギー線Ｅは、光学系を経てノズル２１に入る。光学系は、エネルギー線Ｅの焦点径を変更可能である。光学装置４１は、ノズル２１の出射路３２にエネルギー線Ｅを供給し、出射路３２からエネルギー線Ｅを出射させる。 The light source causes the emitted energy rays E to enter the optical system. The energy ray E enters the nozzle 21 via the optical system. The optical system can change the focal diameter of the energy ray E. The optical device 41 supplies the energy ray E to the exit path 32 of the nozzle 21, and emits the energy ray E from the exit path 32.
ノズル２１は、エネルギー線Ｅの照射によって、吐出された材料Ｍを加熱することにより、材料Ｍの層３ｂを形成するとともにアニール処理を行うことができる。また、ノズル２１は、造形物３の不要な部位をエネルギー線Ｅの照射によって除去することができる。 The nozzle 21 can form the layer 3b of the material M and perform an annealing treatment by heating the discharged material M by irradiation with the energy ray E. Further, the nozzle 21 can remove an unnecessary portion of the modeled object 3 by irradiating the energy ray E.
材料供給装置４２は、材料供給部４２ａと、タンク４２ｂとを有する。タンク４２ｂは、材料Ｍを収容する。材料供給装置４２は、互いに異なる種類の材料Ｍを収容する複数のタンク４２ｂを有しても良い。 The material supply device 42 has a material supply unit 42a and a tank 42b. The tank 42b houses the material M. The material supply device 42 may have a plurality of tanks 42b that accommodate different types of materials M.
材料供給部４２ａは、タンク４２ｂの材料Ｍを、供給管２１ａを介してノズル２１へ供給する。材料供給部４２ａは、例えば、キャリアガスにより材料Ｍをノズル２１へ供給する。キャリアガスは、例えば、窒素やアルゴンのような不活性ガスである。 The material supply unit 42a supplies the material M of the tank 42b to the nozzle 21 via the supply pipe 21a. The material supply unit 42a supplies the material M to the nozzle 21 by, for example, a carrier gas. The carrier gas is, for example, an inert gas such as nitrogen or argon.
材料供給部４２ａは、供給管２１ａを介して、ノズルヘッド３１の吐出路３３にキャリアガスと材料Ｍとを供給する。これにより、ノズル２１は、吐出路３３からキャリアガス及び材料Ｍを吐出する。材料供給部４２ａは、単位時間あたりにノズル２１から吐出される材料Ｍの量と、吐出される材料Ｍの速度と、を変更可能である。 The material supply unit 42a supplies the carrier gas and the material M to the discharge path 33 of the nozzle head 31 via the supply pipe 21a. As a result, the nozzle 21 discharges the carrier gas and the material M from the discharge path 33. The material supply unit 42a can change the amount of the material M discharged from the nozzle 21 and the speed of the material M to be discharged per unit time.
材料供給部４２ａは、例えば、キャリアガスを収容するタンクと、当該タンクのキャリアガスを供給管２１ａへ流す圧縮機と、キャリアガスの流れにタンク４２ｂの材料Ｍを供給する装置と、を有する。なお、材料供給部４２ａは、他の手段により材料Ｍをノズル２１へ供給しても良い。 The material supply unit 42a includes, for example, a tank for accommodating the carrier gas, a compressor for flowing the carrier gas of the tank to the supply pipe 21a, and a device for supplying the material M of the tank 42b to the flow of the carrier gas. The material supply unit 42a may supply the material M to the nozzle 21 by other means.
ガス供給装置４３は、ガス供給部４３ａと、タンク４３ｂとを有する。タンク４３ｂは、シールドガスＧを収容する。ガス供給部４３ａは、タンク４３ｂのシールドガスＧを、供給管２１ａを介してノズル２１へ供給する。供給管２１ａは、キャリアガス及び材料Ｍが通る管、シールドガスＧが通る管、及びエネルギー線Ｅが通るケーブルを包含している。ガス供給部４３ａは、単位時間あたりにノズル２１から吐出されるシールドガスＧの量と、吐出されるシールドガスＧの速度と、を変更可能である。 The gas supply device 43 has a gas supply unit 43a and a tank 43b. The tank 43b accommodates the shield gas G. The gas supply unit 43a supplies the shield gas G of the tank 43b to the nozzle 21 via the supply pipe 21a. The supply pipe 21a includes a pipe through which the carrier gas and the material M pass, a pipe through which the shield gas G passes, and a cable through which the energy wire E passes. The gas supply unit 43a can change the amount of the shield gas G discharged from the nozzle 21 and the speed of the shield gas G discharged per unit time.
移動装置２３は、ノズル２１を移動及び回動させる。例えば、移動装置２３は、ノズル２１を、Ｘ軸方向、Ｙ軸方向、及びＺ軸方向に平行移動させるとともに、Ｘ軸に平行な回転中心まわりに回転させることが可能である。 The moving device 23 moves and rotates the nozzle 21. For example, the moving device 23 can translate the nozzle 21 in the X-axis direction, the Y-axis direction, and the Z-axis direction, and rotate it around a rotation center parallel to the X-axis.
移動装置２３は、ノズル２１を支持面１１ａに対して相対的に移動させ、ノズル２１の向きを変化させることが可能である。移動装置２３は、支持面１１ａに対するノズル２１の移動速度を変更可能である。なお、テーブル１１が移動及び回動することで、ノズル２１が支持面１１ａに対して相対的に移動し、支持面１１ａに対するノズル２１の向きが変化しても良い。 The moving device 23 can move the nozzle 21 relative to the support surface 11a to change the orientation of the nozzle 21. The moving device 23 can change the moving speed of the nozzle 21 with respect to the support surface 11a. By moving and rotating the table 11, the nozzle 21 may move relative to the support surface 11a, and the orientation of the nozzle 21 with respect to the support surface 11a may change.
調整装置２４は、チャンバＣの酸素濃度を調整する。例えば、調整装置２４は、チャンバＣの空気を排出したり、チャンバＣに不活性ガスを供給したりすることで、ノズル２１及び造形物３の周りの酸素濃度を調整する。 The adjusting device 24 adjusts the oxygen concentration in the chamber C. For example, the adjusting device 24 adjusts the oxygen concentration around the nozzle 21 and the model 3 by discharging the air in the chamber C or supplying the inert gas to the chamber C.
撮像部１３は、撮像装置１３ａを有する。撮像装置１３ａは、例えば、動画を撮影可能であるとともに、当該動画を制御部１４に転送可能なビデオカメラである。なお、撮像装置１３ａは、静止画を撮影可能なスチルカメラのような他の撮像装置であっても良い。撮像装置１３ａは、ノズル２１及び造形物３を撮影する。撮像装置１３ａは、ノズル２１に追従して移動可能であっても良い。 The imaging unit 13 has an imaging device 13a. The image pickup device 13a is, for example, a video camera capable of shooting a moving image and transferring the moving image to the control unit 14. The image pickup device 13a may be another image pickup device such as a still camera capable of capturing a still image. The image pickup apparatus 13a photographs the nozzle 21 and the modeled object 3. The image pickup apparatus 13a may be movable following the nozzle 21.
制御部１４は、テーブル１１、造形部１２、及び撮像装置１３ａに、信号線１６を介して電気的に接続される。制御部１４は、例えば、造形部１２と一体的に設けられた制御部であっても良いし、造形部１２とは別に設けられたコンピュータであっても良い。 The control unit 14 is electrically connected to the table 11, the modeling unit 12, and the image pickup device 13a via the signal line 16. The control unit 14 may be, for example, a control unit provided integrally with the modeling unit 12, or a computer provided separately from the modeling unit 12.
制御部１４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４ａのような制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｒｙ）１４ｂと、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｒｙ）１４ｃと、外部記憶装置１４ｄと、出力装置１４ｅと、入力装置１４ｆとを有し、通常のコンピュータを利用したハードウェア構成となっている。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ、外部記憶装置１４ｄ、出力装置１４ｅ、及び入力装置１４ｆは、バスにより、又はインターフェースを介して、互いに接続されている。 The control unit 14 includes, for example, a control device such as a CPU (Central Processing Unit) 14a, a ROM (Read Only Memory) 14b, a RAM (Random Access Memory) 14c, an external storage device 14d, an output device 14e, and the like. It has an input device 14f and has a hardware configuration using a normal computer. The CPU 14a, ROM 14b, RAM 14c, external storage device 14d, output device 14e, and input device 14f are connected to each other by a bus or via an interface.
ＣＰＵ１４ａがＲＯＭ１４ｂ又は外部記憶装置１４ｄに組み込まれたプログラムを実行することで、制御部１４は、積層造形システム１の各部を制御する。例えば、制御部１４は、テーブル１１と、造形部１２のノズル２１、移動装置２３、調整装置２４、光学装置４１、材料供給装置４２、及びガス供給装置４３とを制御する。 When the CPU 14a executes a program incorporated in the ROM 14b or the external storage device 14d, the control unit 14 controls each unit of the laminated modeling system 1. For example, the control unit 14 controls the table 11, the nozzle 21, the moving device 23, the adjusting device 24, the optical device 41, the material supply device 42, and the gas supply device 43 of the modeling unit 12.
ＲＯＭ１４ｂは、プログラム及びプログラムの実行に必要なデータを格納している。ＲＡＭ１４ｃは、プログラムの実行時に作業領域として機能する。外部記憶装置１４ｄは、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）のような、データを記憶、変更、削除可能な装置である。出力装置１４ｅは、例えば、ディスプレイやスピーカである。入力装置１４ｆは、例えば、キーボードやマウスである。 The ROM 14b stores the program and data necessary for executing the program. The RAM 14c functions as a work area when the program is executed. The external storage device 14d is a device that can store, change, and delete data, such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive). The output device 14e is, for example, a display or a speaker. The input device 14f is, for example, a keyboard or a mouse.
図３は、第１の実施形態の積層造形システム１の構成を機能的に示す例示的なブロック図である。制御部１４は、例えば、ＣＰＵ１４ａがＲＯＭ１４ｂ又は外部記憶装置１４ｄに格納されたプログラムを読み出し実行することで、図３に示す各部を実現する。図３に示すように、制御部１４は、例えば、記憶部６１と、造形制御部６２と、画像処理部６３と、学習部６４と、推定部６５と、出力制御部６６とを備える。 FIG. 3 is an exemplary block diagram functionally showing the configuration of the laminated modeling system 1 of the first embodiment. The control unit 14 realizes each unit shown in FIG. 3, for example, by the CPU 14a reading and executing a program stored in the ROM 14b or the external storage device 14d. As shown in FIG. 3, the control unit 14 includes, for example, a storage unit 61, a modeling control unit 62, an image processing unit 63, a learning unit 64, an estimation unit 65, and an output control unit 66.
例えば、ＣＰＵ１４ａが、造形制御部６２、画像処理部６３、学習部６４、推定部６５、出力制御部６６として機能する。また、ＲＡＭ１４ｃや外部記憶装置１４ｄが、記憶部６１として機能する。 For example, the CPU 14a functions as a modeling control unit 62, an image processing unit 63, a learning unit 64, an estimation unit 65, and an output control unit 66. Further, the RAM 14c and the external storage device 14d function as the storage unit 61.
記憶部６１は、ＮＣプログラム７１と、複数のデータセット７２と、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）７３と、不正解リスト７４とを含む、種々の情報を格納する。ＣＮＮ７３は、演算部又は学習結果とも称され得る。 The storage unit 61 stores various information including the NC program 71, a plurality of data sets 72, a convolutional neural network (CNN) 73, and an incorrect answer list 74. CNN73 may also be referred to as a calculation unit or a learning result.
ＮＣプログラム７１は、複数の層３ｂと、当該層３ｂを含む造形物３と、の造形のための情報である。ＮＣプログラム７１は、例えば、造形物３及び層３ｂの形状と、ノズル２１の移動経路と、移動経路の各位置における、積層造形のパラメータの情報を含む。積層造形のパラメータは、例えば、ノズル２１の移動速度、ノズル２１の向き、吐出される材料Ｍの単位時間あたりの量、吐出される材料Ｍの速度、照射されるエネルギー線Ｅの出力、及び供給されるシールドガスＧの流量を含む。ＮＣプログラム７１は、他の情報をさらに含んでも良い。 The NC program 71 is information for modeling the plurality of layers 3b and the modeled object 3 including the layer 3b. The NC program 71 includes, for example, information on the shapes of the model 3 and the layer 3b, the movement path of the nozzle 21, and the parameters of the laminated modeling at each position of the movement path. The parameters of the laminated molding are, for example, the moving speed of the nozzle 21, the direction of the nozzle 21, the amount of the material M to be discharged per unit time, the speed of the material M to be discharged, the output of the energy ray E to be irradiated, and the supply. The flow rate of the shield gas G to be formed is included. The NC program 71 may further include other information.
造形制御部６２は、ＮＣプログラム７１に基づいて、移動装置２３、調整装置２４、光学装置４１、材料供給装置４２、及びガス供給装置４３を含む造形部１２を制御し、複数の層３ｂ（造形物３）を積層造形する。また、造形制御部６２は、造形部１２による積層造形のパラメータを変更すること、及び造形部１２を停止させることが可能である。 Based on the NC program 71, the modeling control unit 62 controls the modeling unit 12 including the moving device 23, the adjusting device 24, the optical device 41, the material supply device 42, and the gas supply device 43, and a plurality of layers 3b (modeling). The object 3) is laminated. Further, the modeling control unit 62 can change the parameters of the laminated modeling by the modeling unit 12 and stop the modeling unit 12.
画像処理部６３は、撮像装置１３ａが撮影した動画を取得し、当該動画を複数の静止画（画像）に変換する。例えば、撮像装置１３ａが３０ｆｐｓの動画を撮影した場合、画像処理部６３は、１秒当たりの当該動画から３０枚の静止画を生成することができる。 The image processing unit 63 acquires a moving image taken by the image pickup apparatus 13a and converts the moving image into a plurality of still images (images). For example, when the image pickup apparatus 13a captures a moving image of 30 fps, the image processing unit 63 can generate 30 still images from the moving image per second.
画像処理部６３が生成した画像には、ノズル２１及び造形物３が映されている。画像処理部６３が生成する画像は、第１の画像、第２の画像、又は入力情報とも称され得る。画像処理部６３は、撮像装置１３ａとともに、画像を生成する撮像部１３として機能する。なお、撮像部１３はこの例に限られず、例えば、撮像装置１３ａが単体で画像を生成しても良い。 The nozzle 21 and the modeled object 3 are projected on the image generated by the image processing unit 63. The image generated by the image processing unit 63 may also be referred to as a first image, a second image, or input information. The image processing unit 63 functions as an image pickup unit 13 for generating an image together with the image pickup device 13a. The image pickup unit 13 is not limited to this example, and for example, the image pickup device 13a may generate an image by itself.
学習部６４は、記憶部６１に記憶されたデータセット７２に基づき機械学習し、学習結果としてＣＮＮ７３を生成する。推定部６５は、撮像部１３が生成した画像と、ＣＮＮ７３とに基づき、当該画像に火花が映っているか否かを推定する。 The learning unit 64 performs machine learning based on the data set 72 stored in the storage unit 61, and generates a CNN 73 as a learning result. The estimation unit 65 estimates whether or not a spark is reflected in the image based on the image generated by the imaging unit 13 and the CNN 73.
出力制御部６６は、出力装置１４ｅを制御する。例えば、出力制御部６６は、出力装置１４ｅに、学習部６４による機械学習の結果や、推定部６５による推定の結果を表示させる。 The output control unit 66 controls the output device 14e. For example, the output control unit 66 causes the output device 14e to display the result of machine learning by the learning unit 64 and the result of estimation by the estimation unit 65.
以下、学習部６４による機械学習について詳しく説明する。学習部６４による学習には、記憶部６１に記憶された複数のデータセット７２、ＣＮＮ７３、及び不正解リスト７４が用いられる。例えば、記憶部６１には、数百乃至数万のデータセット７２が記憶されている。 Hereinafter, machine learning by the learning unit 64 will be described in detail. For learning by the learning unit 64, a plurality of data sets 72, CNN 73, and an incorrect answer list 74 stored in the storage unit 61 are used. For example, the storage unit 61 stores hundreds to tens of thousands of data sets 72.
データセット７２はそれぞれ、画像Ｐと、ラベルＬとを含む。画像Ｐは、第１の画像又は入力情報とも称され得る。ラベルＬは、火花情報又は正解情報とも称され得る。すなわち、記憶部６１は、複数の画像Ｐと、当該画像Ｐに対応する複数のラベルＬとを記憶する。 Each of the datasets 72 includes an image P and a label L. The image P may also be referred to as a first image or input information. Label L may also be referred to as spark information or correct answer information. That is, the storage unit 61 stores a plurality of images P and a plurality of labels L corresponding to the images P.
図４は、第１の実施形態の画像Ｐの三つの例を示す図である。図４に示すように、画像Ｐには、ノズル２１が映されている。なお、画像Ｐは、撮像部１３が撮影したものでも良いし、他の装置が撮影したものでも良い。 FIG. 4 is a diagram showing three examples of the image P of the first embodiment. As shown in FIG. 4, the nozzle 21 is projected on the image P. The image P may be an image taken by the imaging unit 13 or an image taken by another device.
複数の画像Ｐは、図４における左側の非造形画像Ｐ１と、中央の正常造形画像Ｐ２と、右側の異常造形画像Ｐ３とを含む。なお、これらの名称は便宜的なものであり、正常造形画像Ｐ２に映されるノズル２１が正常な積層造形を行っているとは限らず、また、異常造形画像Ｐ３に映されるノズル２１が異常な積層造形を行っているとは限らない。 The plurality of images P include a non-modeled image P1 on the left side in FIG. 4, a normal modeled image P2 in the center, and an abnormal modeled image P3 on the right side. It should be noted that these names are for convenience, and the nozzle 21 projected on the normal modeling image P2 does not always perform normal laminated modeling, and the nozzle 21 projected on the abnormal modeling image P3 is It is not always the case that abnormal laminated modeling is performed.
非造形画像Ｐ１には、積層造形を行っていないノズル２１が映されている。当該ノズル２１は、材料Ｍの吐出及びエネルギー線Ｅの出射を停止している。正常造形画像Ｐ２及び異常造形画像Ｐ３には、積層造形を行っているノズル２１が映されている。当該ノズル２１は、材料Ｍを吐出し、エネルギー線Ｅを出射している。なお、正常造形画像Ｐ２及び異常造形画像Ｐ３に映されたノズル２１が、エネルギー線Ｅを出射する一方で、材料Ｍの吐出を停止していても良い。 The non-modeling image P1 shows a nozzle 21 that has not been laminated. The nozzle 21 stops the discharge of the material M and the emission of the energy ray E. In the normal modeling image P2 and the abnormal modeling image P3, the nozzle 21 performing the laminated modeling is projected. The nozzle 21 discharges the material M and emits the energy ray E. The nozzle 21 projected on the normal modeling image P2 and the abnormal modeling image P3 may emit the energy ray E while stopping the ejection of the material M.
異常造形画像Ｐ３には、火花が映っている。例えば、材料Ｍであるチタンが酸化している場合、異常造形画像Ｐ３に映るように火花が発生する。材料Ｍが酸化すると、造形物３が脆弱化してしまう虞がある。一方、正常造形画像Ｐ２では、エネルギー線Ｅ及び溶融又は焼結している材料Ｍが発光しているが、大きな火花は発生していない。 Sparks are reflected in the abnormal modeling image P3. For example, when titanium, which is the material M, is oxidized, sparks are generated as shown in the abnormal modeling image P3. When the material M is oxidized, the model 3 may be weakened. On the other hand, in the normal modeling image P2, the energy rays E and the molten or sintered material M emit light, but no large sparks are generated.
ラベルＬは、画像Ｐに対し、当該画像Ｐの状態（特徴）に応じて予め設定される。ラベルＬは、［ｌ０，ｌ１，ｌ２］と表現される行列（ｍａｔｒｉｘ）である。非造形画像Ｐ１、正常造形画像Ｐ２、及び異常造形画像Ｐ３にそれぞれ異なるラベルＬが設定される。 The label L is preset with respect to the image P according to the state (feature) of the image P. The label L is a matrix expressed as [l 0 , l 1 , l 2 ]. Different labels L are set for the non-modeling image P1, the normal modeling image P2, and the abnormal modeling image P3.
例えば、非造形画像Ｐ１に対応するラベルＬは、［１，０，０］と設定される。正常造形画像Ｐ２に対応するラベルＬは、［０，１，０］と設定される。異常造形画像Ｐ３に対応するラベルＬは、［０，０，１］と設定される。以上より、ラベルＬのｌ２は、画像Ｐに火花が映っているか否かを示している。なお、ラベルＬは、この例に限られない。 For example, the label L corresponding to the non-modeled image P1 is set to [1,0,0]. The label L corresponding to the normal modeling image P2 is set to [0,1,0]. The label L corresponding to the abnormal modeling image P3 is set to [0, 0, 1]. From the above, l 2 of the label L indicates whether or not a spark is reflected in the image P. The label L is not limited to this example.
図５は、第１の実施形態のＣＮＮ７３の構成の一例を概略的に示す例示的な図である。図５の例において、ＣＮＮ７３は、畳み込み層、活性化関数、プーリング、全結合、ソフトマックス関数の５種類の層を組み合わせた全１１層で構成される。 FIG. 5 is an exemplary diagram schematically showing an example of the configuration of CNN73 according to the first embodiment. In the example of FIG. 5, the CNN73 is composed of a total of 11 layers, which is a combination of five types of layers: a convolutional layer, an activation function, a pooling, a total binding, and a softmax function.
図５の例において、ＣＮＮ７３は、２つの畳み込み層と、３つの全結合層とを含む。畳み込み層は行列［ＦＷ１，ＦＢ１］，［ＦＷ２，ＦＢ２］を有する。全結合層は行列［Ｗ１，Ｂ１］，［Ｗ２，Ｂ２］，［Ｗ３，Ｂ３］を有する。以下、行列［ＦＷ１，ＦＢ１］，［ＦＷ２，ＦＢ２］，［Ｗ１，Ｂ１］，［Ｗ２，Ｂ２］，［Ｗ３，Ｂ３］をネットワークモデルと称する。 In the example of FIG. 5, CNN73 includes two convolutional layers and three fully connected layers. The convolutional layer has a matrix [FW 1 , FB 1 ], [FW 2 , FB 2 ]. The fully connected layer has matrices [W 1 , B 1 ], [W 2 , B 2 ], [W 3 , B 3 ]. Hereinafter, the matrix [FW 1 , FB 1 ], [FW 2 , FB 2 ], [W 1 , B 1 ], [W 2 , B 2 ], [W 3 , B 3 ] will be referred to as a network model.
順伝搬は、入力から出力への演算である。入力は、例えば、画像Ｐである。出力はＣＮＮ７３により演算された結果（出力値）Ｙである。順伝搬の出力値Ｙは、［ｙ０，ｙ１，ｙ２］と表現される行列である。すなわち、ＣＮＮ７３は、順伝搬により、画像Ｐから出力値Ｙを算出する。出力値Ｙは、出力情報とも称され得る。 Forward propagation is an input-to-output operation. The input is, for example, an image P. The output is the result (output value) Y calculated by CNN73. The output value Y of forward propagation is a matrix expressed as [y 0 , y 1 , y 2 ]. That is, CNN73 calculates the output value Y from the image P by forward propagation. The output value Y may also be referred to as output information.
逆伝搬は、出力から入力への演算である。ソフトマックス関数を経て演算された出力値ＹとラベルＬとの差は、勾配値となる。当該勾配値を出力から入力へ伝搬することで、ＣＮＮ７３の各層の勾配値が演算される。 Backpropagation is an output-to-input operation. The difference between the output value Y calculated through the softmax function and the label L is a gradient value. By propagating the gradient value from the output to the input, the gradient value of each layer of CNN73 is calculated.
以上のＣＮＮ７３は一例であり、ＣＮＮ７３は他の構成を有しても良い。また、積層造形システム１は、ＣＮＮ７３と異なる他のニューラルネットワークや、他の深層学習（機械学習）の学習モデルを有しても良い。 The above CNN73 is an example, and the CNN73 may have another configuration. Further, the laminated modeling system 1 may have another neural network different from CNN73 or another learning model of deep learning (machine learning).
図６は、第１の実施形態の学習部６４の構成を機能的に示す例示的なブロック図である。図６に示すように、学習部６４は、選択部８１と、順伝搬部８２と、逆伝搬部８３と、更新部８４と、第１の評価部８５と、第２の評価部８６と、評価出力部８７とを備えている。順伝搬部８２及び逆伝搬部８３は、算出部とも称され得る。更新部８４は、変更部とも称され得る。第１の評価部８５は、第１の判定部とも称され得る。第２の評価部８６は、第２の判定部又は判定部とも称され得る。評価出力部８７は、出力部とも称され得る。 FIG. 6 is an exemplary block diagram functionally showing the configuration of the learning unit 64 of the first embodiment. As shown in FIG. 6, the learning unit 64 includes a selection unit 81, a forward propagation unit 82, a back propagation unit 83, an update unit 84, a first evaluation unit 85, and a second evaluation unit 86. It includes an evaluation output unit 87. The forward propagation unit 82 and the back propagation unit 83 may also be referred to as a calculation unit. The update unit 84 may also be referred to as a change unit. The first evaluation unit 85 may also be referred to as a first determination unit. The second evaluation unit 86 may also be referred to as a second determination unit or a determination unit. The evaluation output unit 87 may also be referred to as an output unit.
選択部８１は、複数のデータセット７２から、機械学習に用いる所定の数のデータセット７２を選択する。順伝搬部８２は、画像Ｐを入力とし、ＣＮＮ７３の順伝搬を行う。逆伝搬部８３は、出力値Ｙを入力とし、ＣＮＮ７３の逆伝搬を行う。更新部８４は、順伝搬部８２及び逆伝搬部８３の演算結果に基づき、ＣＮＮ７３を更新する。 The selection unit 81 selects a predetermined number of data sets 72 to be used for machine learning from the plurality of data sets 72. The forward propagation unit 82 takes the image P as an input and performs forward propagation of the CNN 73. The back propagation unit 83 takes the output value Y as an input and performs back propagation of the CNN 73. The update unit 84 updates the CNN 73 based on the calculation results of the forward propagation unit 82 and the back propagation unit 83.
第１の評価部８５は、データセット７２に含まれる評価用データ７２ａに基づき、ＣＮＮ７３を評価する。第２の評価部８６は、データセット７２に含まれる学習用データ７２ｂに基づき、ＣＮＮ７３を評価する。評価出力部８７は、第１の評価部８５及び第２の評価部８６の評価結果を出力する。 The first evaluation unit 85 evaluates the CNN 73 based on the evaluation data 72a included in the data set 72. The second evaluation unit 86 evaluates the CNN 73 based on the learning data 72b included in the data set 72. The evaluation output unit 87 outputs the evaluation results of the first evaluation unit 85 and the second evaluation unit 86.
上記のように、複数のデータセット７２は、複数の評価用データ７２ａと、複数の学習用データ７２ｂとを含む。例えば、評価用データ７２ａは、複数のデータセット７２のうち数十乃至数万のデータセット７２であり、学習用データ７２ｂは、残りのデータセット７２である。 As described above, the plurality of data sets 72 include a plurality of evaluation data 72a and a plurality of learning data 72b. For example, the evaluation data 72a is a data set 72 of tens to tens of thousands of the plurality of data sets 72, and the training data 72b is the remaining data set 72.
評価用データ７２ａ及び学習用データ７２ｂはそれぞれ、画像Ｐ及びラベルＬを有する。評価用データ７２ａの画像Ｐは、評価用画像とも称され得る。学習用データ７２ｂの画像Ｐは、学習用画像とも称され得る。学習用データ７２ｂの画像Ｐ及び評価用データ７２ａの画像Ｐは、複数の画像Ｐに含まれており、互いに異なる。 The evaluation data 72a and the learning data 72b have an image P and a label L, respectively. The image P of the evaluation data 72a may also be referred to as an evaluation image. The image P of the learning data 72b may also be referred to as a learning image. The image P of the learning data 72b and the image P of the evaluation data 72a are included in the plurality of images P and are different from each other.
図７は、第１の実施形態の機械学習方法の一例を示すフローチャートである。なお、図７を参照して以下に説明する機械学習方法はあくまで一例であり、学習部６４は、他の方法により機械学習を行っても良い。 FIG. 7 is a flowchart showing an example of the machine learning method of the first embodiment. The machine learning method described below with reference to FIG. 7 is merely an example, and the learning unit 64 may perform machine learning by another method.
学習部６４による機械学習では、まず、初期化が行われる（Ｓ１１）。例えば、更新部８４が、未更新のＣＮＮ７３を生成する。なお、学習部６４の他の部分が、未更新のＣＮＮ７３を生成しても良い。 In machine learning by the learning unit 64, initialization is first performed (S11). For example, the update unit 84 generates an unupdated CNN73. The other part of the learning unit 64 may generate an unupdated CNN73.
例えば、ＣＮＮ７３におけるネットワークモデル（行列）のサイズは、画像Ｐと隠れ層のノード数とから決定される。このため、行列のサイズは、プログラム上で指定される。行列における数値は、例えば、ランダムに生成される。 For example, the size of the network model (matrix) in CNN73 is determined from the image P and the number of nodes in the hidden layer. Therefore, the size of the matrix is specified programmatically. The numbers in the matrix are, for example, randomly generated.
更新部８４は、例えば、生成した未更新のＣＮＮ７３を記憶部６１に記憶させる。なお、初期化において、予め記憶部６１に記憶された未更新のＣＮＮ７３が、学習部６４によって読み出されても良い。 The update unit 84 stores, for example, the generated unupdated CNN 73 in the storage unit 61. In the initialization, the unupdated CNN73 previously stored in the storage unit 61 may be read out by the learning unit 64.
次に、選択部８１が、記憶部６１に記憶された複数の学習用データ７２ｂのうち一つの学習用データ７２ｂを選択し、取得する（Ｓ１２）。選択部８１は、例えば、複数の学習用データ７２ｂから無作為に一つの学習用データ７２ｂを選択する。 Next, the selection unit 81 selects and acquires one of the plurality of learning data 72b stored in the storage unit 61 (S12). The selection unit 81 randomly selects one learning data 72b from a plurality of learning data 72b, for example.
次に、順伝搬部８２が、選択された学習用データ７２ｂの画像Ｐから、ＣＮＮ７３に順伝搬によって出力値Ｙを算出させる（Ｓ１３）。次に、逆伝搬部８３が、出力値ＹとラベルＬとの差に基づき、勾配値を算出する（Ｓ１４）。 Next, the forward propagation unit 82 causes the CNN 73 to calculate the output value Y by forward propagation from the image P of the selected learning data 72b (S13). Next, the back propagation unit 83 calculates the gradient value based on the difference between the output value Y and the label L (S14).
次に、更新部８４が、勾配値に基づき、勾配降下法により記憶部６１に記憶されたＣＮＮ７３を更新（変更）する（Ｓ１５）。言い換えると、更新部８４は、学習用データ７２ｂの画像Ｐから順伝搬部８２が算出した出力値Ｙに基づき、ＣＮＮ７３を変更する。なお、更新部８４は、他の方法によってＣＮＮ７３を変更しても良い。また、更新部８４によるＣＮＮ７３の更新は、更新部８４による新たなＣＮＮ７３の生成とも表現され得る。 Next, the update unit 84 updates (changes) the CNN 73 stored in the storage unit 61 by the gradient descent method based on the gradient value (S15). In other words, the update unit 84 changes the CNN 73 based on the output value Y calculated by the forward propagation unit 82 from the image P of the learning data 72b. The update unit 84 may change the CNN 73 by another method. Further, the update of the CNN 73 by the update unit 84 can be expressed as the generation of a new CNN 73 by the update unit 84.
以上のＳ１２〜Ｓ１５は、学習工程と称され得る。次に、更新部８４は、所定の数の学習用データ７２ｂを用いて学習工程を実行したか否かを判定する（Ｓ１６）。学習した学習用データ７２ｂの数が所定の数に達していない場合（Ｓ１６：Ｎｏ）、Ｓ１２に戻り、Ｓ１２〜Ｓ１６を繰り返す。 The above S12 to S15 can be referred to as a learning process. Next, the update unit 84 determines whether or not the learning process has been executed using a predetermined number of learning data 72b (S16). When the number of the learned learning data 72b has not reached a predetermined number (S16: No), the process returns to S12 and S12 to S16 are repeated.
Ｓ１６において、学習した学習用データ７２ｂの数が所定の数に達している場合（Ｓ１６：Ｙｅｓ）、第１の評価部８５は、無作為に選択した評価用データ７２ａの画像Ｐから、ＣＮＮ７３の順伝搬により出力値Ｙを算出する（Ｓ１７）。そして、第１の評価部８５は、評価用データ７２ａの画像Ｐから算出された出力値Ｙと、当該出力値Ｙに対応する評価用データ７２ａのラベルＬとに基づき、当該出力値Ｙが正解か不正解かを評価（判定）する（Ｓ１８）。 In S16, when the number of the learned learning data 72b has reached a predetermined number (S16: Yes), the first evaluation unit 85 is selected from the image P of the evaluation data 72a selected at random to obtain the CNN73. The output value Y is calculated by forward propagation (S17). Then, the first evaluation unit 85 correctly answers the output value Y based on the output value Y calculated from the image P of the evaluation data 72a and the label L of the evaluation data 72a corresponding to the output value Y. Evaluate (determine) whether the answer is incorrect (S18).
出力値Ｙのｙ０，ｙ１，ｙ２は、ラベルＬのｌ０，ｌ１，ｌ２に対応する。このため、異常造形画像Ｐ３から学習済みのＣＮＮ７３が算出したｙ２は、０〜１のうち、１に近い値となる。一方、非造形画像Ｐ１又は正常造形画像Ｐ２から学習済みのＣＮＮ７３が算出したｙ２は、０〜１のうち、０に近い値となる。すなわち、ｙ２は、画像Ｐに火花が映っている確率に連動する。以下、ｙ２を、火花確認強度と称する。火花確認強度ｙ２は、例えば、上述のように０〜１で示されても良いし、０〜１００％で示されても良い。ＣＮＮ７３は、順伝搬により、画像Ｐから火花確認強度ｙ２を含む出力値Ｙを算出する。 The output values y y 0 , y 1 , y 2 correspond to l 0 , l 1 , l 2 of the label L. Therefore, y 2 calculated by the learned CNN 73 from the abnormal modeling image P3 is a value close to 1 out of 0 to 1. On the other hand, y 2 calculated by the CNN 73 learned from the non-modeled image P1 or the normal modeled image P2 is a value close to 0 out of 0 to 1. That is, y 2 is linked to the probability that sparks are reflected in the image P. Hereinafter, y 2 is referred to as spark confirmation intensity. The spark confirmation intensity y 2 may be indicated by 0 to 1 as described above, or may be indicated by 0 to 100%, for example. CNN73 calculates the output value Y including the spark confirmation intensity y 2 from the image P by forward propagation.
第１の評価部８５は、例えば、出力値ＹとラベルＬとの最大インデックスを比較することで、出力値Ｙが正解か不正解かを判定する。例えば、ラベルＬ［１，０，０］は、ｌ０＝１、ｌ１＝０、ｌ２＝０であるため、最大インデックスは「０」（ｌ０）である。同様に、出力値Ｙ［０．１，０．１，０．８］の最大インデックスは、ｙ０＝０．１、ｙ１＝０．１、ｙ２＝０．８であるため、「２」（ｙ２）である。ラベルＬと出力値Ｙとの最大インデックスは「０」と「２」で異なるため、第１の評価部８５は、出力値Ｙを不正答と判定する。 The first evaluation unit 85 determines, for example, whether the output value Y is a correct answer or an incorrect answer by comparing the maximum indexes of the output value Y and the label L. For example, the label L [1,0,0] has l 0 = 1, l 1 = 0, l 2 = 0, so that the maximum index is “0” (l 0 ). Similarly, the maximum index of the output value Y [0.1, 0.1, 0.8] is y 0 = 0.1, y 1 = 0.1, y 2 = 0.8, so that “2” "(Y 2 ). Since the maximum indexes of the label L and the output value Y are different between "0" and "2", the first evaluation unit 85 determines that the output value Y is an incorrect answer.
ラベルＬ［１，０，０］と出力値Ｙ［０．８，０．１，０．１］とを比較した場合、ラベルＬの最大インデックスは「０」（ｌ０）、出力値Ｙの最大インデックスは「０」（ｙ０）である。ラベルＬと出力値Ｙとの最大インデックスが同じであるため、第１の評価部８５は、出力値Ｙを正解と判定する。 When the label L [1,0,0] and the output value Y [0.8,0.1,0.1] are compared, the maximum index of the label L is "0" (l 0 ), and the output value Y The maximum index is "0" (y 0 ). Since the maximum indexes of the label L and the output value Y are the same, the first evaluation unit 85 determines that the output value Y is the correct answer.
なお、第１の評価部８５は、他の方法によって出力値Ｙが正解か不正解かを判定しても良い。例えば、第１の評価部８５は、ラベルＬのｌ２が０である場合、火花確認強度ｙ２が０．５以上であれば不正解と判定し、火花確認強度ｙ２が０．５より下であれば正解と判定も良い。これらの正解又は不正解を判定するための閾値（例えば０．５）は、任意に設定され得る。 The first evaluation unit 85 may determine whether the output value Y is a correct answer or an incorrect answer by another method. For example, when l 2 of the label L is 0, the first evaluation unit 85 determines that the answer is incorrect if the spark confirmation intensity y 2 is 0.5 or more, and the spark confirmation intensity y 2 is 0.5 or more. If it is below, it can be judged as correct. The threshold value (for example, 0.5) for determining these correct or incorrect answers can be set arbitrarily.
次に、第１の評価部８５は、所定の数の評価用データ７２ａを用いてＣＮＮ７３を評価したか否かを判定する（Ｓ１９）。評価に用いた評価用データ７２ａの数が所定の数に達していない場合（Ｓ１９：Ｎｏ）、Ｓ１７に戻り、Ｓ１７〜Ｓ１９を繰り返す。 Next, the first evaluation unit 85 determines whether or not the CNN73 has been evaluated using a predetermined number of evaluation data 72a (S19). When the number of evaluation data 72a used for evaluation has not reached a predetermined number (S19: No), the process returns to S17 and S17 to S19 are repeated.
Ｓ１９において、評価に用いた評価用データ７２ａの数が所定の数に達している場合（Ｓ１９：Ｙｅｓ）、評価出力部８７が第１の評価部８５の評価結果を出力する（Ｓ２０）。例えば、評価出力部８７は、評価用データ７２ａからＣＮＮ７３が算出した出力値Ｙの正答率を出力する。 In S19, when the number of evaluation data 72a used for evaluation has reached a predetermined number (S19: Yes), the evaluation output unit 87 outputs the evaluation result of the first evaluation unit 85 (S20). For example, the evaluation output unit 87 outputs the correct answer rate of the output value Y calculated by the CNN 73 from the evaluation data 72a.
次に、第２の評価部８６は、無作為に選択した学習用データ７２ｂの画像Ｐから、ＣＮＮ７３の順伝搬により出力値Ｙを算出する（Ｓ２１）。そして、第２の評価部８６は、学習用データ７２ｂの画像Ｐから算出された出力値Ｙと、当該出力値Ｙに対応する学習用データ７２ｂのラベルＬとに基づき、当該出力値Ｙが正解か不正解かを評価（判定）する（Ｓ２２）。第２の評価部８６は、第１の評価部８５と同じく、例えば、出力値ＹとラベルＬとの最大インデックスを比較することで、出力値Ｙが正解か不正解かを判定する。 Next, the second evaluation unit 86 calculates the output value Y from the image P of the learning data 72b randomly selected by the forward propagation of the CNN 73 (S21). Then, the second evaluation unit 86 correctly answers the output value Y based on the output value Y calculated from the image P of the learning data 72b and the label L of the learning data 72b corresponding to the output value Y. Evaluate (determine) whether the answer is incorrect (S22). Similar to the first evaluation unit 85, the second evaluation unit 86 determines, for example, whether the output value Y is a correct answer or an incorrect answer by comparing the maximum indexes of the output value Y and the label L.
Ｓ２２において、出力値Ｙが不正解と判定された場合（Ｓ２２：Ｎｏ）、第２の評価部８６は、不正解と判定された出力値Ｙに対応するデータセット７２を、不正解リスト７４に登録する（Ｓ２３）。例えば、第２の評価部８６は、不正解と判定された出力値Ｙに対応するデータセット７２の番号（ＩＤ）を、不正解リスト７４に登録する。 When the output value Y is determined to be an incorrect answer in S22 (S22: No), the second evaluation unit 86 adds the data set 72 corresponding to the output value Y determined to be an incorrect answer to the incorrect answer list 74. Register (S23). For example, the second evaluation unit 86 registers the number (ID) of the data set 72 corresponding to the output value Y determined to be incorrect in the incorrect answer list 74.
Ｓ２２において出力値Ｙが正解と判定された場合（Ｓ２２：Ｙｅｓ）、又はＳ２３が完了すると、第２の評価部８６は、所定の数の学習用データ７２ｂを用いてＣＮＮ７３を評価したか否かを判定する（Ｓ２４）。評価に用いた学習用データ７２ｂの数が所定の数に達していない場合（Ｓ２４：Ｎｏ）、Ｓ２１に戻り、Ｓ２１〜Ｓ２４を繰り返す。 When the output value Y is determined to be correct in S22 (S22: Yes), or when S23 is completed, whether or not the second evaluation unit 86 evaluates the CNN73 using a predetermined number of learning data 72b. Is determined (S24). When the number of learning data 72b used for the evaluation has not reached a predetermined number (S24: No), the process returns to S21 and S21 to S24 are repeated.
Ｓ２４において、評価に用いた学習用データ７２ｂの数が所定の数に達している場合（Ｓ２４：Ｙｅｓ）、評価出力部８７が第２の評価部８６の評価結果を出力する（Ｓ２５）。例えば、評価出力部８７は、学習用データ７２ｂからＣＮＮ７３が算出した出力値Ｙの正答率を出力する。 In S24, when the number of learning data 72b used for evaluation has reached a predetermined number (S24: Yes), the evaluation output unit 87 outputs the evaluation result of the second evaluation unit 86 (S25). For example, the evaluation output unit 87 outputs the correct answer rate of the output value Y calculated by the CNN 73 from the learning data 72b.
評価出力部８７は、例えば、出力制御部６６に、第１の評価部８５の評価結果及び第２の評価部８６の評価結果を出力する。出力制御部６６は、例えば、第１の評価部８５の評価結果及び第２の評価部８６の評価結果に基づくグラフを、出力装置１４ｅに出力させる。 The evaluation output unit 87 outputs, for example, the evaluation result of the first evaluation unit 85 and the evaluation result of the second evaluation unit 86 to the output control unit 66. The output control unit 66 causes the output device 14e to output, for example, a graph based on the evaluation result of the first evaluation unit 85 and the evaluation result of the second evaluation unit 86.
次に、選択部８１は、第１の評価部８５の評価結果及び第２の評価部８６の評価結果に異常があるか否かを判定する（Ｓ２６）。評価結果に異常が無い場合（Ｓ２６：Ｎｏ）、選択部８１は、出力値Ｙの正答率が収束したか否かを判定する（Ｓ２７）。 Next, the selection unit 81 determines whether or not there is an abnormality in the evaluation result of the first evaluation unit 85 and the evaluation result of the second evaluation unit 86 (S26). When there is no abnormality in the evaluation result (S26: No), the selection unit 81 determines whether or not the correct answer rate of the output value Y has converged (S27).
選択部８１は、例えば、第１の評価部８５の評価結果における正答率、及び第２の評価部８６の評価結果における正答率、のうち少なくとも一方の変化が所定の回数に亘って所定の範囲内にある場合に、出力値Ｙの正答率が収束したと判定する。言い換えると、選択部８１は、第１の評価部８５及び第２の評価部８６の評価結果が所定の回数に亘って向上しない場合に、出力値Ｙの正答率が収束したと判定する。この例に限らず、例えば、選択部８１は、第１の評価部８５及び第２の評価部８６の評価結果における正答率が所定の回数に亘って閾値を上回っている場合に、出力値Ｙの正答率が収束したと判定しても良い。 In the selection unit 81, for example, at least one of the correct answer rate in the evaluation result of the first evaluation unit 85 and the correct answer rate in the evaluation result of the second evaluation unit 86 changes within a predetermined range over a predetermined number of times. If it is within, it is determined that the correct answer rate of the output value Y has converged. In other words, the selection unit 81 determines that the correct answer rate of the output value Y has converged when the evaluation results of the first evaluation unit 85 and the second evaluation unit 86 do not improve over a predetermined number of times. Not limited to this example, for example, the selection unit 81 outputs the output value Y when the correct answer rate in the evaluation results of the first evaluation unit 85 and the second evaluation unit 86 exceeds the threshold value over a predetermined number of times. It may be determined that the correct answer rate of is converged.
出力値Ｙの正答率が収束していない場合（Ｓ２７：Ｎｏ）、Ｓ１２に戻り、Ｓ１２〜Ｓ２６が再び実行（反復）される。反復時のＳ１２において、選択部８１は、例えば、Ｓ１２〜Ｓ１５の学習工程で用いられる所定の数の学習用データ７２ｂに所定の割合で不正解データ７２ｂｆが含まれるように、学習用データ７２ｂを選択する。 If the correct answer rate of the output value Y has not converged (S27: No), the process returns to S12, and S12 to S26 are executed (repeatedly) again. In S12 at the time of repetition, the selection unit 81 uses the learning data 72b, for example, so that the predetermined number of learning data 72b used in the learning steps of S12 to S15 includes the incorrect answer data 72bf in a predetermined ratio. select.
不正解データ７２ｂｆは、第２の評価部８６によって不正解と判定された出力値Ｙに対応し、不正解リスト７４に登録された学習用データ７２ｂである。学習工程で用いられる学習用データ７２ｂには、不正解リスト７４から選択された不正解データ７２ｂｆと、複数の学習用データ７２ｂから不作為に選択された学習用データ７２ｂと、が含まれる。 The incorrect answer data 72bf corresponds to the output value Y determined to be incorrect by the second evaluation unit 86, and is the learning data 72b registered in the incorrect answer list 74. The learning data 72b used in the learning process includes incorrect answer data 72bf selected from the incorrect answer list 74 and learning data 72b randomly selected from the plurality of learning data 72b.
反復時のＳ１３において、順伝搬部８２は、ＣＮＮ７３に、不正解データ７２ｂｆの画像Ｐと、不作為に選択された学習用データ７２ｂの画像Ｐと、のそれぞれから出力値Ｙを算出させる。すなわち、選択部８１は、ＣＮＮ７３に入力される画像Ｐとして、不正解データ７２ｂｆの画像Ｐと、不作為に選択された学習用データ７２ｂの画像Ｐと、を選択する。 In S13 at the time of repetition, the forward propagation unit 82 causes the CNN 73 to calculate the output value Y from the image P of the incorrect answer data 72bf and the image P of the learning data 72b randomly selected. That is, the selection unit 81 selects the image P of the incorrect answer data 72bf and the image P of the learning data 72b randomly selected as the image P to be input to the CNN 73.
不正解データ７２ｂｆの画像Ｐは、記憶部６１に記憶された複数の画像Ｐに含まれるとともに、不正解と判断された出力値Ｙに対応している。不正解データ７２ｂｆの画像Ｐは、第１の入力情報とも称され得る。 The image P of the incorrect answer data 72bf is included in the plurality of images P stored in the storage unit 61, and corresponds to the output value Y determined to be incorrect. The image P of the incorrect answer data 72bf may also be referred to as the first input information.
不作為に選択された学習用データ７２ｂの画像Ｐは、記憶部６１に記憶された複数の画像Ｐに含まれるとともに、複数の画像Ｐから不作為に選択されている。不作為に選択された学習用データ７２ｂの画像Ｐは、第２の入力情報とも称され得る。 The image P of the learning data 72b randomly selected is included in the plurality of images P stored in the storage unit 61, and is randomly selected from the plurality of images P. The image P of the randomly selected training data 72b may also be referred to as the second input information.
図８は、第１の実施形態の第１の評価部８５及び第２の評価部８６の評価結果における出力値Ｙの正答率の一例を示すグラフである。図９は、比較例として、学習工程で用いられる所定の数の学習用データ７２ｂが全て不作為に選択される場合の、第１の評価部８５及び第２の評価部８６の評価結果における出力値Ｙの正答率の一例を示すグラフである。 FIG. 8 is a graph showing an example of the correct answer rate of the output value Y in the evaluation results of the first evaluation unit 85 and the second evaluation unit 86 of the first embodiment. As a comparative example, FIG. 9 shows an output value in the evaluation results of the first evaluation unit 85 and the second evaluation unit 86 when a predetermined number of learning data 72b used in the learning process are all randomly selected. It is a graph which shows an example of the correct answer rate of Y.
図８及び図９のようなグラフは、例えば、評価出力部８７によって生成される。図８及び図９において、評価用データ７２ａを使用した第１の評価部８５における出力値Ｙの正答率と、学習用データ７２ｂを使用した第２の評価部８６における出力値Ｙの正答率と、のグラフが示される。図８及び図９において、縦軸は出力値Ｙの正答率を示し、横軸はＳ１２〜Ｓ２７の反復回数を示す。 The graphs shown in FIGS. 8 and 9 are generated by, for example, the evaluation output unit 87. In FIGS. 8 and 9, the correct answer rate of the output value Y in the first evaluation unit 85 using the evaluation data 72a and the correct answer rate of the output value Y in the second evaluation unit 86 using the learning data 72b. , Graph is shown. In FIGS. 8 and 9, the vertical axis indicates the correct answer rate of the output value Y, and the horizontal axis indicates the number of repetitions of S12 to S27.
図８及び図９に示すように、学習工程で用いられる所定の数の学習用データ７２ｂに所定の割合で不正解データ７２ｂｆが含まれることで、出力値Ｙの正答率が上昇しやすくなる。例えば、本実施形態では、比較例に比べ、第１の評価部８５の評価結果における出力値Ｙの正答率が先に９８％以上で収束する。なお、学習工程で用いられる所定の数の学習用データ７２ｂに含まれる不正解データ７２ｂｆの割合又は数は、任意に設定され得る。 As shown in FIGS. 8 and 9, when the incorrect answer data 72bf is included in the predetermined number of learning data 72b used in the learning process at a predetermined ratio, the correct answer rate of the output value Y tends to increase. For example, in the present embodiment, the correct answer rate of the output value Y in the evaluation result of the first evaluation unit 85 converges at 98% or more first, as compared with the comparative example. The ratio or number of incorrect answer data 72bf included in a predetermined number of learning data 72b used in the learning process can be arbitrarily set.
図７のＳ２６において、評価結果に異常が生じている場合（Ｓ２６：Ｙｅｓ）、選択部８１は、Ｓ１２〜Ｓ１５の学習工程で用いられる所定の数の学習用データ７２ｂに含まれる不正解データ７２ｂｆの割合を変更する（Ｓ２８）。言い換えると、選択部８１は、正解と判定された出力値Ｙの割合（正答率）に基づき、ＣＮＮ７３に入力される、不正解データ７２ｂｆの画像Ｐ及び不作為に選択される学習用データ７２ｂの画像Ｐの割合を変更する。 In S26 of FIG. 7, when an abnormality occurs in the evaluation result (S26: Yes), the selection unit 81 includes incorrect answer data 72bf included in a predetermined number of learning data 72b used in the learning steps of S12 to S15. The ratio of (S28) is changed. In other words, the selection unit 81 inputs the image P of the incorrect answer data 72bf and the image of the learning data 72b randomly selected to be input to the CNN 73 based on the ratio of the output value Y determined to be the correct answer (correct answer rate). Change the ratio of P.
例えば、不正解データ７２ｂｆの割合が多い場合、過学習が生じる。この場合、反復回数が多くなると正答率が低下してしまう。選択部８１は、このような評価結果（正答率）の異常が生じている場合、不正解データ７２ｂｆの割合を減らす。 For example, when the ratio of incorrect answer data 72bf is large, overfitting occurs. In this case, as the number of repetitions increases, the correct answer rate decreases. The selection unit 81 reduces the ratio of incorrect answer data 72bf when such an abnormality in the evaluation result (correct answer rate) occurs.
一方、不正解データ７２ｂｆの割合が少ない場合、反復回数が増えても正答率が収束し難い。選択部８１は、このような評価結果（正答率）の異常が生じている場合、不正解データ７２ｂｆの割合を増やす。なお、増減される不正解データ７２ｂｆの割合又は数は、任意に設定され得る。 On the other hand, when the ratio of incorrect answer data 72bf is small, it is difficult for the correct answer rate to converge even if the number of iterations increases. The selection unit 81 increases the ratio of incorrect answer data 72bf when such an abnormality in the evaluation result (correct answer rate) occurs. The ratio or number of incorrect answer data 72bf to be increased or decreased can be arbitrarily set.
Ｓ２８で選択部８１が不正解データ７２ｂｆの割合を変更すると、Ｓ１２に戻り、Ｓ１２〜Ｓ２８が繰り返される。Ｓ２７において、出力値Ｙの正答率が収束していると（Ｓ２７：Ｙｅｓ）、学習部６４による機械学習が完了する。以上により、機械学習の学習結果として、ＣＮＮ７３が生成される。 When the selection unit 81 changes the ratio of incorrect answer data 72bf in S28, the process returns to S12, and S12 to S28 are repeated. In S27, when the correct answer rate of the output value Y has converged (S27: Yes), the machine learning by the learning unit 64 is completed. As a result of the above, CNN73 is generated as a learning result of machine learning.
なお、上述の機械学習において、第１の評価部８５及び第２の評価部８６は、出力値Ｙの正答率を評価した。しかし、第１の評価部８５及び第２の評価部８６は、この例に限らず、例えば平均損失を評価しても良い。損失は、出力値ＹとラベルＬとに基づき、交差エントロピーを用いて算出可能である。 In the above-mentioned machine learning, the first evaluation unit 85 and the second evaluation unit 86 evaluated the correct answer rate of the output value Y. However, the first evaluation unit 85 and the second evaluation unit 86 are not limited to this example, and may evaluate, for example, the average loss. The loss can be calculated using cross entropy based on the output value Y and the label L.
図１０は、第１の実施形態の推定部６５の構成を機能的に示す例示的なブロック図である。図１０に示すように、推定部６５は、強度算出部９１と、判定部９２とを備えている。 FIG. 10 is an exemplary block diagram functionally showing the configuration of the estimation unit 65 of the first embodiment. As shown in FIG. 10, the estimation unit 65 includes a strength calculation unit 91 and a determination unit 92.
強度算出部９１は、画像処理部６３から画像を取得するとともに、記憶部６１からＣＮＮ７３を取得する。強度算出部９１が取得したＣＮＮ７３は、上述の学習部６４による機械学習で生成された学習結果である。強度算出部９１は、画像処理部６３から取得した画像から、ＣＮＮ７３に順伝搬によって出力値Ｙを算出させる。 The intensity calculation unit 91 acquires an image from the image processing unit 63 and CNN73 from the storage unit 61. The CNN 73 acquired by the strength calculation unit 91 is a learning result generated by machine learning by the learning unit 64 described above. The intensity calculation unit 91 causes the CNN 73 to calculate the output value Y by forward propagation from the image acquired from the image processing unit 63.
判定部９２は、出力値Ｙに基づき、当該出力値Ｙに対応する画像に火花が映っているか否かを判定する。本実施形態では、判定部９２は、画像から、積層造形が停止されているか、正常な積層造形が行われているか、積層造形に異常が生じているかを判定する。 Based on the output value Y, the determination unit 92 determines whether or not a spark is reflected in the image corresponding to the output value Y. In the present embodiment, the determination unit 92 determines from the image whether the laminated modeling is stopped, normal laminated modeling is performed, or an abnormality has occurred in the laminated modeling.
図１１は、第１の実施形態の積層造形監視方法の一例を示すフローチャートである。以下、積層造形システム１による積層造形の監視について詳しく説明する。なお、図１１を参照して以下に説明する積層造形監視方法はあくまで一例であり、積層造形システム１は、他の方法により積層造形監視を行っても良い。 FIG. 11 is a flowchart showing an example of the laminated modeling monitoring method of the first embodiment. Hereinafter, monitoring of laminated modeling by the laminated modeling system 1 will be described in detail. The laminated modeling monitoring method described below with reference to FIG. 11 is merely an example, and the laminated modeling system 1 may perform the laminated modeling monitoring by another method.
図１１に示すように、まず、造形部１２が、ＮＣプログラム７１に基づいて積層造形を開始する（Ｓ１０１）。なお、Ｓ１０１における積層造形の開始は、ＮＣプログラム７１の実行の開始である。このため、ノズル２１が材料Ｍの吐出及びエネルギー線Ｅの出射を行っていなくても良い。 As shown in FIG. 11, first, the modeling unit 12 starts the laminated modeling based on the NC program 71 (S101). The start of the laminated molding in S101 is the start of the execution of the NC program 71. Therefore, the nozzle 21 does not have to discharge the material M and emit the energy ray E.
次に、強度算出部９１が、画像処理部６３からノズル２１が映された画像を取得する（Ｓ１０２）。次に、強度算出部９１は、当該画像から、ＣＮＮ７３の順伝搬により、出力値Ｙを算出する（Ｓ１０３）。言い換えると、強度算出部９１は、画像から、ＣＮＮ７３により、火花確認強度ｙ２を算出する。 Next, the intensity calculation unit 91 acquires an image on which the nozzle 21 is projected from the image processing unit 63 (S102). Next, the intensity calculation unit 91 calculates the output value Y from the image by forward propagation of CNN73 (S103). In other words, the intensity calculation unit 91 calculates the spark confirmation intensity y 2 from the image by the CNN 73.
次に、判定部９２は、出力値Ｙ［ｙ０，ｙ１，ｙ２］のうち、ｙ０が最大か否かを判定する（Ｓ１０４）。言い換えると、判定部９２は、出力値Ｙに対応する画像が、非造形画像Ｐ１に類似するか否かを判定する。ｙ０が最大である場合（Ｓ１０４：Ｙｅｓ）、判定部９２は、ノズル２１が積層造形を行っていないと判定する（Ｓ１０５）。 Next, the determination unit 92 determines whether or not y 0 is the maximum among the output values Y [y 0 , y 1 , y 2 ] (S104). In other words, the determination unit 92 determines whether or not the image corresponding to the output value Y is similar to the non-modeled image P1. When y 0 is the maximum (S104: Yes), the determination unit 92 determines that the nozzle 21 is not performing laminating modeling (S105).
次に、判定部９２は、積層造形が完了したか否かを判定する（Ｓ１０６）。積層造形が完了していない場合（Ｓ１０６：Ｎｏ）、Ｓ１０２に戻り、強度算出部９１が次の画像を画像処理部６３から取得する。 Next, the determination unit 92 determines whether or not the laminated modeling is completed (S106). When the laminating modeling is not completed (S106: No), the process returns to S102, and the intensity calculation unit 91 acquires the next image from the image processing unit 63.
Ｓ１０４で、ｙ０が最大ではない場合（Ｓ１０４：Ｎｏ）、判定部９２は、出力値Ｙ［ｙ０，ｙ１，ｙ２］のうち、ｙ１が最大か否かを判定する（Ｓ１０７）。言い換えると、判定部９２は、出力値Ｙに対応する画像が、正常造形画像Ｐ２に類似するか否かを判定する。ｙ１が最大である場合（Ｓ１０７：Ｙｅｓ）、判定部９２は、ノズル２１が正常な積層造形を行っていると判定し（Ｓ１０８）、Ｓ１０６に移行する。 In S104, when y 0 is not the maximum (S104: No), the determination unit 92 determines whether or not y 1 is the maximum among the output values Y [y 0 , y 1 , y 2 ] (S107). .. In other words, the determination unit 92 determines whether or not the image corresponding to the output value Y is similar to the normal modeling image P2. When y 1 is the maximum (S107: Yes), the determination unit 92 determines that the nozzle 21 is performing normal laminated modeling (S108), and proceeds to S106.
Ｓ１０７で、ｙ１が最大ではない場合（Ｓ１０７：Ｎｏ）、出力値Ｙ［ｙ０，ｙ１，ｙ２］のうち、火花確認強度ｙ２が最大となる。このため、出力値Ｙに対応する画像が異常造形画像Ｐ３に類似しており、火花が発生している可能性が高い。 In S107, when y 1 is not the maximum (S107: No), the spark confirmation intensity y 2 is the maximum among the output values Y [y 0 , y 1 , y 2 ]. Therefore, the image corresponding to the output value Y is similar to the abnormal modeling image P3, and there is a high possibility that sparks are generated.
火花確認強度ｙ２が最大である場合、判定部９２は、積層造形に異常が生じていると判定する（Ｓ１０９）。この場合、造形制御部６２が、積層造形のパラメータを変更し（Ｓ１１０）、Ｓ１０６に移行する。 When the spark confirmation intensity y 2 is the maximum, the determination unit 92 determines that an abnormality has occurred in the laminated modeling (S109). In this case, the modeling control unit 62 changes the parameters of the laminated modeling (S110) and shifts to S106.
例えば、造形制御部６２は、火花確認強度ｙ２に基づき、チャンバＣに供給される不活性ガスの流量、ノズル２１から吐出されるシールドガスＧの流量、ノズル２１から出射されるエネルギー線Ｅの出力、ノズル２１の速度、及びノズル２１から吐出される材料Ｍの量、のうち少なくとも一つを変更し、火花の発生及び材料Ｍの酸化を抑制する。造形制御部６２によるパラメータの変更量は、一定であっても良いし、火花確認強度に連動しても良い。ノズル２１の速度や吐出される材料Ｍの量が変更される場合、溶融領域３ａの高さが略一定となるように、積層造形のパラメータが調整される。 For example, the modeling control unit 62 determines the flow rate of the inert gas supplied to the chamber C, the flow rate of the shield gas G discharged from the nozzle 21, and the energy ray E emitted from the nozzle 21 based on the spark confirmation intensity y 2 . At least one of the output, the velocity of the nozzle 21, and the amount of the material M discharged from the nozzle 21 is changed to suppress the generation of sparks and the oxidation of the material M. The amount of parameter change by the modeling control unit 62 may be constant or may be linked to the spark confirmation intensity. When the speed of the nozzle 21 and the amount of the material M to be discharged are changed, the parameters of the laminated molding are adjusted so that the height of the molten region 3a becomes substantially constant.
Ｓ１０６において、積層造形が完了している場合（Ｓ１０６：Ｙｅｓ）、積層造形システム１による積層造形の監視も完了する。以上のように、積層造形システム１は、積層造形における火花の発生を監視する。積層造形において火花が発生した場合、造形制御部６２が積層造形のパラメータを変更し、火花の発生を抑制する。 In S106, when the laminated modeling is completed (S106: Yes), the monitoring of the laminated modeling by the laminated modeling system 1 is also completed. As described above, the laminated modeling system 1 monitors the generation of sparks in the laminated modeling. When sparks are generated in the laminated modeling, the modeling control unit 62 changes the parameters of the laminated modeling to suppress the generation of sparks.
上述の積層造形監視では、Ｓ１０７でｙ１が最大ではない場合に、積層造形に異常が生じていると判定される。しかし、この例に限らず、例えば、所定の回数に亘って火花確認強度ｙ２が最大となった場合や、所定回数に亘って積算された火花確認強度ｙ２が閾値を上回った場合に、積層造形に異常が生じていると判定されても良い。 In the above laminate molding monitoring, if y 1 is not the most S107, it is determined that a defective occurred laminate shaping. However, the present invention is not limited to this example, and for example, when the spark confirmation intensity y 2 is maximized over a predetermined number of times, or when the spark confirmation intensity y 2 accumulated over a predetermined number of times exceeds the threshold value. It may be determined that an abnormality has occurred in the laminated molding.
判定部９２は、例えば、ノズル２１の座標と関連付けて、判定結果を出力制御部６６に出力しても良い。当該判定結果により、ノズル２１の各座標における積層造形の状態の記録（ログ）を得ることができる。 The determination unit 92 may output the determination result to the output control unit 66 in association with the coordinates of the nozzle 21, for example. From the determination result, it is possible to obtain a record (log) of the state of laminated modeling at each coordinate of the nozzle 21.
以上説明された第１の実施形態に係る積層造形システム１において、学習部６４は、造形物３の材料Ｍを吐出するとともに、当該材料Ｍにエネルギー線Ｅを照射して溶融又は焼結させる、ノズル２１が映された複数の画像Ｐと、当該複数の画像Ｐに火花が映っているか否かを示すラベルＬと、に基づき機械学習し、ＣＮＮ７３を生成する。推定部６５は、撮像部１３が撮影した画像と、ＣＮＮ７３と、に基づき、当該画像に火花が映っているか否かを推定する。チタンのような材料Ｍの溶融又は焼結において、火花が発生している場合、材料Ｍが酸化している虞がある。推定部６５の推定結果に基づき火花の発生の監視を自動化することができるため、酸化した材料Ｍによる造形物３の脆弱化が抑制される。 In the laminated modeling system 1 according to the first embodiment described above, the learning unit 64 discharges the material M of the modeled object 3 and irradiates the material M with energy rays E to melt or sinter the material M. Machine learning is performed based on the plurality of images P on which the nozzle 21 is projected and the label L indicating whether or not sparks are projected on the plurality of images P, and CNN73 is generated. The estimation unit 65 estimates whether or not a spark is reflected in the image based on the image taken by the imaging unit 13 and the CNN 73. If sparks are generated in the melting or sintering of the material M such as titanium, the material M may be oxidized. Since the monitoring of the generation of sparks can be automated based on the estimation result of the estimation unit 65, the weakening of the model 3 due to the oxidized material M is suppressed.
例えば、ＣＮＮ７３のような機械学習により更新される演算部の代わりに、光量センサが火花の発生を監視する場合、正常な積層造形における発光が火花の発生と誤認識される虞がある。本実施形態では、ＣＮＮ７３のような機械学習により更新される演算部を用いることで、火花の発生の監視精度が向上する。 For example, when a light amount sensor monitors the generation of sparks instead of the arithmetic unit updated by machine learning such as CNN73, there is a possibility that the light emission in the normal laminated molding is erroneously recognized as the generation of sparks. In the present embodiment, the accuracy of monitoring the occurrence of sparks is improved by using a calculation unit updated by machine learning such as CNN73.
本実施形態における材料Ｍは、チタンを含む。上述のように、チタンのような材料Ｍの溶融又は焼結において、火花が発生している場合、材料Ｍが酸化している虞がある。従って、推定部６５の推定結果に基づき火花の発生の監視を自動化することができるため、酸化したチタンによる造形物３の脆弱化が抑制される。 The material M in this embodiment contains titanium. As described above, when sparks are generated in the melting or sintering of the material M such as titanium, the material M may be oxidized. Therefore, since the monitoring of the generation of sparks can be automated based on the estimation result of the estimation unit 65, the weakening of the model 3 due to the oxidized titanium is suppressed.
推定部６５は、撮像部１３が撮影した画像から、ＣＮＮ７３により、当該画像に火花が映っている確率に連動する火花確認強度ｙ２を算出する。推定部６５が数値（火花確認強度ｙ２）を算出するため、当該数値に基づき種々の制御をすることができる。 From the image taken by the imaging unit 13, the estimation unit 65 calculates the spark confirmation intensity y 2 linked to the probability that sparks are reflected in the image by the CNN 73. Since the estimation unit 65 calculates a numerical value (spark confirmation intensity y 2 ), various controls can be performed based on the numerical value.
造形制御部６２は、火花確認強度ｙ２に基づき、造形部１２による積層造形のパラメータを変更する。例えば、造形制御部６２は、火花確認強度ｙ２に基づき、積層造形が行われるチャンバＣに供給される不活性ガスの流量、ノズル２１から吐出されるシールドガスＧの流量、ノズル２１から出射されるエネルギー線Ｅの出力、ノズル２１の速度、及びノズル２１から吐出される材料Ｍの量、のうち少なくとも一つを制御し、火花の発生及び材料Ｍの酸化を抑制する。これにより、酸化した材料Ｍによる造形物３の脆弱化が抑制される。 The modeling control unit 62 changes the parameters of the laminated modeling by the modeling unit 12 based on the spark confirmation strength y 2 . For example, the modeling control unit 62 has a flow rate of the inert gas supplied to the chamber C in which the laminated modeling is performed, a flow rate of the shield gas G discharged from the nozzle 21, and is emitted from the nozzle 21 based on the spark confirmation strength y 2. At least one of the output of the energy ray E, the velocity of the nozzle 21, and the amount of the material M discharged from the nozzle 21 is controlled to suppress the generation of sparks and the oxidation of the material M. As a result, the weakening of the model 3 due to the oxidized material M is suppressed.
第１の評価部８５は、評価用データ７２ａの画像Ｐから順伝搬部８２が算出した出力値Ｙと、ラベルＬと、に基づき出力値Ｙが正解か不正解かを判定する。第２の評価部８６は、評価用データ７２ａの画像Ｐと異なる学習用データ７２ｂの画像Ｐから順伝搬部８２が算出した出力値Ｙと、ラベルＬと、に基づき出力値Ｙが正解か不正解かを判定する。評価出力部８７は、第１の評価部８５の評価結果と、第２の評価部８６の評価結果と、を出力する。これにより、第２の評価部８６の判定結果に基づき、機械学習により生成されたＣＮＮ７３の精度を評価することができる。さらに、第１の評価部８５の判定結果に基づき、機械学習に用いられなかった評価用データ７２ａの画像Ｐを対象とするＣＮＮ７３の精度を評価することができる。従って、火花の発生の監視精度が向上し、酸化した材料Ｍによる造形物３の脆弱化が抑制される。 The first evaluation unit 85 determines whether the output value Y is a correct answer or an incorrect answer based on the output value Y calculated by the forward propagation unit 82 from the image P of the evaluation data 72a and the label L. In the second evaluation unit 86, the output value Y is correct or incorrect based on the output value Y calculated by the forward propagation unit 82 from the image P of the learning data 72b different from the image P of the evaluation data 72a and the label L. Determine if the answer is correct. The evaluation output unit 87 outputs the evaluation result of the first evaluation unit 85 and the evaluation result of the second evaluation unit 86. As a result, the accuracy of the CNN 73 generated by machine learning can be evaluated based on the determination result of the second evaluation unit 86. Further, based on the determination result of the first evaluation unit 85, the accuracy of the CNN 73 for the image P of the evaluation data 72a that was not used for machine learning can be evaluated. Therefore, the accuracy of monitoring the generation of sparks is improved, and the weakening of the model 3 due to the oxidized material M is suppressed.
ＣＮＮ７３が、複数の画像Ｐに含まれるとともに不正解と判定された出力値Ｙに対応する不正解データ７２ｂｆの画像Ｐと、複数の画像Ｐに含まれる画像Ｐと、のそれぞれから出力値Ｙを算出する。そして、ＣＮＮ７３は、出力値Ｙに基づき変更される。すなわち、ＣＮＮ７３は、少なくとも一度間違えた画像Ｐを用いて機械学習を行う。これにより、ＣＮＮ７３が算出する出力値Ｙの精度が向上しやすくなり、機械学習にかかる時間（反復回数）を短縮することができる。 The output value Y is obtained from each of the image P of the incorrect answer data 72bf corresponding to the output value Y which is included in the plurality of images P and determined to be incorrect, and the image P included in the plurality of images P. calculate. Then, CNN73 is changed based on the output value Y. That is, the CNN73 performs machine learning using the image P that is mistaken at least once. As a result, the accuracy of the output value Y calculated by CNN73 is likely to be improved, and the time (number of iterations) required for machine learning can be shortened.
複数の画像Ｐにおいて、非造形画像Ｐ１、正常造形画像Ｐ２、及び異常造形画像Ｐ３の割合が不均一なことがある。本実施形態では、ＣＮＮ７３が、少なくとも一度間違えた画像Ｐを用いて機械学習を行うことで、非造形画像Ｐ１、正常造形画像Ｐ２、及び異常造形画像Ｐ３の割合が不均一であっても、当該割合が均一である場合に近い学習効果を挙げることができる。 In the plurality of images P, the proportions of the non-modeled image P1, the normal modeled image P2, and the abnormal modeled image P3 may be non-uniform. In the present embodiment, even if the ratios of the non-modeling image P1, the normal modeling image P2, and the abnormal modeling image P3 are non-uniform, the CNN73 performs machine learning using the image P that is mistaken at least once. It is possible to obtain a learning effect close to the case where the ratio is uniform.
ＣＮＮ７３は、適正な割合の不正解データ７２ｂｆの画像Ｐと、複数の画像Ｐから不作為に選択された画像Ｐと、のそれぞれから出力値Ｙを算出する。これにより、ＣＮＮ７３に入力される画像Ｐの偏りが低減される。従って、ＣＮＮ７３が算出する出力値Ｙの精度が向上しやすくなり、機械学習にかかる時間（反復回数）を短縮することができる。 CNN73 calculates the output value Y from each of the image P of the incorrect answer data 72bf in an appropriate ratio and the image P randomly selected from the plurality of images P. As a result, the bias of the image P input to the CNN 73 is reduced. Therefore, the accuracy of the output value Y calculated by CNN73 can be easily improved, and the time (number of iterations) required for machine learning can be shortened.
正解と判定された出力値Ｙの割合に基づき、ＣＮＮ７３に入力される不正解データ７２ｂｆの画像Ｐの割合が変更される。例えば、過学習が生じている場合に不正解データ７２ｂｆの画像Ｐの割合が減らされ、正解と判定された出力値Ｙの割合の収束が遅い場合に不正解データ７２ｂｆの画像Ｐの割合が増やされる。これにより、ＣＮＮ７３が算出する出力値Ｙの精度が向上しやすくなり、機械学習にかかる時間（反復回数）を短縮することができる。 Based on the ratio of the output value Y determined to be the correct answer, the ratio of the image P of the incorrect answer data 72bf input to the CNN73 is changed. For example, when overfitting occurs, the proportion of the image P of the incorrect answer data 72bf is reduced, and when the proportion of the output value Y determined to be correct converges slowly, the proportion of the image P of the incorrect answer data 72bf is increased. Is done. As a result, the accuracy of the output value Y calculated by CNN73 is likely to be improved, and the time (number of iterations) required for machine learning can be shortened.
本実施形態の制御部１４で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。 The program executed by the control unit 14 of the present embodiment is a file in an installable format or an executable format on a computer such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD (Digital Versaille Disk). It is recorded and provided on a readable recording medium.
また、本実施形態の制御部１４で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の制御部１４で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。 Further, the program executed by the control unit 14 of the present embodiment may be stored on a computer connected to a network such as the Internet and provided by downloading via the network. Further, the program executed by the control unit 14 of the present embodiment may be configured to be provided or distributed via a network such as the Internet.
また、本実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。 Further, the program of the present embodiment may be configured to be provided by incorporating it into a ROM or the like in advance.
本実施形態の制御部１４で実行されるプログラムは、上述した各部（造形制御部６２、画像処理部６３、学習部６４、推定部６５、及び出力制御部６６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、造形制御部６２、画像処理部６３、学習部６４、推定部６５、及び出力制御部６６が主記憶装置上に生成されるようになっている。 The program executed by the control unit 14 of the present embodiment has a module configuration including the above-mentioned units (modeling control unit 62, image processing unit 63, learning unit 64, estimation unit 65, and output control unit 66). As actual hardware, when the CPU (processor) reads a program from the storage medium and executes it, each of the above parts is loaded on the main storage device, and the modeling control unit 62, the image processing unit 63, the learning unit 64, and estimation The unit 65 and the output control unit 66 are generated on the main storage device.
（第２の実施形態）
以下に、第２の実施形態について、図１２を参照して説明する。なお、以下の実施形態の説明において、既に説明された構成要素と同様の機能を持つ構成要素は、当該既述の構成要素と同じ符号が付され、さらに説明が省略される場合がある。また、同じ符号が付された複数の構成要素は、全ての機能及び性質が共通するとは限らず、各実施形態に応じた異なる機能及び性質を有していても良い。
(Second Embodiment)
The second embodiment will be described below with reference to FIG. In the description of the following embodiments, the components having the same functions as the components already described may be designated by the same reference numerals as those described above, and the description may be omitted. Further, the plurality of components having the same reference numerals do not necessarily have all the functions and properties in common, and may have different functions and properties according to each embodiment.
図１２は、第２の実施形態に係る積層造形監視方法の一例を示すフローチャートである。図１２に示すように、第２の実施形態では、Ｓ１０９が実行されると、積層造形のパラメータが変更される代わりに、造形制御部６２が積層造形を停止させ（Ｓ２０１）、積層造形システム１による積層造形の監視も完了する。すなわち、造形制御部６２は、火花確認強度ｙ２に基づき、造形部１２を停止させる。 FIG. 12 is a flowchart showing an example of the laminated modeling monitoring method according to the second embodiment. As shown in FIG. 12, in the second embodiment, when S109 is executed, the modeling control unit 62 stops the laminated modeling (S201) instead of changing the parameters of the laminated modeling, and the laminated modeling system 1 Monitoring of laminated modeling is also completed. That is, the modeling control unit 62 stops the modeling unit 12 based on the spark confirmation intensity y 2 .
以上説明された第２の実施形態の積層造形システム１において、造形制御部６２は、火花確認強度ｙ２に基づき、造形部１２を停止させることが可能である。すなわち、材料Ｍに酸化の虞がある場合、造形制御部６２が積層造形を停止させることができ、酸化した材料Ｍによる造形物３の脆弱化が抑制される。 In the laminated modeling system 1 of the second embodiment described above, the modeling control unit 62 can stop the modeling unit 12 based on the spark confirmation strength y 2 . That is, when there is a risk of oxidation of the material M, the modeling control unit 62 can stop the laminated modeling, and the weakening of the modeled object 3 by the oxidized material M is suppressed.
判定部９２が判定結果を出力制御部６６に出力することで、判定結果の記録（ログ）から、材料Ｍに酸化が生じた虞がある箇所を容易に特定することができる。従って、材料Ｍに酸化が生じた虞がある箇所を除去し、積層造形を再開することが可能である。 When the determination unit 92 outputs the determination result to the output control unit 66, it is possible to easily identify the portion where the material M may be oxidized from the record (log) of the determination result. Therefore, it is possible to remove the portion where the material M may be oxidized and restart the laminated molding.
以上説明された少なくとも複数の実施形態において、制御部１４が、記憶部６１、学習部６４、及び推定部６５を備える。しかし、例えば、記憶部６１、学習部６４、及び推定部６５の少なくとも一つが、積層造形システム１と異なる装置又はシステムに備えられても良い。 In at least a plurality of embodiments described above, the control unit 14 includes a storage unit 61, a learning unit 64, and an estimation unit 65. However, for example, at least one of the storage unit 61, the learning unit 64, and the estimation unit 65 may be provided in a device or system different from the laminated modeling system 1.
また、以上説明された複数の実施形態において、学習部６４による機械学習方法は、画像Ｐに火花が映っているか否かを推定するための画像認識技術に適用された。しかし、上述の学習部６４による機械学習方法は、他の画像認識技術、音声認識技術、自然言語処理技術のような他の技術に適用されても良い。 Further, in the plurality of embodiments described above, the machine learning method by the learning unit 64 is applied to an image recognition technique for estimating whether or not a spark is reflected in the image P. However, the machine learning method by the learning unit 64 described above may be applied to other techniques such as other image recognition techniques, speech recognition techniques, and natural language processing techniques.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
１…積層造形システム、３…造形物、１３…撮像部、１４…制御部、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｄ…外部記憶装置、１４ｅ…出力装置、１４ｆ…入力装置、２１…ノズル、６１…記憶部、６２…造形制御部、６３…画像処理部、６４…学習部、６５…推定部、６６…出力制御部、７２…データセット、７２ａ…評価用データ、７２ｂ…学習用データ、７２ｂｆ…不正解データ、７３…ＣＮＮ、７４…不正解リスト、８１…選択部、８２…順伝搬部、８３…逆伝搬部、８４…更新部、８５…第１の評価部、８６…第２の評価部、８７…評価出力部、９１…強度算出部、９２…判定部、Ｍ…材料、Ｅ…エネルギー線、Ｇ…シールドガス、Ｐ…画像、Ｐ１…非造形画像、Ｐ２…正常造形画像、Ｐ３…異常造形画像、Ｌ…ラベル、Ｙ…出力値。 1 ... Laminated modeling system, 3 ... Modeled object, 13 ... Imaging unit, 14 ... Control unit, 14a ... CPU, 14b ... ROM, 14c ... RAM, 14d ... External storage device, 14e ... Output device, 14f ... Input device, 21 ... nozzle, 61 ... storage unit, 62 ... modeling control unit, 63 ... image processing unit, 64 ... learning unit, 65 ... estimation unit, 66 ... output control unit, 72 ... data set, 72a ... evaluation data, 72b ... learning Data, 72bf ... Incorrect answer data, 73 ... CNN, 74 ... Incorrect answer list, 81 ... Selection section, 82 ... Forward propagation section, 83 ... Back propagation section, 84 ... Update section, 85 ... First evaluation section, 86 ... second evaluation unit, 87 ... evaluation output unit, 91 ... strength calculation unit, 92 ... judgment unit, M ... material, E ... energy ray, G ... shield gas, P ... image, P1 ... non-modeling image, P2 ... Normal modeling image, P3 ... Abnormal modeling image, L ... Label, Y ... Output value.
Claims (6)
前記ノズルを撮影し、当該ノズルが映された第２の画像を生成する、撮像部と、
前記第２の画像と、前記学習結果と、に基づき、前記第２の画像に火花が映っているか否かを推定する推定部と、
を具備する積層造形監視システム。 A plurality of first images in which nozzles are projected and a plurality of first images in which a powdery material of an object to be laminated is discharged and the material is melted or sintered by irradiating the material with energy rays. A learning unit that generates learning results by machine learning based on spark information that indicates whether or not sparks are reflected in
An image pickup unit that photographs the nozzle and generates a second image in which the nozzle is projected.
An estimation unit that estimates whether or not sparks are reflected in the second image based on the second image and the learning result.
Laminated modeling monitoring system equipped with.
前記火花確認強度に基づき、前記造形部を停止させることが可能な造形制御部と、
をさらに具備する請求項３の積層造形監視システム。 A modeling unit having the nozzle, ejecting the material from the nozzle, melting or sintering the material with the energy rays emitted from the nozzle, and laminating the object.
Based on the spark confirmation strength, the modeling control unit that can stop the modeling unit,
3. The laminated modeling monitoring system according to claim 3.
前記火花確認強度に基づき、前記造形部による積層造形のパラメータを変更する造形制御部と、
をさらに具備する請求項３の積層造形監視システム。 A modeling unit having the nozzle, ejecting the material from the nozzle, melting or sintering the material with the energy rays emitted from the nozzle, and laminating the object.
Based on the spark confirmation strength, a modeling control unit that changes the parameters of laminated modeling by the modeling unit, and
3. The laminated modeling monitoring system according to claim 3.
前記複数の第１の画像のそれぞれから出力情報を算出する算出部と、
前記複数の第１の画像に含まれる評価用画像から前記算出部が算出した前記出力情報と、前記火花情報と、に基づき前記出力情報が正解か不正解かを判定する第１の判定部と、
前記複数の第１の画像に含まれるとともに前記評価用画像と異なる学習用画像から前記算出部が算出した前記出力情報と、前記火花情報と、に基づき前記出力情報が正解か不正解かを判定する第２の判定部と、
前記第１の判定部の判定結果と、前記第２の判定部の判定結果と、を出力する出力部と、
前記学習用画像から前記算出部が算出した前記出力情報に基づき前記学習結果を変更する変更部と、
を有する、請求項１乃至請求項５のいずれか一つの積層造形監視システム。 The learning unit
A calculation unit that calculates output information from each of the plurality of first images,
A first determination unit that determines whether the output information is correct or incorrect based on the output information calculated by the calculation unit from the evaluation images included in the plurality of first images and the spark information. ,
It is determined whether the output information is correct or incorrect based on the output information included in the plurality of first images and calculated by the calculation unit from the learning image different from the evaluation image and the spark information. The second judgment unit to do
An output unit that outputs the determination result of the first determination unit and the determination result of the second determination unit.
A change unit that changes the learning result based on the output information calculated by the calculation unit from the learning image, and a change unit.
The laminated modeling monitoring system according to any one of claims 1 to 5.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019084304A JP7221777B2 (en) | 2019-04-25 | 2019-04-25 | Additive manufacturing monitoring system |
| US16/852,846 US11776072B2 (en) | 2019-04-25 | 2020-04-20 | Machine learning method, information processing device, computer program product, and additive manufacturing monitoring system |
| DE102020111128.2A DE102020111128A1 (en) | 2019-04-25 | 2020-04-23 | MACHINE LEARNING PROCESS, INFORMATION PROCESSING DEVICE, COMPUTER PROGRAM PRODUCT AND MONITORING SYSTEM FOR ADDITIVE MANUFACTURING |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019084304A JP7221777B2 (en) | 2019-04-25 | 2019-04-25 | Additive manufacturing monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020180342A true JP2020180342A (en) | 2020-11-05 |
| JP7221777B2 JP7221777B2 (en) | 2023-02-14 |
Family
ID=73024326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019084304A Active JP7221777B2 (en) | 2019-04-25 | 2019-04-25 | Additive manufacturing monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7221777B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022067408A (en) * | 2020-10-20 | 2022-05-06 | 石川県 | Molding state estimation system, method, computer program and method for learning learning model |
| JP2022121427A (en) * | 2020-10-20 | 2022-08-19 | 石川県 | Molding state estimation system, method, computer program and method for learning learning model |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09120455A (en) * | 1995-10-26 | 1997-05-06 | Meidensha Corp | Feature discriminating method using neural network |
| US8924314B2 (en) * | 2010-09-28 | 2014-12-30 | Ebay Inc. | Search result ranking using machine learning |
| JP2016502596A (en) * | 2012-11-01 | 2016-01-28 | ゼネラル・エレクトリック・カンパニイ | Additive manufacturing method and apparatus |
| WO2016075802A1 (en) * | 2014-11-14 | 2016-05-19 | 株式会社ニコン | Shaping device and shaping method |
| US20170087634A1 (en) * | 2015-09-30 | 2017-03-30 | General Electric Company | System and method for additive manufacturing process control |
| JP2017160482A (en) * | 2016-03-09 | 2017-09-14 | 株式会社松浦機械製作所 | Three-dimensional molding method |
| JP2018001184A (en) * | 2016-06-28 | 2018-01-11 | 株式会社日立製作所 | Welding monitoring system |
| JP2018035429A (en) * | 2016-09-02 | 2018-03-08 | パナソニックＩｐマネジメント株式会社 | Method for producing three-dimensional shaped article |
| US20180253645A1 (en) * | 2017-03-03 | 2018-09-06 | International Business Machines Corporation | Triage of training data for acceleration of large-scale machine learning |
| JP2018145526A (en) * | 2018-05-08 | 2018-09-20 | 三菱重工業株式会社 | Three-dimensional lamination device |
| WO2018212193A1 (en) * | 2017-05-16 | 2018-11-22 | 東芝機械株式会社 | Additive manufacturing device and additive manufacturing method |
| WO2019065605A1 (en) * | 2017-09-28 | 2019-04-04 | 大陽日酸株式会社 | Metal molding production apparatus and metal molding production method |
-
2019
- 2019-04-25 JP JP2019084304A patent/JP7221777B2/en active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09120455A (en) * | 1995-10-26 | 1997-05-06 | Meidensha Corp | Feature discriminating method using neural network |
| US8924314B2 (en) * | 2010-09-28 | 2014-12-30 | Ebay Inc. | Search result ranking using machine learning |
| JP2016502596A (en) * | 2012-11-01 | 2016-01-28 | ゼネラル・エレクトリック・カンパニイ | Additive manufacturing method and apparatus |
| WO2016075802A1 (en) * | 2014-11-14 | 2016-05-19 | 株式会社ニコン | Shaping device and shaping method |
| US20170087634A1 (en) * | 2015-09-30 | 2017-03-30 | General Electric Company | System and method for additive manufacturing process control |
| JP2017160482A (en) * | 2016-03-09 | 2017-09-14 | 株式会社松浦機械製作所 | Three-dimensional molding method |
| JP2018001184A (en) * | 2016-06-28 | 2018-01-11 | 株式会社日立製作所 | Welding monitoring system |
| JP2018035429A (en) * | 2016-09-02 | 2018-03-08 | パナソニックＩｐマネジメント株式会社 | Method for producing three-dimensional shaped article |
| US20180253645A1 (en) * | 2017-03-03 | 2018-09-06 | International Business Machines Corporation | Triage of training data for acceleration of large-scale machine learning |
| WO2018212193A1 (en) * | 2017-05-16 | 2018-11-22 | 東芝機械株式会社 | Additive manufacturing device and additive manufacturing method |
| WO2019065605A1 (en) * | 2017-09-28 | 2019-04-04 | 大陽日酸株式会社 | Metal molding production apparatus and metal molding production method |
| JP2018145526A (en) * | 2018-05-08 | 2018-09-20 | 三菱重工業株式会社 | Three-dimensional lamination device |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022067408A (en) * | 2020-10-20 | 2022-05-06 | 石川県 | Molding state estimation system, method, computer program and method for learning learning model |
| JP7082355B2 (en) | 2020-10-20 | 2022-06-08 | 石川県 | Modeling state estimation system, method, computer program, and learning method of learning model |
| JP2022121427A (en) * | 2020-10-20 | 2022-08-19 | 石川県 | Molding state estimation system, method, computer program and method for learning learning model |
| JP7165957B2 (en) | 2020-10-20 | 2022-11-07 | 石川県 | Modeling state estimation system, method, computer program, and learning method for learning model |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7221777B2 (en) | 2023-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102391125B1 (en) | Energy Density Mapping in Additive Manufacturing Environments | |
| JP2020069662A (en) | Laminate molding apparatus, laminate molding method, and program | |
| JP6843756B2 (en) | Equipment for manufacturing objects by laminated modeling | |
| JP6923268B2 (en) | Error detection method in molten pool monitoring system and addition manufacturing process | |
| JP2020519762A (en) | Method and system for quality assurance and control of additive manufacturing processes | |
| JP2020180342A (en) | Lamination molding monitoring system | |
| JP6921920B2 (en) | Error detection method in molten pool monitoring system and multi-laser addition manufacturing process | |
| US20190134911A1 (en) | Apparatus and methods for build surface mapping | |
| EP3170649A1 (en) | Three dimensional modeling apparatus, three dimensional modeling method, program, and storage medium | |
| US11796981B2 (en) | Parallelized fabrication using multi beam additive printing of subordinate files | |
| CN110732667B (en) | Method for molding object | |
| US11776072B2 (en) | Machine learning method, information processing device, computer program product, and additive manufacturing monitoring system | |
| US20180239336A1 (en) | Device for controlling additive manufacturing machinery | |
| JP7271295B2 (en) | Machine learning method, information processing device, and program | |
| JP2020143312A (en) | Calibration member for laminate molding device, laminate molding device, and laminate molding method | |
| CN116323083A (en) | Lamination shaping method, lamination shaping device and lamination shaping system | |
| KR102022020B1 (en) | Printing apparatus using acoustic levitation | |
| JP2021183715A (en) | Lamination molding system | |
| WO2024057496A1 (en) | Processing system, data structure, and processing method | |
| WO2021199930A1 (en) | Three-dimensional additive manufacturing device, control method, and program | |
| WO2023238319A1 (en) | Processing system and processing method | |
| KR20190098808A (en) | 3d printer being capable of slop laminating | |
| JP2021186830A (en) | Laser beam machine and method for selecting and replacing machining nozzle | |
| JP2021167462A (en) | Laminated molding system, program, and laminated molding method | |
| WO2021044747A1 (en) | Am device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7221777 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |