CN115280468A - 实验要点推荐装置、实验要点推荐方法及半导体装置制造*** - Google Patents
实验要点推荐装置、实验要点推荐方法及半导体装置制造*** Download PDFInfo
- Publication number
- CN115280468A CN115280468A CN202180004737.9A CN202180004737A CN115280468A CN 115280468 A CN115280468 A CN 115280468A CN 202180004737 A CN202180004737 A CN 202180004737A CN 115280468 A CN115280468 A CN 115280468A
- Authority
- CN
- China
- Prior art keywords
- experimental
- space
- control parameter
- machine learning
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000004065 semiconductor Substances 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000002474 experimental method Methods 0.000 title claims description 25
- 238000004519 manufacturing process Methods 0.000 title claims description 9
- 238000011156 evaluation Methods 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 73
- 238000010801 machine learning Methods 0.000 claims abstract description 42
- 238000009826 distribution Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims 2
- 238000013473 artificial intelligence Methods 0.000 description 45
- 238000004458 analytical method Methods 0.000 description 26
- 238000013076 uncertainty analysis Methods 0.000 description 15
- 238000005070 sampling Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000011165 process development Methods 0.000 description 7
- 230000010365 information processing Effects 0.000 description 5
- 238000003754 machining Methods 0.000 description 4
- 230000006378 damage Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
- H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Power Engineering (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Hardware Design (AREA)
- Manufacturing & Machinery (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computational Linguistics (AREA)
- Feedback Control In General (AREA)
- General Factory Administration (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephone Function (AREA)
- Apparatuses And Processes For Manufacturing Resistors (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
针对将半导体处理装置的控制参数作为输入并输出表现由半导体处理装置加工过的半导体样品的加工形状的形状参数的机器学习模型，推荐获得学习数据的实验要点。根据机器学习模型的学习所使用的学习数据的控制参数的值即特征量数据，评价每个控制参数对机器学习模型的预测的贡献度，基于将根据贡献度选定的控制参数作为轴展开的空间中的机器学习模型所进行的预测的稳定性评价、不确定性评价，来推荐实验要点。
Description
技术领域
本发明涉及有效地促进机器学习模型的学习的实验要点推荐装置、实验要点推荐方法及半导体装置制造***。
背景技术
在半导体工艺中根据合适的处理条件对半导体样品进行处理，由此可实施期望的半导体加工。近年来，导入构成器件的新材料，并且器件构造复杂化，半导体处理装置的控制范围扩大，追加了很多控制参数。工艺多步骤化，要实现微细且复杂的加工。为了使用半导体处理装置来生产高性能的器件(半导体装置)，需要进行导出合适的处理条件的工艺开发，该处理条件用以实现半导体样品的目标的加工形状。
为了充分地引出半导体处理装置的性能，很多控制参数的最优化是不可或缺的，其实现需要进行工艺开发的技术诀窍(know how)、较高的装置运用技能及处理试验的很多试错。因此，工艺开发需要进行大规模次数的处理试验。
专利文献1公开了：生成表示提供给半导体处理装置的加工条件与半导体处理装置的加工结果的关系的预测模型，使用预测模型来推断输出加工结果的目标值的条件。
在先技术文献
专利文献
专利文献1：日本特开2019-40984号公报
发明内容
-发明所要解决的技术问题-
为了适当地进行使用了预测模型的条件推断，要求预测模型的精度。为了提高预测模型的精度，需要使用很多学习数据来进行学习，因此，需要多次反复实施半导体处理装置的处理试验。处理试验的反复对工艺开发的费用、期间造成很大的影响，因此优选有效地提高预测模型的精度的学习数据的采集。
-用于解决技术问题的手段-
作为本发明的一实施方式的实验要点推荐装置，为了进行获得机器学习模型的学习数据的实验，推荐半导体处理装置所设定的控制参数的值的组合即实验要点，所述机器学习模型将半导体处理装置的控制参数设为输入，并输出表现由半导体处理装置加工过的半导体样品的加工形状的形状参数，该实验要点推荐装置具有：存储贡献度计算程序、稳定性计算程序、不确定性计算程序及实验要点推荐程序的存储装置；和执行从存储装置读出的程序的处理器，处理器执行贡献度计算程序，由此根据机器学习模型的学习所使用的学习数据的控制参数的值即特征量数据，来评价每个控制参数对机器学习模型的预测的贡献度，处理器执行稳定性计算程序，由此根据机器学习模型的预测是否因基于贡献度选定的控制参数的值的变更而产生异常的变化，来评价将选定的控制参数作为轴展开的第一空间中的机器学习模型所进行的预测的稳定性，处理器执行不确定性计算程序，由此基于将选定的控制参数作为轴展开的第二空间中的特征量数据的分布，来评价第二空间中的机器学习模型所进行的预测的不确定性，处理器执行实验要点推荐程序，由此基于所选定的控制参数的针对机器学习模型的预测的贡献度评价、稳定性评价及不确定性评价，来推荐实验要点。
-发明效果-
能够获得有效地促进机器学习模型的学习的学习数据。通过本说明书的描述及附图能够清楚其他课题与新的特征。
附图说明
图1是实验要点推荐***的***结构图。
图2是表示各信息处理装置所保持的用于实验要点推荐处理的程序及数据的图。
图3是实验要点推荐处理的流程图。
图4表示是实验要点数据的图。
图5是稳定性解析的处理流程。
图6A是用于说明稳定性解析的示意图。
图6B是稳定性解析处理中的步骤S14～S15的处理例。
图7是不确定性解析的处理流程。
图8是用于说明不确定性解析的示意图。
图9是实验要点推荐的处理流程。
图10是显示画面的示例。
图11A是XAI分析结果的显示例。
图11B是稳定性解析结果的显示例。
图11C是不确定性解析结果的显示例。
图12是实验要点选择图的示例。
具体实施方式
以下，参照附图来说明本发明的优选的实施方式。
图1表示实验要点推荐***的***结构图。以下，按照半导体器件的工艺开发中使用的例子来说明本***。在工艺开发中，关于对半导体样品进行处理的半导体处理装置，导出实现目标的加工形状的合适的处理条件。配方AI(Artificial Intelligence，人工智能)服务器10使用AI模型，预测在给定的处理条件(配方，recipe)下半导体处理装置对半导体样品进行处理而得的加工形状。AI模型是将半导体处理装置的控制参数作为输入，将表现由半导体处理装置加工过的半导体样品的加工形状的形状参数作为输出的机器学习模型。为了提高AI模型的精度，需要使用很多学习数据进行学习，其中该学习数据是控制参数与形状参数的组。因此，需要反复执行以下作业(以下称为实验)：改变提供给半导体处理装置的控制参数并进行半导体样品的加工，测量已被加工过的半导体样品的加工形状，来获得形状参数。在实验中，需要让半导体处理装置进行实际的加工，故花费时间及费用。因此，只要能够选择对提高AI模型的精度有效的控制参数作为进行实验的控制参数，就会与工艺开发所需的时间的缩短、费用的减少息息相关。然而，在工艺开发时进行调整的半导体处理装置的控制参数有很多，因此成为实验要点候补的控制参数的值的组合可以说存在无数个。实验要点推荐服务器20为了改善这种配方AI服务器10的AI模型的精度，对适当的控制参数的值的组合的确定加以支援。用户针对实验要点推荐服务器20推荐的控制参数的值的组合进行实验，使用所获得的学习数据持续进行AI模型的学习，由此能够加速AI模型的学习。
用户从用户终端30访问配方AI服务器10、实验要点推荐服务器20，执行AI模型的学习、用于获得AI模型的学习数据的实验要点的选择。如图1所示那样，配方AI服务器10、实验要点推荐服务器20、用户终端30能够经由网络40而相互连接。配方AI服务器10、实验要点推荐服务器20、用户终端30均为信息处理装置，硬件的基本结构是同样的，因此以下将用户终端30作为示例来说明。
用户终端30具备CPU(Central Processing Unit，中央处理器)31、存储器32、存储装置33、网络接口34、输入装置36和输出装置37，通过总线35来结合这些构件。通过作为键盘、指向设备的输入装置36和作为输出装置37的显示器，安装GUI(Graphical UserInterface，图形用户界面)，用户能够经由GUI交互地利用***。网络接口34是用于与网络40进行连接的接口。
存储装置33通常由HDD(Hard Disk Drive，硬盘驱动器)、SSD(Solid StateDrive，固态驱动器)等构成，存储用户终端30所执行的程序、程序作为处理对象的数据等。存储器32由RAM(Random Access Memory，随机存取存储器)构成，根据CPU31的命令，暂时地存储程序、程序的执行所需的数据等。CPU31执行从存储装置33装载到存储器32的程序。
用户终端30例如是PC(Personal Computer，个人计算机)或者平板电脑等。再者，在图1中，表示配方AI服务器10、实验要点推荐服务器20分别安装到不同的信息处理装置上的例子，但也可以安装到相同的信息处理装置上，还可以安装到云上。
图2中示出各信息处理装置的存储装置所保持的用于实验要点推荐处理的程序及数据，图3中表示实验要点推荐处理的流程。用户终端30的应用/GUI程序41进行如下处理：针对本***输入用户的指示、或者向用户提示***的处理结果。用户使用用户终端30的应用/GUI程序41来执行实验要点推荐处理。
配方AI服务器10使用学习数据进行AI模型51的学习(S01)。AI模型51被输入半导体处理装置的控制参数，预测并输出由设定了该控制参数的半导体处理装置加工过的半导体样品的形状参数。学习数据是控制参数与形状参数的组，学习数据的形状参数通过在实际的半导体处理装置设定该控制参数并使其对半导体样品进行加工而获得。
在本实施例中，将AI模型51的学习所使用的学习数据的控制参数的值(特征量数据52)利用于检索新的实验要点。步骤S01之后，配方AI服务器10向结束了学习的AI模型51输入学习中使用过的控制参数的值即特征量数据52，求取预测值数据53(S02)。
实验要点推荐服务器20所保持的XAI(Explainable AI，可解释AI)计算程序61是解释AI模型51根据何种证据而进行了该预测的程序。AI模型51的内里是黑盒，因此这样的话，并不知道获得预测的理由。XAI计算程序61计算表示针对预测结果的各输入的贡献度的贡献度数据65，以作为AI模型51达成这种预测的证据之一。作为进行这种计算的工具，公知有SHAP(Shapley Additive explanations)。实验要点推荐服务器20通过XAI计算程序61，针对预测值数据53，求取特征量数据52的各控制参数的贡献度数据65(S03)。
半导体处理装置的控制参数的数量极多。因此，根据贡献度数据65，选择对预测值贡献大的少量控制参数、即对加工形状造成大的变动的少量控制参数，来执行以下的处理。
为了选择获得对AI模型51的学习的促进有效的学习数据的实验要点，在本实施例中，从稳定性与不确定性这两个观点对实验要点加以评价。关于详细内容后述，但稳定性指的是预测值不会因控制参数的值的变更而产生异常的变化的现象(例如，预测形状未被破坏的现象)。再者，不确定性指的是AI模型的预测的精度低的现象。
实验要点推荐服务器20使用稳定性计算程序62，针对特征量数据52来求取稳定性评价数据66(S04)，使用不确定性计算程序63，针对特征量数据52来求取不确定性评价数据67(S05)。然后，使用实验要点推荐程序64，并基于贡献度数据65、稳定性评价数据66、不确定性评价数据67，推荐遵循用户的意向的、用于获得下一学习数据的实验要点(S06)。
图4中表示通过实验要点推荐处理获得的实验要点数据的示例。ID71是唯一地确定实验要点的ID。实验要点被定义为多个控制参数的值的组合，控制参数信息72包括名称72a、值72b、范围72c。值72b被设定为包含于范围72c。这些值或单位根据控制参数而不同。在此，例示功率[W]、流量[sccm]。贡献度评价信息73表示通过AI模型进行了针对实验要点的预测的情况下的各控制参数的贡献度，并由XAI计算程序61来计算。稳定性评价信息74、不确定性评价信息75是按每个实验要点分别解析稳定性(步骤S04)、解析不确定性(步骤S05)来求取的值。
图5表示稳定性解析(步骤S04)的处理流程。如上述，基于贡献度数据65将待调整的控制参数缩小范围(S11)。在此，设选择贡献度大的高位的两个控制参数，对在步骤S11中已被缩小范围的控制参数执行以下的针对特征量数据52的处理。
首先，对特征量数据52进行聚类(S12)，将群集的中心数据选择为初始要点(S13)。图6A表示用于说明稳定性解析的示意图。示出特征量数据52在将控制参数1和控制参数2作为轴而展开的特征量空间中被聚类的样子。在该示例中，形成三个群集C1～C3，示出各个群集中心Cc1～Cc3。在此，群集中心只要是代表群集的实验要点即可，群集中心的求取方法并未特别地加以限定。也可以将距群集中心最近的特征量数据设为群集中心。
接下来，随机地变更初始要点的控制参数的值(S14)，通过AI模型51进行预测(S15)。图6B表示步骤S14～S15的处理例。设在初始要点中预测的加工形状80为深度d的槽形状。通过变更控制参数的值，从而所预测的加工形状变化。例如，在预测要点1，可预测槽的深度变化成d’的加工形状81，在预测要点2可预测被破坏的加工形状82。
这样变更控制参数的值，在预测形状被破坏的情况下(S15中为是)，将预测要点(控制参数的值的组合)标注为危险区域(danger zone)的1点(S16)，在预测形状未被破坏的情况下(S15中为否)，再次随机地变更初始要点的控制参数的值(S14)，进行同样的处理，反复直到被标注为危险区域的预测要点变成足够的点数为止(S17)。一旦获得足够的点数，就近似地决定危险边界(danger boundary)(S18)。将危险边界的内部称为安全区域(safezone)。
图6A中示出：针对群集C1，关于步骤S14～S17中进行了基于AI模型51的形状预测的预测要点，将获得了无破坏的加工形状的预测要点和获得了被破坏的加工形状的预测要点加以区别后进行绘制(参照图6B)的样子。越远离群集中心Cc1，则获得被破坏的加工形状的可能性就越升高。因此，能够确定危险边界，以使得将获得了被破坏的加工形状的预测要点优势存在的区域(危险区域)和获得了无破坏的加工形状的预测要点优势存在的区域(安全区域)加以区分。另外，也可以设置与能获得被破坏的加工形状的频度的高低程度对应的多个危险边界。例如，与后述的不确定性解析同样地，在特征量空间中取大量的采样点，对将采样点作为中心的半径γ的圆内所包含的×绘制的点数进行计数。由此，能够把握特征量空间中的×绘制的密度并设置多个危险边界。
如果针对全部的群集决定了危险边界(S19中为是)，就结束稳定性解析(S20)。在结束时，将特征量空间中的危险边界的坐标(在求取了多个危险边界的情况下，多个危险边界各自的定义与坐标)作为稳定性评价数据66加以存储。或者，也可以将获得了被破坏的加工形状的预测要点的坐标作为稳定性评价数据66加以存储。
图7表示不确定性解析(步骤S05)的处理流程。不确定性是基于AI模型的预测的精度的评价。设为在将控制参数作为轴而展开的特征量空间中已经设有大量存在被用作为AI模型的学习数据的实验要点的第一区域、和几乎不存在被用作为AI模型的学习数据的实验要点的第二区域。如果新的实验要点被包含于第一区域，那么可以说AI模型的预测的精度高(不确定性低)，如果被包含于第二区域，那么可以说AI模型的预测的精度低(不确定性高)。
这样，在本实施例基于特征量空间中的实验要点的分布来判断不确定性，但为了评价分布状态，需要能定义空间中的距离。可是，控制参数的单位是各种各样的，并且控制参数能取的范围也是各种各样的，因此不能原样不变地使用控制参数的值。因此，为了评价实验要点的分布，使用基于通过XAI计算程序61计算的控制参数的贡献度的贡献度换算值(以下标记为XAI换算值)。以作为加工目标的形状参数为槽的深度的情况为例。在所预测出的加工形状中的槽的深度(形状参数)为10nm的槽并且控制参数1的贡献度为50％、控制参数2的贡献度为30％时，根据贡献度将槽的深度进行分配所得的值即为XAI换算值。该情况下，控制参数1的XAI换算值为5(＝10×0.5)nm，控制参数2的XAI换算值为3(＝10×0.3)nm。这样，即便是不同单位的控制参数，通过以作为比例尺度的XAI换算值进行评价，从而也能够妥当地评价特征量空间中的实验要点的分布。将利用XAI换算值统一了单位的特征量空间称为XAI空间。
首先，基于贡献度数据65将待调整的控制参数缩小范围(S31)。本步骤是和图5的步骤S11相同的处理，如图3那样，在比不确定性解析先进行稳定性解析的情况下，没有必要再次进行。
图8表示用于说明不确定性解析的示意图。示出特征量数据52分布于将控制参数1的值(XAI换算值)和控制参数2的值(XAI换算值)作为轴而展开的XAI空间中的样子。为了对XAI空间中的特征量数据52的分布进行评价，进行以下的处理。
在XAI空间上选择采样点(S32)。选择采样点，以使得在XAI空间中变得充分密。在XAI空间上可以随机地设定采样点，也可以规则地(例如，格子状地)设定采样点。对以采样点为中心的半径γ的圆内所包含的特征量数据的点数进行计数(S33)，将圆内所包含的特征量数据的点数标注为采样点的不确定性评价值(S34)。图8中显示将两个采样点Sp1、Sp2作为中心的半径γ的圆。该情况下，采样点Sp1的不确定性评价值为1，采样点Sp2的不确定性评价值为3。通过充分密地取采样点，从而能利用每个采样点的不确定性评价值来评价XAI空间中的特征量数据的分布状况。将该处理针对全部的采样点反复进行(S35)。
如果针对全部的采样点求取不确定性评价值(S35中为是)，就结束不确定性解析(S36)。在结束时，将XAI空间中的各采样点处的不确定性评价值作为不确定性评价数据67加以存储。
另外，以采样点为中心的半径γ的大小对不确定性评价的分辨率有影响。因此，也可以以不同的半径γ的大小求取采样点的不确定性评价值，使用以提供所希望的分辨率的半径γ求出的采样点的不确定性评价值，来进行以下的处理。
图9表示实验要点推荐(步骤S06)的处理流程。再者，图10中作为用户终端30所显示的GUI例，示出显示画面90。显示画面90包括与配方AI服务器10及实验要点推荐服务器20对应的GUI的两方。若在控制参数(配方)输入栏91设定控制参数的值的组合，则配方AI服务器10将所设定的控制参数的值的组合输入到AI模型51，并将所输出的形状参数图像化，显示于预测形状栏92。
实验要点推荐服务器20执行过的XAI分析(图3的步骤S03)、稳定性解析(图3的步骤S04)、不确定性解析(图3的步骤S05)的结果分别被显示于XAI分析结果显示栏93、稳定性解析结果显示栏95、不确定性解析结果显示栏97。实验要点推荐服务器20执行实验要点推荐程序64，由此使得用户易于理解结果地将贡献度数据65、稳定性评价数据66、不确定性评价数据67可视化，并显示于用户终端30所显示的显示画面90的各显示栏中(S41)。图10的示例以显示XAI空间中的特征量数据52的分布和根据各个结果来评价作为实验要点的妥当的指标的等高线的形式，来显示结果。进而，各显示栏的显示形式也可以设为在多种显示形式之间可变更。
图11A表示基于贡献度数据65的XAI分析结果94。显示利用控制参数1和控制参数2展开的XAI空间中的特征量数据52的分布和重要性指标的等高线。在XAI分析中，由于计算各控制参数对预测结果的贡献度，故可以说：越是XAI空间的左下的空间，则控制参数1和控制参数2对预测结果的重要性就越降低，越是右上的空间，则控制参数1和控制参数2对预测结果的重要性就越升高。因此，重要性指标的等高线变成右下行的线状。
作为XAI分析结果的显示形式，除此之外，也考虑按每个控制参数来显示针对特征量数据52计算出的贡献度的代表值(平均值，中央值等)的形式。
图11B中表示基于稳定性评价数据66的稳定性解析结果96。显示利用控制参数1和控制参数2展开的XAI空间中的特征量数据52的分布与稳定性指标的等高线。XAI空间中的稳定性指标的等高线是将特征量空间中的危险边界坐标变换为XAI空间并进行了映射的等高线。
作为稳定性解析结果的显示形式，也考虑显示特征量空间中的特征量数据52的分布和危险边界的形式。
图11C中表示基于不确定性评价数据67的不确定性解析结果98。显示利用控制参数1和控制参数2展开的XAI空间中的特征量数据52的分布和不确定性指标的等高线。基于各采样点处的不确定性评价值来描绘XAI空间中的不确定性指标的等高线。即，在XAI空间中描绘等高线，以使得被夹在两条等高线之间的采样点的不确定性评价值的值相等。
接下来，用户设定实验要点的不确定性评价范围(S42)。用户将值输入显示画面90的不确定性评价范围输入栏100，由此进行设定。认为无论不确定性指标过高还是过低，向AI模型的学习效果都会薄弱，因此使用户根据特征量数据52的分布状况来设定适当的范围。在***设定其他指标的范围。重要性指标选择进行了稳定性解析、不确定性解析的两个控制参数的贡献大的实验要点为宜。这是因为在控制参数的贡献小的区域，会担心不能获得AI模型的如预测那样的加工结果。再者，由于如果通过半导体处理装置将加工形状破坏，则得到的信息变得匮乏，故将能不会引起破坏地进行加工的控制参数的组合选择为实验要点为宜。因此，期望选择稳定性指标也高的值。当然，也可以用户能和不确定性指标同样地针对重要性指标、稳定性指标来设定范围。
实验要点推荐服务器20执行实验要点推荐程序64，由此在显示画面90显示实验要点选择图101(S43)。将实验要点选择图101示于图12中。实验要点选择图101在XAI空间上叠加显示了重要区域111、稳定区域112、以及具有步骤S42中所设定的不确定性评价范围的不确定区域113。根据XAI分析结果获得重要区域111，根据稳定性解析结果获得稳定区域112，根据不确定性解析结果获得不确定区域113。用户基于三个区域的重叠状况来选择实验要点(S44)。如果是图12的示例，那么在三个区域相互重叠的重叠区域114中选择实验要点，由此获得促进AI模型51的学习的学习数据的可能性较高。
步骤S44的实验要点的选择能通过针对显示画面90的实验要点选择图101所显示的XAI空间以光标102指定1点来进行(参照图10)。以光标102指定的位置处的值被显示于推荐控制参数显示栏103。另外，显示栏103的值既可以用XAI换算值来显示，也可以显示控制参数的值。
以上，依照实施例对本发明进行了说明，但能实施各种变形。例如，以在二维地显示的XAI空间上指定实验要点的示例进行了说明，但例如如果设为三维地显示XAI空间的GUI，那么能够选择将三个控制参数最优化的实验要点。另外，并不局限于通过显示于GUI的XAI空间来选择实验要点的方法，例如也可以是求取基于稳定性评价值和不确定性评价值的综合评分、提高综合评分地选择实验要点的方法。综合评分S例如能够确定为S＝a×(稳定性评价值)+b×(不确定性评价值)，其中，a、b为权重。
以上，作为说明过的实施例的实施方式，考虑在平台上执行对包括半导体处理装置的生产线进行运用管理的应用的半导体装置制造***。半导体处理装置经由网络而连接于平台，接受来自平台的控制。该情况下，将配方AI服务器10、实验要点推荐服务器20作为平台上的应用，执行各个处理，由此能够在半导体装置制造***中实施本实施例。
-附图标记说明-
10：配方AI服务器，11、21、31：CPU，12、22、32：存储器，13、23、33：存储装置，14、24、34：网络接口，15、25、35：总线，20：实验要点推荐服务器，30：用户终端，36：输入装置，37：输出装置，40：网络，41：应用/GUI程序，51：AI模型，52：特征量数据，53：预测值数据，61：XAI计算程序，62：稳定性计算程序，63：不确定性计算程序，64：实验要点推荐程序，65：贡献度数据，66：稳定性评价数据，67：不确定性评价数据，71：ID，72：控制参数信息，72a：名称，72b：值，72c：范围，73：贡献度评价信息，74：稳定性评价信息，75：不确定性评价信息，80、81、82：加工形状，90：显示画面，91：控制参数(配方)输入栏，92：预测形状栏，93：XAI分析结果显示栏，94：XAI分析结果，95：稳定性解析结果显示栏，96：稳定性解析结果，97：不确定性解析结果显示栏，98：不确定性解析结果，100：不确定性评价范围输入栏，101：实验要点选择图，102：光标，103：推荐控制参数显示栏，111：重要区域，112：稳定区域，113：不确定区域，114：重叠区域。
Claims (14)
1.一种实验要点推荐装置，为了进行获得机器学习模型的学习数据的实验，推荐半导体处理装置所设定的控制参数的值的组合即实验要点，其中所述机器学习模型将所述半导体处理装置的所述控制参数设为输入，并输出表现由所述半导体处理装置加工过的半导体样品的加工形状的形状参数，
所述实验要点推荐装置的特征在于，
具有：存储贡献度计算程序、稳定性计算程序、不确定性计算程序及实验要点推荐程序的存储装置；和
执行从所述存储装置读出的程序的处理器，
所述处理器执行所述贡献度计算程序，由此根据所述机器学习模型的学习所使用的学习数据的控制参数的值即特征量数据，来评价每个控制参数对所述机器学习模型的预测的贡献度，
所述处理器执行所述稳定性计算程序，由此根据所述机器学习模型的预测是否因基于所述贡献度选定的控制参数的值的变更而产生异常的变化，来评价将所选定的所述控制参数作为轴展开的第一空间中的所述机器学习模型所进行的预测的稳定性，
所述处理器执行所述不确定性计算程序，由此基于将所选定的所述控制参数作为轴展开的第二空间中的所述特征量数据的分布，来评价所述第二空间中的所述机器学习模型所进行的预测的不确定性，
所述处理器执行所述实验要点推荐程序，由此基于所选定的所述控制参数的针对所述机器学习模型的预测的贡献度评价、稳定性评价及不确定性评价，来推荐实验要点。
2.根据权利要求1所述的实验要点推荐装置，其特征在于，
在所述第二空间中，设为轴的所选定的所述控制参数的值的单位使用该控制参数的贡献度换算值，
所述贡献度换算值被计算为：基于控制参数的贡献度评价将所述机器学习模型预测出的形状参数的值进行分配所得的值。
3.根据权利要求2所述的实验要点推荐装置，其特征在于，
在所述第一空间中，设为轴的所选定的所述控制参数的值的单位使用该控制参数的单位，
所述处理器执行所述实验要点推荐程序，由此将所述第一空间中的所述机器学习模型所进行的预测的稳定性评价变换为所述第二空间中的所述机器学习模型所进行的预测的稳定性评价，在所述第二空间显示基于所述贡献度评价的重要区域、基于所述稳定性评价的稳定区域及基于所述不确定性评价的不确定区域。
4.根据权利要求3所述的实验要点推荐装置，其特征在于，
所述不确定区域是所述不确定性评价被包含于用户所指定的所述不确定性评价的范围内的区域。
5.根据权利要求3所述的实验要点推荐装置，其特征在于，
将显示有所述重要区域、所述稳定区域及所述不确定区域的所述第二空间显示在用户终端上，
所述处理器执行所述实验要点推荐程序，由此将由所述用户在所述用户终端所显示的所述第二空间指定的点确定为实验要点。
6.根据权利要求2所述的实验要点推荐装置，其特征在于，
在所述第一空间中，设为轴的所选定的所述控制参数的值的单位使用该控制参数的单位，
所述处理器执行所述实验要点推荐程序，由此将所述第一空间中的所述机器学习模型所进行的预测的稳定性评价变换为所述第二空间中的所述机器学习模型所进行的预测的稳定性评价，求取基于所述第二空间中的所述稳定性评价的值及所述不确定性的值的综合评分，基于所述综合评分来确定实验要点。
7.一种实验要点推荐方法，为了进行获得机器学习模型的学习数据的实验，推荐半导体处理装置所设定的控制参数的值的组合即实验要点，所述机器学习模型将所述半导体处理装置的所述控制参数设为输入，并输出表现由所述半导体处理装置加工过的半导体样品的加工形状的形状参数，
所述实验要点推荐方法的特征在于，具有：
第一步骤，根据所述机器学习模型的学习所使用的学习数据的控制参数的值即特征量数据，来评价每个控制参数对所述机器学习模型的预测的贡献度；
第二步骤，根据所述机器学习模型的预测是否因基于所述贡献度选定的控制参数的值的变更而产生异常的变化，来评价将所选定的所述控制参数作为轴展开的第一空间中的所述机器学习模型所进行的预测的稳定性；
第三步骤，基于将所选定的所述控制参数作为轴展开的第二空间中的所述特征量数据的分布，来评价所述第二空间中的所述机器学习模型所进行的预测的不确定性；以及
第四步骤，基于所选定的所述控制参数的针对所述机器学习模型的预测的贡献度评价、稳定性评价及不确定性评价，来推荐实验要点。
8.根据权利要求7所述的实验要点推荐方法，其特征在于，
在所述第二空间中，设为轴的所选定的所述控制参数的值的单位使用该控制参数的贡献度换算值，
所述贡献度换算值被计算为：基于控制参数的贡献度评价将所述机器学习模型预测出的形状参数的值进行分配所得的值。
9.根据权利要求8所述的实验要点推荐方法，其特征在于，
在所述第一空间中，设为轴的所选定的所述控制参数的值的单位使用该控制参数的单位，
在所述第四步骤中，将所述第一空间中的所述机器学习模型所进行的预测的稳定性评价变换为所述第二空间中的所述机器学习模型所进行的预测的稳定性评价，在所述第二空间显示基于所述贡献度评价的重要区域、基于所述稳定性评价的稳定区域及基于所述不确定性评价的不确定区域。
10.根据权利要求9所述的实验要点推荐方法，其特征在于，
所述不确定区域是所述不确定性评价被包含于用户所指定的所述不确定性评价的范围内的区域。
11.根据权利要求9所述的实验要点推荐方法，其特征在于，
将显示有所述重要区域、所述稳定区域及所述不确定区域的所述第二空间显示在用户终端上，
在所述第四步骤中，将由所述用户在所述用户终端所显示的所述第二空间指定的点确定为实验要点。
12.根据权利要求8所述的实验要点推荐方法，其特征在于，
在所述第一空间中，设为轴的所选定的所述控制参数的值的单位使用该控制参数的单位，
在所述第四步骤中，将所述第一空间中的所述机器学习模型所进行的预测的稳定性评价变换为所述第二空间中的所述机器学习模型所进行的预测的稳定性评价，求取基于所述第二空间中的所述稳定性评价的值及所述不确定性的值的综合评分，基于所述综合评分来确定实验要点。
13.一种半导体装置制造***，具备：半导体处理装置；和经由网络与所述半导体处理装置连接并执行实验要点推荐处理的平台，
所述半导体装置制造***的特征在于，
所述实验要点推荐处理为了进行获得机器学习模型的学习数据的实验，推荐半导体处理装置所设定的控制参数的值的组合即实验要点，其中所述机器学习模型将所述半导体处理装置的所述控制参数设为输入，并输出表现由所述半导体处理装置加工过的半导体样品的加工形状的形状参数，
所述实验要点推荐处理具有如下步骤：
根据所述机器学习模型的学习所使用的学习数据的控制参数的值即特征量数据，来评价每个控制参数对所述机器学习模型的预测的贡献度；
根据所述机器学习模型的预测是否因基于所述贡献度选定的控制参数的值的变更而产生异常的变化，来评价将所选定的所述控制参数作为轴展开的第一空间中的所述机器学习模型所进行的预测的稳定性；
基于将所选定的所述控制参数作为轴展开的第二空间中的所述特征量数据的分布，来评价所述第二空间中的所述机器学习模型所进行的预测的不确定性；
基于所选定的所述控制参数的针对所述机器学习模型的预测的贡献度评价、稳定性评价及不确定性评价，来推荐实验要点。
14.根据权利要求13所述的半导体装置制造***，其特征在于，
将所述实验要点推荐处理作为所述平台所具备的应用来执行。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/007716 WO2022185380A1 (ja) | 2021-03-01 | 2021-03-01 | 実験ポイント推薦装置、実験ポイント推薦方法及び半導体装置製造システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115280468A true CN115280468A (zh) | 2022-11-01 |
Family
ID=83153979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180004737.9A Pending CN115280468A (zh) | 2021-03-01 | 2021-03-01 | 实验要点推荐装置、实验要点推荐方法及半导体装置制造*** |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20240054385A1 (zh) |
| JP (1) | JP7204017B1 (zh) |
| KR (1) | KR20220125208A (zh) |
| CN (1) | CN115280468A (zh) |
| TW (1) | TWI802294B (zh) |
| WO (1) | WO2022185380A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024072948A1 (en) * | 2022-09-30 | 2024-04-04 | Lam Research Corporation | Optimization of fabrication processes |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4663808B2 (ja) * | 2009-04-16 | 2011-04-06 | シャープ株式会社 | プロセスパラメータ選択装置、プロセスパラメータ選択方法、プロセスパラメータ選択プログラム、プログラム記録媒体、および、上記プロセスパラメータ選択装置を含む製造工程管理装置 |
| JP2011071296A (ja) * | 2009-09-25 | 2011-04-07 | Sharp Corp | 特性予測装置、特性予測方法、特性予測プログラムおよびプログラム記録媒体 |
| KR102521159B1 (ko) * | 2014-11-25 | 2023-04-13 | 피디에프 솔루션즈, 인코포레이티드 | 반도체 제조 공정을 위한 개선된 공정 제어 기술 |
| US11580375B2 (en) * | 2015-12-31 | 2023-02-14 | Kla-Tencor Corp. | Accelerated training of a machine learning based model for semiconductor applications |
| JP6608344B2 (ja) * | 2016-09-21 | 2019-11-20 | 株式会社日立製作所 | 探索装置および探索方法 |
| CN107369635B (zh) * | 2017-06-06 | 2020-06-09 | 上海集成电路研发中心有限公司 | 一种基于深度学习的智能半导体装备*** |
| JP6778666B2 (ja) | 2017-08-24 | 2020-11-04 | 株式会社日立製作所 | 探索装置及び探索方法 |
| KR20210082247A (ko) * | 2018-11-30 | 2021-07-02 | 에이에스엠엘 네델란즈 비.브이. | 기계 학습 모델 예측 내의 불확실성을 감소시키기 위한 방법. |
| US20200027021A1 (en) * | 2019-09-27 | 2020-01-23 | Kumara Sastry | Reinforcement learning for multi-domain problems |
-
2021
- 2021-03-01 KR KR1020227003179A patent/KR20220125208A/ko unknown
- 2021-03-01 US US17/641,214 patent/US20240054385A1/en active Pending
- 2021-03-01 JP JP2021576616A patent/JP7204017B1/ja active Active
- 2021-03-01 WO PCT/JP2021/007716 patent/WO2022185380A1/ja active Application Filing
- 2021-03-01 CN CN202180004737.9A patent/CN115280468A/zh active Pending
-
2022
- 2022-02-24 TW TW111106746A patent/TWI802294B/zh active
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220125208A (ko) | 2022-09-14 |
| JPWO2022185380A1 (zh) | 2022-09-09 |
| WO2022185380A1 (ja) | 2022-09-09 |
| TWI802294B (zh) | 2023-05-11 |
| TW202236373A (zh) | 2022-09-16 |
| US20240054385A1 (en) | 2024-02-15 |
| JP7204017B1 (ja) | 2023-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11619926B2 (en) | Information processing device, program, process treatment executing device, and information processing system | |
| US10909288B2 (en) | Techniques for applying generative design to the configuration of mechanical assemblies | |
| EP2827240A1 (en) | Method for generating control-code by a control-code-diagram | |
| JP4852420B2 (ja) | 成型技術における工具およびプロセスの設計 | |
| CN111797998A (zh) | 生成机器学习样本的组合特征的方法及*** | |
| JP2006277166A (ja) | ３次元形状比較プログラム及び３次元類似形状検索プログラム | |
| Mandelli et al. | Dynamic PRA: an overview of new algorithms to generate, analyze and visualize data | |
| JP4648386B2 (ja) | 設計支援装置、設計支援方法、設計支援プログラム | |
| CN115280468A (zh) | 实验要点推荐装置、实验要点推荐方法及半导体装置制造*** | |
| Duan et al. | Transforming industry: Investigating 4.0 technologies for sustainable product evolution in china through a novel fuzzy three-way decision-making process | |
| US7739083B2 (en) | Program and/or method for calculating tuning parameters for numerical computation library | |
| JP2017049639A (ja) | 評価プログラム、手順書評価方法、および評価装置 | |
| GB2354096A (en) | Obtaining design parameters for satisfying multiple constraints and/or optimizing multiple objective functions | |
| CN111382925A (zh) | 生产实绩数据分析装置 | |
| US20220374801A1 (en) | Plan evaluation apparatus and plan evaluation method | |
| CN113887121A (zh) | 多性能最优化设计装置、以及多性能最优化设计方法 | |
| Arciszewski et al. | Inductive learning: the user's perspective | |
| Chen et al. | Physics-guided high-value data sampling method for predicting milling stability with limited experimental data | |
| JP2022039754A (ja) | 並列処理設計装置、及び並列処理設計方法 | |
| CN118051780B (zh) | 智能体的训练方法、交互方法及相应*** | |
| RU2813110C1 (ru) | Способ и система автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения | |
| CN112000856A (zh) | 因果关系的确定方法、装置、设备及可读存储介质 | |
| US20180182047A1 (en) | Operation support apparatus, operation support system, and information processing apparatus | |
| WO2023199413A1 (ja) | 機械学習プログラム、機械学習方法および情報処理装置 | |
| CN114740980B (zh) | 一种基于认知过程和状态的人机交互模式设计方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |