CN117881973A - 用于多维动态零件平均测试的***和方法 - Google Patents

用于多维动态零件平均测试的***和方法 Download PDF

Info

Publication number
CN117881973A
CN117881973A CN202280058761.5A CN202280058761A CN117881973A CN 117881973 A CN117881973 A CN 117881973A CN 202280058761 A CN202280058761 A CN 202280058761A CN 117881973 A CN117881973 A CN 117881973A
Authority
CN
China
Prior art keywords
test
average
calculating
multivariate
median
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280058761.5A
Other languages
English (en)
Inventor
肯尼思·巴特勒
伊拉·利文撒尔
康斯坦丁诺斯·赞西普洛斯
艾伦·哈特
布瑞恩·布拉斯
基思·绍布
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advantest Corp
Original Assignee
Advantest Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advantest Corp filed Critical Advantest Corp
Publication of CN117881973A publication Critical patent/CN117881973A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/26—Testing of individual semiconductor devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/2851—Testing of integrated circuits [IC]
    • G01R31/2894—Aspects of quality control [QC]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/01—Subjecting similar articles in turn to test, e.g. "go/no-go" tests in mass production; Testing objects at points as they pass through a testing station
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/26—Testing of individual semiconductor devices
    • G01R31/2601—Apparatus or methods therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/317—Testing of digital circuits
    • G01R31/31718—Logistic aspects, e.g. binning, selection, sorting of devices under test, tester/handler interaction networks, Test management software, e.g. software for test statistics or test evaluation, yield analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)
  • Complex Calculations (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

本发明的实施例提供了根据本发明实施例的用于测试设备并且分析测试结果以检测离群值的多维零件平均测试的***和方法。例如，该测试可以包括使用类似设备的增量测量值、测量值比率、或识别特征向量和特征值以定义元参数的主成分分析来计算多元变量(例如，双变量)统计。可以将原始测试结果数据转换到残差空间，并且可以执行鲁棒回归以防止离群值结果影响回归，从而有利地减少过度杀灭。

Description

用于多维动态零件平均测试的***和方法
技术领域
本发明的实施例大体上涉及设备测试领域。更具体地，本发明的实施例涉及用于零件平均测试的方法和***。
背景技术
通常对被测设备或装备(例如，DUT)进行测试以在销售该设备之前确定该设备的性能和一致性。可以使用多种测试用例来测试设备，并且将测试用例的结果与预期输出结果进行比较。当测试用例的结果与预期输出值不匹配时，可以将设备视为未通过的设备或离群值，并且可以基于性能等对设备进行分箱(bin)。
通常由自动或自动化测试装备(ATE)来测试DUT，自动或自动化测试装备(ATE)可以用于使用软件和自动化来进行复杂的测试以提高测试效率。DUT可以是任何类型的半导体器件、晶圆、或旨在被集成到最终产品(例如计算机或其他电子设备)中的组件。通过在制造中使用ATE来去除有缺陷的或不令人满意的芯片，可以显著提高产出的质量。
汽车设备领域的测试因子存在附加安全考虑；在一些情况下，使用零容差法测试汽车设备。零件平均测试(PAT)是一种基于统计分析的设备测试，该统计分析识别具有与同一批次、晶圆或子晶圆邻域中的其他零件显著不同的特性的零件(例如，晶圆或管芯)。这些零件之间的差异可以表明哪些零件预期未通过(例如，超出可接受限值)。一般而言，零件平均测试收集来自先前测试零件的数据并且将先前测量值的平均数(或中位数)与当前零件进行比较。如果当前零件的测量值在某个范围之外，则该零件被声明为离群值。例如，该范围可以基于距均值的标准偏差的数量或基于四分位距值的计算。
遗憾的是，这些用于零件平均测试的常规方法限于使用单变量统计方法在个体测试参数上使用。此外，用于为零件平均测试设置限值的当前方法在某种程度上是简单的，并且可能导致大于期望的过度杀灭。
发明内容
所需要的是一种设备测试的多元变量方法，该多元变量方法在检测离群值单元以及限制过度杀灭和逃避方面胜过单变量方法。相应地，本发明的实施例提供了根据本发明实施例的用于测试设备并且分析测试结果以检测离群值的多维零件平均测试的***和方法。例如，该测试可以包括：使用类似设备的增量测量值、测量值比率、或识别特征向量和特征值以定义元参数的主成分分析来计算多元变量(例如，双变量)统计。
根据一个实施例，公开了一种动态零件平均测试的方法。该方法包括：基于历史测试结果数据确定测试限值；根据测试限值测试多个设备以获得测试结果；使用测试结果计算多元变量统计；计算多元变量统计的平均数或中位数值；计算多元变量统计和平均数或中位数多元变量值之间的差值；基于平均数或中位数值更新测试限值以产生更新的测试限值；以及基于平均数或中位数值和更新的测试限值识别多个设备的离群值。
根据一些实施例，该方法包括：通过执行以下各项中的至少一项来确定用于测试的重要测量值：主成分分析(PCA)、独立成分分析(ICA)、自动编码、机器学习、或识别重要因素的其他类似的分析方法。
根据一些实施例，使用测试结果计算多元变量统计包括以下各项中的至少一项：形成对、形成比率、以及形成增量。
根据一些实施例，使用测试结果计算多元变量统计包括：根据结果类型对测试结果进行聚类。
根据一些实施例，该方法包括：使用非线性非单调变换将平均数或中位数值转换到残差空间以放大离群值结果。
根据一些实施例，该方法包括：在基于平均数或中位数值更新测试限值之前去除离群值结果。
根据一些实施例，该方法包括：在基于平均数或中位数值更新测试限值之前执行重加权最小二乘回归。
根据另一实施例，公开了一种用于执行动态零件平均测试的装置。该装置包括处理器和与该处理器通信的用于存储测试数据和指令的存储器，该处理器执行指令以执行多元变量(或多维)零件平均测试的方法，该方法包括：基于历史测试结果数据确定测试限值；根据测试限值测试多个设备以获得测试结果；使用测试结果计算多元变量统计；计算多元变量统计的平均数或中位数值；计算多元变量统计和平均数或中位数多元变量值之间的差值；基于平均数或中位数值更新测试限值以产生更新的测试限值；以及基于平均数或中位数值和更新的测试限值识别多个设备的离群值。
根据一些实施例，该方法包括：通过执行以下各项中的至少一项来确定用于测试的重要测量值：主成分分析(PCA)、独立成分分析(ICA)、自动编码、机器学习、或识别重要因素的其他类似的分析方法。
根据一些实施例，使用测试结果计算多元变量统计包括以下各项中的至少一项：形成双变量对、形成双变量比率、以及形成双变量增量。
根据一些实施例，使用测试结果计算多元变量统计包括：根据结果类型对测试结果进行聚类。
根据一些实施例，该方法包括：使用非线性非单调变换将平均数或中位数值转换到残差空间以放大离群值结果。
根据一些实施例，该方法包括：在基于平均数或中位数值更新测试限值之前去除离群值结果。
根据一些实施例，该方法包括：在基于平均数或中位数值更新测试限值之前执行重加权最小二乘回归。
根据另一实施例，一种或多种非暂态计算机可读介质，其上存储有程序指令，这些程序指令可由一个或多个处理器执行的以实现一种方法，该方法包括：基于历史测试结果数据确定测试限值；根据测试限值测试多个设备以获得测试结果；使用测试结果计算多元变量统计；计算多元变量统计的平均数或中位数值；基于平均数或中位数值更新测试限值以产生更新的测试限值；以及基于平均数或中位数值和更新的测试限值识别多个设备的离群值。
根据一些实施例，该方法包括：通过执行以下各项中的至少一项来确定用于测试的重要测量值：主成分分析(PCA)、独立成分分析(ICA)、自动编码、机器学习、或识别重要因素的其他类似的分析方法。
根据一些实施例，使用测试结果计算多元变量统计包括以下各项中的至少一项：形成对、形成比率、以及形成增量。
根据一些实施例，使用测试结果计算多元变量统计包括：根据结果类型对测试结果进行聚类。
根据一些实施例，该方法包括：使用非线性非单调变换将平均数或中位数值转换到残差空间以放大离群值结果。
根据一些实施例，该方法包括：访问e-测试数据或在另一制造步骤期间产生的数据。
附图说明
附图被并入到本说明书中并且形成本说明书的一部分，附图示出了本发明的实施例，并且与说明书一起用于解释本发明的原理：
图1是示例性单变量静态PAT过程的框图和数据流程图。
图2是根据本发明实施例的示例性单变量PAT过程的框图和数据流程图，该示例性单变量PAT过程根据累积的测试数据动态地更新PAT限值。
图3是根据本发明实施例的示例性多元变量PAT过程的流程图，该示例性多元变量PAT过程使用多元变量统计计算根据累积的测试数据动态地更新PAT限值。
图4描绘了根据本发明实施例的在执行到残差空间的变换之前和之后示出的示例性PAT结果。
图5描绘了根据本发明实施例的在执行鲁棒数据回归之前和之后使用多元变量统计计算产生的示例性PAT结果。
图6是描绘计算机控制过程的计算机实现的步骤的示例性序列的流程图，该计算机控制过程用于使用多元变量统计计算和动态PAT来自动测试设备以检测离群值设备。
图7描述了可以在其上实现本发明实施例的示例性计算机平台。
具体实施方式
现在将详细参考若干实施例。虽然将结合替代实施例描述主题，但是应当理解，它们不旨在将所要求保护的主题限于这些实施例。相反，所要求保护的主题旨在覆盖可以被包括在由所附权利要求限定的所要求保护的主题的精神和范围内的替换、修改和等同。
此外，在以下详细描述中，阐述了许多具体细节以便提供对所要求保护的主题的透彻理解。然而，本领域的技术人员将认识到，可以在没有这些具体细节的情况下或利用其等同物来实践实施例。在其他情况下，尚未详细地描述众所周知的方法、过程、组件和电路，以免不必要地模糊本主题的各方面和特征。
下面的详细描述部分是关于方法来呈现和讨论的。虽然在描述该方法的操作的本文附图(例如，图6)中公开了步骤和其排序，但是这些步骤和排序是示例性的。实施例非常适合于以不同于本文所描绘和描述的顺序来执行本文附图的流程图中所记载的各种其他步骤或步骤的变型。
详细描述的一些部分以程序、步骤、逻辑块、处理以及可以在计算机存储器上执行的对数据位的操作的其他符号表示来呈现。这些描述和表示是数据处理领域的技术人员用来最有效地将其工作的实质传达给本领域的其他技术人员的手段。程序、计算机执行的步骤、逻辑块、进程等在本文一般被设想为导致期望结果的步骤或指令的自洽序列。这些步骤是要求对物理量进行物理操纵的步骤。这些量通常但不一定采取能够在计算机***中被存储、传递、组合、比较和以其他方式操纵的电或磁信号的形式。主要为了常见用法的原因，将这些信号称作位、值、元素、符号、字符、项、数字、参数等，已经证明有时是便利的。
然而，应该记住，所有这些和类似的术语将与适当的物理量相关联并且仅仅是应用于这些量的方便标签。除非另有特别说明，否则如从以下讨论中显而易见的是，应当理解，在整个讨论中，使用诸如“访问”、“写入”、“包括”、“存储”、“传输”、“关联”、“识别”、“编码”、“标记”之类的术语的讨论指的是计算机***或类似的电子计算设备的动作和过程，这些动作和过程将计算机***寄存器和存储器内表示为物理(电子)量的数据操纵和/或变换为在计算机***存储器或寄存器或其他此类信息存储、传输或显示设备内类似地被表示为物理量的其他数据。
可以在由一个或多个计算机或其他设备执行的计算机可执行指令(例如程序模块等)的一般上下文中描述一些实施例。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、算法、程序、对象、组件、数据结构等。通常，程序模块的功能可以在各种实施例中按需组合或分布。
用于多维动态零件平均测试的***和方法
本发明的实施例提供了根据本发明实施例的用于测试设备并且分析测试结果以检测离群值的多维零件平均测试的***和方法。例如，该测试可以包括：使用类似设备的增量测量值、测量值的比率、或识别特征向量和特征值以定义元参数的主成分分析来计算多元变量(例如，双变量)统计。
零件平均测试(PAT)传统上使用特定测试参数的在处理一组材料之前设置的固定离群值限值。例如，测试参数可以基于历史测试数据的四分位距值的计算。以此方式，可以识别具有与同一批次中的其他零件的正态分布显著不同的特性的零件(例如，晶圆、管芯、材料、设备)。这些零件之间的差异可以表明哪些零件预期未通过。动态PAT(DPAT)可以用于提供非固定限值，当新的测试结果变得可用时，可以随时间自动更新这些非固定限值。
图1是描绘示例性计算机实现的过程100的流程图，该示例性计算机实现的过程100用于基于历史测试数据105确定静态PAT限值并且执行零件平均测试(PAT)。如图1所示，历史测试数据105用于建立静态PAT限值110。然后使用静态PAT筛选120测试设备(例如，设备115)以确定它们是通过还是未通过静态PAT限值。可以基于其性能对未通过的设备进行分箱。
图2描绘了根据本发明实施例的封装产品的示例性DPAT测试过程200，该示例性DPAT测试过程200在单元被测试时动态地计算和调整PAT限值。如图2所示，一旦执行了足够次数的测试，就基于累积的测试数据动态地建立PAT限值。使用预定义的PAT限值来执行批次启动阶段205，并且在测试分析阶段215期间基于在测试阶段210期间累积的测试数据调整PAT限值。虽然动态PAT是零件平均测试的有效方法，但是测试结果的分析通常仅采用单变量统计方法，单变量统计方法限于用在根据汽车电子委员会(AEC)标准定义的个体测试参数上。此外，当根据AEC标准执行时，现有的PAT方法经常导致大于期望的过度杀灭。
相应地，本发明的实施例可以使用一个统计度量中的多个参数(例如双变量参数)来筛选设备。在一些实施例中，组合两个泄漏测量值以筛选落在筛选过程的预定义限值之外的设备。一些实施例使用任何维数(二维或更大)的多元变量统计来执行筛选过程。本发明的实施例可以执行用于筛选多个设备的并行执行，并且可以基于历史测试数据实现鲁棒统计。执行筛选的测试装备的用户(例如，作者或管理员)可以使用n个筛选参数来指示哪些测试测量值旨在用于筛选的目的。测试结果的数量用于计算离群值结果的数量y。
图3示出了根据本发明实施例的用于测试设备并且分析测试结果的示例性多维零件平均测试过程300。测试过程300包括批次开始阶段305、测试执行阶段310、和测试后执行阶段315。可以使用一个统计度量中的多个参数来筛选DUT。例如，筛选可以包括：使用类似设备的增量测量值、测量值比率、或识别特征向量和特征值以定义元参数的主成分分析来计算双变量统计。
在测试之前执行批次开始阶段305以确定测试程序的初始限值。批次开始阶段305可以包括：预取所存储的历史数据和其他相关信息以为每个筛选测量值进行限值计算。历史数据可以在测试***中本地存储、或从本地或远程数据库或主机中取回。历史数据可以包括来自同一设备的已经被测试的其他制造批次的数据、在较早时间执行的同一批次的测试***数据、或这两者的任何组合。来自晶圆测试的探测阶段的数据可以用于在晶圆被切割之后建立封装测试的初始测试限值。历史数据还可以包括在晶圆制造期间收集的来自e-测试或参数测试的测试数据、或在生产设备(尤其是在生产期间为了跟踪的目的材料被串行化的情况下)时获得的其他数据。也可以在批次开始阶段305期间由用户手动提供固定测试限值。
测试执行阶段310包括PAT参数的收集和被测设备的测试程序执行。在测试期间确定离群值状态的一个示例性过程中，针对按类型(例如，电流、电压、频率等)分类的所有测量值或测量值集群形成双变量对、比率、增量等，并且针对每个双变量对计算中位数和残差。在测试期间累积的新的测量值可以用于在测试期间更新测试限值，并且可以使用聚集的双变量结果来确定离群值状态。在测试执行阶段310期间可以可选地执行鲁棒回归(例如，重加权最小二乘)以在使用测试结果更新测试限值之前从每个双变量对中丢弃可能的离群值。
根据一些实施例，多维零件平均测试过程300包括将DUT与一组先前测试的设备的签名进行比较。使用根据具有与DUT的签名最匹配的签名的批次(例如，最相似的晶圆或批次)建立的参数来测试DUT。
根据一些实施例，根据针对同一批次执行的先前测试次数(例如，50或100次测试)来确定基线测试限值。一种方法是确定先前测量值的中位数以估计下一个DUT(例如，管芯)的参数值。计算DUT结果和中位数值之间的差(“残差”)。当残差的值与基线相比显著时，可以将DUT确定为离群值(未通过)。
为更新测试限值而向前馈送的数据可以用于为经受测试过程的材料的不同物理部分建立单独的限值。例如，通常在晶圆上的有限个位置上收集的e-测试数据可以用于调整应用于来自晶圆的同一部分的新材料的限值。可以基于材料来自晶圆的哪个区域来应用不同的限值。例如，这些区域可以被定义为半径或四分位数。晶圆上的标线拍摄可以被跟踪并且用于确定哪个标线拍摄用于基线中的每个单元。例如，可以根据对每个单元使用哪个标线拍摄来设置限值。在另一示例中，根据单元在标线内的位置(例如2×2标线拍摄的左上方的位置)来比较单元。
在测试程序中执行筛选测量之后，使用这些测量值来执行筛选计算。例如，可以在单个调用中将测量数据传递到筛选计算机***(与执行每个测试时的单独的调用相反)，从而节省通信开销。针对任意两个参数的所有(n)(n-1)个组合计算双变量统计。例如，双变量统计可以包括比率(ni/nj)或增量(ni-nj)或适于离群值筛选的两个参数的任何其他组合。对于参数的每个组合，通过使用先前的y个双变量度量来计算中位数统计。中位数统计然后成为当前感兴趣的设备/管芯的期望值。
在测试执行310之后执行测试后执行阶段315以分析来自一个或多个最近测试的批次的结果。该阶段可以包括：识别测量趋势和识别可能偏离控制的材料，在这种情况下，测试***可以产生通知和/或自动停止测试材料流中的设备。根据一些实施例，在质量增强测试期间提供附加的功能监控层。例如，可以在所有正在被测试的设备上维持和聚集所有测量和测试结果数据，并且可以分析聚集的数据以识别趋势。如果识别出指示质量偏移可能性的趋势，则测试***可进行干预。
聚集和干预的时间段可以变化。在一个示例中，该时间段限于测试单批材料的持续时间，并且立即进行干预。在这种情况下，测试停止并且诊断过程开始。在另一示例中，持续时间可以被延长超过单批材料的测试，并且干预可以是对在多批材料中检测到的趋势的负责方的通知(例如，消息、电子邮件、或其他指示)，并且生产可以被停止或动态地修改。以此方式，通过使用DPAT统计来监视聚集的结果和趋势，DPAT统计的功能被扩展超过单个设备的结果。
如图4所示，根据本发明的实施例，计算中位数和测量结果(“残差”)之间的差。例如，可以将最近管芯的残差与先前y个测量的残差进行比较，并且可以相应地重新排序管芯分布。在图4的示例中，将非线性非单调变换应用于原始测试数据以将原始数据变换到残差空间。该方法可以放大离群值行为，以使得先前未检测到的未通过设备对于离群值筛选是可见的。可以在两次通过中执行残差变换。根据一些实施例，可以在中位数和残差计算之前去除来自y个度量的群体的离群值以允许鲁棒统计。
如图5所示，鲁棒回归可以用于聚焦于对良好的设备行为进行建模。鲁棒回归可以防止群体中的离群值影响回归，从而有利地减少过度杀灭。例如，在重新计算测试限值之前可以去除可能的离群值，并且可以将当前被测设备与新的基线进行比较。在图5所示的示例中，执行重加权最小二乘回归以识别总离群值，然后从最终回归计算中去除这些总离群值。以此方式，当使用鲁棒回归调整限值时，防止了可疑离群值的过度杀灭。
根据一些实施例，可以将多个离群值筛选技术和/或多个极限设置策略应用于双变量统计，使得对于每一项都存在结果集。这种方法可以被称为集团(ensemble)方法。可以基于超过剩余限值的双变量统计的数量来确定离群值状态。阈值可以从1变化到(n)(n-1)，包括1和(n)(n-1)。如果将多个离群值技术应用于每个双变量统计，则可以调整阈值超过(n)(n-1)。
当采用集团方法时，最终离群值决策可以仅限于集团内被示出为精确执行的那些方法(例如，具有更强的信号和/或更好的预测结果)。例如，可以执行事后分析以确定哪些特定离群值度量可以预测感兴趣的结果(例如，老化期间的设备故障、现场中的设备故障等)。该方法可能要求设备可追溯性并且将结果馈送到测试过程中用于随后的材料。另一种方法确定离群值设备离其他设备的统计分布中心有多远，并且将更多的权重应用于非常接近上或下离群值限值的离群值分析结果。
在一些情况下，使用相对较大的测量起始数n或使用比双变量更高的维数统计，可以引起通常被称为“维数灾难(Curse of dimensionality)”的各种问题。因此，根据一些实施例，按照相似性对测量值进行分组(例如，电流测量值、电压测量值、频率测量值等)，并且在组内仅生成多元变量组合以避免过于复杂的计算。替代地，可以根据设备功能对测量值进行聚类。例如，可以将与电路的特定部分(例如，实现模数转换的块)的性能相关的所有测量值分组在一个集群中，并且可以将功率管理单元的性能测量值分组在第二个集群中。可以在完成任何测试之前静态地、在测试开始时、或在整个测试过程中周期性地执行初步分析(例如主成分分析(PCA)、自动编码、或机器学习)以生成参数的特定组合。
虽然任何数量的不同测试参数可以用于测试和分析，但是根据实施例的最关键参数中的一些参数包括：
·电阻
·电容
·电感
·存储器
·应力
·定时/频率
·熔丝/微调/非易失性存储器
·I/O和DC
·TX/RX
·电压
·模拟
·电流监视(例如，IDDQ泄漏)
应当注意，本发明的实施例不要求视觉检查数据，并且可以仅使用常规测试程序测量数据来实施。
根据一些实施例，可以使用例如用于对正在被测试的材料进行分类的硬箱和/或软箱对每个被测试的设备进行分类，以使得可以为不同的箱分配不同的下游测试流。
根据一些实施例，使用单变量统计的常规DPAT统计度量也可以与多元变量统计一起计算以用于筛选决策，而不是仅用多元变量统计来代替常规DPAT。
根据一些实施例，对未通过零件进行分类(例如，分箱)。可以例如根据哪个(哪些)测试未通过、残差值等来对所有的离群值计算进行分箱。
图6是描绘根据本发明实施例的示例性自动计算机实现的多维零件平均测试过程600的流程图，该多维零件平均测试过程600用于测试设备并且分析测试结果以检测离群值。例如，该测试可以包括：使用类似设备的增量测量值、测量值比率、或识别特征向量和特征值以定义元参数的主成分分析来计算多元变量(例如，双变量)统计。
在步骤605处，确定测试限值。测试限值定义被测试以识别离群值的设备的可接受范围。例如，可以基于从存储器或从本地或远程存储***访问的历史测试数据来确定测试限值。例如，历史数据可以基于从同一批次或甚至整个批次测试的先前的50或100个单元。根据一些实施例，根据所存储的e-测试数据或在先前制造步骤期间产生的数据来确定测试限值，并且可以用例如统计或拓扑相关数据来增强测试限值。
步骤605还可以包括：通过执行众所周知的技术(例如主成分分析、自动编码或机器学习)来确定用于测试的重要测量值。
在步骤610处，根据所定义的测试限值来测试多个设备以获得测试结果。根据一些实施例，原始测试结果被存储并且可以被聚集以识别测试期间或之后的趋势。
在步骤615处，使用测试结果计算多元变量统计。例如，该步骤可以包括形成双变量对、形成双变量比率、以及形成双变量增量，但是可以使用任何合适的多元变量统计计算。
在步骤620处，计算多元变量统计的平均数或中位数值。可以将多元变量统计的平均数或中位数值可选地转换为残差空间以放大离群值行为，使得先前未检测到的未通过设备对离群值筛选可见。可以在两次通过中执行残差变换。根据一些实施例，可以在中位数和残差计算之前去除来自y个度量的群体的离群值以允许鲁棒统计。可选地执行鲁棒回归以防止群体中的离群值影响回归，从而有利地减少过度杀灭。例如，步骤620可以包括执行重加权最小二乘回归。
在步骤625处，基于平均数或中位数值和/或残差更新测试限值。根据一些实施例，在更新测试限值之前去除离群值。
在步骤630处，基于平均数或中位数值和/或残差以及更新的测试限值来识别多个设备的离群值。离群值可以被认为是未通过的设备和/或可以根据性能、未通过的测试参数等进行分箱。
示例性测试***
本发明的实施例涉及根据本发明实施例的用于测试设备和分析测试结果来检测离群值的多维零件平均测试的电子***。例如，该测试可以包括：使用类似设备的增量测量值、测量值比率、或识别特征向量和特征值以定义元参数的主成分分析来计算多元变量(例如，双变量)统计。下面的讨论描述了可以用作实现本发明实施例的平台的一个这样的示例性电子***或计算机***。例如，计算机***712可以被配置为与测试***或装置进行接口连接，该测试***或装置包括用于接收设备的插槽、热管理***、电源和用于测试设备的电子信令***。
在图7的示例中，示例性计算机***712包括用于运行软件应用和操作***的中央处理单元(CPU)701。随机存取存储器702和只读存储器703存储由CPU 701使用的应用和数据。数据存储设备704为应用和数据提供非易失性存储，并且可以包括固定盘驱动器、可移动盘驱动器、闪存设备、以及CD-ROM、DVD-ROM或其他光存储设备。数据存储设备704或存储器702/703可以存储历史和实时测试数据(例如，测试结果、限值、计算等)。可选的用户输入端706和707包括将来自一个或多个用户的输入传送到计算机***712的设备(例如，鼠标、操纵杆、相机、触摸屏、键盘、和/或麦克风)。通信或网络接口708允许计算机***712经由电子通信网络(包括有线和/或无线通信并且包括内联网或互联网)与其他计算机***、网络或设备通信。
可选显示设备710可以是能够响应于来自计算机***712的信号而显示视觉信息(例如，最终扫描报告)的任何设备，并且例如可以包括平板触敏显示器。可以经由一个或多个数据总线700耦合计算机***712的组件，包括CPU 701、存储器702/703、数据存储设备704、用户输入设备706和图形子***705。
因此描述了本发明的实施例。虽然已经在特定实施例中描述了本发明，但是应当理解，本发明不应当被解释为受这些实施例的限制，而是根据所附权利要求来解释。

Claims (20)

1.一种动态零件平均测试的方法，所述方法包括：
基于历史测试结果数据确定测试限值；
根据所述测试限值测试多个设备以获得测试结果；
使用所述测试结果计算多元变量统计；
计算所述多元变量统计的平均数或中位数值；
计算所述多元变量统计和所述平均数或中位数多元变量值之间的差值；
基于所述平均数或中位数值更新所述测试限值以产生更新的测试限值；以及
基于所述平均数或中位数值和所述更新的测试限值识别所述多个设备的离群值。
2.根据权利要求1所述的方法，还包括：通过执行以下各项中的至少一项来确定用于测试的重要测量值：主成分分析(PCA)；独立成分分析(ICA)；自动编码；或机器学习。
3.根据权利要求1所述的方法，其中，所述使用所述测试结果计算多元变量统计包括以下各项中的至少一项：形成对；形成比率；以及形成增量。
4.根据权利要求1所述的方法，其中，所述使用所述测试结果计算多元变量统计包括：根据结果类型对所述测试结果进行聚类。
5.根据权利要求1所述的方法，还包括：使用非线性非单调变换将所述平均数或中位数值转换到残差空间以放大离群值结果。
6.根据权利要求1所述的方法，还包括：在基于所述平均数或中位数值更新所述测试限值之前去除离群值结果。
7.根据权利要求1所述的方法，还包括：在基于所述平均数或中位数值更新所述测试限值之前执行重加权最小二乘回归。
8.一种用于执行动态零件平均测试的装置，所述装置包括：
处理器；以及
与所述处理器通信的存储器，用于存储测试数据和指令，其中，所述处理器执行指令以执行多元零件平均测试的方法，所述方法包括：
基于历史测试结果数据确定测试限值；
根据所述测试限值测试多个设备以获得测试结果；
使用所述测试结果计算多元变量统计；
计算所述多元变量统计的平均数或中位数值；
计算所述多元变量统计和所述平均数或中位数多元变量值之间的差值；
基于所述平均数或中位数值更新所述测试限值以产生更新的测试限值；以及
基于所述平均数或中位数值和所述更新的测试限值识别所述多个设备的离群值。
9.根据权利要求8所述的装置，其中，所述方法还包括：通过执行以下各项中的至少一项来确定用于测试的重要测量值：主成分分析(PCA)；自动编码；或机器学习。
10.根据权利要求8所述的装置，其中，所述使用所述测试结果计算多元变量统计包括以下各项中的至少一项：形成双变量对；形成双变量比率；以及形成双变量增量。
11.根据权利要求8所述的装置，其中，所述使用所述测试结果计算多元变量统计包括：根据结果类型对所述测试结果进行聚类。
12.根据权利要求8所述的装置，其中，所述方法还包括：使用非线性非单调变换将所述平均数或中位数值转换到残差空间以放大离群值结果。
13.根据权利要求8所述的装置，其中，所述方法还包括：在基于所述平均数或中位数值更新所述测试限值之前去除离群值结果。
14.根据权利要求8所述的装置，其中，所述方法还包括：在基于所述平均数或中位数值更新所述测试限值之前执行重加权最小二乘回归。
15.一种或多种非暂态计算机可读介质，包括存储在其上的程序指令，所述程序指令可由一个或多个处理器执行以实现一种方法，所述方法包括：
基于历史测试结果数据确定测试限值；
根据所述测试限值测试多个设备以获得测试结果；
使用所述测试结果计算多元变量统计；
计算所述多元变量统计的平均数或中位数值；
计算所述多元变量统计和所述平均数或中位数多元变量值之间的差值；
基于所述平均数或中位数值更新所述测试限值以产生更新的测试限值；以及
基于所述平均数或中位数值和所述更新的测试限值识别所述多个设备的离群值。
16.根据权利要求15所述的非暂态计算机可读介质，其中，所述方法还包括：通过执行以下各项中的至少一项来确定用于测试的重要测量值：主成分分析(PCA)；独立成分分析(ICA)；自动编码；或机器学习。
17.根据权利要求15所述的非暂态计算机可读介质，其中，所述使用所述测试结果计算多元变量统计包括以下各项中的至少一项：形成双变量对；形成比率；以及形成增量。
18.根据权利要求15所述的非暂态计算机可读介质，其中，所述使用所述测试结果计算多元变量统计包括：根据结果类型对所述测试结果进行聚类。
19.根据权利要求15所述的非暂态计算机可读介质，其中，所述方法还包括：使用非线性非单调变换将所述平均数或中位数值转换到残差空间以放大离群值结果。
20.根据权利要求15所述的非暂态计算机可读介质，其中，所述基于历史测试结果数据确定测试限值包括：访问以下各项中的至少一项：e-测试数据；在先前制造步骤期间产生的数据；统计相关数据；或拓扑相关数据。
CN202280058761.5A 2021-10-08 2022-10-06 用于多维动态零件平均测试的***和方法 Pending CN117881973A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/497,518 US12007428B2 (en) 2021-10-08 2021-10-08 Systems and methods for multidimensional dynamic part average testing
US17/497,518 2021-10-08
PCT/US2022/045883 WO2023059790A1 (en) 2021-10-08 2022-10-06 Systems and methods for multidimensional dynamic part average testing

Publications (1)

Publication Number Publication Date
CN117881973A true CN117881973A (zh) 2024-04-12

Family

ID=85797599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280058761.5A Pending CN117881973A (zh) 2021-10-08 2022-10-06 用于多维动态零件平均测试的***和方法

Country Status (7)

Country Link
US (1) US12007428B2 (zh)
KR (1) KR20240042627A (zh)
CN (1) CN117881973A (zh)
DE (1) DE112022004846T5 (zh)
IL (1) IL310982A (zh)
TW (1) TWI832403B (zh)
WO (1) WO2023059790A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7395170B2 (en) * 2001-05-24 2008-07-01 Test Advantage, Inc. Methods and apparatus for data analysis
US10118200B2 (en) 2009-07-06 2018-11-06 Optimal Plus Ltd System and method for binning at final test
US9002673B2 (en) 2010-06-16 2015-04-07 Broadcom Corporation Simultaneous testing of semiconductor components on a wafer
US9448276B2 (en) 2012-04-11 2016-09-20 Advantest Corporation Creation and scheduling of a decision and execution tree of a test cell controller
US9767459B1 (en) * 2016-03-14 2017-09-19 Optimal Plus Ltd. Detection of counterfeit electronic items
US10393802B2 (en) 2017-06-14 2019-08-27 Nuvoton Technology Corporation System and method for adaptive testing of semiconductor product
TWI828676B (zh) 2018-04-16 2024-01-11 以色列商普騰泰克斯有限公司 用於積體電路剖析及異常檢測之方法和相關的電腦程式產品

Also Published As

Publication number Publication date
US12007428B2 (en) 2024-06-11
DE112022004846T5 (de) 2024-07-18
KR20240042627A (ko) 2024-04-02
US20230111543A1 (en) 2023-04-13
TWI832403B (zh) 2024-02-11
TW202331276A (zh) 2023-08-01
WO2023059790A1 (en) 2023-04-13
IL310982A (en) 2024-04-01

Similar Documents

Publication Publication Date Title
CN109564422B (zh) 工具状况监测及匹配
CN107923731B (zh) 工具故障分析***和方法
Hsu et al. Test data analytics—Exploring spatial and test-item correlations in production test data
KR20150140358A (ko) 인라인 수율 모니터링을 위한 임계 파라메트릭 전기 테스트 파라미터의 자동 결정을 위한 시스템 및 방법
CN105702595B (zh) 晶圆的良率判断方法以及晶圆合格测试的多变量检测方法
US11054815B2 (en) Apparatus for cost-effective conversion of unsupervised fault detection (FD) system to supervised FD system
CN114169286A (zh) 晶圆缺陷的溯源方法、装置、电子设备及计算机可读介质
CN114926051A (zh) 一种用于评估半导体设备制造产能的分析***
US8682058B2 (en) Defect analysis method, apparatus, and recording medium using pattern dependence degree
JP2007264914A (ja) データ解析方法
JP2011054804A (ja) 半導体製造装置の管理方法およびシステム
CN117881973A (zh) 用于多维动态零件平均测试的***和方法
Barnett et al. Yield-reliability modeling: experimental verification and application to burn-in reduction
JP6166120B2 (ja) データ処理装置、測定装置、選別装置、データ処理方法およびプログラム
TWI647770B (zh) 晶圓的良率判斷方法以及晶圓合格測試的多變量偵測方法
US9904660B1 (en) Nonparametric method for measuring clustered level of time rank in binary data
JP2004296826A (ja) 品質管理装置及び品質管理方法
Jauhri et al. Outlier detection for large scale manufacturing processes
JP2008078392A (ja) 特性解析方法および装置、異常設備推定方法および装置、上記特性解析方法または異常設備推定方法をコンピュータに実行させるためのプログラム、並びに上記プログラムを記録したコンピュータ読み取り可能な記録媒体
Niranjan et al. Machine Learning-Based Adaptive Outlier Detection for Underkill Reduction in Analog/RF IC Testing
CN115362457B (zh) 预测容易发生过早使用寿命失效的裸片
TWI822210B (zh) 識別異常分佈的方法及電子裝置
CN112000717B (zh) 半导体数据分析方法、***及计算机可读存储介质
CN117850360A (zh) 一种半导体生产工艺的控制方法及装置
JP2023537652A (ja) 特に多変量の状況において異常個体を統計的に検出するため、個体の異常レベルを決定する方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination